최근에 Jev라는 AI가 나왔는데
이게 ChatGPT급 혁명이라면서 난리가 났습니다.
Claude Fable에게 포켓몬 레드를 시켜보면 50시간이 걸렸지만
Jev에게 포켓몬 레드를 시켜보면 37시간밖에 걸리지 않습니다.
근데 토큰비용이 1달러만 들었다는게 레전드입니다.
(x.com/_MaxBlade)
실시간 피지컬이 필요한 게임도 Jev로 플레이할 수도 있게 되었습니다.
실시간 트레이딩 봇도 만들 수가 있었는데
3만달러 손해를 봤지만 아무튼 빨랐으니까 대단하군요.
이런게 가능한 이유는
Jev는 기존 AI들보다 속도가 100배는 빠르고
가격은 1000배 저렴해서 그렇다는데
오늘도 들갑인지 진짜인지 알아보도록 합시다.
1. Jev는
OpenAI 출신이 만든 TypeSafe AI라는 곳이 있는데 여기서 Jev를 만들었습니다.
Jev는 흔해빠진 LLM처럼 긴 문장을 생성해주는게 아니라
JSON같은 정형화된 답변만 빠르게 생성해주는 AI모델입니다.
그래서 이런 데이터만 뱉어주는 AI라는건데 되게 쓸데없어보이긴 합니다.
그럼 이걸 어디다가 쓰냐면 AI가 갑자기 판단이 필요할 때가 있잖아요.
근데 그걸 고성능 LLM에게 판단을 맡기면 좀 느리기 때문에
그걸 빠른 AI에게 맡기면 시간과 비용을 절약할 수 있으니까 Jev를 만든거라고 보면 되겠습니다.
특히 요즘은 에이전트로 AI를 다들 쓰기 때문에 에이전트 작업 속도가 미친듯이 빨라질 것임
그래서 Jev는 앞으로 LLM들 위에서 판단을 이거저거 해주는 역할을 많이 하게 될텐데
이런 애들을 멋진 말로 "System one model"이라고 부르기로 했다고 합니다.
앞으로 유행할 판교사투리임
2. 사용법
실제로 써보려면 API형태로 돈내고 써보셔야합니다.
OpenRouter에 돈 충전해놓으면 맨날 새로운 모델 나올 때마다 써보기 쉬워서 거길 통해 써봤습니다.
import os
from typesafe_sdk import TypeSafeClient
from dotenv import load_dotenv
load_dotenv()
client = TypeSafeClient(
api_key=os.getenv("OPENROUTER_API_KEY"),
base_url="https://openrouter.ai/api",
)일단 파이썬 파일 만들어서 이렇게 작성하고
typesafe_sdk, dotenv 패키지 설치하고
.env 파일 만들어서 거기에 OpenRouter API 키 입력해두면
셋팅 끝
result = client.system_one(
model="jev-1.13",
state="This person searched fursuits and collected pictures of Sylveon and Gardevoir.",
questions={
"퍼리여부": {
"type": "noul",
"instructions": "Does this person have a furry preference?",
}
}
)
print(result.answers)그리고 이렇게 코드짜면 됩니다.
Jev를 쓰려면 state부분에 현재 상태를 줄글로 작성하고
questions에 질문들을 입력하면 되겠습니다.
type에는 noul을 적으면 0부터 1사이로 질문이 참일 확률을 뱉어줍니다.
그래서 코드를 실행해봤더니 참일 확률이 88%라고 하는군요.
result = client.system_one(
model="jev-1.13",
state="This person recently searched for fursuits and collected pictures of Sylveon.",
questions={
"어디로보냄": {
"type": "choice",
"instructions": "Which site should we send this person to?",
"criteria": {
"1": "furaffinity.com",
"2": "naver.com",
"3": "github.com"
}
},
}
)
type을 choice로 적으면 객관식 문제에 답하게 만들 수 있습니다.
"파렴치한정도": {
"type": "score",
"instructions": "이건 얼마나 파렴치한 복장임?",
"criteria": [
"아주 포멀한 복장",
"일상생활에서 입을만함",
"집에서 입을만함",
"혼자있을 때만 입어야함"
"눈깔 오염",
]
}
그 외에 type을 score로 적으면 여러 단계중에 어떤 단계에 속하는지 판단하게 만들 수 있습니다.
그래서 비유하자면 마법의 소라고둥 같은 AI 모델이 되겠습니다.
3. 현실
하지만 고인물들은 이게 왜 호들갑인지 이해할 수가 없을 것입니다.
왜냐면 AI를 분류모델로 쓰는건 옛날부터 그랬으니까요.
딥러닝의 Hello world라고 볼 수 있는 예제가 있는데
손글씨 사진을 보고 어떤 숫자에 해당하는지 0에서 9까지로 분류하는 AI를 만들면서 많이들 입문을 했을겁니다.
그 분류모델이 LLM시대를 맞이해서 또다시 유행을 타기 시작한거에요.
심지어 Jev만 할 수 있는 것도 아니고
GPT한테 프롬프트만 잘 넣어도 JSON으로 똑같이 답변할 수 있습니다.
그래서 정확한 호들갑 포인트를 짚어드리자면
1. 이번에 jev가 만든건 분류모델인데 범용으로 쓸 수 있는 분류모델입니다.
그니까 뭔가 분류하고 싶을때 특화된 AI 모델 만들 필요도 없고 데이터 전처리 과정도 필요없습니다.
state에 줄글만 잘 쓰면 되는거라 분류모델의 ChatGPT급 혁명이라고 부르는 사람들이 있습니다.
2. 둘째는 GPT 루나인가 그정도 정확도를 가지고 있는데
속도는 미친듯이 빠르고 가격은 미친듯이 낮아서 매우 실용적으로 쓸 수 있습니다.
심지어 출력토큰값은 받지도 않습니다.
그래서 지금 에이전트로 AI를 많이 쓰는데 에이전트 속도와 비용이 많이 개선되고 그러겠군요.
4. 단점
단점은 우선 멍청합니다.
당연히 최신지식이 없고 복잡한 문제 내면 어려워하고 그런 경향이 있습니다.
그건 여러분들이 RAG를 쓰든 해서 state를 잘 넣어주면 충분히 개선 가능합니다.
또 다른 단점은 한국어를 모르고 영어만 잘한다는게 최대 단점 같군요.
하지만 이건 다른 비슷한 모델이 나오면서 개선될 것 같습니다.
결론
OpenAI에서도 Decisions API라는게 나와서 싼값에 판단을 맡겨볼 수 있게 되었고
Laya, Kev, Jeff 등 오픈소스버전도 많이 나와있어서 GPU로 돌려볼 수도 있습니다.
Jev로 브라우저를 돌리거나 컴퓨터를 쓰게해서 실생활에 쓸 수 있는 방법도 연구가 많이 되고 있습니다.
근데 애초에 AI를 돌리기 위한 부품같은 모델이기 때문에
호들갑떨다가 바로 다음달에 잊혀지고 그럴 모델은 아닌 것 같습니다.
AI 속도향상시키고 비용줄이고 이런건 언제나 핫하니까요.
