드디어 gpt-6이 출시되었습니다.
OpenAI 사장님은 AGI를 만들었다고 선언까지 했습니다.
"나중에 AGI가 언제 시작되었을까라고 질문한다면 바로 지금이 아닐까"라고 생각한다고 합니다.
그러면서 AGI 어쩌구 시험에서 최초로 100점을 맞았다고 하면서 홍보를 하던데 어떻게 된건지 알아보도록 합시다.
ARC AGI 3 시험
ARC-AGI-3 이라는 시험이 있습니다.
간단한 게임을 여러종류 만들어놓고 이걸 클리어하게 시켜보는 시험인데
특이하게도 게임 플레이 가이드를 주지 않습니다.
방향키를 누르면 뭐가 변하는지도 안알려주고
뭘 해야 게임이 클리어되는지도 안알려줍니다.
그래서 추상적 사고력이 필요한 문제라서 인간은 100% 클리어가 가능하지만 AI는 굉장히 어려워합니다.
참고로 AI에게 풀게할 때는 AI가 가장 잘하는게 문자읽기라서
현재 블록 종류같은걸 숫자로 치환해서 grid로 전달하는 식으로 풀게 하면 되겠습니다.
여태까지는 게임마다 5% 풀면 잘푸는 정도였지만
이번 GPT6 Astra는 100% 풀어내서 화제가 되었습니다.
하지만 실체를 알려드리자면 하네스 차이가 좀 있었습니다.
▲ OpenAI에서 직접 만든 하네스를 썼더니 점수가 3배 올랐다는 블로그 글이 있습니다.
실은 이번에도 직접만든 하네스로 100점을 찍은 것이고
기본제공 하네스로는 60점을 찍었다고 표기되어있습니다.
60점도 나름 높은 점수라서 어느정도 사고력은 있다고 생각하면 될 것 같습니다.
근데 그것보다 "AI 성능 보다는 하네스 튜닝하는게 더 중요하다" 이런 교훈을 알 수 있었습니다.
코딩은
코딩관련 벤치마크는 그냥 그렇습니다.
"기존 모델들보다 터미널 조작을 잘해서 Agent로 쓰기 좋다" 이 정도라고 생각하면 되겠습니다.
환각이 전반적으로 줄었다고 하는데 예를 들어 에이전트 작업 끝나고 결과보고하는데 그게 그짓말일 확률이 4배 줄었다고 합니다.
하지만 실생활에 쓰려면 성능보다는 가성비가 굉장히 중요한 시대라서 가성비가 잘 나오는지는 의문이겠군요.
왜냐면 Fable과 동일가격입니다. (1백만 토큰 출력에 50달러)
검열이 없는 버전은 해킹을 아주 잘한다는 벤치마크가 있습니다.
최근에 OpenAI 에이전트들이 허깅페이스에 무단으로 침입해서 문제지를 강탈해오던 사건도 있었고
어떤 위키사이트에 에이전트들이 글 18000개를 올리면서 취약점을 찾아내려고 하던 사건도 있었습니다.
이러다가 고소당하는거 아닌가 싶은데
아무튼 이렇게 취약점을 잘 찾으니까 OpenAI 신제품 Daybreak로 사이트 방어하라는 소리가 System card에 적혀있긴 합니다.
Computer Use
사람들이 잘 모르는 기능이 있는데
Computer Use라고 GPT가 대리로 클릭하고 타이핑을 하고 그럴 수 있는 기능이 있습니다.
ChatGPT 데스크탑 앱에서 사용가능합니다.
지가 엑셀도 다루고 CAD도 다루고 그런걸 볼 수 있는데
이번에 성능이 굉장히 좋아졌다고 합니다.
사진 업로드해서 그거랑 비슷하게 그려달라고 하면
지가 포토샵 비슷한거 열어가지고 사진이랑 비슷하게 그림도 그려주고 그렇습니다.
레이어도 잘 나누는거 보니까 사람이 그린 것처럼 사기를 칠 수도 있는거 아닐까 싶습니다.
근데 되게 중요한 포인트가 있는데
원래 AI가 다른 프로그램을 대리로 이리저리 조작하려면 MCP, skill, CLI 이런게 필요했습니다.
근데 Computer Use를 쓰면 이것들을 굳이 장착할 필요가 없어질 수도 있습니다.
하지만 느리기도 하고 그만큼 토큰을 갈아마실거라서 MCP와 skill을 셋팅해놓는게 훨씬 경제적이긴 합니다.
스타일 유지
이번엔 스타일 유지를 굉장히 잘한다고 합니다.
예를 들어 PPT 이렇게 만들라고 샘플 시안만 던져주면 이거 테마를 그대로 유지하면서 만들어주는걸 볼 수 있습니다.
문서 레이아웃도 마찬가지로 이렇게 만들어준다고 합니다.
그래서 AI 냄새가 안나려면 자주보지 못했던 독특한 스타일이 필요한데
문서생성 부분에서는 나만의 특색있는 스타일을 뽑기 쉬워진 것 같습니다.
결론
그래서 AGI 냄새가 나는지 직접 느껴보시려면
월정액 유저들만 쓸 수 있을거니까 결제하시면 되겠습니다.
아니면 부자라면 Openrouter 이런 곳에서 API 형태로 써볼 수도 있습니다.
하지만 아쉬운점도 있는데 아직도 AI가 엄청잘한다고 보여주는 것들 보면
무에서 유를 창조하는 그린필드 프로젝트에다가 게임데모만든거 이정도가 대부분입니다.
그거말고 AI 최우수고객인 개발자들이 원하는건
큰 프로젝트에서도 안정적으로 기능추가 + 버그수정이 잘 되는 모델이 아닐까요.
그런거를 평가하는 DeepSWE 벤치마크 지표도 있긴 한데 잼민이 플래시 3.8 모델이랑 점수가 똑같은게 유의점 같습니다.
근데 잼민이에 비해 가격이 10배 넘게 차이나는거면 데일리 드라이버로 쓸 수는 있을까 의문점이 드는군요.
