예전에 AI가지고 질문 답변만 하던 시절에는
프롬프트 잘쓰는 '프롬프트 엔지니어링'
RAG이런걸로 'context 엔지니어링'
이런게 유행했었습니다.
그러면 좋은 답변을 얻을 수 있었으니까요.
하지만 요즘은 AI는 상황이 달라졌습니다.
성능이 좋아져서 질문 답변 말고 많은 걸 맡겨버리는데
근데 자유롭게 풀어놓으면 인간을 공격하고 그러기 때문에
AI에다가 개목줄을 부착하고 교육을 해서 쓰기 시작을 했습니다.
이 짓거리를 요즘 유행하는 말로 하네스 엔지니어링이라고 합니다.
이것만 잘해도 AI가 갑자기 똘똘해진다는 연구결과가 많기 때문에
AI모델 굳이 비싼거 쓰고 그럴 이유가 없어질 수 있습니다.
배경지식 - AI Agent
AI 강형욱이 되고 싶으면 배경지식이 필요합니다.
'하네스 엔지니어링'은 에이전트로 AI를 쓰는 상황에서 필요한 개념입니다.
▲ 얘네가 AI 에이전트 프로그램입니다.
여기다가 예를 들어 코딩하라고 명령을 내리면
- 주변파일은 뭐가 있는지 검색하고
- 파일 수정 툴로 파일을 수정하고
- 실제로 실행이 되는지 터미널로 코드실행도 해보고
이런 식으로 동작하는 프로그램입니다.
그래서 AI가 사용할 수 있는 여러가지 툴을 붙여놓고
AI가 툴을 잘 쓸 수 있게 가이드를 잘 해주는 프로그램이 AI 에이전트입니다.
그래서 에이전트를 요즘 다른 말로 하네스라고 부릅니다.
에이전트 안에서는 MCP와 스킬로 에이전트를 업그레이드 해서 쓸 수 있는데
얘네도 일종의 하네스라고 보면 되겠습니다.
예를 들어 Github MCP이런걸 설치하면 AI가 깃헙에 접속해서 코드올리고 그런게 가능해집니다.
그래서 이것도 AI를 교육하고 통제하기 위한 하네스라고 보면 되겠습니다.
그래서 하네스 엔지니어링을 하고 싶으면
1. 커서, 클로드 코드 같은 하네스를 내가 직접 만들고 수정해도 되고
2. 그 안에 있는 MCP나 Skill같은 하네스를 직접 만들고 수정해도 되겠습니다.
1. 커서같은 하네스 직접 수정하기
우리도 커서같은 하네스를 직접 만들고 그럴 수 있습니다.
처음부터 하기 힘들면 오픈소스 프로젝트를 가져다가 수정해보는것도 가능합니다.
예를 들어 오픈소스인 pi 에이전트를 복사해서
Oh my pi라는 터미널용 에이전트를 만든 사람이 있습니다.
코드 수정방식을 살짝 변경한건데
▲ 어떤 식이냐면 코드의 한 줄마다 랜덤문자를 왼쪽에 집어넣고
"랜덤 문자를 기준으로 코드를 어떻게 수정할지 뱉어라"
이런 식으로 LLM에게 수정사항을 뱉게 하는 겁니다.
그리고 그걸 실제 파일에 반영해주는 에이전트를 만들어놨습니다.
그랬더니 놀랍게도 쓰레기같은 LLM 모델을 가져와도 정확도가 매우 많이 상승했다고 합니다.
클로드 같은 경우에도 하네스를 다양하게 만들어보는 연구를 하고 있습니다.
클로드 Agent SDK를 써가지고 서로 견제하는 에이전트를 여러개 만들어서 돌려봤다고 합니다.
그랬더니 길게 작업 수행이 가능했고 실제 결과도 봐줄만하게 나왔다고 합니다.
애초에 이런거 하려면 코딩도 좀 알아야되고 에이전트 구조도 알아야 하고
심지어 연구 과정도 필요하니까 돈도 많이 필요하기 때문에
실생활에서 가볍게 해볼 수 있는 하네스 엔지니어링이 있습니다.
2. MCP, Skill로 하네스 수정하기
에이전트 안에서 MCP, Skill을 이용하면 에이전트에 기능을 추가하고 통제하고 그럴 수 있습니다.
이것도 하네스 엔지니어링입니다.
예를 들어서 AI가 코드를 짰는데 잘 돌아가는지 확인을 안하고 자꾸 거짓말을 하는 경우가 있습니다.
그래서 OpenAI 블로그에서는 Codex에다가
'크롬 개발자도구 MCP'를 붙여가지고 AI가 직접 브라우저를 조작하게 해서
기능이 브라우저에서 잘 돌아가는지 확인하게 하는 식으로 하네스 엔지니어링을 해봤다고 합니다.
멍청한 에이전트를 위해서
다양한 곳에서 지식을 끌고오는 도구도 필요하다고 짚었습니다.
이런건 MCP, Skill로 구현이 가능합니다.
이외에도 .md 파일에 여러가지 지시사항을 넣어두는 것도 일종의 하네스 엔지니어링이 되겠습니다.
왜냐면 에이전트가 동작하는 과정 모두에 개입하고 지시를 넣을 수 있으니까요.
그래서 우리가 맨날 혼내던 것도 실 하네스 엔지니어링임
하지만 md파일이 길어지면 AI가 까먹을 수 있기 때문에 강제성이 높지는 않습니다.
결론
1. 아무튼 AI에다가 이거저거 지시내리는걸 '하네스 엔지니어링' 이라고 표현하면
AI 시대를 선도하는 전문가 같아보일 수 있습니다.
2. 요즘 AI 기업들도 AI 모델 성능을 높이는 방법으로 하네스를 고치는 것에 큰 관심이 있습니다.
'큰 프로젝트에서도 안정적으로 작업 장기실행이 가능한 하네스' 이게 궁극적인 목표라고 합니다.
3. 우리도 에이전트를 프레임워크같은거 써서 직접 만들 수 있는데
보안 취약점 잘찾는 에이전트
PPT 잘만들어주는 에이전트
모닝똥 평가해주는 에이전트
이런 식으로 장점 하나만 특출나면 항상 유용하게 쓸 수 있을 것 같습니다.
