폰에서 AI 쓰려면 이런 똥꼬 모양의 앱들을 설치하면 되긴 하는데 이건 온라인으로 동작하기 때문에
최근에 치질수술했다는 프라이버시 가득한 내용을 담기엔 약간 꺼려질 수 있습니다.
그래서 요즘은 AI모델을 내 폰에서 로컬로 돌리는게 가능합니다.
심지어 이제는 한국어 성능도 좋음
이번에 구글이 무료로 풀어놓은 Gemma 4라는 모델이 있습니다.
성능은 최근에 호평받은 Qwen 3.5와 비슷하거나 나은 수준입니다.
26B모델은 16GB VRAM으로 돌릴 수 있고
E4B 모델은 5GB VRAM으로 돌릴 수 있어서 이젠 스마트폰에서도 돌아가게 되었습니다.
폰에서 돌리려면 Google AI Edge gallery 라는 앱이 있습니다.
iOS, Android 둘 다 있습니다.
설치하면 Gemma E4B, E2B 모델을 마음대로 다운받아서 사용이 가능합니다.
E2B는 심지어 갤럭시 A시리즈에서 사용해도 잘됩니다.
한국어 잘하고 이미지 인식 되고 음성 인식 되고 그러는데 오프라인 번역기로 사용해도 될 것 같군요.
다만 모바일 프로세서로 추론하다보니 당연히 느린 감이 있습니다.
이번엔 LM Studio 같은거 설치해서 GPU로 Gemma 4를 써봤습니다.
LM Studio 설치해서 켜면 그냥 원숭이도 로컬 모델을 쓸 수 있는데
모델 검색메뉴에서 Gemma 4 E4B 모델 같은거 검색해서 다운받으면 끝입니다.
참고로 lmstudio-community 버전 받아야 잘됩니다.
저는 무려 RTX 3070이라는 지구파괴급 GPU를 가지고 있기 때문에 추론 속도도 만족스럽게 잘 나오는 것 같군요.
이런 소형 모델도 한국어를 잘한다는게 놀라울 따름입니다.
코딩도 간단한 코드 생성 정도는 잘하는 편입니다.
AI Agent 사용할 때도 로컬 모델을 장착할 수 있습니다.
Open Code, 클로드 코드, Codex 이런 곳에서 로컬 모델을 붙여서 공짜로 돌릴 수가 있는데
1. LM Studio에 보면 서버를 켜는 버튼이 있는데 그걸 잘 켜두고 서버 URL, 모델명을 잘 기억해둡니다.
2. LM Studio에서 Context 길이 설정도 가능해서 길게 설정해줍시다.
3. 그럼 AI Agent 프로그램마다 LM Studio같은 곳 연결하는 방법이 있습니다.
그걸 찾아서 따라하면 되겠습니다.
저는 Open Code라는 프로그램에서 연결해봤습니다.
그럴려면 Open Code에서 작업폴더를 오픈한 뒤에
작업폴더에서 .opencode 폴더 안에 opencode.json 파일 만들고
위처럼 작성하면 끝입니다.
opencode.ai/docs/providers/#lm-studio 예시는 이곳에 잘 나와있습니다.
클로드 코드에도 붙여서 써봤습니다.
클로드는 시스템프롬프트가 길고 복잡한 것인지 과정이 느리긴 한데 그래도 결과는 뽑아주긴 뽑아줍니다.
참고로 클로드 코드에서 쓰려면 클로드 실행하기 전에
$env:ANTHROPIC_BASE_URL="http://localhost:1234"
$env:ANTHROPIC_AUTH_TOKEN="lmstudio"
이런 코드를 터미널에서 각각 실행해주고
claude --model gemma-4-e4b-it
이런 코드를 터미널에 입력해서 클로드 코드를 켜면 됩니다.
맥북은 $env 대신 export 쓰면 되겠습니다. 따옴표도 제거해도 될듯요
이렇게 AI를 Agent로 쓰면 장점이 뭐냐면 "툴 사용"이 가능해집니다.
웹검색, 파일읽기, 파일쓰기 등이 가능하기 때문에 여러분이 하던 업무를 대신 맡길 수가 있게 됩니다.
근데 로컬 모델로 돌리니까 공짜라는 것임
하지만 작은 모델은 "툴 사용"이 미숙한 경우가 있어서 답답한 경우들도 있긴 있습니다.
성능이 좋아야 안답답함
앞으로는 폰에서도 에이전트 식으로 이거저거 업무를 대신 시켜볼텐데
그럴 때 좀 안전하게 로컬모델로 실행할 수 있는 방법도 생기고 있다는 점이 중요한 것 같습니다.
그리고 요즘은 상용 GPU로도 어느정도 에이전트 작업이 가능하니까
간단한 업무를 빠르게 시킬 때는 그냥 비싼 모델 쓰지말고
이런 로컬 모델을 주워다가 쌀먹하는 방법도 있다는거 참고합시다.
