Ollama, 내 컴퓨터에서 AI 모델 돌리는 가장 쉬운 방법

예전엔 내 노트북에서 AI 모델을 돌리는 게 하나의 프로젝트였다. 가중치 파일을 구하고, 맞는 실행 환경을 깔고, GPU 설정을 맞추고, 중간중간 깨지는 걸 견뎌야 했다. Ollama는 그 과정 대부분을 명령어 한 줄로 눌러버린 도구다. “그냥 로컬에서 돌려”라는 말이 자랑이 아니라 평범한 제안이 된 데는 이 도구 지분이 크다.

무엇인가

Ollama는 공개된 가중치의 AI 모델을 내려받아 내 컴퓨터에서 실행해주는 무료 오픈소스 프로그램이다. 다른 앱처럼 설치하고, 모델 이름을 지정하면, 파일을 받아서 터미널에 대화창을 띄워준다.

핵심은 두 가지다. 하나, 모델을 평범한 하드웨어에서 돌아가는 형태로 포장해준다. 가중치를 압축한 버전을 쓰기 때문에 원래는 서버급 GPU를 요구할 모델이 내 메모리 안에 들어간다. 둘, 백그라운드에서 작은 로컬 서비스를 API와 함께 띄운다. 그래서 내 컴퓨터의 다른 프로그램이 클라우드 업체를 부르듯 이 모델을 부를 수 있다. 로컬 AI 앱들이 설치 안내에 Ollama를 적어두는 이유가 이거다. 그 앱들은 모델을 같이 배포하지 않고, 내 쪽 모델을 가리키기만 한다.

맥·윈도우·리눅스에서 돌아가고, 한 회사 모델이 아니라 공개 가중치 모델 계열 전반을 다룬다.

왜 좋아하나

• 아무것도 밖으로 나가지 않는다. 내가 친 글은 내 메모리로 가서 거기 남는다. 계약서 초안, 진료 기록, 사내 문서처럼 남의 로그에 남기고 싶지 않은 것들엔 이 한 줄이 이유의 전부다. 휴대폰의 온디바이스 AI와 같은 매력인데, 통제권이 더 크다.
• 미터기가 안 돈다. 내려받은 뒤엔 전기요금이 비용이다. 수천 건을 분류하거나 초안을 반복 생성하는 식의 대량 작업이라면 토큰 과금과의 차이가 눈에 들어온다.
• 오프라인에서 되고, 계속 된다. 로컬 모델은 어느 날 갑자기 지원 종료되지 않고, 화요일에 성격이 바뀌지도 않고, 장애로 멈추지도 않는다. API가 바뀌어서 서비스가 깨져본 사람에겐 이 안정성만으로도 값을 한다.
• 공부가 된다. 모델을 바꿔 끼우고, 각각 메모리를 얼마나 먹는지 보고, 작은 모델이 못 하는 걸 큰 모델이 해내는 장면을 직접 본다. 오후 한나절이 글 여러 편보다 낫다.

나한테 의미 있나

AI가 궁금하고 어느 정도 최신 컴퓨터가 있다면 한 시간 써볼 값은 한다. 설치가 쉽고 지우기도 쉽다. 머신러닝 환경 구축치고 이건 꽤 드문 미덕이다.

모델을 건드리는 뭔가를 만드는 개발자라면 연습장으로는 거의 필수에 가깝다. 프롬프트와 연결 구조를 로컬에서 공짜로 검증하고, 정말 최상위 모델이 필요한 부분만 클라우드로 넘기면 된다.

반대로 어려운 질문에 대한 최고의 답이 목적이라면 솔직해지자. 호스팅되는 최상위 모델이 더 만족스러울 것이다. 로컬 모델도 많이 좋아졌고 작은 모델의 쓸모도 진짜지만, 가장 크고 강한 모델은 여전히 개인 하드웨어에 안 들어간다. 로컬 실행은 공짜 업그레이드가 아니라 교환이다.

함정

• 메모리가 천장이다. 모델 크기가 필요한 여유 메모리를 사실상 정한다. 작은 모델은 평범한 노트북에서 편하게 돈다. 중간 크기부터는 넉넉한 RAM이나 제대로 된 GPU를 원한다. 가진 것을 넘으면 기어가거나 아예 거부한다.
• 속도 편차가 크다. 통합 메모리가 빠르거나 GPU가 좋은 기기에선 클라우드 서비스와 비슷한 체감이 나온다. 내장 그래픽의 오래된 노트북에선 단어가 하나씩 찍히는 걸 구경하게 된다.
• 품질은 한 단계 아래고, 압축에서 조금 더 내려간다. 모델을 욱여넣게 해주는 그 압축은 정확도를 조금 깎는다. 대개는 조금이고, 정밀함이 필요한 작업에선 티가 나기도 한다.
• 운영은 내 몫이다. 수 기가바이트짜리 파일들의 디스크 관리, 모델 업데이트, 어떤 작업에 어떤 모델을 쓸지 고르기. 대단한 일은 아니지만 저절로 되지도 않는다.
• 로컬이라고 자동으로 안전하진 않다. 그 로컬 API를 다른 프로그램이나 네트워크에 열어두면 그건 여느 서비스와 같다. 그리고 로컬 모델도 호스팅 모델만큼 자신 있게 환각을 만들어낸다.

한 줄 정리

Ollama가 기여한 건 더 좋은 모델이 아니라, 직접 돌리는 데 붙던 설치 비용을 없앤 것이다. 프라이버시나 대량 작업 비용, 오프라인이 중요하다면 이제 주말이 아니라 오후 한나절짜리 실험이다. 다만 성능 일부를 통제권과 맞바꾸는 거라는 건 알고 들어가자.