Vicki Boykis는 MLOps 엔지니어입니다. 2026년 6월 15일, 그는 자신의 개인 블로그에 글 하나를 올렸습니다. 제목은 "Running local models is good now." 한국어로는 "로컬 모델을 돌리는 게 이제 진짜 괜찮아졌다" 정도입니다. 세 시간도 안 돼 Hacker News 첫 페이지에 올랐고, 854개의 추천과 361개의 댓글이 붙었습니다. 개발자 커뮤니티에서 이 정도 반응은 흔한 일이 아닙니다. 비슷한 판단을 이미 내리고 있던 사람들이 그만큼 많았다는 뜻입니다.

이 글은 기술 커뮤니티 안에서 쓰인 글이고, 로컬 모델을 직접 설치하고 실행할 수 있는 사람을 전제합니다. 그러나 그 안에 담긴 메시지는 더 넓게 읽힙니다. 클라우드 AI 서비스 구독료가 부담스럽거나, 업무 문서를 외부 서버로 넘기는 것이 찜찜하거나, AI 자동화를 테스트하고 싶지만 토큰 요금이 쌓이는 것이 걱정되는 사람이라면, 이 선언이 전하는 메시지가 있습니다. "이제 선택지가 생겼다"는 것입니다.

지금 쓰는 AI와 다른 방식이 존재합니다

ChatGPT, Claude, Gemini. 지금 대부분의 사람이 쓰는 AI는 클라우드 기반입니다. 질문을 입력하면 텍스트가 인터넷을 타고 미국이나 유럽의 데이터센터로 전송되고, 거대한 서버에서 수십억 개의 매개변수를 가진 모델이 처리한 뒤 답변이 돌아옵니다. ChatGPT Plus는 월 약 3만 원, Claude Pro는 월 약 2만5천 원입니다. API를 직접 호출하면 입력 토큰과 출력 토큰마다 별도 요금이 붙고, 대량 문서 처리나 자동화 파이프라인을 돌리면 이 요금이 빠르게 누적됩니다.

로컬 모델은 다릅니다. Llama, Mistral, Phi, Gemma 같은 오픈소스 모델을 내 컴퓨터에 내려받아 직접 실행합니다. 처리가 기기 안에서 끝납니다. 외부 서버로 텍스트가 나가지 않습니다. 인터넷 없이도 작동하고, 추가 요금도 없습니다.

이 방식이 예전에도 있었지만, 3~4년 전까지는 실용적이지 않았습니다. 세 가지 문제가 있었습니다. 모델 품질이 낮았고, 필요한 하드웨어가 비쌌으며, 설치와 실행 절차가 복잡했습니다. 2025~2026년을 거치면서 이 세 가지가 모두 바뀌었습니다.

모델 품질부터 봅니다. Llama 3.1 8B, Mistral Nemo 12B, Phi-4 같은 소형 모델들은 70억~120억 개의 매개변수로 동작하면서도, 텍스트 요약·초안 작성·간단한 분류 작업에서 2022~2023년의 GPT-3.5와 비슷하거나 그 이상의 결과를 냅니다. 2~3년 전 로컬 모델을 써본 사람이 지금 다시 시도하면 경험이 다릅니다.

하드웨어도 따라왔습니다. Apple Silicon(M1 이후)은 통합 메모리 구조 덕분에 로컬 AI 실행에 적합합니다. 16GB 메모리가 있는 맥북에서 70억 매개변수 모델을 초당 20~40토큰 속도로 실행할 수 있습니다. 사용하는 데 불편함이 없는 속도입니다. NVIDIA RTX 3060 이상 GPU가 장착된 윈도 기기도 마찬가지입니다. 서버 장비 없이 개인 노트북으로 가능해졌습니다.

도구 생태계도 성숙했습니다. Ollama는 터미널 명령어 두 줄로 모델을 내려받고 실행할 수 있게 합니다. LM Studio는 GUI 기반으로 ChatGPT처럼 대화할 수 있어, 터미널이 익숙하지 않은 사람도 접근할 수 있습니다. 설치 과정 자체가 장벽이 되는 상황은 상당히 줄었습니다.

Boykis의 "이제 진짜 괜찮다"는 평가는 이 세 조건이 동시에 충족됐다는 판단에서 나온 것입니다.

쓸 만하다는 것과 대체한다는 것은 다른 이야기입니다

그러나 여기서 "로컬 모델로 갈아타야 한다"는 방향으로 곧장 가면 성급합니다. 반대 시각을 먼저 정직하게 살펴볼 필요가 있습니다.

품질 격차가 여전히 존재합니다. 클라우드 최신 모델과 비교하면 이야기가 달라집니다. Claude 3.7 Sonnet, GPT-4o, Gemini 2.5 Flash는 복잡한 추론, 긴 문서 분석, 다단계 논리 처리, 정밀한 코드 생성에서 로컬 소형 모델을 앞섭니다. "로컬 모델이 GPT-4 수준에 근접했다"는 말이 나오는 시점에, 클라우드 모델들은 이미 다음 세대로 이동해 있습니다. 추격하고 있다는 것과 따라잡았다는 것은 다른 이야기입니다. 복잡한 전략 기획, 섬세한 글쓰기 교정, 다국어 처리처럼 정밀함이 중요한 작업에서 이 격차는 실제로 체감됩니다.

하드웨어 문턱도 있습니다. 70억 매개변수 모델을 쾌적하게 돌리려면 최소 8GB 이상의 메모리가 필요합니다. 140억 이상이면 16GB, 그 이상은 32GB가 기준입니다. 4~6년 된 구형 노트북이나 저가형 기기에서는 속도가 느리거나 실행 자체가 어렵습니다. 클라우드 API는 기기 성능과 무관하게 동일한 품질을 제공합니다.

기능 범위도 다릅니다. 클라우드 AI는 웹 검색 연동, 실시간 정보 반영, 이미지 처리, 파일 업로드 분석, 외부 도구 호출 같은 기능을 갖추고 있습니다. 로컬 모델은 주로 텍스트 입출력에 집중됩니다. 최신 시세나 뉴스를 참조해야 하는 작업, 이미지를 분석해야 하는 작업에서는 클라우드가 명확하게 유리합니다.

이 한계를 알고 있을 때, "이제 쓸 만하다"는 말이 의미를 갖습니다. 로컬 모델이 잘하는 영역이 있고, 클라우드 모델이 압도적으로 유리한 영역이 있습니다. 하나로 전부를 대체하는 것이 아니라, 둘을 함께 쓰는 것이 현실적인 방향입니다.

1인 사업자에게 로컬 모델이 실제로 유리한 자리

민감한 문서를 다룰 때입니다. 계약서, 고객 제안서, 내부 기획안, 가격 협상 자료를 AI에 넘기면 그 텍스트가 외부 서버로 전송됩니다. 클라우드 서비스 대부분은 API 이용 시 데이터를 학습에 사용하지 않는다고 명시하지만, 전송이 이루어진다는 사실은 바뀌지 않습니다. 프리랜서 컨설턴트가 고객사 내부 보고서를 기반으로 제안서 초안을 다듬거나, 1인 브랜딩 디렉터가 클라이언트의 미공개 전략 문서를 AI로 정리하는 상황이라면, 데이터가 기기 밖으로 나가지 않는 로컬 처리가 안전한 선택입니다.

반복 작업이 고정된 경우입니다. 동일한 형식의 주간 보고서를 정리하거나, 제품 설명 문구를 매번 조금씩 변형하거나, 고정된 패턴의 이메일 초안을 매일 작성하는 업무에서 API 요금이 쌓입니다. 이런 반복 작업에서 최신 GPT-4급 성능이 반드시 필요한 경우는 많지 않습니다. 70억~140억 매개변수 모델로 처리할 수 있다면, 추가 비용 없이 돌리는 것이 낫습니다. 카페를 운영하는 사람이 주 3회 SNS 게시물 초안을 잡거나, 소규모 쇼핑몰 운영자가 상품 설명 문구를 매주 여러 개 변형하는 작업이 여기에 해당합니다.

AI 도구를 탐색하고 실험하는 단계에서도 유리합니다. 새로운 프롬프트 구조를 테스트하거나, AI 보조 업무 흐름을 구성하거나, 자동화 파이프라인의 로직을 검증할 때, 요금 걱정 없이 수십 번 반복 시도를 할 수 있습니다. 클라우드 API로 수백 번 반복 테스트를 하면 요금이 의식됩니다. 로컬에서 실험하면 그 부담이 없습니다. 아직 AI를 어디에 어떻게 쓸지 탐색하는 단계라면, 로컬 환경이 탐색 속도를 높여줍니다.

수치로 보면 단순합니다. Ollama를 설치하고 Llama 3.1 8B 모델을 내려받는 비용은 0원입니다. 모델 파일 크기는 약 4.7GB입니다. 이미 M1 이상 맥이나 RTX 3060 이상 GPU 기기가 있다면 추가 하드웨어 투자도 없습니다. 기존 클라우드 구독을 유지하면서, 그 중 일부 작업을 로컬로 옮기는 것만으로도 의존도를 낮출 수 있습니다.

설정보다 용도가 먼저입니다

로컬 모델을 시도하기 전에 확인할 것이 있습니다. 내 AI 사용 패턴 중에서 매일 반복되는 작업이 무엇인지. 클라우드로 넘기기 꺼림칙한 문서가 있는지. 비용 걱정 없이 자유롭게 실험하고 싶은 영역이 있는지.

하나라도 명확하다면, Ollama를 설치하고 가장 분명한 자리 하나에만 먼저 적용해보는 것이 시작입니다. 전체를 바꾸는 것이 아닙니다. 뚜렷한 자리 하나를 먼저 찾는 것입니다.

기술 도구가 접근하기 쉬워질수록 생기는 함정이 있습니다. 도구 자체에 매혹되는 것입니다. 3D 프린터가 처음 개인용 기기로 보급됐을 때를 돌아보면, 많은 사람이 프린터를 설치하고 테스트 출력을 몇 개 만든 뒤 흥미를 잃었습니다. 구체적인 용도를 먼저 정해둔 사람들이 도구를 계속 활용했습니다. 로컬 모델이 내 기기에서 작동하는 것을 확인하는 데 집중하다 보면, 정작 그것으로 무엇을 할 것인지를 놓치기 쉽습니다.

Boykis의 선언이 의미 있는 것은, 기술 장벽이 낮아졌다는 사실 때문입니다. 기술 장벽이 낮아진다고 업무 판단이 자동으로 따라오지는 않습니다. 어떤 작업에 로컬 모델을 쓰고, 어떤 작업은 클라우드에 남길 것인지를 판단하는 것은 여전히 사람의 몫입니다. 그 판단이 앞서 있어야 도구가 낭비되지 않습니다.