클라우드 AI 구독을 끊은 콘텐츠 디렉터들이 있습니다. ChatGPT Plus 월 20달러, Claude Pro 월 20달러, API 호출량에 따라 추가로 나가는 비용을 계산한 뒤 로컬 장비에서 직접 모델을 실행하는 방향으로 워크플로를 바꿨습니다. 소형 AI 모델의 품질이 실제로 그 전환을 뒷받침할 수 있을 정도로 올라왔습니다.
여기서 "소형"은 파라미터 수 기준 7B(70억)에서 14B(140억) 범위를 가리킵니다. 2022년까지 이 크기의 모델은 대형 클라우드 모델의 100분의 1 수준 성능도 내기 어려웠습니다. 지금은 일부 7B 모델이 2년 전 70B 모델이 처리하던 작업을 합니다.
그 말이 성립하려면 무엇이 참이어야 했을까요. 역산하면 조건들이 드러납니다. 모델이 충분히 작아지면서도 품질은 충분히 남아 있어야 했습니다. 소비자용 하드웨어가 그것을 실시간으로 실행할 수 있어야 했습니다. 배포와 운영이 기술 전문가가 아닌 사람도 시작할 수 있는 수준이어야 했습니다. 이 조건들이 동시에 충족된 것은 최근 2년 사이의 일입니다.
모델이 작아졌는데 품질이 남아 있는 이유
2023년 기준, 7B 오픈소스 모델은 GPT-3.5와 견줘도 눈에 띄게 부족했습니다. 번역·요약은 어느 정도 했지만, 지시 따르기나 구조화된 출력에서 실패가 잦았습니다.
2024~2025년 사이에 이 그림이 달라졌습니다. 마이크로소프트가 공개한 Phi-4는 14B 파라미터로, 수학·코딩·추론 벤치마크에서 GPT-4o와 가까운 점수를 기록했습니다. 알리바바의 Qwen2.5는 7B 버전이 2년 전 70B 모델이 처리하던 수준의 언어 작업을 합니다. Meta가 공개한 Llama 3.2 3B 버전은 아이폰에서 실행됩니다.
양자화(quantization)라는 압축 기술이 이 변화를 이끌었습니다. 32비트 부동소수점으로 저장하던 가중치를 4비트로 압축하면 메모리 사용량이 8분의 1로 줄어듭니다. 정밀도는 떨어지지만, 자연어 처리 작업에서 체감 품질 차이는 대부분의 실무 용도에서 구별하기 어렵습니다. 4비트 양자화된 7B 모델이 필요로 하는 메모리는 약 8GB입니다. 16GB 메모리 노트북에서 실행할 수 있습니다.
잃은 것도 있습니다. 수십만 토큰을 한 번에 처리하는 긴 맥락 능력, 복잡한 멀티모달 추론, 최신 지식은 소형 로컬 모델이 갖추지 못한 영역입니다. '충분히 좋은' 수준이 통하는 작업과 그렇지 않은 작업을 구분해야 로컬 전환 여부를 결정할 수 있습니다. 그 판단을 하려면 먼저 자신이 AI에 맡기는 작업이 어느 쪽인지 알아야 합니다.
소비자용 노트북 칩이 로컬 AI 추론을 실용화한 이유
로컬 AI를 실용적으로 만든 하드웨어 변화는 예상치 못한 방향에서 왔습니다. 전용 AI 칩이나 고가 데이터센터 GPU가 아니라 소비자용 노트북 칩이었습니다.
AI 추론에서 병목은 대부분 연산 속도가 아니라 메모리 대역폭에 있습니다. 모델 가중치를 메모리에서 얼마나 빨리 읽어오느냐가 응답 속도를 결정하는 것입니다. Apple M4 기본형의 메모리 대역폭은 초당 120GB입니다. M4 맥북 16GB 모델에서 7B 모델은 초당 50~70토큰 속도로 응답하는데, 사람이 읽는 속도인 초당 4~5토큰보다 훨씬 빠릅니다. M4 Pro(48GB 통합 메모리)에서는 30B 모델도 실시간 응답이 가능합니다.
2023년까지 "로컬 AI"를 돌리려면 NVIDIA RTX 4090급 그래픽 카드가 필요했습니다. 당시 카드 하나에 200만 원 이상이었고 전력 소비는 400W를 넘겼습니다. Apple Silicon 맥북은 그 연산을 훨씬 낮은 전력으로, 소음 없이 처리합니다. Windows 기기에서도 CPU만으로 llama.cpp가 4비트 양자화 모델을 실행하는데, 실용적인 속도를 내려면 최소 16GB RAM이 필요하고 32GB이면 안정적입니다.
클라우드에만 존재하던 AI 연산이 개인 장비로 내려오는 데 필요한 조건 중 하나가 여기서 충족됐습니다.
설치가 10분 이내가 된 경위
소형 모델 품질과 하드웨어 성능이 갖춰졌더라도 설치가 복잡하면 실무자에게는 실질적인 벽입니다. 2023년까지 로컬 모델을 실행하려면 CUDA 드라이버, 파이썬 가상환경, GGUF나 safetensors 같은 모델 파일 형식을 따로 파악해야 했습니다.
Ollama는 이 복잡성을 하나의 명령어로 줄였습니다. 터미널에서 ollama run qwen2.5:7b라고 입력하면 모델 다운로드, 로컬 API 서버 실행, 대화 인터페이스 시작이 순서대로 이루어집니다. LM Studio는 GUI만으로 같은 작업을 처리합니다. OpenWebUI를 더하면 ChatGPT와 유사한 웹 화면으로 여러 로컬 모델을 전환하며 쓸 수 있습니다.
업무 자동화 도구인 n8n이나 Make에서도 로컬 Ollama를 외부 API처럼 연결할 수 있습니다. 반복 작업을 외부 API 비용 없이 돌리는 것이 가능해졌습니다. 콘텐츠 디렉터가 매일 새벽 자동으로 원고 초안 30건을 분류·요약하는 파이프라인을 로컬에서 실행한다면, 월 비용은 전기료 정도입니다.
모델 품질과 하드웨어 처리 능력, 배포 도구가 동시에 충분한 수준에 도달한 것이 지금 시점입니다.
어떤 작업에서 이 계산이 맞는가
로컬 전환이 비용 면에서 유리한 작업은 패턴이 있습니다. 반복적이고, 민감한 데이터를 다루며, 특정 포맷이나 도메인에 집중된 작업입니다.
콘텐츠 디렉터가 하루에 수십 건의 원고 초안을 요약·분류하는 업무가 대표적입니다. 클라우드 API로 처리하면 입력 토큰 수에 비례해 비용이 나갑니다. 원고 50건에 건당 2,000토큰을 처리할 경우, 출력 토큰과 시스템 프롬프트를 더하면 월 비용이 빠르게 쌓입니다. 로컬에서는 하드웨어 전기 요금 외에 추가 비용이 없습니다. 미발행 원고나 고객 데이터가 외부 서버에 올라가지 않는다는 점도 민감한 업무에서는 고려할 수 있습니다.
1인 기획자가 특정 문체나 브랜드 언어를 학습시킨 모델을 로컬에서 파인튜닝해 두면, 매번 긴 시스템 프롬프트를 보내지 않아도 됩니다. 특화된 소형 모델이 범용 대형 모델보다 반복적인 특화 작업에서 더 일관된 출력을 내는 경우가 있습니다. 도메인과 출력 포맷이 좁을수록 이 경향이 강해집니다.
계산이 맞지 않는 상황도 있습니다. 클라우드 AI를 월 20달러 구독으로 쓰는 사람이 로컬 설정에 시간을 들이고 조건에 맞는 장비를 마련해야 한다면 비용 회수 기간이 길어집니다. 사용 빈도가 낮거나 설정과 유지 관리에 쓸 여유가 없다면 클라우드가 더 합리적입니다. 로컬 모델은 업데이트를 직접 챙겨야 하고, 새 모델이 나왔을 때 교체 여부를 판단하는 것도 사용자 몫입니다.
최전선 모델—현재 기준 Claude Opus나 GPT-4o 계열—과 소형 로컬 모델 사이의 격차는 여전히 존재합니다. 어느 작업에서 그 격차가 실무에 영향을 주고 어느 작업에서는 그렇지 않은지를 이제 실제로 측정하고 비교할 수 있습니다. 2023년에는 그 비교 자체가 의미 없었습니다. 로컬 모델이 충분하지 않아 비교 기준이 없었기 때문입니다.
