2025년 11월, 솔로 콘텐츠 디렉터 박모 씨는 3개월치 OpenAI 청구서를 스프레드시트에 옮겨 적다가 손을 멈췄습니다. 9월 84달러, 10월 127달러, 11월 193달러. 인스타그램 게시물 초안 자동화, 구독자 이메일 분류, 경쟁사 보도자료 요약 — 하나씩 추가한 파이프라인이 누적되면서 월 API 비용이 두 달 만에 두 배 이상이 되었습니다.

그 주에 Meta가 Muse Glimmer를 발표했습니다. 클라우드 서버 없이 로컬 기기에서 상시 실행되도록 최적화된 30억 매개변수 에이전트 모델이라는 설명이었습니다. 박모 씨는 처음으로 이 모델이 자신의 파이프라인을 대체할 수 있는지 따져보기 시작했습니다.

30B 모델이 미니PC 수준에서 돌아가는 경위

2023~2024년 기준으로 30억 매개변수 모델을 로컬에서 실행하려면 RTX 4090(24GB VRAM, 시중가 약 180~200만 원)이 사실상 최저 선택지였습니다. 모든 가중치를 FP16 정밀도로 올리면 약 60GB가 필요하기 때문입니다.

4비트 양자화(Q4\_K\_M)를 적용하면 사정이 바뀝니다. 동일한 30B 모델을 이 방식으로 압축하면 약 18~20GB 메모리에 올라옵니다. 애플 M 시리즈 칩은 VRAM과 시스템 메모리를 분리하지 않는 통합 메모리 구조여서 이 크기의 모델을 안정적으로 적재합니다. 맥 미니 M4 Pro(24GB) 기준으로 llama.cpp를 사용하면 초당 약 25~35토큰 생성 속도가 나옵니다.

태스크 유형별 처리 시간은 분류 작업(텍스트 → 레이블)이 2~3초, 200단어 요약이 8~12초, 300단어 이하 초안 생성이 15~25초 수준입니다. 실시간 대화에서는 느리게 느껴지지만, 백그라운드에서 돌아가는 배치 자동화 파이프라인에서는 실용적인 속도입니다.

맥 미니 M4 Pro 24GB의 현재 시중가는 약 130만 원입니다. 24시간 가동 기준 전력 소모는 유휴 상태 약 12~18W, 풀로드 시 약 40~60W 수준이어서 월 전기료는 3,000~6,000원 안팎으로 추정됩니다.

비용이 역전되는 지점

박모 씨의 파이프라인 평균 토큰 소모를 계산했습니다. 호출당 입력 1,200 + 출력 150 토큰 수준이었습니다. GPT-4o 기준(입력 백만 토큰당 $2.50, 출력 백만 토큰당 $10.00)으로 환산하면 호출당 약 $0.0045입니다.

하루 호출 건수에 따른 월 비용을 늘어놓으면, 하루 100건이면 월 약 $13, 200건이면 월 약 $27, 400건이면 월 약 $54, 800건이면 월 약 $108입니다.

맥 미니 M4 Pro를 3년 감가상각으로 나누면 월 약 $31(환율 1,400원 기준 약 43,000원). 전기료를 더해도 월 고정 비용은 약 $34 안팎입니다.

하루 400건 수준에서 API 비용($54)과 로컬 비용($34)이 교차합니다. 하루 200건 이하에서는 로컬이 오히려 비쌉니다.

이 계산에는 중요한 전제가 있습니다. GPT-4o 대신 GPT-4o mini(입력 백만 토큰당 $0.15)를 사용하고 있다면, 하루 400건 기준 월 비용이 $3.2대로 내려가 로컬 전환의 경제성이 사라집니다. OpenAI Batch API 50% 할인을 적용해도 비슷한 결과가 나옵니다. 현재 반복 태스크에 GPT-4o를 그대로 쓰는 경우에 한해 이 계산이 성립합니다.

현실적인 점검 순서는 이렇습니다. 먼저 반복 태스크에 투입 중인 모델이 그 태스크에 필요한 수준보다 강한 모델은 아닌지 확인합니다. 분류·요약·템플릿 초안 작성 같은 작업은 GPT-4o보다 저렴한 모델로도 충분한 경우가 많습니다. 비용 절감의 첫 단계는 모델 다운그레이드이고, 로컬 전환은 그 다음입니다.

비용보다 먼저 바뀌는 것 — 컨텍스트 연속성

박모 씨가 전환 후 가장 먼저 경험한 변화는 비용 절감이 아니었습니다.

클라우드 API에서 각 호출은 독립적으로 처리됩니다. 오전에 구독자 이메일 60건을 분류하며 파악한 반응 패턴을 오후 뉴스레터 초안에 반영하려면, 그 패턴을 별도로 정리한 뒤 새 프롬프트에 포함시켜야 합니다. 정리 작업 자체도 토큰을 소비하고, 압축 과정에서 맥락 일부가 손실됩니다.

메모리에 상주하는 로컬 모델은 구조가 다릅니다. 동일 세션에서 이전 처리 결과가 컨텍스트로 남습니다. 오전 이메일 처리에서 파악한 패턴이 오후 콘텐츠 기획에 직접 반영될 수 있습니다. 그 참조를 위한 추가 비용 없이.

여러 작업이 하나의 컨텍스트로 이어지는 워크플로 — 에이전트가 오늘 처리한 데이터를 내일 작업에서 참조하는 구조 — 가 기술적으로 가능해지는 것이 이 지점입니다. API 기반으로도 구현할 수 있지만, 그 경우 컨텍스트 유지 비용이 처리 건수에 비례해 늘어납니다. 로컬 상주 모델에서는 그 비용이 하드웨어에 이미 포함되어 있습니다.

데이터가 기기 밖으로 나가지 않는 조건

로컬 실행이 필요한 또 다른 이유가 있습니다.

클라우드 API로 처리되는 데이터는 제공사 서버를 경유합니다. OpenAI와 Anthropic은 API 처리 데이터를 학습에 활용하지 않는다고 명시합니다. 그럼에도 서버 경유 자체가 계약상 제약을 만들 수 있습니다. NDA를 체결한 클라이언트 자료, 미공개 제품 기획, 내부 전략 문서를 API에 넣을 때마다 그 텍스트는 외부 서버를 거칩니다.

로컬 실행에서는 텍스트가 기기를 떠나지 않습니다. 데이터 경유 자체가 일어나지 않기 때문에 계약상 위험이 구조적으로 없어집니다. 민감한 클라이언트 자료를 정기적으로 다루는 1인 사업자나 솔로 PM에게는 이 조건이 비용 계산보다 먼저 결정 기준이 되기도 합니다.

로컬로 보내면 안 되는 영역

30B 모델이 충분한 태스크와 그렇지 않은 태스크의 경계를 모르면 전환 후 품질 하락을 경험하게 됩니다.

분류, 감정 분석, 짧은 요약, 정형화된 초안 생성 — 이런 반복 작업은 30B 수준에서도 수용 가능한 품질이 나옵니다. 실제 자동화 파이프라인의 태스크 대부분이 이 범주에 들어갑니다.

여러 제약 조건을 동시에 고려해야 하는 계획 수립, 처음 접하는 법률·계약 문서 해석, 도메인 간 연결이 필요한 전략 분석 — 이런 작업에서는 30B 모델의 오류 빈도가 눈에 띄게 높아집니다. 특히 스스로 오류를 인식하지 못한 채 그럴듯한 답변을 내놓는 경향이 있습니다. 중요도가 높은 단발성 판단 작업을 로컬 모델에 넘기는 것은 위험합니다.

현실적인 구성은 "로컬 + 클라우드 병행"입니다. 하루 수백 건 처리되는 반복 루틴은 로컬로, 판단이 필요한 단발성 작업은 클라우드 API로 분기합니다. 이 경계를 워크플로 설계 단계에서 명시적으로 정하는 것이 실질적인 설계 결정입니다.

Meta가 Muse Glimmer를 에이전트 전용 모델로 공개한 배경도 이 흐름 안에 있습니다. 대형 클라우드 사업자들의 GPU 집중 구매로 2025년 3분기 엔비디아 데이터센터 매출은 349억 달러에 달했습니다. 그 서버들 위에서 돌아가던 AI 기능의 일부가 개인 기기로 내려오는 속도가 빨라지고 있습니다.

루틴으로 처리할 수 있는 작업을 시스템에 넘길수록 판단이 필요한 작업에 집중할 수 있다는 원칙은 업무 설계 논의에서 오래된 이야기입니다. AI 에이전트가 그 시스템의 일부가 되면서, 그 시스템을 어디에 두느냐가 새로운 설계 질문이 되었습니다. 지금 쓰는 모델이 그 태스크에 필요 이상으로 강한 모델은 아닌지 먼저 점검하고, 하루 반복 호출이 400건을 넘는다면 로컬 전환의 경제성을 따져볼 수 있는 조건이 갖춰진 것입니다.