클로드나 GPT에 매달 지출하는 비용이 눈에 띄기 시작하면, 많은 사업자가 공개 가중치 모델 쪽을 들여다봅니다. "모델 가중치가 공개됐으니 사용료가 없다"는 논리는 반은 맞고 반은 틀립니다. 어느 쪽인지는 작업의 성격과 규모에 달려 있습니다.

이 판단을 잘못 내리면 API 비용을 줄이려다 서버 임대비, 기술 관리 시간, 오류 처리에 더 많은 돈과 시간을 씁니다. 반대로 조건이 맞는 사업자가 계속 API에만 의존하면 같은 작업에 불필요한 비용을 계속 냅니다. 어느 쪽인지 확인하려면 몇 가지 숫자를 먼저 쥐어야 합니다.

토큰 단가보다 먼저 봐야 할 수

API 비용 계산은 보통 토큰당 단가에서 시작합니다. GPT-4o는 입력 100만 토큰당 5달러, 출력 15달러 수준입니다(2024년 하반기 OpenAI 공식 가격 기준). 클로드 3.5 소네트는 입력 100만 토큰당 3달러, 출력 15달러입니다.

문제는 "월 몇 토큰을 쓰는가"입니다.

계약서 초안 하나를 처리할 때 입출력 합산 2,000토큰을 쓴다면, 월 500건 처리 시 총 100만 토큰입니다. GPT-4o 기준 월 8달러 수준이고, 이 규모라면 서버를 따로 운영할 이유가 없습니다.

같은 사업자가 대용량 문서를 매일 수십 건씩 처리하거나, 긴 분석 쿼리를 반복적으로 돌리면 계산이 달라집니다. 월 5,000만 토큰 이상 처리하면 GPT-4o 기준 월 250달러를 넘기고, 모델이 클로드 소네트라도 비슷한 규모가 됩니다. 이 지점부터 공개 모델 도입의 수지 계산이 의미를 갖기 시작합니다.

공개 모델이 요구하는 인프라

Llama 3.1 70B를 로컬에서 실행하려면 GPU 메모리 40GB 이상이 필요합니다(4비트 양자화 기준). 클라우드에서 이 수준의 인스턴스를 빌리면 상시 실행 기준 월 수백만 원 단위입니다. API 비용이 월 30만 원 수준이라면 클라우드 기반 로컬 실행이 오히려 더 비쌉니다.

훨씬 작은 모델인 Llama 3.1 8B는 소비자용 그래픽 카드(16GB VRAM 수준)에서 실행됩니다. 카드 일회성 구매에 60만~80만 원, 전기 요금과 유지 비용을 포함해 24개월 사용 시 월 5만~8만 원 수준으로 떨어집니다. API 비용이 월 10만~15만 원을 넘기 시작한다면 이 경우는 손익이 달라집니다.

다만 8B 규모 모델과 GPT-4o 사이에는 성능 차이가 있습니다. 양식 채우기, 단순 분류, 키워드 추출처럼 패턴이 명확한 작업에서는 8B 모델로 충분한 경우가 많습니다. 복잡한 추론, 긴 문서의 맥락 유지, 다단계 판단이 필요한 작업에서는 차이가 나타납니다.

Ollama나 vLLM 같은 로컬 서빙 도구의 초기 설정과 이후 관리에도 시간이 필요합니다. 이 시간을 시급으로 환산해 비용에 포함시키지 않으면 계산이 틀어집니다.

비용보다 먼저 선택을 끌어당기는 경우

수지 계산보다 더 빠르게 선택을 결정짓는 변수가 있습니다. 처리하는 데이터의 성격입니다.

클로즈드 API를 사용하면 입력 데이터가 외부 서버로 전송됩니다. 각 서비스의 약관과 기업 계약에 따라 학습 사용 여부가 다르지만, 데이터가 물리적으로 내 통제 범위를 벗어난다는 사실은 공통입니다.

의뢰인의 개인정보, 재무 데이터, 미공개 사업 계획을 다루는 사업자라면 이 지점이 먼저 검토됩니다. 개인정보보호법상 개인정보 처리를 외부에 위탁할 때 고지 의무가 발생하고, 의료나 금융 데이터는 별도 규제가 적용됩니다.

로컬에서 공개 모델을 실행하면 데이터가 외부로 나가지 않습니다. API 비용 계산에서 클로즈드가 유리한 상황이더라도, 데이터 주권이 요구되는 경우에는 로컬 실행이 선택지에서 사라지지 않습니다.

파인튜닝이 필요한 순간

도메인 특화 작업에서 범용 모델이 반복적으로 기대 수준을 벗어날 때, 파인튜닝이 검토됩니다.

클로즈드 API 제공사도 파인튜닝 기능을 제공합니다. 다만 학습 데이터를 외부 서버에 올려야 하고 학습 비용이 따로 붙으며, 앞서 말한 데이터 민감도 문제와 겹칩니다.

공개 모델은 가중치를 직접 조정할 수 있습니다. 특정 계약서 언어 패턴, 의료 차트 요약 형식, 회사 고유의 데이터 구조에 맞춰 모델을 조정하는 작업이 가능합니다. 파인튜닝에는 학습 데이터 준비, GPU 시간, 검증 과정이 필요하지만 완성된 모델은 이후 추가 API 비용 없이 반복 사용됩니다. 같은 유형의 작업을 대량으로 반복하는 사업자라면 초기 투자를 회수할 가능성이 있습니다.

메타는 가중치를 공개해 개발자 생태계를 확장하고, 오픈AI는 클로즈드 API로 수익 구조를 다지고 있습니다. 그 경쟁에서 어느 쪽이 옳은지와 별개로, 개별 사업자에게 필요한 질문은 달라야 합니다.

월 처리 볼륨이 얼마인지, 다루는 데이터에 외부 전송을 꺼려야 할 정보가 포함돼 있는지, 모델을 직접 운영할 기술과 시간이 있는지, 작업이 정밀한 추론 품질을 요구하는지. 이 넷을 먼저 확인하면 "어떤 AI를 써야 하는가"가 아니라 "어느 구성이 지금 상황에 맞는가"로 질문이 바뀝니다. 그쪽이 훨씬 답하기 쉽습니다.