AI 도구를 도입하는 논의에서 벤치마크 점수는 거의 첫 번째 비교 항목이 됩니다. 어느 모델이 어느 테스트에서 몇 점을 받았는지를 먼저 살피고, 그 순위를 근거로 구매 결정을 정당화하는 방식이 일반적입니다. 점수가 높은 쪽이 더 잘 만들어진 모델이고, 더 잘 만들어진 모델을 선택하는 게 합리적이라는 논리는 그 자체로는 틀리지 않습니다.
코히어가 8월 27일 공개한 문서 처리 모델 파스 5(Parse 5)는 이 전제가 특정 규모를 넘어서면 성립하지 않는 상황을 보여줍니다. 파스 5는 PDF, 슬라이드, 이미지 같은 문서를 AI가 처리할 수 있는 텍스트로 바꿔주는 23억 파라미터 규모의 비전언어모델입니다. 코히어 자체 평가 도구인 파스벤치(ParseBench)에서 79.2점을 받았습니다. GPT-5.5는 84.4점, 클로드 오퍼스 4.8은 84.3점입니다. 5점 안팎의 격차입니다.
코히어는 그럼에도 파스 5를 내세우며 이렇게 밝혔습니다. 연간 7억 5000만 건의 문서를 처리하는 대형 금융사라면, GPT-5.5 대신 파스 5를 선택해 비용을 98% 이상 줄일 수 있다고. API 기준 요금은 1000페이지당 1.5달러입니다.
5점짜리 정확도 격차가 98%짜리 비용 차이보다 더 중요한 상황이 있는가. 이것이 이 출시가 실제로 제기하는 질문입니다.
벤치마크 점수가 만들어지는 조건과 기업이 운용하는 조건
벤치마크는 표준화된 문서 집합 위에서 정확도를 수치로 환산합니다. 표의 행과 열을 얼마나 정확히 읽는지, 다국어 문서에서 오류가 얼마나 발생하는지, 도표에서 의미 있는 정보를 얼마나 뽑아내는지를 통제된 조건 아래서 측정합니다. 이 방식은 모델 간 성능 차이를 빠르게 드러내는 데 유용합니다.
다만 기업이 문서 AI를 실제로 운용하는 조건은 다릅니다. 수십 년간 다른 형식으로 축적된 계약서, 외부 감사인이 작성한 재무제표, 각 규제 기관마다 다른 양식의 공시 보고서가 섞입니다. 미국 기업이 매년 제출하는 연간 보고서(10-K)만 보더라도 짧게는 60페이지에서 복잡한 경우 400페이지를 넘습니다. 경영진 분석, 재무제표, 주석, 위험 요인이 빽빽하게 배열돼 있고 각 섹션에는 수치 구조가 촘촘합니다. 이런 문서를 분기마다 수백 건씩 처리해야 하는 조직이라면, 정확도 79점과 84점 사이의 차이보다 1000페이지당 처리 단가가 더 직접적으로 운영 예산에 붙습니다.
7억 5000만 페이지를 연간 처리하는 금융기관에서 GPT-5.5와 파스 5 사이의 비용 격차가 98%라면, 그것은 수천만 달러 단위의 차이입니다. 이 규모에서 5점의 정확도 격차가 수천만 달러의 비용 차이를 정당화하는지는 각 조직의 오류 허용 기준과 처리 문서 특성에 따라 다릅니다. 연간 처리량이 7억 5000만 페이지를 넘어서는 조직이라면, 그 판단 기준은 정확도 점수가 아닌 단가로 이동합니다.
파스 5가 문서 전체를 한 번에 읽는 방식
파스 5가 문서를 처리하는 방식은 기존 OCR 기반 도구와 구조적으로 다릅니다. 기존 접근은 텍스트 추출과 내용 이해를 단계적으로 분리했습니다. 먼저 문서에서 문자를 인식하고, 인식된 텍스트를 별도의 언어 모델이 다시 읽는 방식이었습니다. 이 과정에서 표의 구조나 페이지 내 위치 관계가 손실되는 경우가 잦았습니다.
파스 5는 페이지 전체를 시각적으로 한 번에 처리합니다. 텍스트 위치, 표 구조, 이미지 내용을 단일 처리 과정 안에서 통합적으로 읽습니다. 코히어에 따르면 엔비디아 H100 GPU 한 장 기준 초당 4.5페이지, 같은 GPU 8장을 묶은 서버 기준으로는 초당 36페이지를 처리합니다. 비슷한 구조의 오픈소스 모델보다 1.4배 이상 빠른 수준입니다.
속도는 처리 비용과 곧장 연결됩니다. 같은 인프라에서 더 많은 페이지를 소화할 수 있다면, 같은 작업에 더 적은 컴퓨팅 자원이 필요합니다. 벤치마크 점수 5점 차이가 이 속도 이점으로 얼마만큼 상쇄되는지는 처리하는 문서 유형에 따라 달라집니다.
어느 축을 앞에 두는지는 처리 규모가 결정합니다. 월 수천 페이지 수준이라면 정확도 차이가 실질적인 선택 근거가 되고, 연간 수억 페이지라면 단가가 그 자리를 가져갑니다.
모티프3가 벤치마크 1위이면서 독파모에서 탈락한 사례
국내에서 같은 시기에 비슷한 논쟁이 불거졌습니다. 과학기술정보통신부의 독자 AI 파운데이션 모델(독파모) 2차 평가에서 모티프테크놀로지스의 모티프3가 탈락했습니다. 글로벌 분석기관 아티피셜 애널리시스의 종합 성능지표에서 참여 모델 중 1위를 기록한 모델이었습니다. 그러나 정부 종합 평가에서는 최하위였고, 모티프 측은 8월 27일 과기정통부에 이의를 제기했습니다.
외부 기관 벤치마크 1위와 정부 평가 최하위 사이의 간격은 두 평가가 다른 기준으로 다른 것을 측정했다는 사실을 보여줍니다. 정부 독파모 평가는 단순 성능 외에 보안 요건, 국내 서비스 적합성, 기술 독립성 같은 항목을 함께 반영했습니다.
코히어 파스 5 사례와 독파모 논란은 같은 구조를 갖습니다. 어떤 기준으로 측정하는가에 따라 순위가 달라집니다. 전 세계 모든 벤치마크에서 1위를 기록한 모델이 있다고 해도, 그 모델이 모든 조직에 최선의 선택인 것은 아닙니다. 처리 규모, 예산 구조, 보안 요건, 연결해야 할 기존 시스템이 조직마다 다릅니다.
도입 전에 먼저 추산할 두 가지
벤치마크 순위가 절대적이지 않다는 논리가 점수를 무시해도 된다는 뜻은 아닙니다. 파스 5가 미스트랄 OCR 4(74.5점)와 애저 도큐먼트 인텔리전스(69.3점)보다 높은 점수를 받은 것은 실질적인 성능 차이를 반영합니다. 같은 비용대에서 정확도가 높다면, 처리 오류가 더 적게 발생합니다.
먼저 따져볼 것은 처리하는 문서의 오류 비용입니다. 의료 기록이나 법률 계약처럼 오류 하나가 큰 손실로 이어지는 문서라면, 84점과 79점의 차이는 단가 격차보다 무겁습니다. 분기 공시 자료나 뉴스 아카이브처럼 처리량이 많고 개별 오류의 영향이 분산되는 문서라면 반대입니다.
그다음으로 따져볼 것은 연간 처리 페이지 수입니다. 이 수를 추산한 뒤 모델별 단가를 곱하면, 벤치마크 순위를 비교하기 전에 어떤 모델이 예산 안에 들어오는지가 먼저 보입니다. 하이퍼프레임 리서치 애널리스트 스테파니 월터가 "진짜 시험대는 AI 에이전트가 그 정보를 제대로 활용할 수 있는지 여부"라고 말한 것도 같은 맥락입니다. 문서에서 데이터를 추출해 분석 파이프라인에 연결하는 과정이 얼마나 안정적으로 작동하는지, 처리 오류가 어느 지점에서 걸러지는지가 도입 후 실제 결과를 결정합니다.
벤치마크 순위는 모델 간 성능 차이를 빠르게 살피는 데 유용한 도구입니다. 다만 그 점수가 만들어진 테스트 조건과 내 조직의 운용 조건 사이에 거리가 있다면, 그 거리만큼 점수의 해석이 달라져야 합니다. 처리 규모가 연간 수억 페이지를 넘어서는 조직에서는 5점짜리 정확도 격차보다 1000페이지당 단가 차이가 먼저 예산에 붙습니다.
