2024년 이후 한국 기업과 1인 사업자가 AI 도구를 고를 때 거치는 절차는 대략 비슷합니다. 주요 모델의 코딩 벤치마크를 비교하고, 처리 속도와 컨텍스트 창 크기를 확인하고, 무료 플랜과 유료 플랜의 출력 품질 차이를 직접 테스트합니다. 이 절차가 합리적으로 보이는 이유가 있습니다. 성능이 더 좋은 모델이 실제로 더 유용한 결과를 냅니다. 점수가 높은 모델이 오류를 덜 내고, 문서를 더 정확하게 요약하고, 코드를 더 정밀하게 생성합니다. 이 믿음에는 근거가 있습니다. 지금도 많은 실무 영역에서 사실입니다.

그런데 지난 몇 달 사이, 이 기준이 의사결정의 전부를 설명하는지 의심할 만한 일이 생겼습니다.

벤치마크 너머의 시장

2026년 7월, 미국 AI 스타트업 코그니션(Cognition)이 포크(Poke)라는 서비스를 인수했습니다. 인수 금액은 1억 달러(약 1,380억 원) 이상으로 알려졌습니다. 코그니션은 소프트웨어 개발 에이전트 데빈(Devin)을 만든 회사입니다. 데빈은 코드를 씁니다. 코드를 검토하고, 테스트를 실행하고, 오류를 찾아 수정합니다.

포크는 코드를 쓰지 않습니다. 포크가 내세운 것은 단 하나였습니다. "친구처럼 문자하는 AI." 응답이 길지 않고, 톤이 가볍고, 대화가 끊기지 않는 방식으로 이어지는 경험. 코그니션이 1,380억 원을 얹어 산 것은 그 경험의 설계 방식이었습니다.

이 거래를 단순한 팀 인수로 읽는 시각이 있습니다. 뛰어난 개발자들을 빠르게 데려오는 수단으로 인수합병을 활용하는 것은 실리콘밸리의 익숙한 패턴입니다. 그런데 그 설명이 충분하다면, 왜 이 특정 서비스에 이 금액을 써야 했는지가 설명되지 않습니다. 포크 팀의 탁월함이 코딩 능력이 아니라 상호작용 설계 능력에 있었다고 보는 편이, 거래 금액을 설명하는 데 더 정합적입니다.

코그니션의 공개 설명도 그 방향을 가리킵니다. 데빈의 코딩 성능을 높이기 위한 인수가 아니라, 데빈이 개발자와 대화하는 방식을 바꾸기 위한 인수라고 밝혔습니다. AI 에이전트가 무엇을 할 수 있는가와, 그 에이전트를 쓰는 사람이 어떤 경험을 하는가를 서로 다른 해결 과제로 나누기 시작한 것입니다.

응답 방식에 수천억이 붙은 이유는 무엇인가

성능 수렴 때문입니다.

기반 모델의 코딩 성능은 지난 2년 동안 빠르게 올라왔습니다. OpenAI가 2023년 3월 발표한 GPT-4 기술 보고서에 따르면, GPT-4의 HumanEval 점수는 67%였습니다. 이후 공개된 주요 모델들의 같은 벤치마크 점수는 계속 올라갔습니다. 2025년 기준으로 최상위권 모델들 사이의 HumanEval 점수 차이는 수년 전보다 좁혀졌습니다. 절대 성능이 중요하지 않다는 말이 아닙니다. 다만 상위권에서 수치 하나로 도구를 결정하기가 예전보다 어려워졌습니다.

비슷한 전환이 다른 산업에서도 관찰된 적이 있습니다. 주요 가전 제조사들의 세탁 성능이 평준화된 뒤, 구매 결정에서 더 큰 비중을 차지한 것은 진동 소음 수준과 조작 패널 직관성이었습니다. 냉장고 압축기 효율 차이가 줄어든 뒤에는 내부 서랍 배치와 조명 방식이 차이를 만들었습니다. 기능 성능이 기본 조건이 되면, 경쟁은 기능이 아닌 경험 계층으로 이동합니다.

코그니션은 AI 도구 시장에서 그 이동이 시작됐다고 판단한 것입니다. 데빈이 코드를 쓸 수 있다는 것은 이미 입증됐습니다. 이제 풀어야 할 다음 문제는, 개발자가 데빈과 일하는 것을 지속하고 싶어 하는가였습니다. 포크를 인수한 것은 그 문제에 답하기 위해서입니다.

이 판단의 배경에는 AI 도구 시장의 이탈 패턴도 있습니다. 많은 AI 서비스에서 초기 도입율과 3개월 후 잔존율의 차이가 큽니다. 사람들이 AI 도구를 그만 쓰는 이유를 들여다보면, 성능이 부족해서가 아닌 경우가 적지 않습니다. 도구가 피곤하게 말을 걸거나, 응답이 지나치게 형식적이거나, 사용자의 맥락을 너무 자주 잃거나. 이런 이유로 이탈이 생깁니다. 성능은 충분했지만, 함께 일하고 싶지 않았던 것입니다.

그렇다면 성능 비교표는 이제 쓸모없는가

그렇지 않습니다. 기준이 하나에서 둘로 늘어난 것입니다.

벤치마크는 여전히 유효합니다. 특히 한 번에 대량의 작업을 처리하는 배치 파이프라인이나, 결과물의 정확도가 직접 비용과 연결되는 영역에서는 성능 점수가 가장 중요한 기준입니다. 견적 계산, 계약서 요약, 코드 오류 탐지처럼 결과물을 일일이 검수하기 어려운 영역에서 모델 간 차이는 실제로 납니다. 이 영역에서는 상호작용 경험보다 정확한 답이 먼저입니다.

그런데 성능이 기본 조건을 충족한 이후에는, 반복 사용율이 실질적인 가치를 결정합니다. 성능이 조금 앞서는 도구를 세 번 쓰고 그만두는 것보다, 비슷한 성능에서 매일 불편 없이 이어갈 수 있는 도구가 더 높은 누적 가치를 만듭니다. 도구를 열지 않으면 성능은 의미가 없습니다.

문제는 한국 실무자 대다수가 두 번째 기준을 측정하는 방법을 갖고 있지 않다는 점입니다. 벤치마크는 표로 비교할 수 있습니다. 그런데 "이 도구를 30일 뒤에도 열고 싶은가"는 실제로 30일을 써봐야 압니다. 이 측정이 어렵기 때문에 사람들은 측정 가능한 것에 의존합니다. 결정 기준이 측정 용이성에 이끌리는 것입니다.

IT 부서나 구매팀이 도구를 일괄 지정하는 환경에서는 이 두 번째 기준이 선택에 반영되기 어렵습니다. 개인이 느끼는 상호작용 경험이 최종 선택 단계까지 올라오지 않습니다. 그러나 1인 사업자, 솔로 PM, 프리랜서 기획자처럼 도구 선택을 스스로 하는 사람에게는 이 기준을 지금 당장 추가할 수 있습니다.

AI 전환이 가속되는 환경에서는 자동화할 수 있는 것들이 점점 기계에 넘어갑니다. 그 흐름 속에서 사람이 하는 일의 상당 부분은 AI 도구와 공동으로 수행하는 방식으로 재편됩니다. 어떤 도구를 선택했느냐보다, 그 도구와 얼마나 밀도 있게 일할 수 있느냐가 산출물의 질을 나눌 가능성이 높습니다. 기계가 처리하는 영역이 넓어질수록, 사람이 기여하는 방식은 그 기계와 얼마나 잘 일하는가 쪽으로 집중됩니다.

코그니션의 베팅이 옳은지는 아직 모릅니다. 상호작용 방식이 성능 못지않게 중요한 구매 기준이 되려면, 도구 선택권이 최종 사용자에게 충분히 위임되어야 합니다. 그 위임이 이루어지지 않는 환경에서는 코그니션이 판단한 시장이 아직 충분히 존재하지 않습니다. 이 인수는 그 위임이 빠르게 진행되고 있다는 가정에 기반합니다.

다음 AI 도구를 평가할 때, 성능 점수를 확인하는 것과 별도로 2주 이상 실제로 써보는 절차가 필요합니다. 2주 뒤에 도구를 다시 열고 싶은가. 그 도구와 대화하는 것이 일을 앞으로 밀어가는 느낌인가, 아니면 처리해야 할 또 다른 과제처럼 느껴지는가. 이 답이 성능 점수 못지않게 실질적인 선택 근거가 됩니다.