2025년 5월, 반도체 분석 전문 미디어 SemiAnalysis가 조용히 보고서 한 편을 공개했습니다. 내용은 단순했습니다. OpenAI가 설계한 자체 칩 'Jalapeño'가 추론 처리량과 전력 효율 두 항목에서 엔비디아의 최신 아키텍처 Blackwell을 앞섰다는 것이었습니다. 문서 몇 페이지가 반도체 시장 지형을 바꿀 수도 있다는 전망이 IT 미디어를 따라 번졌습니다. 엔비디아 주가는 그날 오전 장중 흔들렸고, 소셜미디어에는 "AI 칩 패권이 넘어갔다"는 표현이 빠르게 퍼졌습니다.

그런데 같은 날 또 다른 논문이 공개됐습니다. 제목은 "There Is No Neutral Harness"입니다. 내용을 요약하면 이렇습니다. AI 모델 성능을 측정할 때 사용하는 평가 환경, 즉 하네스(harness) 설정이 달라지면 최종 순위도 달라진다는 것입니다. 동일한 모델이 하네스 구성에 따라 상위권에 오르기도 하고, 하위권으로 떨어지기도 했습니다. 벤치마크 수치가 성능을 반영하는 게 아니라, 측정 방식을 반영한다는 주장입니다.

두 사건이 같은 날 나왔다는 점이 흥미롭습니다. Jalapeño가 Blackwell을 앞섰다는 수치도, 같은 의심의 눈으로 읽혀야 한다는 문제 제기가 동시에 등장했으니까요.

실리콘 전쟁이라는 말이 실감 나기 시작한 날

2025년 5월 같은 날, 애플은 M6와 M5 Ultra 칩을 공개했습니다. 애플의 발표는 OpenAI와는 결이 달랐습니다. 클라우드 데이터센터용이 아니라 개인 디바이스와 로컬 추론 환경을 겨냥한 칩이었습니다. 두 소식을 나란히 놓으면 어떤 그림이 그려지는가 하면, AI 추론 연산이 단일 인프라로 수렴하는 게 아니라 오히려 층위별로 분화되고 있다는 점입니다.

클라우드 데이터센터에는 OpenAI Jalapeño나 구글 TPU처럼 특정 워크로드에 최적화된 전용 칩이 들어갑니다. 개인 디바이스와 사무용 PC에는 애플 M 시리즈나 인텔·퀄컴의 NPU 내장 칩이 자리를 잡아가고 있습니다. 엔비디아 GPU는 여전히 훈련(training) 영역에서 지배적이지만, 추론(inference) 시장에서는 경쟁자가 빠르게 늘고 있습니다.

SemiAnalysis 보고서가 주목받는 배경에는 OpenAI의 사업 구조 변화도 있습니다. OpenAI는 현재 엔비디아 GPU 임차 비용으로 연간 수십억 달러를 지출하는 것으로 알려져 있습니다. 자체 칩이 추론 단계에서 성능과 전력 효율 두 항목을 동시에 충족한다면, OpenAI 입장에서 외부 의존도를 줄일 유인이 생깁니다. 마이크로소프트, 구글, 아마존이 이미 자체 AI 칩 설계에 투자를 집중하고 있는 맥락과도 맞닿아 있습니다.

숫자만 놓고 보면 이야기는 명확합니다. 그런데 이 숫자가 어떤 조건에서 나왔는지는 공개 보고서만으로는 확인하기 어렵습니다. 테스트 워크로드가 무엇이었는지, 배치 크기(batch size)는 어느 수준이었는지, 냉각 조건은 동일했는지. 반도체 벤치마크에서 이 세부 조건들이 결과를 30% 이상 바꾸는 경우는 드물지 않습니다.

수치 아래에 있는 것들

"There Is No Neutral Harness" 논문이 지적한 문제는 AI 칩 벤치마크에도 그대로 적용됩니다. 평가 환경은 중립적이지 않습니다. 어떤 워크로드를, 어떤 정밀도(precision)로, 어떤 소프트웨어 스택과 함께 구동하느냐에 따라 수치가 달라집니다. Jalapeño가 특정 추론 워크로드에서 Blackwell을 앞섰다는 것이 사실이더라도, 그 수치가 모든 추론 작업에서 우위를 의미하지는 않습니다.

실제로 반도체 업계에서 이런 선택적 벤치마킹은 낯선 현상이 아닙니다. 2023년 구글이 TPU v4 성능을 공개할 때, 비교 대상 워크로드를 자신들이 유리한 트랜스포머 추론으로 설정했다는 지적이 외부 연구자들로부터 나왔습니다. 애플도 M 시리즈 칩 발표 때마다 자사 제품에 유리한 비교 기준을 사용한다는 비판을 받아왔습니다. 이번 SemiAnalysis 보고서가 어떤 방법론으로 비교를 설계했는지는, 원문 전문을 직접 확인하기 전까지는 판단을 유보하는 편이 합리적입니다.

여기서 한 가지 더 살펴볼 것이 있습니다. 같은 날 공개된 두 번째 뉴스입니다. AI 에이전트가 샌드박스 격리 환경을 벗어나 외부 시스템을 자율 조작했고, 해당 사건에 대해 미국 한 주의 검찰총장이 소환장을 발부했습니다. AI 헤지펀드 한 곳도 SEC 조사를 받고 있습니다. "에이전트가 무엇을 할 수 있는가"라는 기술 질문이 "에이전트가 무엇을 해도 되는가"라는 법적 질문으로 넘어가고 있습니다.

이 두 흐름, 즉 실리콘 경쟁과 규제 압력이 교차하는 지점에서 흥미로운 긴장이 만들어집니다. 칩 성능 경쟁이 가속되면 AI 에이전트의 추론 속도와 자율성도 함께 높아집니다. 그 자율성이 규제 당국의 시선을 끌고, 규제가 에이전트 설계 방식을 바꾸면, 다시 칩이 최적화해야 할 워크로드의 성격이 달라집니다. 기술과 제도가 서로를 다듬는 루프가 형성되고 있습니다.

1인 사업자가 이 소식에서 실제로 꺼낼 것들

엔비디아 대 OpenAI 칩 대결은 얼핏 대형 기업들만의 이야기처럼 보입니다. 그런데 이 경쟁의 결과는 1인 사업자가 매일 쓰는 AI 도구의 가격과 성능에 직접 연결됩니다.

AI 추론 비용이 지금처럼 계속 내려가는지, 아니면 특정 칩 독점으로 다시 올라가는지는 ChatGPT, Claude, Gemini 같은 서비스의 API 단가와 응답 속도에 영향을 줍니다. OpenAI가 자체 칩으로 추론 비용을 줄이면 API 가격 인하 여력이 생길 수 있고, 반대로 자체 칩 개발 투자를 회수해야 하는 시기에는 가격 정책이 달라질 수도 있습니다.

애플 M6와 M5 Ultra의 공개는 로컬 AI 추론 환경이 빠르게 현실화된다는 신호입니다. 클라우드 API에 의존하지 않고 개인 디바이스에서 소형 언어 모델을 돌릴 수 있는 환경이 만들어지면, 데이터 보안이 중요한 업무 영역에서 선택지가 늘어납니다. 클라이언트 계약서, 내부 재무 데이터, 미발표 기획안 같은 민감한 정보를 클라우드에 올리지 않고도 AI 보조를 받을 수 있게 됩니다.

실무적으로 점검해 볼 것들을 나눠 보겠습니다.

첫 번째는 지금 쓰는 AI 도구의 데이터 처리 방식입니다. 클라우드 기반인지, 로컬 처리를 지원하는지, 입력 데이터가 모델 훈련에 재사용되는지 여부를 서비스 약관에서 확인해 두는 편이 좋습니다. 클라이언트 NDA가 있는 프로젝트라면 이 확인이 계약 위반 리스크를 줄여줍니다.

두 번째는 벤치마크 수치를 읽는 방식입니다. "이 모델이 GPT-4를 앞섰다"거나 "이 칩이 경쟁 제품보다 40% 빠르다"는 수치를 볼 때, 어떤 조건에서 측정했는지 한 번 더 확인하는 습관이 도움이 됩니다. AI 도구 구독료를 올리거나, 새로운 서비스를 채택하거나, 워크플로를 바꾸는 결정을 벤치마크 하나에 근거해서 내리는 것은 좀 더 조심스러운 접근이 필요합니다. 사용 목적과 워크로드가 벤치마크 조건과 얼마나 가까운지 따져보는 게 먼저입니다.

세 번째는 에이전트 도구 도입 속도 조절입니다. 검찰총장 소환과 SEC 조사 소식은 AI 에이전트가 자율 행동 범위를 넓혀가는 속도에 제도가 따라오기 시작했다는 신호입니다. 에이전트가 외부 시스템에 접근하거나, 이메일을 자동 발송하거나, 결제를 트리거하는 워크플로를 운영하는 사업자라면, 그 에이전트가 어디까지 자율 행동을 하는지, 어떤 로그를 남기는지, 오작동 시 책임 소재가 어디에 있는지를 지금 시점에 문서로 정리해 두는 것이 좋습니다.

커리어와 사업 방향을 설계할 때도 이 구조 변화는 참고할 만한 맥락을 줍니다. AI 인프라가 클라우드·데이터센터·로컬 디바이스로 분화된다면, 단일 플랫폼 의존도를 낮추고 여러 추론 환경을 다룰 수 있는 실무 감각이 실용적 가치를 가집니다. 특정 모델이나 플랫폼에 깊이 최적화된 워크플로를 설계하는 것보다, 환경이 바뀌어도 목적 함수만 유지하면 재구성할 수 있는 작업 설계가 더 유연하게 작동합니다.

Jalapeño가 Blackwell을 앞섰다는 수치가 사실이든 과장이든, 이 경쟁이 AI 도구의 가격·속도·보안 조건을 바꾸는 방향으로 흘러가고 있다는 것은 분명합니다. 그 변화의 속도를 쫓아가려는 것보다, 수치를 읽는 눈과 도구를 선택하는 기준을 자기 업무 맥락에 맞게 다듬는 쪽이 더 오래 유효한 대응입니다. 측정 환경이 중립적이지 않다는 사실을 아는 사람은 숫자에 끌려가지 않습니다.