2024년 여름, 미국 태평양 연안 어딘가의 등산로에서 한 산악 동호인이 Gemini에게 4박 5일 트레킹 식량과 수분 계획을 물었습니다. 돌아온 답변은 자신 있어 보였습니다. 열량 계산, 고도별 수분 소실량, 일자별 식량 분배까지. 문제는 그 계산이 틀렸다는 사실이고, 더 큰 문제는 그 오류가 현장에서 발견됐다는 점입니다. 구조대가 출동했고, 사람은 살았습니다. 하지만 이 사건이 세상에 조용히 던진 질문은 아직 답을 받지 못했습니다. "이 실수는 누구의 책임인가."

공교롭게 같은 시기, OpenAI는 자사 모델의 사고 방식이 인간과 근본적으로 다르다는 내용을 공식 채널을 통해 밝혔습니다. 내부 연구자들이 쓴 표현을 빌리면, 모델은 "외계적(alien) 방식"으로 추론한다는 것이었습니다. 두 사건이 같은 날 기사에 나란히 실렸을 때, 많은 독자들은 이 조합이 갖는 무게를 직관적으로 느꼈을 겁니다. 이해할 수 없는 방식으로 추론하는 시스템이 등산 계획, 의료 판단, 사업 전략에 개입하고 있는데, 오작동이 났을 때 고소장을 어디에 내야 하는지 아무도 모른다는 것.

법정이 기술의 공백을 채우려 줄을 선다

2025년 9월 현재, 미국 사법 전선에서 AI 책임을 묻는 소송은 계속 늘고 있습니다. 시애틀타임스와 뉴스데이가 OpenAI를 상대로 저작권 침해 소송 대열에 합류했습니다. 미국 정부가 공개적으로 OpenAI 입장을 지지하는 발언을 내놨음에도 법원 앞에 쌓이는 소장 더미는 줄지 않았습니다. 저작권 소송만이 아닙니다. AI 생성 콘텐츠로 인한 명예훼손, 의료·법률 조언 오류, 그리고 이번 조난 사건처럼 잘못된 정보로 인한 신체적 피해까지, 소송의 범주는 넓어지고 있습니다.

흥미로운 점은 법원이 이 사건들을 처리하는 데 기존 법체계로 얼마나 버티기 어려운지가 속속 드러나고 있다는 것입니다. 미국 제품 책임법은 제조물의 결함을 전제로 합니다. 그런데 AI 모델은 제조물인가, 서비스인가. 모델 자체인가, 모델을 배포한 플랫폼인가, 아니면 그 플랫폼을 업무에 도입한 기업인가. Gemini 조난 사건에서 피해자가 책임을 물으려 한다면, Google을 상대로 어떤 법적 근거를 써야 하는지 변호사들 사이에서도 견해가 엇갈립니다.

유럽은 AI법(EU AI Act)을 통해 이 문제를 선제적으로 다루려 했습니다. 고위험 AI 시스템에 대한 의무, 투명성 요건, 책임 소재 명시. 그러나 법이 통과된 뒤에도 세부 적용 지침은 아직 만들어지는 중이고, 기술의 속도는 입법 속도보다 빠릅니다. 미국은 그보다 더 뒤처져 있습니다. 행정부는 AI 개발을 억제하지 않겠다는 방향을 공식화했고, 연방 차원의 AI 책임 입법은 아직 구체적인 형태를 갖추지 못했습니다.

'외계적 사고'가 현장 판단을 대체할 때 생기는 구멍

OpenAI의 '외계인 선언'을 단순한 기술적 사실 공개로만 볼 수 없는 이유가 있습니다. 이 발언이 나온 맥락은 모델의 내부 추론 과정이 인간의 감사(audit)와 해석을 근본적으로 어렵게 만든다는 인정에 가깝습니다. 모델이 어떤 경로로 특정 답에 도달했는지, 왜 식량 계산에서 특정 오류를 냈는지, 그 과정을 사후에 추적하고 설명하는 일이 기술적으로 불완전하다는 것입니다.

이것이 법적 책임 문제와 맞물리면 상황은 복잡해집니다. 불법행위법에서 과실을 입증하려면 통상 행위자가 합리적 주의를 기울였는지 물어야 합니다. 그런데 어떤 주의가 '합리적'인지 판단하려면, 해당 시스템이 어떻게 작동하는지 이해해야 합니다. 시스템 스스로도 설명하기 어려운 추론 과정을 법원이 평가해야 한다는 뜻입니다. 현재 법원에는 이를 판단할 기술 전문가 체계도, 표준 감정(鑑定) 절차도 없습니다.

커뮤니티 반응도 무겁습니다. 같은 시기 해커뉴스와 레딧 등에서 'Cloud in a Bottle'이라는 프로젝트가 24시간 만에 585포인트를 얻으며 급부상했습니다. 중앙집중형 AI 서비스 — 즉 Google, OpenAI, Anthropic 같은 대형 플랫폼이 제공하는 API 의존 구조 — 에 대한 대안으로 로컬 또는 분산형 AI 인프라를 구축하자는 논의가 조용히 수면 위로 올라오고 있습니다. 이 움직임이 단순한 기술 선호가 아니라 책임 소재에 대한 불신에서 출발한다는 점에서, 이전의 오픈소스 운동과 결이 다릅니다.

1인 사업자·솔로 실무자에게 이 구도가 남기는 것

AI 책임론 논쟁이 대기업 소송전으로만 보이기 쉽습니다. 하지만 AI를 업무에 쓰는 1인 사업자나 솔로 PM이라면 이 상황이 자신의 책임 구조에도 직접 닿아 있다는 걸 느낄 필요가 있습니다.

클라이언트에게 제안한 시장 분석을 AI가 생성했고, 그 분석의 일부가 잘못됐다면 누가 책임지는가. 고객사 온보딩 자료를 AI로 자동 생성해 배포했는데 오류가 섞였다면 어떤가. 현재 법체계에서 이 질문에 대한 답은 대부분 "서비스를 사용한 사람"으로 귀결됩니다. AI 플랫폼 이용약관을 보면, 출력물의 정확성을 보장하지 않으며 이로 인한 피해에 책임지지 않는다는 조항이 표준처럼 들어가 있습니다.

이 상황에서 실무적으로 점검할 수 있는 것들이 있습니다.

출력물을 '검수 단계'로 취급하는 습관. AI가 생성한 수치, 권고안, 일정 계산은 최종 결과물이 아니라 초안으로 다뤄야 합니다. 이것이 워크플로에 명시적으로 반영돼 있지 않다면, 클라이언트에게 AI가 검수 없이 최종 판단을 내렸다는 인상을 줄 수 있습니다.

어떤 판단에 AI를 쓰고 어떤 판단에는 쓰지 않는지 기준 만들기. 모든 업무를 AI에 위임하는 것과 특정 단계에서 AI를 보조 도구로 쓰는 것은 책임 귀속 구조를 달리 만듭니다. 클라이언트에게 "이 파트는 AI가 초안을 잡고 내가 검수·수정했습니다"와 "AI가 했습니다"는 다른 문장입니다.

AI 서비스 의존도를 하나의 플랫폼에 집중하지 않기. Cloud in a Bottle 같은 분산형 인프라 수요가 커지는 배경에는 특정 서비스가 정책을 바꾸거나 접속이 끊겼을 때의 리스크가 있습니다. 1인 사업자 입장에서 이것은 사업 연속성 문제이기도 합니다. OpenAI, Google, Anthropic 중 어느 하나의 API에만 의존하는 워크플로는 해당 서비스의 정책 변경이나 장애에 그대로 노출됩니다.

계약서에서 AI 사용 여부를 어떻게 명시하고 있는지 확인. 이 항목을 아예 언급하지 않은 계약이 많습니다. AI 생성물의 오류로 클라이언트가 손해를 봤을 때, 계약서에 AI 사용 사실이 명시돼 있지 않으면 분쟁의 여지가 커집니다.

역량이 기술·지식·태도 세 축으로 구성된다고 볼 때, AI가 기술과 지식의 상당 부분을 대신 처리하는 시대에 실무자에게 남는 것은 판단의 구조를 만들고 그 구조에 책임지는 태도입니다. 조난 사고를 낸 것은 Gemini였지만, 그 결과를 감당해야 하는 사람은 등산객이었습니다. 이 사실이 지금 AI를 업무에 쓰는 사람 모두에게 유효한 경고로 읽힙니다.

기술이 외계적 방식으로 추론하기 시작할 때, 그 추론의 결과물을 사용하는 사람에게 필요한 것은 신뢰가 아니라 검수 체계와 책임의 경계선입니다. 법원이 소장을 받아 처리하는 속도보다 AI가 판단에 개입하는 속도가 빠른 지금, 개인 실무자가 스스로 그 경계를 먼저 그어야 하는 상황이 됐습니다. 누군가 나서서 규칙을 만들어 줄 때까지 기다리는 시간만큼, 책임은 사용자 쪽으로 조용히 이동하고 있습니다.