테슬라가 비공개 해제한 충돌 보고서에는 두 건의 사고가 담겨 있었습니다. 놀라운 점은 두 사고 모두 자율주행 알고리즘의 오작동이 아니었다는 것입니다. 원격에서 차량을 조종하던 인간 — 텔레오퍼레이터teleoperator​— 가 개입한 바로 그 순간에 충돌이 발생했습니다. "AI가 운전한다"는 문구 뒤에 인간이 있었습니다.

이 사실이 단순한 사고 기록으로 끝나지 않는 이유가 있습니다. 자동화가 가장 앞서 있다는 분야에서도 인간의 역할이 사라진 게 아니라 다른 형태로 재배치됐다는 것, 그리고 그 재배치된 인간이 여전히 사고의 원인이 될 수 있다는 것. 이 두 가지 사실이 AI 도입을 고민하는 실무자에게 전하는 질문은 생각보다 가깝습니다.

비공개 문서가 열렸을 때 드러난 구조

테슬라는 올해 초 텍사스 오스틴에서 로보택시 서비스를 출시했습니다. 완전 자율주행을 표방하며 시작한 서비스였지만, 실제 운영 구조는 달랐습니다. 차량이 스스로 판단하기 어려운 상황 — 낯선 교차로, 돌발 장애물, 특수한 도로 조건 — 에서는 원격의 인간 운전자가 개입합니다. 이것이 텔레오퍼레이터입니다.

최근 공개된 충돌 보고서에는 두 건의 사고가 기록돼 있었습니다. 미국 국가도로교통안전국NHTSA​에 제출된 이 문서를 분석한 TechCrunch 보도에 따르면, 첫 번째 사고는 텔레오퍼레이터가 원격 조작 중 다른 차량과 충돌한 것이었고, 두 번째는 주차 시도 중에 발생했습니다. 두 사고 모두 자율주행 판단 오류가 아닌, 인간이 조종권을 가진 순간에 일어났습니다.

테슬라는 규제 당국에 보고하고 대응 조치를 취한 것으로 전해졌습니다. 서비스가 지속 개선 중이라는 회사 입장은 유지되고 있습니다. 그러나 이 두 건의 충돌이 던지는 질문은 "자율주행은 안전한가"가 아닙니다. "자율주행에서 인간의 책임은 어디에 있는가"입니다.

"완전 자동화"가 숨겨온 인간의 자리

텔레오퍼레이터라는 존재는 자율주행 산업에서 공공연한 비밀에 가깝습니다. 웨이모Waymo​, 크루즈Cruise​ 같은 경쟁사들도 원격 감독 인력을 운용합니다. 자율주행이 모든 상황을 독립적으로 처리하기에 현재 기술 수준이 충분하지 않기 때문에, 인간은 "예외 처리" 담당자로 시스템에 묶여 있습니다.

이 구조에는 고유한 취약성이 있습니다. 자동화 시스템이 정상 작동할 때는 인간이 개입할 일이 없습니다. 그런데 시스템이 판단을 포기하는 바로 그 순간 — 가장 어렵고 예외적인 상황에서 — 인간이 갑작스럽게 조종권을 넘겨받습니다. 반응 시간은 짧고, 맥락 파악은 불완전합니다. 테슬라 사고가 발생한 구조가 바로 이것입니다.

2023년 크루즈 보행자 사고가 비슷한 질문을 남긴 적이 있습니다. 당시 차량이 사고 후 보행자를 일정 거리 끌고 간 것이 논란이 됐는데, 텔레오퍼레이터가 상황을 충분히 파악하지 못한 채 이동 명령을 내린 것이 원인 중 하나로 지목됐습니다. 이번 테슬라 사고와 직접 비교하기는 어렵지만, 공통된 구조적 질문이 남습니다. 판단이 가장 어려운 순간을 인간에게 위임할 때, 그 인간은 충분한 맥락과 준비를 갖추고 있는가.

그래도 자동화가 인간보다 낫다는 반론

텔레오퍼레이터가 사고를 냈다는 사실과, 자율주행 전체의 안전 수준이 낮다는 주장은 별개입니다. 웨이모는 수백만 마일의 운행 데이터를 근거로 자사 로보택시의 충돌 빈도가 인간 운전자 평균보다 낮다고 주장합니다. 자동화의 전반적인 안전 기여가 충분히 크다면, 소수의 예외 상황에서 발생하는 텔레오퍼레이터 관련 사고는 전체 수준을 훼손하지 않는다는 논리는 설득력이 있습니다.

기술이 성숙하는 과정에서 초기 사고는 불가피하다는 시각도 있습니다. 이를 공개하고 제도적으로 보고하는 것 자체가 책임 있는 대응이며, 이런 투명성이 장기적으로 더 안전한 시스템을 만든다는 주장도 납득할 수 있습니다. 불완전한 자동화를 거부했을 때 발생하는 사고가 오히려 더 많다면, 지금의 구조가 차선이 아니라 최선일 수 있다는 결론에 이를 수도 있습니다.

그렇더라도 핵심 질문은 남습니다. 자동화 시스템이 "완전"하다고 말할 때, 우리는 그 안에 내재된 인간의 역할을 어디까지 인식하고 있는가. 그리고 그 인간에게는 어떤 훈련과 권한과 책임이 부여되고 있는가.

당신의 워크플로우에도 텔레오퍼레이터가 있습니다

테슬라 로보택시는 먼 나라 이야기처럼 들릴 수 있습니다. 하지만 자동화의 책임 구조라는 질문은 이미 한국 실무 현장 안에 들어와 있습니다.

AI 도구를 도입한 팀에서 반복되는 패턴이 있습니다. 도구가 잘 작동할 때는 아무도 신경 쓰지 않습니다. 오류가 나거나 판단이 어려운 상황이 되면, 책임이 어딘가로 넘겨져야 합니다. "AI가 했는데요"라는 말은 책임의 종착지가 아닙니다. 그 AI를 선택한 사람, 운용한 사람, 예외 상황을 검토한 사람, 최종 결정을 내린 사람 — 이 모든 자리가 결국 인간의 자리입니다.

당신이 쓰는 AI 도구가 어떤 상황에서 오류를 내거나 낮은 신뢰도를 보이는지 파악하고 있습니까. 그 도구가 판단을 포기하는 지점이 곧 당신의 개입 포인트입니다. 텔레오퍼레이터는 차량이 스스로 결정하지 못할 때 호출됩니다. 당신도 마찬가지입니다. 그런데 그 순간에 당신은 얼마나 준비돼 있습니까.

개입하는 인간이 충분한 맥락을 갖추고 있는지도 살펴볼 필요가 있습니다. 테슬라 사고의 텔레오퍼레이터는 원격에서, 짧은 시간 안에, 낯선 도로 상황을 판단해야 했습니다. 당신 팀의 AI 워크플로우에서 최종 검토자는 어떤 정보를 얼마나 빠르게 처리해야 합니까. 그 인간이 실제로 판단 가능한 수준인지 확인하는 것이 도구를 도입하는 것보다 먼저입니다.

규제 환경도 바뀌고 있습니다. 유럽 AI법EU AI Act​을 비롯해 여러 국가에서 AI 시스템의 책임 주체를 명확히 하는 방향으로 제도가 움직이고 있습니다. 지금 구축하는 자동화 파이프라인의 책임 지점을 미리 정리해두는 것이 나중에 훨씬 유리합니다.

AI가 인간 능력을 확장하는 도구라는 관점은 현재 가장 설득력 있는 프레임입니다. 그러나 확장은 대체가 아닙니다. 자동화가 커질수록, 그 안에서 인간이 맡는 역할의 질도 함께 올라가야 합니다. AI 시대에 인간에게 남는 역량이란, 시스템이 판단을 포기하는 가장 어려운 순간을 받아내는 능력입니다. 그 능력은 저절로 생기지 않습니다. 훈련되고 준비된 상태에서만 발휘됩니다.

테슬라의 두 사고가 남긴 질문은 결국 이것입니다. 당신이 운용하는 자동화 시스템에서, 가장 어려운 순간의 인간 자리는 누가, 어떻게 준비되어 있습니까.