세계 최대 기업 500곳을 이끄는 경영자들 전원이 "AI를 거버넌스하고 있다"고 답했습니다. 그런데 그 자리에서 두 번째 질문이 이어졌습니다. "AI가 피해를 일으키고 있다면, 그 모델을 멈출 책임자는 누구입니까?" 이번엔 대부분이 답하지 못했습니다. 어도비에서 데이터·AI 거버넌스 디렉터로 일하는 조셉 월러스(Joseph Wallace)가 MIT 슬론 매니지먼트 리뷰에 기고한 글은 이 침묵 하나에서 출발합니다. 거버넌스를 하고 있다는 말과, 실제로 멈출 수 있다는 말 사이에 있는 간격이 그가 주목한 지점입니다. 그 간격이 어떤 기업에서도, 어떤 규모에서도 생긴다는 점이 이 글이 한국 실무자들에게도 이어지는 이유입니다.

거버넌스 선언은 쌓이고, 셧다운 권한은 비어 있습니다

AI 거버넌스라는 표현이 기업 공시자료와 보도자료에서 낯설지 않게 된 것은 꽤 되었습니다. 그 자리를 채우는 것은 AI 활용 가이드라인, 윤리 원칙 문서, 내부 검토 절차입니다. 일부 대형 기업은 이를 위해 별도 위원회를 꾸렸습니다. 겉에서 보면 체계가 작동하는 것처럼 보입니다.

그러나 월러스가 짚는 것은 그 체계 안에 반드시 생기는 빈자리입니다. AI 정책을 기안하는 사람은 있습니다. 윤리 기준을 정의하는 사람도 있습니다. 사용 지침을 배포하는 사람도 있습니다. 그런데 AI가 실제로 오작동하거나 피해를 낳았을 때, 그 시스템을 내리거나 운영을 제한하는 결정을 누가 내릴 수 있는지는 대부분의 조직에서 미리 정해져 있지 않습니다.

"이 AI가 피해를 끼치고 있다면 누가 멈출 책임이 있는가?" 이 질문에 당장 이름을 댈 수 없다면, 다른 거버넌스 문서가 얼마나 두꺼운지와 무관하게 실행 구조는 아직 미완성입니다.

한국 상황도 다르지 않습니다. AI 활용 가이드라인을 마련한 팀이 늘고 있고, 도입 사례를 공유하는 세미나도 잦아졌습니다. 그런데 AI 고객 응답 도구가 사실과 다른 내용을 자신 있게 답하거나, 마케팅 자동화 도구가 의도치 않은 어조의 메시지를 발송했을 때, 그 상황을 즉시 멈추기로 결정할 수 있는 사람이 누구인지를 사전에 정해 둔 팀은 아직 많지 않습니다. 가이드라인 수립 속도에 비해, 셧다운 구조를 사전에 설계한 팀은 아직 소수입니다.

멈출 수 있어야 통제하는 것입니다

AI 도구를 처음 도입할 때 대부분의 실무자는 어떻게 더 잘 활용할지에 집중합니다. 프롬프트를 정교하게 다듬고, 연결할 수 있는 업무를 늘리고, 자동화 범위를 넓히는 방향입니다. 이것이 자연스러운 순서입니다. 그러나 월러스가 주목하는 것은 그 반대 방향입니다. 도구를 통제한다는 증거는 잘 쓰는 능력이 아니라 멈출 수 있는 능력에서 드러납니다.

멈추기로 결정하는 권한이 누군가에게 명확히 부여되어 있어야 실제로 운영 중이라고 말할 수 있습니다.

"멈추기로 결정한다"는 것은 사실 여러 단계가 맞물려야 합니다. 이 도구에서 나오는 문제 신호를 누가 어떻게 감지하는가. 그 신호를 받았을 때 실행 권한은 누구에게 있는가. 그리고 멈춘 이후 재개 조건을 어떤 기준으로 누가 판단하는가. 대기업에서는 이 역할들이 각기 다른 팀에 분산되어 있어 조율이 복잡해집니다. 소규모 조직이나 1인 사업자 환경에서는 한 사람이 모두 담당하지만, 그것이 자신의 명시적 책임이라고 인식하는 경우는 드뭅니다.

경영학에서는 어떤 결정에 대해 실행자와 최종 책임자, 의견을 구할 사람, 결과를 통보받을 사람을 명확히 분리하는 것이 조직 리스크 관리의 출발점이라고 봅니다. AI 셧다운이라는 결정에 이 시각을 대입해 보면, 대부분의 조직에서 최종 책임자 자리가 공란으로 남아 있음을 확인하게 됩니다. 그 공란이 이미 오래된 것인지, 아직 인식하지 못한 것인지는 조직마다 다르겠지만, 공란이라는 사실은 공통적입니다.

셧다운 책임자를 정한다고 문제가 사라지지는 않습니다

여기서 비판적 시각을 정직하게 들여다볼 필요가 있습니다. 셧다운 책임자를 한 명 지정하는 것이 AI 리스크를 충분히 관리하는 방법이 되지는 않습니다.

책임자가 명확히 지정되면, 오히려 나머지 사람들이 스스로의 관찰과 판단을 멈추는 경향이 생깁니다. "저 사람 일이다"라는 심리가 작동하는 것입니다. 사회심리학에서는 책임이 특정 개인에게 집중될수록 주변의 행동 의지가 약해지는 현상을 '책임 분산'이라고 설명합니다. 이 현상은 책임자를 두어도 발생하고, 그 한 명이 자리를 비우거나 소진되면 감지와 판단 모두 공백이 됩니다.

더 깊은 문제도 있습니다. 어떤 AI 피해는 "지금 멈춰야 한다"는 분명한 신호를 보내지 않습니다. 고객 응대에서 미묘하게 편향된 어조가 누적되거나, 내부 의사결정에 특정 방향의 데이터가 과도하게 반영되거나, 콘텐츠 추천 범위가 조금씩 좁아지는 경우는 명백한 사고가 아닙니다. 책임자가 있어도 그 사람이 판단할 근거가 되는 모니터링 체계가 없으면 실질적인 방어선은 만들어지지 않습니다. 셧다운 책임자를 지정하는 것은 거버넌스의 시작점이지 완결점이 아닙니다.

월러스도 이 한계를 부정하지 않습니다. 그가 제시하는 질문은 모든 리스크를 처리하는 공식이 아닙니다. 거버넌스가 선언으로만 머무는지, 실행할 수 있는 구조로 전환되었는지를 가늠하는 최소 기준점으로 이 질문을 씁니다.

지금 실무자가 직접 확인할 수 있는 것

포춘 500 기업의 이야기가 규모가 다른 영역처럼 들릴 수 있습니다. 그러나 AI 도구가 업무 안에 하나라도 들어와 있다면 같은 질문이 적용됩니다.

먼저 지금 사용 중인 AI 도구를 목록으로 정리해 봅니다. 슬랙 봇, 이메일 자동 분류, 콘텐츠 초안 생성, 고객 응대 자동화, 회의 요약 도구—이름을 붙여 나열하는 것만으로 인식이 달라집니다. 대부분의 소규모 팀은 이 목록을 한 번도 만들어 본 적이 없습니다. 막상 정리하면 예상보다 많은 도구가 이미 들어와 있습니다.

그 다음으로, 각 도구에 대해 "이 도구가 잘못된 결과를 냈을 때 나는 어떻게 알 수 있는가"를 하나씩 적어 봅니다. 모니터링이 없으면 문제를 인지하는 시점이 이미 피해가 퍼진 후일 수 있습니다. 도구마다 이상 신호를 가늠할 기준을 하나씩만 정해 두어도 대응 속도가 달라집니다.

마지막으로, "지금 당장 이 도구를 멈추기로 결정한다면 나는 얼마나 빠르게 실행할 수 있는가"를 점검합니다. API 키를 즉시 무효화할 수 있는지, 구독을 중단하는 데 며칠이 걸리는지, 조직 내 추가 승인 절차가 있는지를 미리 확인해 두면 실제 상황에서 결정 속도가 달라집니다. 이것은 위기 대응 매뉴얼이 아니라 도구 운영의 기본 위생입니다.

한국에서 AI 도입을 주도하는 중간관리자라면 추가로 살펴볼 것이 있습니다. 문제를 가장 먼저 감지하는 사람은 현장에서 도구를 직접 쓰는 실무자이지만, 셧다운을 결정할 권한은 대개 윗선에 있습니다. 실무자가 이상 신호를 인지했을 때 그것을 경영진에게 전달하는 경로가 미리 만들어져 있지 않으면, 인지에서 결정까지 시간이 길어집니다. 그 경로를 미리 설계하는 것이 중간관리자가 지금 할 수 있는 실질적인 기여입니다.

문서로 AI를 통제한다는 느낌과, 실제로 멈출 수 있는 구조를 갖추는 것은 다른 이야기입니다. 셧다운 책임자를 지명하는 일은 화려하지 않습니다. 위원회를 꾸리는 것도 아니고, 원칙을 새로 발표하는 것도 아닙니다. 그냥 이름 하나를 빈자리에 채워 넣는 일입니다. 저는 그 한 줄이 채워지지 않은 거버넌스는, 문서가 아무리 두꺼워도 아직 운영이 아니라고 생각합니다.