번역 에이전트를 납품하고 계약 갱신을 논의하러 간 자리에서 종료 통보를 받은 사례가 있습니다. 오역이 많았다면 이해가 됩니다. 실제 이유는 달랐습니다. 검수 이력에 사람이 읽었다는 흔적이 없었습니다. 발주처 담당자는 계약서를 꺼내기 전에 이것 하나를 확인했습니다. 이 텍스트를 누군가 직접 읽었습니까.
품질 지표가 기준을 통과해도 계약이 유지되지 않는 상황이 생기고 있습니다. AI 산출물이 특정 수준을 넘은 시점부터, 발주처가 묻는 질문이 달라진 결과입니다. 결과물이 충분히 정확한가에서 이것을 책임지는 사람이 있는가로.
그렇다고 모든 산출물에 사람의 확인을 끼워 넣으면 자동화 이득이 사라집니다. 어디에 검수를 두어야 하는지 기준 없이 정하면 검수 자체가 통과 의례가 됩니다. 어떤 작업 단계에 사람을 두는지 결정하는 것 — 이것이 AI 업무 자동화 설계에서 먼저 결정해야 할 사항입니다.
실수가 언제 드러나는가
사람이 확인해야 할 자리를 정하려면, 오류가 어느 시점에 보이는지부터 따져야 합니다. 오류가 즉시 가시화되는 작업과 한참 뒤에야 드러나는 작업은 실패 비용의 성격이 다릅니다.
즉시 보이는 오류가 있습니다. 수식 계산이 잘못되면 결과값이 맞지 않습니다. 코드에 오타가 있으면 실행이 중단됩니다. 데이터를 집계했는데 합산이 틀리면 그 자리에서 수치가 맞지 않습니다. AI 산출물에 이 유형의 오류가 있으면 그 자리에서 드러납니다. 검수 단계를 따로 두지 않아도 됩니다.
나중에야 보이는 오류가 따로 있습니다. 거래처에 보낸 제안서의 어조가 상대 문화권에서 무례하게 읽힌다는 사실은 협상 분위기가 어색해지고 나서야 드러납니다. 요약된 계약 조항이 핵심 예외 조건을 누락했다는 것은 분쟁이 시작된 다음에 확인됩니다. 분기마다 수십만 건의 거래를 처리하는 에이전트가 특정 유형의 거래를 잘못 분류하고 있다는 것은 외부 감사에서 발견됩니다. 규정 해석이 잘못 적용된 보고서는 감독 기관 검토가 끝난 뒤에야 문제가 됩니다.
이 두 번째 범주에서 오류가 늦게 보이는 이유가 있습니다. AI 산출물은 표면이 매끄럽습니다. 문법이 맞고 형식이 갖춰져 있어서, 검토자가 내용의 정합성보다 형식을 기준으로 보면 오류가 통과됩니다. 사람이 작성한 텍스트는 어색한 표현 자체가 오류의 신호가 되는 경우가 있습니다. AI가 작성한 텍스트는 어조가 자연스러워도 맥락 판단이 빠져 있을 수 있습니다. 이 차이가 오류 감지를 늦춥니다.
수습 비용이 검수 위치를 정합니다
오류가 나중에야 보이는 작업이라도, 발견했을 때 되돌릴 수 있다면 검수 방식이 달라집니다.
내부 회의 자료를 AI가 요약했고 오류가 있다면 다시 요약합니다. 초안 단계에 있는 보고서에 수치가 잘못됐다면 검토 과정에서 수정합니다. 이 경우 사전 검수를 생략해도 됩니다. 재처리 비용이 사람이 미리 확인하는 비용보다 낮다면, 검수 없이 운영하는 편이 경제적입니다.
수습 비용이 비대칭적으로 커지는 지점이 따로 있습니다. 외부로 이미 나간 정보는 성격이 다릅니다. 서명이 완료된 계약서, 규제 기관에 제출된 보고서, 거래처에 납품된 사양서, 발송이 완료된 공식 공문, 고객 데이터베이스에 이미 기록된 정보는 수정 비용이 처음 검수 비용과 같은 선에서 논의되지 않습니다. 제출된 문서에 규정 위반 내용이 있었다면, 이를 수정하는 절차에 드는 시간과 비용은 처음부터 사람이 한 번 읽는 것과 비교가 되지 않습니다.
화학 공장이나 항공 운항 시스템에서 자동화를 도입할 때, 현장 설계는 자동화 범위보다 게이트를 먼저 정합니다. 어느 단계에서 사람이 반드시 확인하고 서명해야 하는지를 먼저 설계합니다. 그 기준은 기술 신뢰도보다 오류 발생 시 피해의 되돌림 가능성에 있습니다. AI 업무 자동화에서도 이 설계 순서가 같습니다.
책임의 소재가 거래 조건인 영역
품질 기준을 통과한 산출물에도 사람의 확인이 필요한 경우가 하나 더 있습니다. 거래 상대가 결과물의 수준보다 그것을 누가 검토했는지를 신뢰의 조건으로 삼는 상황입니다.
일본 기업과 B2B 계약을 협상할 때, 제출 문서의 품질보다 검수 이력을 먼저 확인하는 경우가 있다고 알려져 있습니다. 문서의 정밀도보다 담당자가 직접 검토했다는 사실이 거래를 진행하는 전제 조건이 됩니다. AI 산출물이 아무리 정밀해도 이 조건을 채울 수 없습니다. 신뢰의 기반이 결과물의 품질보다 결정에 책임을 지는 사람의 존재에 있기 때문입니다.
이 성격이 일본 기업만의 특성은 아닙니다. 국내에서도 의료 기관이 외부 용역 분석 보고서를 채택할 때, 법무법인이 계약 검토 의견서를 수령할 때, 금융 감독 기관이 심사 자료를 검토할 때 비슷한 기준이 작동합니다. 이 영역에서는 AI가 산출하고 사람이 확인하지 않은 자료가 사람이 검수한 자료와 다르게 취급됩니다.
책임의 귀속이 거래 성립의 전제인 영역에서, 검수 단계는 계약 조건의 일부입니다. 여기에 AI 산출물만 납품하면, 결과물의 정밀도와 무관하게 거래가 성립하지 않을 수 있습니다.
어떤 납품처, 어떤 업무 영역에서 이 조건이 적용되는지를 파악하는 것이 AI 위임 설계의 출발점이 됩니다. 이 영역에서 자동화 범위를 확대하는 결정은 기술 결정이 아니라 거래 조건을 바꾸는 결정입니다.
세 기준의 순서가 검수 위치를 정합니다. 오류가 나중에야 드러나는 작업인가. 발생했을 때 수습이 어려운가. 거래 상대가 결과보다 책임 소재를 신뢰의 기준으로 삼는가. 이 중 하나라도 해당되면 그 단계에 사람을 둡니다.
이 지도를 먼저 그리면, AI 도입 이후에 따라오는 수습 비용이 계획 밖의 일이 되지 않습니다.
