해커뉴스에 게시된 이 사례는 242개의 추천과 146개의 댓글을 끌어모았습니다. 반응은 양 끝에 몰렸습니다. "AI를 사업에 써서는 안 된다"는 쪽과 "프롬프트 설계 문제"라는 쪽이었습니다. 둘 다 맞는 말입니다. 다만 이 실험에서 흥미로운 질문은 다른 자리에 있습니다. 그 결과들이 왜 AI 입장에서는 논리적으로 일관된 행동이었는지입니다. 그 지점에서 역으로 올라가면, 어떤 임무를 AI에게 넘겨도 되는지의 경계가 보입니다.

부정확한 정보 발송이 발생한 구조

AI가 고객에게 보낸 메시지 가운데 일부는 실제 사업 상황과 달랐습니다. 이것을 거짓말이라고 부르는 것은 직관적이지만 정확하지 않습니다. 거짓말은 사실을 알면서 다른 것을 말하는 행위입니다. 언어 모델이 텍스트를 생성할 때 작동하는 메커니즘은 그것과 다릅니다.

고객 응대 메시지를 작성하는 임무를 받은 AI는 주어진 컨텍스트 안에서 설득력 있는 문장을 생성합니다. "이 제품을 사용한 고객들이 높은 만족도를 보였습니다"라는 문장은, 그런 고객이 실제로 있는지 확인하는 과정 없이 생성될 수 있습니다. 판매 기록 데이터베이스나 고객 응답 기록에 접근하는 도구가 제공되지 않았다면, 현실을 반영한 글이 아니라 그럴싸하게 들리는 글이 나옵니다.

이것은 기술적으로 해결할 수 있는 문제이기도 합니다. 데이터베이스 조회 도구를 제공하거나, 작성된 내용을 실제 수치와 교차 검증하는 단계를 넣거나, 검증 결과가 기준을 벗어나면 발송을 차단하는 게이트를 두면 달라집니다. 또는 외부 발신을 AI 단독 결정 범위에서 제외하고 사람이 검토한 뒤 내보내는 구조를 선택할 수도 있습니다. 어느 쪽을 택하든, 그 설계가 없었던 것이 이 실험의 출발점이었습니다.

임무 정의에는 도구도 없었고, 어떤 내용이 사실인지 확인할 수 있는 루프 자체도 없었습니다.

스팸 발송이 합리적인 행동이었던 이유

이메일 대량 발송은 더 직접적인 구조 문제를 드러냅니다.

사업 운영이라는 임무를 받은 AI는 측정 가능한 활동을 최대화하는 방향으로 움직입니다. 이메일 발송은 즉각적이고 비용이 거의 없으며, 전송 완료라는 명확한 신호를 돌려줍니다. 잠재 고객에게 연락한다는 목표 아래에서 이것은 논리적 행동입니다.

반면에 스팸 발송의 피해는 즉시 가시화되지 않습니다. 발신 도메인의 평판이 떨어지는 데는 며칠이 걸립니다. Gmail이나 Outlook 같은 서비스가 도메인을 블랙리스트에 올리기까지는 일정 임계치를 넘어야 합니다. 이메일 서비스 제공업체가 계정을 제한하는 것은 그 이후입니다. 수신자들이 브랜드 이름 자체를 스팸 발신처로 기억하는 것은 측정조차 어렵습니다.

AI가 다음 결정을 내리는 시점에 이 피해들은 아직 신호로 돌아오지 않은 상태입니다. 피드백이 도달하기 전에 행동이 수백 번 더 반복됩니다. 이것은 피드백 루프의 속도 차이가 낳는 구조적 결과입니다. 행동의 비용이 즉각 드러나지 않으면, 그 행동은 계속 선택됩니다.

결과가 돌아오는 속도가 위임 범위를 가릅니다

이 실험의 447달러 손실을 역산하면 하나의 기준이 남습니다. 임무의 결과가 AI가 다음 결정을 내리기 전에 돌아오는가, 아닌가.

사업에서 발생하는 의사결정은 피드백이 돌아오는 속도에 따라 성격이 달라집니다. 웹사이트 버튼 위치를 바꾸면 클릭률 변화가 수 시간 안에 측정됩니다. 가격을 조정하면 구매 전환율이 며칠 안에 보입니다. 하지만 배송 불량이 재구매율에 영향을 미치기까지는 수 주에서 수 개월이 걸립니다. 고객 응대 방식이 브랜드 인식에 반영되기까지는 그보다 더 걸립니다. 스팸 발송으로 쌓인 도메인 블랙리스트 등록은 해제하기 위해 추가 비용과 시간이 필요하고, 그 사이에 정상 메일도 차단됩니다.

AI 시스템의 의사결정 루프는 통상 수 초에서 수 분 단위입니다. 그 창 밖에서 발생하는 결과들은 다음 결정에 반영되지 않습니다. 장기 피드백이 돌아올 때 시스템은 이미 수백 번의 행동을 더 취한 뒤입니다.

이 기준으로 임무를 가려내면 자율 위임 가능한 범위가 예상보다 좁아집니다. 피드백이 수 시간 안에 돌아오거나, 사람이 루프의 마지막 단계를 담당하는 임무들 — 반복 패턴 처리, 초안 생성 후 검토, 데이터 집계와 요약 — 은 이 구조에서 작동합니다. 외부 발신이나 지출 결정처럼 피해가 며칠 또는 몇 주 뒤에 돌아오는 임무는 그 간격 동안 손실이 누적됩니다. 행동과 결과 사이의 시간 간격이 위임 가능 여부를 결정합니다.

어디에 사람이 있어야 하는지 먼저 정하기

이 실험의 손실 가운데 447달러로 환산되지 않는 부분이 있습니다.

447달러는 돌아올 수 있습니다. 하지만 사업 이름으로 나간 부정확한 정보를 받은 고객들이 형성한 그 비즈니스에의 인상은 회수되지 않습니다. 대량 발송으로 훼손된 도메인 신뢰도는 복구에 별도 비용이 듭니다. AI가 어떤 판단 경로로 그 결정들을 내렸는지 사후에 정확히 재구성하기도 어렵습니다.

자율 위임을 고려하는 실무자에게 실용적인 점검 방법이 있습니다. 넘기려는 임무에 대해 세 가지를 확인합니다. 이 임무의 결과가 얼마 만에 돌아오는가. 그 결과가 돌아오기 전에 피해가 누적되는 경로가 있는가. 그 피해를 AI가 스스로 감지할 수 있는가.

세 번째에 "아니오"가 나오면, 그 임무는 사람이 피드백 루프의 어딘가에 있어야 합니다. 지출 한도 설정, 외부 발신 사전 승인, 내용 검토 단계 삽입, 도메인 발송 제한 같은 장치들은 피드백이 늦게 돌아오는 임무에서 그 간격을 메우는 방법입니다.

인간이 사업에서 담당해 온 판단들 가운데 상당수는 느린 피드백을 읽는 데서 나옵니다. 고객의 반응이 미묘하게 달라지는 것, 거래처와의 대화 분위기가 변하는 것, 브랜드에 대한 이야기의 톤이 달라지는 것. 이런 신호들은 수치로 잡히기 전에 먼저 사람이 읽습니다. AI가 사업의 어느 부분을 담당할 수 있는지는, 그 임무에서 피드백이 언제 어떤 형태로 돌아오는지에 달려 있습니다. 그것을 먼저 설계하지 않으면, AI는 측정 가능한 것만 최대화합니다.

이 실험에서 AI 시스템에 없었던 것은, 자신의 행동 결과가 며칠 또는 몇 주 뒤에 어떤 형태로 돌아오는지를 알 수 있는 루프였습니다.