왜 내 AI 봇에 반응이 없을까
고객 문의에 자동으로 답장하는 챗봇을 붙이거나, 잠재 고객에게 보낼 영업 메시지를 AI에게 맡겨본 1인 사업자라면 한 번쯤 궁금했을 것입니다. 초기 설정도 그럴듯하고 문장도 자연스러운데 왜 회신율이 기대만큼 오르지 않을까 하는 의문입니다. 이때 흔히 점검하는 것은 프롬프트를 더 다듬거나 메시지 톤을 손보는 일, 즉 보내는 쪽의 완성도입니다.
그런데 정작 놓치기 쉬운 지점은 다른 곳에 있습니다. 메시지를 받는 상대방이 그것이 사람이 아니라 AI가 작성했다는 사실을 알아챘을 때 어떤 반응을 보이는지입니다. 내가 AI를 쓰는 것과 상대가 AI를 받아들이는 것은 서로 다른 문제이며, 후자를 확인하지 않은 채 자동화 범위를 넓히면 밑 빠진 독에 물 붓기가 될 수 있습니다. 이번에 소개할 논문은 바로 이 지점을 데이팅 플랫폼이라는 구체적 무대에서 실증한 연구입니다.
어떤 연구인가
Daria Leshchikova, Valentina V. Kuskova, Dmitry Zaytsev, Valerii Klimov 네 연구진은 사용자를 대신해 상대와 대화까지 나누는 자율 AI 에이전트가 매칭 플랫폼에서 새로운 설계 방식으로 떠오르고 있다는 점에서 출발합니다. 문제는 이런 방식이 성립하려면 두 가지 수용이 동시에 필요하다는 데 있습니다. 사용자가 자신의 대화를 에이전트에게 위임하는 것을 받아들여야 하고, 동시에 상대방의 에이전트가 보내는 메시지를 받는 것도 받아들여야 합니다. 그런데 이 두 번째 조건은 지금까지 거의 검토된 적이 없었습니다.
연구진은 주요 데이팅 플랫폼의 실제 활성 사용자를 대상으로 두 건의 대규모 설문을 진행했습니다. 하나는 생성형 프로필 기능에 관한 2,894명 대상 조사이고, 다른 하나는 자율 대화 에이전트에 관한 2,617명 대상 조사로 두 언어권에서 시행되었습니다. 여기에 응답 패턴을 기반으로 잠재 성향을 추정하는 통계 모형을 적용해, 겉으로 드러난 설문 응답 너머에 있는 사용자 개개인의 AI 에이전트 대화 수용도를 수치화했습니다.
무엇을 발견했나
먼저 확인된 것은 에이전트를 보내려는 의향과 에이전트를 받아들이려는 의향이 서로 강하게 연관되어 있으면서도(상관계수 0.92) 통계적으로는 구분되는 별개의 성향이라는 점입니다(델타 BIC 52). 즉 한 사람 안에서도 이 둘은 같은 크기로 움직이지 않습니다.
더 구체적으로는 위임의 비대칭성이 드러났습니다. 자신의 에이전트를 배치하는 데 필요한 수용도 문턱은 마이너스 0.38인 반면, 상대방의 에이전트를 받아들이는 데 필요한 문턱은 플러스 0.32이고, 완전한 참여에는 플러스 1.39가 필요했습니다. 평균적으로 사람들은 에이전트를 배치하려는 성향이 받아들이려는 성향보다 약 세 배 높았습니다. 이 수치를 실제 짝짓기 상황에 대입한 무작위 매칭 시뮬레이션에서는, 한쪽이 에이전트를 배치하고 다른 쪽이 이를 기꺼이 받아들이는 조합이 전체 방향성 쌍 중 4~13%에 그쳤고, 여기에는 성별에 따른 방향성 차이도 뚜렷했습니다.
연구진은 이를 보완할 두 가지 설계 장치도 함께 검증했습니다. 하나는 양쪽 모두 에이전트 사용에 동의해야만 대화가 성립하도록 하는 상호 동의 조건이고, 다른 하나는 수신자의 수용도를 기준으로 에이전트 접촉을 선별해 전달하는 라우팅 방식입니다. 상호 동의 조건은 배치하려던 시도의 약 3분의 2를 걸러내면서 전체 대화량을 절반 이상 줄였습니다. 반대로 수신 수용도 기반 라우팅은 접촉 한 건당 참여율을 세 배로 끌어올렸으며, 이 효과는 목표 항목을 따로 떼어둔 교차검증에서도 유지되었습니다(AUC 0.88, 사분위 기준 3.1배 상승).
설계 장치별 효과
실무에 적용하면
1인 사업자나 기획자가 챙길 지점은 두 가지입니다. 첫째, AI 응대나 영업 자동화를 확장하기 전에 상대방이 AI가 보낸 메시지를 받아들일 준비가 되어 있는지부터 점검할 필요가 있습니다. 발신 쪽 완성도를 아무리 높여도 수신 쪽 거부감이 해소되지 않으면 성과는 늘지 않습니다. 둘째, 모든 잠재 고객에게 동일하게 AI 메시지를 뿌리기보다, 반응 이력이나 채널 특성으로 미루어 AI 접촉에 우호적일 가능성이 높은 대상을 먼저 선별하는 편이 효율적입니다. 연구에서 수신 수용도 기준 라우팅이 참여율을 크게 끌어올린 것과 같은 원리입니다. 아울러 이 메시지가 AI로 작성되었다는 사실을 사전에 밝히는 것도, 이번 연구가 다루는 수용도 형성에 영향을 줄 수 있는 요소로 함께 고려할 만합니다.
주의할 점
이 연구는 데이팅 플랫폼이라는 특정 맥락에서, 그것도 자기보고 설문에 기반해 수용도를 측정한 결과입니다. 실제 영업 메시지나 고객 응대 상황에서 수치가 동일하게 재현된다고 단정할 수는 없습니다. 두 언어권 조사 사이에도 부분적 측정 동일성만 확인되었다는 점 역시 결과를 해석할 때 감안할 부분입니다. 다만 발신 의향과 수신 의향이 분리된 성향이라는 구조적 발견 자체는, AI 에이전트를 매개로 한 소통을 설계하는 모든 상황에 참고할 만한 시사점을 남깁니다.
