이번 분기 매출 전망을 정리하다가, 챗봇에 슬쩍 그래프 하나를 얹어 다음 달 추세가 어떻게 될지 물어본 적이 있으신지요. AI는 놀랍도록 단호하게 답을 내놓습니다. 숫자와 차트가 그럴듯하게 곁들여져 있으면 더 그렇습니다. 문제는 그 단호함이 근거의 질과는 무관하게 만들어질 수 있다는 데 있습니다.
1인 사업자나 기획자는 하루에도 몇 번씩 AI에게 판단을 구합니다. 시장이 어떻게 흘러갈지, 경쟁사가 어떤 수를 둘지, 이번 캠페인 반응이 어떨지. 그런데 그 확신이 화면에 뜬 데이터의 진위와 상관없이 만들어지는 것이라면 어떨까요. 최근 발표된 한 논문이 이 지점을 파고듭니다.
어떤 연구인가
연구자 Pranav Aggarwal은 원리적으로 답이 존재하지 않는 질문을 AI 에이전트에게 던지는 실험을 설계했습니다. 동전을 던지기 전 결과를 묻는 식의, 정보를 아무리 줘도 답을 알아낼 수 없는 문제입니다. 이런 질문을 맨몸으로 물었을 때와, 전문가가 쓸 법한 시장 패널을 함께 보여주며 물었을 때 AI가 얼마나 자주 확답을 내놓는지를 12개의 프론티어 모델로 비교했습니다. 한 걸음 더 나아가 그 패널의 수치를 전부 지어낸 경우도 따로 실험했습니다. 화면에 보이는 것 중 진짜는 질문 자체뿐인 상태입니다. 같은 패널에 답이 실제로 존재하는 질문을 붙인 대조 실험과, 질문의 성격을 먼저 판별하게 하는 실험도 함께 진행했습니다.
무엇을 발견했나
결과는 뚜렷했습니다. 답을 알 수 없는 질문이라도 전문가용 시장 패널을 곁들이면, AI가 확정적인 답을 내놓는 비율이 6.5%에서 54.0%로 치솟았습니다. 그런데 그 패널이 통째로 조작된 가짜라도 결과가 진짜 데이터를 곁들였을 때와 사실상 같았다는 점이 더 놀랍습니다.
가짜 데이터든 진짜 데이터든, 화면에 그럴듯한 패널이 떠 있다는 사실 하나로 AI의 확신은 거의 같은 수준까지 올라간 것입니다.
이 현상은 AI의 능력 부족 때문이 아닙니다. 같은 패널에 답이 실제로 존재하는 질문을 붙였을 때는 같은 모델들이 거의 언제나 답을 내놓았고, 정확도도 매우 높았습니다. AI가 확률을 믿는 정도가 바뀐 것도 아닙니다. 확정 여부가 48퍼센트포인트나 요동치는 동안 AI가 진술하는 확률값은 거의 움직이지 않았고, 그 정확도는 단순 기후 평균 예측보다도 떨어졌습니다. 판단력이 없어서도 아닙니다. 답하기 전에 이 질문이 원리적으로 알 수 없는 것인지 먼저 분류하라고 요청하면, AI는 열에 아홉꼴로 알 수 없는 질문이라 답했고, 그렇게 분류한 뒤에는 단 0.4%만 확답으로 넘어갔습니다. 문제는 지식도 신념도 판단력도 아니라, 답을 낼지 말지를 가르는 관문 하나였습니다.
이 관문이 따로 떼어낼 수 있는 것이라는 점은 해결의 실마리이기도 합니다. 30억 개 매개변수 규모의 작은 모델에 주사위·동전·항아리·타이머 같은 합성 사례 540건으로 추가 학습을 시키자, 원래 질문에서 확답 비율이 0.0%까지 떨어졌고 학습에 쓰지 않은 세 가지 새로운 영역에서도 같은 효과가 나타났습니다.
실무에 적용하면
이 발견은 AI를 의사결정 보조로 쓰는 1인 사업자에게 구체적인 습관 두 가지를 제안합니다. 첫째, 매출 전망이나 시장 동향을 물을 때 차트나 표를 곁들였다고 해서 답의 신뢰도가 저절로 올라간다고 여기지 않는 편이 안전합니다. 그 확신은 데이터의 진위와 무관하게 포장만으로 생길 수 있다는 사실이 이번 실험에서 드러났습니다. 둘째, 판단을 요청하기 전에 이 질문이 원리적으로 답할 수 있는 것인지부터 물어보는 절차를 끼워 넣는 편이 효과적입니다. 이 논문에서도 그 절차 하나로 확답 비율이 0.4%까지 떨어졌습니다. 예나 아니오, 숫자 하나로만 답하게 강제하는 형식보다는 AI가 근거를 풀어 설명할 여지를 남긴 형식으로 묻는 편이 낫습니다.
주의할 점
이번 연구에서 확인된 효과는 일부 모델에 몰려 있었고, 12개 모델 전체에 균일하게 나타나지는 않았습니다. 추가 학습으로 관문을 고친 실험도 30억 개 매개변수의 작은 모델과 주사위·동전류의 합성 데이터를 대상으로 한 것이어서, 더 큰 상용 모델이나 실제 업무 데이터에 그대로 옮겨진다고 단정하기는 이릅니다. 무엇보다 이 관문은 응답 형식에 따라 쉽게 무너집니다. 추론할 여지를 남기는 형식에서는 관문이 잘 작동했지만, 답을 딱딱한 틀에 가두는 형식에서는 AI가 원래 잘 답하던 질문에서도 확신에 찬 오답을 내놓았습니다. AI 가짜 데이터 확신 함정은 형식 하나로 다시 열릴 수 있다는 뜻이므로, 관문을 훈련시켰다는 사실만으로 안심할 수는 없습니다.
