계약서나 제품 자료 정리를 AI에게 맡기고, 결과물이 그럴듯해 보이면 원문 대조 없이 그대로 믿고 넘어가고 계시지 않으신가요? 표에 수치가 깔끔하게 정리돼 있고 출처 문구까지 붙어 있으면 사람은 대개 검사를 멈춥니다. 출처까지 제시하는 답을 의심하기는 쉽지 않기 때문입니다.
그런데 그 출처 자체가 지어낸 것이라면 어떨까요? 최근 arXiv에 공개된 한 논문은, 문서를 한 번도 열지 않은 AI가 출처 텍스트를 날조해 가며 검증을 통과한 실제 사례에서 출발합니다. 결과만 확인하는 AI 답변 검증 방법이 어디서 뚫리는지, 무엇을 더 봐야 하는지를 다룬 연구입니다.
어떤 연구인가
연구진은 부품 데이터시트에서 사양 값을 자동으로 뽑는 내부 추출 서비스에 쓸 모델을 선별하고 있었습니다. 이런 작업의 표준 지표는 fidelity, 곧 추출된 값이 원문과 일치하는지 보는 검사입니다. 그런데 한 모델이 데이터시트를 한 번도 열지 않고 이 검사를 통과했습니다. 출력 형식을 고정하는 구조화 출력 제약이 문서를 읽는 도구 사용을 조용히 꺼 버렸는데, 모델은 멈추지 않고 출처 텍스트까지 만들어 내며 답을 내놓은 것입니다. 이 흐름을 도식으로 보면 다음과 같습니다.
값만 보는 검사로는 이 경로 어디서도 경보가 울리지 않았고, 도구별 호출 기록을 들여다본 뒤에야 문제가 드러났습니다. 연구진은 여기서 출발해 모든 도구 호출을 기록하는 벤치마크를 만들었습니다. 세 개 부품에 대해 손으로 고른 25개 주장, 네 번째 부품의 12개를 더해 모두 37개 주장입니다.
무엇을 발견했나
호출 기록 위에 연구진은 두 장치를 세웠습니다. 실패 원인을 규칙으로 분류하는 장치, 그리고 조용한 실패를 잡는 탐지기입니다. 탐지기의 규칙 두 개는 추출된 값은 전혀 보지 않고 어떤 도구가 호출됐는지만 확인합니다.
결과는 이렇습니다. 세 모델 계열에서 fidelity를 정상 통과한 207건의 추출에 대해 탐지기는 한 번도 오경보를 내지 않았고, 규칙이 확인하는 바로 그 도구들을 빼고 심어 둔 50건의 결함은 전부 잡아냈습니다. 다만 두 결과는 대칭이 아닙니다. 앞의 것은 오탐률의 상한이지만 뒤의 것은 잡히도록 설계된 결함을 잡은 것이고, 도구를 제대로 호출하고도 틀린 답을 내는 경우에 대한 탐지력은 측정되지 않았습니다.
검증이 하나 더 있습니다. 데이터시트의 주장이 실제 물리 측정에서도 성립하는지 장비로 확인하는 별도 장치인데, 37개 주장 가운데 장비가 확인할 수 있는 것은 2개뿐이었습니다. 그런데 통제된 교란을 가하자 fidelity는 내내 통과로 나오는 동안 물리 측정의 판정은 측정 불확도 지점에서 정확히 뒤집혔습니다. 원문과 대조하는 검사는 원문 자체가 현실과 어긋나는 경우를 잡지 못한다는 뜻입니다.
실무에 적용하면
1인 사업자나 기획자가 AI에게 계약서 요약, 자료 정리, 제품 사양 추출을 맡기는 장면은 이 실험과 다르지 않습니다. 가져갈 행동 변화는 세 가지입니다.
첫째, 결과만 보는 검증에서 과정까지 보는 검증으로 옮겨 갑니다. AI 답변을 검증할 때 답이 그럴듯한지만이 아니라 실제로 자료를 열어 봤는지 확인하는 것입니다. 파일 접근 기록이 남는 도구를 쓰거나, 원문 몇 쪽 몇째 줄인지 짚게 하고 그 자리를 직접 펴 봅니다. 출처 문구는 이번 사례처럼 날조될 수 있으므로, 출처가 붙어 있다는 사실 자체는 검증이 아닙니다.
둘째, 설정을 바꾼 뒤에는 재검증합니다. 이번 사례의 방아쇠는 출력 형식 설정 하나가 도구 사용을 조용히 끈 것이었습니다. 자동화 파이프라인에서 옵션 하나를 바꿨다면 결과 포맷만 볼 것이 아니라 과정이 그대로인지 다시 확인할 가치가 있습니다.
셋째, 원문 대조와 현실 대조는 다른 층위입니다. 원문과 일치하는 답도 원문이 틀렸다면 소용없으니, 사업에 걸린 수치라면 표본 몇 개는 실물로 확인하는 습관이 필요합니다.
주의할 점
이 탐지기는 도구를 아예 부르지 않은 실패를 잡도록 설계됐고 그 범위 안에서만 완전합니다. 도구를 다 부르고도 틀리게 답하는 경우는 측정되지 않은 영역입니다. 물리 측정도 37개 중 2개 주장만 다룰 수 있었고, 연구진은 나머지가 왜 물리적으로 채점 불가능한지 분류로 정리했습니다. 아울러 도구 계층이 사 주는 것은 정확도가 아니라 이식성과 관찰 가능성이며, 문서가 모델의 문맥 창을 넘어설 때에야 그 비용이 값을 한다는 것이 연구진의 결론입니다. 도구 호출 기록을 본다는 원칙은 부품 데이터시트라는 좁은 도메인에서 확인된 것이지만, 결과가 그럴듯하다는 이유로 과정 확인을 건너뛰지 말라는 교훈은 도메인을 가리지 않습니다.
