챗봇에게 자료 출처를 물으면 존재하지 않는 논문을 그럴듯하게 인용하고, 코딩 AI는 없는 라이브러리 함수를 지어내거나 같은 오류를 고쳤다고 되풀이해 답합니다. 이런 일이 누구나 한 번쯤 겪는 흔한 경험이 된 지금, AI 할루시네이션 원인이 무엇인지 궁금해하는 분이 많습니다. 이 글은 세 가지에 답합니다. 할루시네이션은 왜 생기는지, AI 답변을 어디까지 믿어도 되는지, 그리고 매일의 업무에서 어떻게 검증하면 되는지입니다.
AI 할루시네이션 원인은 무엇입니까
AI는 학습한 데이터라는 틀 안에서 가장 확률 높은 답을 고르는 장치입니다. 질문이 그 틀 안에 있으면 답은 놀랄 만큼 정확합니다. 문제는 틀 밖의 질문이 들어왔을 때입니다. 학습한 데이터로 설명되지 않는 문제를 만나면 AI는 그것을 또 하나의 예외사항으로 분류하고, 틀 안에서 그나마 가장 가까운 답을 꺼내 놓습니다. 모른다고 멈추는 단계가 없으니 확신에 찬 오답이 나옵니다. 존재하지 않는 논문 제목이 그럴듯한 이유도 여기에 있습니다. 실제 논문 제목이 어떤 형태인지는 충분히 학습했기 때문에, 형태만 완벽한 가짜가 만들어집니다.
이 과정을 갈래로 나누어 보면 다음과 같습니다.
갈래가 어디로 가든 답변의 말투는 똑같이 자신 있습니다.
바둑에서 이긴 AI가 왜 문서 출처는 못 찾습니까
알파고를 떠올려 보면 AI가 무엇을 잘하는지 분명해집니다. 알파고가 한 일은 인간을 이긴 것이라기보다, 무한히 이어지는 선택의 게임이던 바둑을 한정된 확률 선택 게임으로 바꾸어 본 것입니다. 경우의 수가 아무리 많아도 규칙과 승패가 닫혀 있으면 확률로 좁힐 수 있습니다. 반대로 어떤 논문이 실제로 존재하는지, 이 함수가 최신 버전 라이브러리에 아직 남아 있는지는 확률로 좁힐 문제가 아닙니다. 학습 시점 이후에 바뀐 사실이나 학습 데이터에 없던 자료는 틀 밖에 있습니다. 그러니 AI 답변을 믿는 기준은 하나로 정리됩니다. 질문이 닫힌 문제인지 열린 사실 확인인지 먼저 따져 보십시오.
AI 답변, 어디까지 믿어도 됩니까
실무에서 저는 답변을 두 층으로 나눕니다. 첫째 층은 구조와 논리입니다. 코드의 뼈대, 글의 개요, 문제를 푸는 접근 방식은 학습 데이터 안에서 나온 확률 높은 답이므로 믿고 출발점으로 삼습니다. 둘째 층은 사실과 출처입니다. 논문 제목, 함수 이름, 날짜, 수치, 인용문은 틀 밖에 있을 가능성이 크므로 AI가 아무리 확신해도 미확인 상태로 둡니다. 자신감 있는 말투는 증거가 아니라는 원칙만 지켜도 오답의 절반은 걸러집니다. 같은 오류를 고쳤다고 되풀이해 답하는 코딩 AI가 좋은 예입니다. 고쳤다는 말은 학습된 문장 형태일 뿐 실행 결과가 아닙니다.
검증은 어떤 순서로 해야 합니까
검증에 시간을 무한정 쓸 수는 없으니 순서가 필요합니다. 출처를 물었으면 제목을 그대로 검색해 존재 여부부터 확인합니다. 함수가 등장하면 공식 문서에서 이름을 찾아본 뒤에 붙여 넣습니다. 고쳤다는 답이 오면 직접 실행해 결과를 본 다음에만 다음 단계로 넘어갑니다. 수치가 나오면 원자료의 표를 열어 봅니다. 그리고 답변이 이상하게 매끄러울수록 질문이 틀 밖에 있었던 것은 아닌지 되짚어 봅니다. 확인 비용이 낮은 것부터 걸러지도록 순서를 지키면 시간이 크게 절약됩니다.
사람에게 남는 일은 무엇입니까
'워크 3.0'이라 부르는 지금의 일하는 방식에서 사람에게 남은 일은 AI가 만들어낸 정보의 가치를 판단하는 것입니다. 초안을 쓰는 속도에서 사람은 AI를 이기지 못합니다. 대신 그 초안이 틀 안에서 나온 정확한 답인지 예외사항으로 처리된 오답인지 가려내는 일은 아직 사람의 몫입니다. 검증자는 AI를 의심하는 사람이기보다 AI의 산출물에 값을 매기는 사람입니다. 내일부터 바로 쓸 체크리스트로 정리합니다.
1. 질문이 닫힌 문제인지 열린 사실 확인인지 먼저 구분합니다. 2. 구조와 논리는 출발점으로 쓰고, 사실과 출처는 미확인으로 둡니다. 3. 출처는 검색으로, 함수는 공식 문서로, 수정은 실행으로 확인합니다. 4. 확신에 찬 말투는 증거로 치지 않습니다. 5. 답이 지나치게 매끄러우면 틀 밖 질문이 아니었는지 되묻습니다.
AI가 답을 만드는 시대, 우리에게 남은 자리는 검증자입니다.
