챗GPT 같은 생성형 AI는 무엇을 물어도 자신 있게 답합니다. 문제는 그중 일부가 그럴듯한 거짓, 이른바 환각이라는 점입니다. 확인 없이 보고서나 업무 자료에 옮겼다가 낭패를 본 경험이 이제는 드물지 않습니다. 이 글은 AI가 못하는 일이 정확히 무엇인지, 환각이 왜 우연한 실수가 아니라 구조적인 결과인지 정리하고, 그 한계 앞에서 인간이 챙겨야 할 자리를 실무 기준으로 제시합니다.
AI가 못하는 일은 실수가 아니라 구조입니다
환각을 성능이 부족해 생기는 버그로 보면 대응이 어긋납니다. 생성형 AI는 학습한 데이터, 즉 이미 존재하는 패러다임 안에서 가장 그럴듯한 조합을 골라 내놓는 기계입니다. 그래서 패러다임 안의 재조합은 놀랍도록 잘하지만, 학습 범위 밖의 새로운 것을 만드는 일은 못합니다. 모르는 영역을 물어도 틀 안에서 그럴듯한 답을 조립해 내놓기 때문에, 환각은 예외 상황이 아니라 작동 방식 그 자체의 그림자입니다.
알파고는 인간을 이긴 것이 아닙니다
AI의 한계를 이해하는 데 알파고만큼 좋은 사례가 없습니다. 알파고는 인간과 같은 방식으로 겨루어 이긴 것이 아니라, 무한히 이어지는 선택의 게임이던 바둑을 한정된 확률 선택의 게임으로 바꿔 보았을 뿐입니다. 문제를 계산 가능한 틀 안으로 끌어들이는 것, 그것이 AI가 잘하는 일의 전부이자 한계선입니다. 틀 안에 들어오지 않는 질문을 받으면 AI는 질문을 억지로 틀 안에 구겨 넣고 답을 만들어냅니다. 우리가 겪는 그럴듯한 오답은 대부분 여기서 나옵니다.
'해답 강박'을 알아야 오답이 보입니다
AI는 모른다고 멈추는 법이 없습니다. 어떤 질문에든 반드시 답을 내놓아야 하는 상태, 이를 '해답 강박'이라 부를 수 있습니다. 주목할 점은 이 강박이 AI만의 문제가 아니라 현대사회 전반의 문제라는 사실입니다. 빠르게 답을 내야 성과로 인정받는 환경에서 우리 역시 검증보다 답변을 앞세우고, 그래서 AI가 내놓은 자신만만한 오답을 걸러내지 못한 채 받아들입니다. AI가 못하는 일을 가려내는 첫걸음은 AI의 강박과 나의 강박을 동시에 의심하는 것입니다.
인간이 챙겨야 할 자리는 질문 쪽입니다
주어진 질문의 답을 찾는 AI는 예술을 만들 수 없습니다. 예술처럼 질문 자체를 새로 세우는 일, 기존 패러다임의 틀을 벗어나 문제를 다시 정의하는 일이 사람에게 남는 자리입니다. 실무로 옮기면 이렇습니다. 답을 뽑는 작업은 AI에게 맡기되, 무엇을 물을지 설계하는 일, 나온 답이 틀 안의 조립품인지 검증하는 일, 답이 신통치 않을 때 질문의 틀 자체를 바꾸는 일은 사람이 쥐고 있어야 합니다.
내일 업무에 바로 적용할 체크리스트
- 고유명사·수치·날짜·출처가 든 답변은 반드시 원문으로 확인한 뒤에 씁니다. - 답변을 받으면 검증 가능한 사실인지, 학습 데이터의 그럴듯한 재조합인지 구분해 봅니다. - 답이 이상하면 더 좋은 답을 조르지 말고 질문을 다시 설계합니다. - 새로움이 필요한 기획·창작 단계에서는 AI를 초안 제조기가 아니라 기존 패러다임 확인용으로 씁니다. AI가 내놓는 것은 이미 있는 것들의 지도이기 때문입니다.
정리하면 이렇습니다. AI는 주어진 틀 안에서 답을 조립하는 기계이고, 틀을 만들고 부수는 것은 여전히 사람의 몫입니다. 답은 AI에게 맡기더라도, 질문하는 사람의 자리는 내주지 마십시오.
