AI 비서의 기억, 얼마나 쉽게 흔들리는가
고객 미팅 메모, 거래처와의 대화 기록, 지난달 발주 내역까지 AI 비서에 계속 쌓아두고 계신 분이라면, 그 기억 창고가 사실은 아주 적은 양의 거짓 정보만으로도 통째로 흔들릴 수 있다는 점을 확인해야 할 때입니다. 1인 사업자나 소규모 기획팀일수록 사람이 일일이 대조 확인할 여유가 없다 보니, AI 비서가 "기억하고 있다"고 답하는 내용을 그대로 신뢰하게 됩니다. 문제는 그 기억이 언제, 어떻게 오염되었는지 사용자 쪽에서는 알 방법이 거의 없다는 데 있습니다.
어떤 연구인가
이 논문은 연구자 Arulnidhi Karunanidhi가 지속 기억(persistent memory)을 쓰는 AI 에이전트를 대상으로 던진 질문에서 출발합니다. 한 번 저장된 거짓 진술이 이후 세션에서도 계속 불려나온다면, 그 피해 규모는 얼마나 될까 하는 것입니다. 연구진은 특별한 트리거 문구나 리트리버 최적화 없이, 그저 평범하게 쓰인 거짓 문장을 한 번 삽입하는 방식으로 실험을 설계했습니다. 즉 공격자가 정교한 기술을 쓰지 않고도, 자연스러운 문장 하나로 AI 에이전트 기억 오염이 일어나는지를 측정한 것입니다. 여기에 더해 이런 오염을 막기 위해 흔히 쓰이는 두 가지 방어 장치, 즉 저장 시점의 내용 검사와 출처 신뢰도 기반 순위 조정이 실제로 작동하는지도 함께 검증했습니다.
무엇을 발견했나
결과는 예상보다 취약했습니다. LongMemEval 코퍼스의 단 1.2%만 거짓 정보로 오염시켜도 정확도는 0.850에서 0.300으로 떨어졌습니다. 방어 장치 두 가지도 각각 다른 방식으로 뚫렸습니다.
내용 검사 파이프라인은 프롬프트 인젝션 탐지에서는 83.2%의 회수율을 보였지만, 정작 평범한 문장으로 위장한 거짓 기억 360건 중 단 한 건도 걸러내지 못했습니다. 출처 가중치 방식도 기본 설정으로는 방어 효과가 전혀 없는 것으로 나타났고, 가중치를 강하게 걸어야 겨우 효과가 생겼는데 그마저도 신뢰할 수 없는 출처를 아예 배제하는 방식으로만 작동했습니다. 실제로 신뢰 못할 출처가 대부분 무해한 내용으로 섞인 코퍼스에서는 이 강한 가중치가 정확도를 0.3167에서 0.7000까지 끌어올렸습니다. 그러나 정답을 뒷받침할 핵심 증거 자체가 신뢰 못할 출처에서 나온 경우에는 이야기가 달라졌습니다. 증거 회수율이 0으로 떨어지면서 정확도는 0.0417까지 무너졌습니다.
실무에 적용하면
이 결과가 1인 사업자와 기획자에게 시사하는 바는 명확합니다. AI 비서가 특정 출처를 신뢰할 수 없다고 표시하거나 필터링한다고 해서 안심할 근거가 되지 않는다는 점입니다. 연구진은 텍스트 내용만으로 참과 거짓을 구분하는 데는 근본적인 한계가 있고, 텍스트 바깥의 외부 근거가 있어야 판별이 가능하다고 지적합니다. 실무에서는 이를 이렇게 옮길 수 있습니다. 계약 조건, 가격, 납기처럼 의사결정에 직결되는 정보는 AI 비서의 기억에만 의존하지 말고 원본 이메일이나 계약서로 다시 확인하는 습관을 들이는 것입니다. 특히 여러 사람이 함께 쓰는 공유 AI 비서라면, 누군가 무심코 남긴 부정확한 메모 한 줄이 이후 모든 판단의 기준점이 될 수 있다는 점을 염두에 두어야 합니다.
주의할 점
이 연구는 LongMemEval이라는 특정 코퍼스와 두 가지 방어 기법에 한정된 실험이라는 점을 짚어둘 필요가 있습니다. 연구진이 제안하는 대안, 즉 저장 시점 가중치 대신 검색 시점에서 점유량 자체를 제한하는 방식은 초록에서 방향성만 제시될 뿐, 구체적인 작동 원리까지는 다루지 않습니다. 또한 실험에 쓰인 거짓 문장은 사람이 직접 자연스럽게 작성한 것으로, 실제 상업용 AI 비서 제품이 동일한 조건에서 같은 수준으로 취약한지는 별도로 확인이 필요한 부분입니다. 그럼에도 아주 적은 비율의 오염만으로 정확도가 3분의 1 이하로 떨어졌다는 수치는, 지속 기억 기능을 쓰는 모든 실무자가 한 번쯤 짚고 넘어가야 할 경고로 읽힙니다.
