2026년 7월 arXiv에 공개된 연구 하나가 AI 에이전트를 실무에 도입한 조직들에게 불편한 수치를 내놓습니다. 연구진은 다양한 분량의 정책 문서로 AI 에이전트를 통제하려 했을 때 무슨 일이 일어나는지 측정했습니다. 결과는 직관과 반대였습니다. 지침서가 두꺼워질수록 에이전트가 그 지침을 지키는 빈도는 오히려 줄었습니다.

이 결과가 왜 나오는지를 거꾸로 따라가면, 에이전트를 운용하는 방식 전체를 점검해야 한다는 데 이릅니다.

지침서가 두꺼워지는 과정

에이전트에 새로운 규칙을 추가하는 계기는 거의 항상 하나입니다. 이전에 에이전트가 실수했기 때문입니다.

고객 응대 에이전트가 환불 가능 기간을 14일이라고 안내해야 하는데 7일이라고 말했다면, 환불 정책 단락을 추가합니다. 계약서 검토 에이전트가 손해배상 조항을 빠뜨렸다면 그 조항 유형을 명시합니다. 법무팀이 새로운 예외 사항을 발견했다면 그것도 추가됩니다. 실수가 날 때마다 그 실수를 막으려는 규칙이 하나씩 쌓입니다.

반년이 지나면 지침서는 수십 개 조항의 문서가 됩니다.

이 과정에서 간과하기 쉬운 것이 있습니다. 규칙이 누적되는 속도보다 충돌이 누적되는 속도가 훨씬 빠르다는 사실입니다. 조합의 문제입니다. 규칙이 10개일 때 가능한 충돌 쌍은 45가지입니다. 20개면 190가지, 30개면 435가지가 됩니다. 에이전트가 처리하는 입력이 두 가지 규칙 모두에 해당할 때, 어느 쪽을 우선할지 판단 자체가 새로운 오류의 원천이 됩니다. 오류가 나면 또 규칙을 추가합니다. 이 순환은 충돌이 줄어드는 방향으로 작동하지 않습니다.

또한 대형 언어 모델이 긴 텍스트를 처리하는 방식에서도 원인을 찾을 수 있습니다. 여러 평가 실험에서 확인된 바에 따르면, 문서 앞쪽에 배치된 규칙이 뒤쪽 규칙보다 실제 출력에 더 강하게 반영됩니다. 문서 중간 어딘가에 묻힌 규칙은 형식적으로만 존재하게 됩니다. 50개 규칙이 있는 지침서에서 실제로 일관되게 작동하는 규칙이 몇 개인지는, 지침서를 읽는 것만으로는 파악이 안 됩니다.

규칙을 추가하는 방식으로 문제를 해결하려 할 때

에이전트가 같은 실수를 반복하면 자연스럽게 그 실수를 직접 겨냥한 규칙을 추가하게 됩니다. 그것이 효과가 없으면 규칙을 더 강하게 표현하거나, 예외 조건을 상세히 붙이거나, 메타 규칙을 추가합니다. "앞서 나온 규칙들을 반드시 참고하라"는 식의 규칙입니다.

메타 규칙은 기존 규칙들을 강화하는 것처럼 보이지만, 규칙의 수를 하나 더 늘리는 것과 실질적으로 같습니다. 메타 규칙이 참조하는 기존 규칙들 사이에 이미 충돌이 있다면, 메타 규칙은 그 충돌 중 어느 쪽을 택할지를 에이전트 스스로 판단하게 만듭니다.

"절대로 하지 마십시오" 류의 강조 금지 표현도 마찬가지입니다. 이 표현이 실제로 효과를 발휘하려면, 지침서의 다른 어느 규칙도 그 금지 행동을 암묵적으로 허용하지 않아야 합니다. 규칙이 수십 개에 이를 때 그것을 보장하는 것은 지침서를 작성한 사람의 몫입니다. 에이전트는 지침서를 전체적으로 해석하지 않습니다. 입력과 관련성이 높다고 판단된 규칙들을 우선 처리합니다.

출력 기록이 먼저 알려주는 것

이 역설이 실제로 작동하는지 확인하려면 지침서가 아니라 에이전트의 출력 기록을 봐야 합니다.

오류 유형이 특정 규칙에 집중되지 않고 여러 곳에 산발적으로 나타난다면, 지침서의 길이가 원인일 가능성이 높습니다. 어느 특정 단락이 문제라면 그 단락을 수정하면 해결됩니다. 그런데 이번 주에는 A 규칙을, 다음 주에는 B 규칙을, 그다음 주에는 C 규칙을 어긴다면 지침서 전체의 부하가 원인입니다. 이 경우 개별 규칙을 아무리 손봐도 패턴이 달라지지 않습니다.

또 하나의 신호는 명시적 금지 규칙이 지켜지지 않는 경우입니다. "하지 마십시오"라고 적혀 있는 행동을 에이전트가 반복할 때, 그 규칙의 표현이 부족해서가 아닙니다. 같은 지침서 안에서 그 규칙과 경쟁하는 다른 규칙들이 있기 때문입니다. 이 경우 금지 표현을 더 강하게 바꿔도 효과가 없습니다. 경쟁하는 규칙들을 줄이거나, 명시적으로 우선순위를 지정하는 편이 실효성이 있습니다.

인사팀이나 운영팀이 관리하는 SOP 문서와는 반대 방향으로 작동합니다. SOP는 내용이 빠진 부분을 채우면 더 완전해집니다. 에이전트 지침서는 채울수록 실제로 지켜지는 규칙의 비율이 줄어들 수 있습니다.

지침서를 줄이는 작업이 추가하는 것보다 어려운 이유

arXiv 연구진의 실험에서 짧고 집중된 정책 문서를 사용했을 때 에이전트의 규칙 준수율이 더 높았습니다. 이는 분량을 줄이는 것이 설계 판단을 수반하는 작업임을 보여줍니다. 규칙 간 우선순위를 미리 결정하고, 충돌 가능성을 사전에 제거하는 설계 작업입니다.

출발점은 지침서에 포함된 각 규칙이 실제 위반 사례를 가지고 있는지 확인하는 것입니다. 위반 이력이 없는 규칙은 "혹시 몰라서" 추가한 것일 가능성이 높습니다. 그런 규칙은 삭제해도 에이전트 성능에 영향을 주지 않으면서, 남은 규칙들이 실제로 처리될 확률을 높입니다.

에이전트가 처리하는 태스크의 종류에 따라 지침서를 분리하는 것도 실효적입니다. 하나의 에이전트에 고객 응대, 계약 검토, 데이터 정리 규칙을 모두 담는 대신, 태스크별로 별도의 지침서를 운용하면 각 지침서 내부의 규칙 간 충돌 가능성이 구조적으로 줄어듭니다. 태스크가 늘어날수록 지침서를 분리하는 편이, 하나의 지침서를 계속 늘리는 것보다 각 규칙의 준수율을 유지하는 데 유리합니다.

AI 에이전트를 실무에 도입할 때 자주 등장하는 가정이 있습니다. 에이전트가 어긋날 때마다 지침을 보완하면 결국 안정적인 통제에 도달한다는 것입니다. 이번 연구는 그 경로가 수렴하지 않는다는 점을 보여줍니다. 지침서 분량과 에이전트 신뢰도 사이의 관계는 단조롭지 않습니다. 어느 지점을 넘으면 반전됩니다.

에이전트에게 복잡한 의도를 전달하는 역량은 그 의도를 단순한 말로 압축하는 과정에서 나옵니다. 이것은 에이전트를 도입하는 사람이 수행해야 할 판단이고, 에이전트 자체에 위임하기 어려운 영역입니다. 지침서가 두꺼워졌다면, 그것은 규칙이 충분히 추가된 상태가 아니라 그 판단을 미뤄온 흔적입니다.