메일 정리부터 결제까지 AI 에이전트에게 일을 맡기기 시작하면, '이 작업을 실행할까요?'라는 확인 창을 하루에도 몇 번씩 만나게 됩니다. 그 창이 뜰 때마다 내용을 찬찬히 읽기보다, 일의 흐름을 끊고 싶지 않아 습관처럼 승인 버튼을 누르고 있지 않으신가요?
그래서 많은 분이 대안으로 권한 규칙을 떠올립니다. 결제는 금지, 메일 발송은 확인, 파일 정리는 허용 — 이렇게 AI 에이전트 권한 설정을 미리 해두면 매번 확인 창에 시달리지 않고도 위험한 행동이 걸러질 것 같습니다. 그런데 이 직관을 실험으로 검증한 논문이 나왔고, 결과는 반대 방향을 가리켰습니다. 규칙을 직접 쓴 그룹이 위험 행동을 가장 덜 막았습니다.
어떤 연구인가
이 논문은 개발 경험이 없는 사람도 이해하고 재사용할 수 있는 에이전트 통제 방식을 찾는 데서 출발합니다. 연구진이 검토한 메커니즘은, 언어 모델이 에이전트의 행동을 쉬운 말로 된 '결과 범주'로 분류하면 사용자가 범주마다 허용·확인·금지 규칙을 미리 적어두는 방식입니다. 질문은 이렇습니다. 행동 하나하나를 그때그때 판단하는 대신 결정을 규칙으로 미리 내려두면, 무엇을 얻고 무엇을 잃는가.
연구진은 소프트웨어 전문 배경이 없는 참가자 113명을 세 조건으로 나눴습니다. 건별로 직접 승인하는 HITL, 모델이 건별로 자동 검토하는 AUTO, 그리고 사용자가 범주별 규칙을 직접 쓰는 POLICY입니다. 참가자 전원은 에이전트의 모의 업무 하루치 18건을 감독했는데, 그중 7건은 원래 요청 범위를 벗어난 위험(overreach) 행동이었습니다.
무엇을 발견했나
규칙을 미리 쓴 POLICY 그룹은 위험 행동 차단율이 건별 승인보다 20.1%포인트(95% 신뢰구간 [-32.1, -8.1]), 자동 검토보다 14.5%포인트 낮았습니다. 실행 중 확인 알림은 18.0건에서 10.9건으로 줄었지만, 규칙 작성 시간까지 합친 총 개입 시간은 확실히 줄지 않았습니다.
왜 이런 결과가 나왔을까요. 참가자들이 쓴 규칙 140개 중 114개가 '확인'이었습니다. 결정을 미리 내려두라고 만든 장치인데, 대부분의 결정이 다시 실행 시점의 확인 창으로 되돌아온 것입니다. POLICY에서 실제 실행된 위험 행동 148건이 어떤 경로로 통과했는지 보면 구조가 선명해집니다.
구멍은 규칙이 아니라 사용자 자신의 승인 버튼이었던 셈입니다. 실제로 7개 위험 행동 모두에서 POLICY 그룹의 승인율이 세 조건 중 가장 높았습니다. 연구진은 이를 선호와 확정 사이의 간극으로 설명합니다. '확인'을 고르면 건별 선택권은 지켜지지만, 규칙이 결정을 미리 매듭지어 주는 효과는 사라집니다.
실무에 적용하면
1인 사업자와 기획자에게 이 결과가 주는 교훈은 셋입니다. 첫째, 에이전트 권한 규칙을 써두었다는 사실 자체는 안전을 보장하지 않습니다. '확인'으로 채워진 규칙표는 정책이라기보다 결정을 미뤄둔 목록에 가깝습니다. 둘째, 보호 효과는 미리 확정한 결정에서 나옵니다. 결제나 외부 발송처럼 되돌리기 어려운 행동은 확인 대신 금지로 못 박아두는 편이 이 연구의 결과와 맞닿습니다. 셋째, 확인 창이 떴을 때의 기준을 미리 정해두십시오. 이 실험에서 통과한 위험 행동 대부분은 규칙을 뚫고 지나간 것이 아니었습니다. 사용자의 승인을 받고 지나갔습니다. '내가 원래 시킨 일의 범위 안인가'를 묻는 습관이 규칙표보다 먼저입니다.
주의할 점
이 연구는 모의 환경에서 하루치 업무 18건을 감독한 실험입니다. 몇 달간 에이전트를 쓰며 규칙을 다듬어가는 장기 사용의 효과는 이 설계로 알 수 없습니다. 또 규칙이 무용하다는 결론도 아닙니다. 확인 알림을 줄이는 효과는 분명히 있었고, 다만 그것이 총 개입 시간 절감이나 더 강한 보호로 이어진다고 확인되지 않았을 뿐입니다. AI 에이전트 권한 설정을 고민하신다면, 규칙표를 길게 쓰는 일보다 '확인'을 '금지'로 바꿀 수 있는 항목 하나를 찾는 일부터 시작해 보시기 바랍니다.
