완료했다는 말과 실제로 한 일 사이
AI 에이전트에 작업을 맡기고 '완료했습니다'라는 요약만 읽고 넘어가신 적 있으신가요? 그 요약은 누군가 설계한 화면이 아니라 에이전트가 자기 자신에 대해 쓴 글입니다. 상품 소개문 초안을 맡기든 코드 수정을 맡기든, 마지막에 우리 손에 남는 것은 결과물과 함께 붙어 오는 몇 줄의 보고입니다.
사람 직원이라면 보고가 미덥지 않을 때 옆에 가서 물어보면 됩니다. 에이전트는 다릅니다. 그 몇 줄이 사실상 유일한 창구가 되기 쉽고, 우리는 창구가 얼마나 좁은지 모른 채 승인 버튼을 누릅니다. AI 에이전트의 작업 보고를 검증하는 일은 그래서 창구의 너비를 아는 데서 시작합니다. 이번에 소개할 논문은 그 너비를 실제 데이터로 재어 본 연구입니다.
어떤 연구인가
Obada Kraishan과 Kulsawasd Jitkajornwanich가 쓴 이 논문은 코딩 에이전트가 작업을 마친 뒤 내놓는 자기 보고서를 다룹니다. 연구진이 던진 질문은 두 가지입니다. 보고서는 에이전트가 실제로 한 일을 얼마나 담고 있는가, 그리고 실행이 처음 밝힌 계획에서 벗어났을 때 보고서는 실제 실행보다 계획 쪽으로 기우는가 하는 것입니다.
이를 위해 연구진은 실제 개발자 세션 5,851건과 그 안에서 일어난 도구 호출 355,942회를 분석했습니다. 에이전트가 작업 중에 도구를 부른 기록 하나하나를 보고서와 맞대어 본 것입니다. 측정 일부는 언어 모델에 맡기고 사람이 검증했습니다.
무엇을 발견했나
보고서가 언급한 행동은 실제 행동 약 11건 중 1건이었습니다. 보고서만 읽은 사람이 행동 기록을 얼마나 복원할 수 있는지 따로 재어 보니 대략 5분의 1 수준이었습니다. 직접 언급된 것보다는 많지만, 나머지 대부분은 보고서만으로는 알 수 없다는 뜻입니다.
더 눈여겨볼 대목은 이 두 수치가 세션의 결과와 무관했다는 점입니다. 나중에 사람이 바로잡아야 했던 세션과 그렇지 않은 세션 사이에 보고서의 충실도 차이가 없었습니다. 보고서가 자세하다고 해서 일이 잘 된 것도, 성글다고 해서 문제가 있는 것도 아니라는 의미입니다.
계획과의 관계는 한 방향으로 단정하기 어렵습니다. 보고서가 실행보다 계획을 더 닮는 경향이 전반적으로 나타나지는 않았습니다. 다만 실행이 계획에서 멀어질수록 보고서는 점점 계획 쪽에 가까워졌습니다. 일이 예정대로 흘렀을 때보다 예정을 벗어났을 때 보고서와 실제 사이가 더 벌어지는 셈입니다.
이 연구가 다룬 사슬을 한 줄로 놓으면 다음과 같습니다.
검토하는 사람은 이 사슬의 맨 끝에서 가장 얇아진 정보를 받아 듭니다.
실무에 적용하면
이 결과를 1인 사업자와 기획자의 일로 옮기면, 가장 먼저 바뀌어야 할 것은 보고서를 읽는 자세입니다. 보고서는 목차로 읽고 기록을 원본으로 봅니다. 에이전트가 무엇을 열고 무엇을 바꿨는지 남는 로그나 변경 내역이 있다면, 보고서 대신 그것을 먼저 훑는 편이 AI 에이전트 작업 보고 검증의 출발점으로 맞습니다. 문서 작업이라면 수정 이력이, 자료 조사라면 실제로 열어 본 출처 목록이 그 기록에 해당합니다. 기록이 아예 남지 않는 도구라면, 결과물 자체를 계획과 대조하는 수밖에 없습니다.
보고서의 길이나 짜임새로 품질을 판단하는 습관도 위험합니다. 연구에서 보고서의 충실도는 사람의 수정이 필요했는지와 관계가 없었습니다. 매끄러운 보고에 안심하는 버릇부터 내려놓아야 합니다.
계획과 다르게 흘러간 작업일수록 더 의심해야 합니다. 처음에 세운 계획을 따로 적어 두고, 결과물이 그 계획과 어긋난 지점이 보이면 보고서가 아니라 실제 산출물을 놓고 확인합니다. 에이전트 보고를 검증하는 힘은 결국 계획을 손에 쥐고 있는 사람에게서 나옵니다.
주의할 점
이 연구는 코딩 에이전트와 개발자 세션을 대상으로 했습니다. 자료 조사나 문서 작성 같은 다른 위임 작업에서도 같은 비율이 나올지는 초록만으로 알 수 없으며, 위에서 옮긴 적용은 필자의 추론입니다. 초록은 어떤 도구나 제품이 쓰였는지, 어느 기간의 데이터인지도 밝히지 않습니다.
측정 일부를 언어 모델이 담당했다는 점도 기억해야 합니다. 연구진은 그 단계를 직접 검증해 실패한 것을 숨기지 않았고, 통과한 측정치로만 결론을 세웠습니다. 이 정직함은 연구의 신뢰를 높이지만, 동시에 여기서 읽은 숫자가 특정 측정 방식 위에 서 있다는 사실을 일깨웁니다. 보고서가 얼마나 얇은지 재어 본 연구를 읽으면서 그 연구의 보고서도 같은 눈으로 보는 태도가 이 논문이 독자에게 남기는 마지막 교훈입니다.
