바이브 코딩으로 서비스를 만드는 1인 창업가라면 익숙한 장면이 있습니다. AI 코딩 에이전트에게 배포 스크립트를 고치거나 설정 파일을 정리해 달라고 시키고, 화면에 뜬 완료 표시를 보고 안심한 채 다음 작업으로 넘어갑니다. 그런데 며칠 뒤 로그를 들여다보다가 파일 하나가 엉뚱하게 남아 있거나, 분명히 지웠다고 했던 값이 그대로 살아 있는 걸 발견합니다. 에이전트가 성공했다고 보고했는데 실제로는 뭔가 어긋나 있던 것입니다.
이런 어긋남은 에이전트가 틀린 명령을 만들어서가 아니라, 그 명령이 실행되기까지 거치는 통로 어딘가에서 뒤틀렸기 때문일 수 있습니다. 이번에 소개할 QuoteBench 연구는 바로 이 지점, AI 코딩 에이전트 실패 원인을 명령을 만드는 단계와 명령이 실제로 실행되는 단계로 나누어 들여다본 시도입니다.
어떤 연구인가
Shangao Li, Yao Zhang, Volker Tresp, Yuanyuan Yang 연구진은 LLM 코딩 에이전트가 Bash 명령을 실행할 때 거치는 경로에 주목했습니다. 에이전트는 명령을 곧바로 셸에 넘기는 것이 아니라, 그 명령을 직렬화하고 감싸고 다시 파싱하는 인터페이스를 거쳐 실행합니다. 문제는 이 과정을 통과한 뒤 집계되는 일치된 실행 점수만으로는 명령 생성 자체가 잘못됐는지, 아니면 생성 이후 단계에서 망가졌는지 구분할 수 없다는 점입니다.
연구진은 실제 사고 사례에서 뽑아낸 14개 그룹, 56개의 단발 과제를 만들고, 의도적으로 이스케이프 처리를 하지 않은 파서 하나를 추가해 이 경계를 시험했습니다. 명령이 인터페이스를 통과하는 지점에서 이스케이프 처리를 하면 원래 재현했던 그대로의 결과가 나오도록 설계했습니다. 즉 이 경계가 미리 공개된 상태에서 회복이 일어난다면, 그것은 통로 자체가 고쳐져서가 아니라 모델이 위험을 인지하고 명령을 생성하는 방식을 스스로 바꿨기 때문이라는 뜻이 됩니다.
무엇을 발견했나
여덟 개의 동일 조건 구성에서, 같은 응답을 이 추가된 파서를 통해 다시 실행하자 성공률이 55.4에서 73.2퍼센트포인트까지 떨어졌습니다. 이 경계를 미리 공개하고 위험을 알려준 경우에는 여섯 개 구성에서 30.4에서 60.7퍼센트포인트가 회복됐지만, 나머지 두 구성에서는 회복이 거의 없거나 오히려 소폭 나빠졌습니다.
성공률이 갈라지는 지점
특히 눈에 띄는 결과는 GPT-5.6-sol 모델입니다. 일치된 점수만 보면 이 모델의 격차는 -3.6퍼센트포인트로 미미해 보였지만, 그 안에는 -64.3퍼센트포인트에 달하는 손상과 +60.7퍼센트포인트에 달하는 보정이 서로 상쇄된 채 숨어 있었습니다. 겉으로 드러난 점수만 신뢰했다면 이 모델이 통로 문제에 거의 영향을 받지 않는다고 오해했을 것입니다. 연구진은 최전선 모델들의 원래 명령 생성 능력은 이미 포화 상태에 가깝고, 지금 모델 간 차이를 벌리는 것은 이런 경계 상황에 얼마나 적응하는가라고 설명합니다. 게다가 배포 조건을 어떻게 구성하느냐에 따라 모델 순위 자체가 바뀌기도 했습니다. 비교 가능한 26개 쌍 가운데 한 쌍은 순위가 명확히 뒤집혔고, 네 쌍은 단 한 개 과제 차이로 순위가 갈리는 아슬아슬한 경계에 있었습니다.
실무에 적용하면
1인 사업자나 기획자가 AI 코딩 에이전트를 쓸 때 얻을 교훈은 분명합니다. 에이전트가 내놓는 완료 표시나 요약 보고는 명령을 어떻게 만들었는지에 대한 신호일 뿐, 셸을 거쳐 파일과 설정이 실제로 어떤 상태가 됐는지에 대한 신호는 아닙니다. 특히 배포 스크립트, 설정 파일 수정, 데이터 정리처럼 되돌리기 어려운 작업일수록 에이전트의 보고를 그대로 믿기보다 작업이 끝난 뒤 파일 내용이나 설정값을 직접 열어 확인하는 습관이 필요합니다.
여러 AI 코딩 도구 가운데 하나를 고를 때도, 광고 문구에 등장하는 성공률 숫자 하나만으로 판단하기는 어렵다는 점을 기억할 필요가 있습니다. 같은 모델이라도 어떤 인터페이스와 배포 조건을 거치느냐에 따라 실제 신뢰도가 달라질 수 있기 때문입니다. 도구를 새로 도입할 때는 가벼운 작업부터 시켜 보고 최종 결과물을 직접 열어 검증하는 시험 기간을 두는 편이 안전합니다.
주의할 점
이 연구는 56개의 단발 과제와 의도적으로 설계한 하나의 파서를 기준으로 측정한 결과입니다. 모든 AI 코딩 에이전트, 모든 셸 인터페이스에 이 수치가 그대로 적용된다고 단정할 수는 없습니다. 다만 연구진이 강조하듯, 에이전트를 평가할 때는 모델 구성, 명령을 생성하는 방식, 실행 경로, 운영 조건, 최종 상태를 검증하는 방법까지 함께 밝혀야 하며, 일치된 점수 하나를 모델 고유의 성능처럼 취급해서는 안 됩니다. 이는 연구자뿐 아니라 매일 에이전트에게 업무를 맡기는 우리에게도 똑같이 적용되는 조언입니다.
