새로운 AI 도구를 업무에 들이면서 심층 사고 스위치를 켤지, 답변 길이를 어디까지 늘릴지 매번 감으로 정하는 1인 사업자나 기획자가 적지 않습니다. 견적서 초안을 뽑을 때는 짧게 답하게 두고, 사업계획서 논리를 점검할 때는 최대한 길게 생각하게 두는 식으로 그때그때 다르게 설정하지만, 그 선택이 실제로 결과물 품질에 어떤 영향을 주는지는 확인할 방법이 마땅치 않았습니다.

흔히 통용되는 직관은 단순합니다. 예산을 넉넉히 주면 모델이 더 오래, 더 깊이 생각하니 답이 좋아진다는 것입니다. 그래서 중요한 업무일수록 토큰 예산을 최대치로 올리고, 어떤 모델을 쓸지는 벤치마크 순위표를 참고해 고정해 두는 경우가 많습니다.

하지만 최근 발표된 한 논문은 이 직관에 균열을 냅니다. 추론에 얼마나 많은 토큰을 허용하느냐에 따라 어떤 모델이 가장 잘하는지 순위 자체가 뒤바뀐다는 것이 이 연구의 핵심 주장입니다. AI 모델 추론 예산 설정을 그저 여유 있게 잡아두면 된다고 여겼던 독자라면 눈여겨볼 내용입니다.

어떤 연구인가

Rodrigo Guedes de Souza와 Alison R. Panisson 두 연구진은 AI 모델을 평가할 때 추론 조건이 달라져도 순위는 그대로 유지된다는 업계의 암묵적 전제를 검증 대상으로 삼았습니다. 이 전제가 맞다면 한 번 벤치마크에서 1위를 차지한 모델은 어떤 상황에서 써도 1위여야 합니다.

이를 확인하기 위해 연구진은 토큰 생성 예산, 즉 모델이 답변을 만드는 데 허용된 최대 토큰 수를 64개부터 4,096개까지 7단계로 나누어 조정했습니다. 그리고 이 조건을 모델 4개, 추론 벤치마크 3개에 적용해 총 56,476회의 추론을 수행했습니다. 예산을 짧게 준 경우와 넉넉히 준 경우 각각에서 같은 모델들이 같은 문제를 얼마나 잘 푸는지 비교한 셈입니다.

무엇을 발견했나

첫째, 전체 문항의 3~19%에서 비단조적인 현상이 나타났습니다. 예산을 늘렸는데도 오히려 정답률이 떨어지는 경우가 적지 않았다는 뜻이며, 답이 잘려서 생기는 문제로는 설명되지 않는다는 점까지 확인했습니다. 이 현상이 나타나는 문항은 모델마다 달라서, 서로 다른 모델 사이에 겹치는 비율은 6~14%에 그쳤습니다.

둘째, 예산 조건을 바꾸면 세 벤치마크 모두에서 모델 간 순위가 뒤집혔습니다. 통계적으로도 유의미한 차이로 확인되었습니다. 짧은 답변만 요구하는 상황에서 가장 잘하던 모델이, 충분히 생각할 시간을 준 상황에서는 다른 모델에 밀리는 일이 벌어질 수 있다는 뜻입니다.

셋째, 연구진이 매 문항마다 가장 잘 맞힌 모델만 골라 쓴다고 가정하는 오라클 분석을 해본 결과, 예산이 빠듯한 조건일수록 모델 간 보완 효과가 두드러졌고 최대 27.8퍼센트포인트까지 차이가 벌어졌습니다. 넷째, 예산 조건을 참고해 문항마다 어떤 모델에 맡길지 정하는 라우터를 만들어보니, 이 오라클 격차의 14.1%를 좁힐 수 있었습니다. 다만 예산 관련 정보는 같은 도메인 안에서는 1.6~5.7퍼센트포인트만큼 도움이 됐지만, 다른 도메인으로 옮기면 오히려 1.2퍼센트포인트만큼 성능을 깎아 먹었습니다.

실무에 적용하면

이 결과를 1인 사업자나 기획자의 업무로 옮기면 몇 가지 행동이 달라질 수 있습니다.

우선, 이 모델이 제일 좋다더라 하는 평판만 믿고 모든 작업에 같은 설정을 쓰는 습관을 점검할 필요가 있습니다. 짧은 답을 빠르게 받아야 하는 초안 작업과, 충분히 생각할 시간을 주고 받는 심층 검토 작업에서 실제로 더 나은 결과를 내는 모델이 다를 수 있기 때문입니다.

또한 예산을 무조건 늘리는 것이 안전한 선택이 아니라는 점도 기억할 만합니다. 중요한 문서일수록 토큰 한도를 최대로 열어두는 관행이 있다면, 특정 과제에서는 오히려 정답률이 떨어질 수 있다는 사실을 감안해 결과물을 검토하는 습관을 들이는 편이 좋습니다.

마지막으로, 업무 종류별로 어떤 모델과 어떤 예산 조합이 실제로 잘 맞는지 직접 소규모로 비교해보는 시도가 값어치를 할 수 있습니다. 연구진이 확인한 모델 간 보완 효과는, 한 모델에만 의존하기보다 과제 성격에 맞춰 도구를 바꿔 쓰는 접근이 실질적인 이득으로 이어질 수 있음을 시사합니다.

주의할 점

이 연구는 모델 4개, 추론 벤치마크 3개라는 한정된 범위 안에서 이루어졌습니다. 여기서 확인된 비단조성이나 순위 역전 현상이 다른 모델이나 다른 업무 영역, 예를 들어 실제 문서 작성이나 상담 응대 같은 과제에서도 똑같이 나타난다고 단정할 근거는 아직 없습니다.

또한 라우터를 통한 개선 효과도 조건에 따라 갈렸습니다. 같은 도메인 안에서는 도움이 되었지만 다른 도메인으로 옮기면 오히려 손해를 보는 경우도 확인된 만큼, 예산 조건을 활용한 최적화가 모든 상황에 그대로 적용되는 만능 해법은 아닙니다. 연구진 스스로도 이 결과를 근거로 예산 조건을 함께 고려하는 평가 방식이 필요하다고 제안하는 데 그치고 있으며, 특정 모델이나 특정 예산 설정을 정답으로 못 박지는 않습니다.