말로 시킬까, 타이핑으로 시킬까
이동 중에는 스마트폰에 대고 말로 지시하고, 책상 앞에서는 키보드로 타이핑해 AI에게 일을 맡기는 분이 많으실 겁니다. 그런데 분명 같은 내용을 시켰는데 결과물의 품질이 미묘하게 다르다고 느낀 적 있으시죠. 음성 받아쓰기로 메모하고 지시하는 일이 일상이 된 요즘이라면 더욱 그럴 겁니다.
기분 탓이 아닐 수 있습니다. Zizhao Hu 연구진이 arXiv에 공개한 이 논문은 입력 채널마다 남는 노이즈의 종류가 다르고, 그 차이가 LLM의 답변 품질을 실제로 갈라놓는다는 사실을 실험으로 보여줍니다. 키보드는 오탈자를 남기고, 음성은 전사 과정의 비유창성과 문장 재구성이라는 흔적을 남기는데, AI가 받아들이는 부담이 서로 다르다는 것입니다.
어떤 연구인가
연구진은 HIVE(Human Input-Variation Engine)라는 도구 모음을 만들었습니다. 사람이 QWERTY 키보드로 칠 때 생기는 오타 패턴과, 음성을 글로 옮길 때 생기는 전사 변형을 체계적으로 시뮬레이션하는 장치입니다. 음성 쪽 변형은 두 갈래입니다. 일반 전사 도구가 남기는 군말과 머뭇거림이 하나이고, AI 받아쓰기 도구가 말을 매끈한 문장으로 재구성해 버리는 것이 다른 하나입니다. 연구진은 이렇게 변형된 질문을 여러 LLM에 입력해 정확도 변화를 측정했습니다. 두 입력 방식이 남기는 흔적을 같은 조건에서 나란히 비교했다는 점이 이 연구의 미덕입니다.
무엇을 발견했나
첫째, 음성 전사 변형은 실험한 모든 지시조정 모델의 정확도를 떨어뜨렸습니다. 원인이 흥미롭습니다. 군말이 아니라 문장 구조가 바뀌는 쪽이 비용을 만들었습니다. 둘째, 키보드 오타의 타격은 훨씬 작았고, 모델은 상당한 양의 오타를 흡수한 뒤에야 정확도가 무너지기 시작했습니다.
셋째, 두 현상의 뿌리는 하나였습니다. 질문의 원래 토큰이 얼마나 살아남았느냐입니다. 토큰을 파괴하는 변형은 해롭지만, 옆에 새 토큰이 덧붙는 정도는 거의 비용이 없었습니다. 문장 재구성은 원래 표현 자체를 지워버리기에 AI 음성 입력 정확도가 더 크게 흔들리는 셈입니다.
넷째, 두 채널의 격차는 답을 스스로 구성하거나 추론해야 하는 과제에서만 나타났고, 객관식에서는 사라졌습니다. 고르기만 하면 되는 일에서는 채널이 무엇이든 상관없지만, 지어내야 하는 일에서는 채널이 성능을 갈랐다는 뜻입니다. 다섯째, 이 손실은 테스트셋 오염만으로는 설명되지 않았습니다. 여섯째, 가벼운 적응 학습으로는 지워지지 않았습니다. 일곱째, 생각할 여유를 더 주는 thinking budget은 키보드 쪽 손실을 거의 회복시켰지만 음성 쪽은 그대로였고, 압축된 발화는 오히려 더 나빠졌습니다.
실무에 적용하면
혼자 여러 역할을 감당하는 사업자라면 세 가지를 바꿔볼 만합니다. 우선 기획안 초안, 조건 검토, 코드 생성처럼 결과물을 새로 만들어내야 하는 작업은 가급적 타이핑으로 지시하시는 편이 안전합니다. 오타는 좀 있어도 괜찮습니다. 모델이 알아서 흡수합니다. 반면 선택지 중에 고르게 하는 분류형 질문이라면 이동 중 음성 입력으로도 충분합니다.
둘째, 음성으로 시킬 때는 받아쓰기 도구가 말을 얼마나 다듬는지 확인해 보시기 바랍니다. 매끈하게 재구성해 주는 기능이 오히려 원래 의도가 담긴 토큰을 지워 음성 입력의 정확도를 갉아먹을 수 있습니다. 들리는 대로 투박하게 옮겨 적는 쪽이 AI에게는 외려 안전할 수 있다는 이야기입니다. 셋째, 결과가 이상할 때 추론 모드를 켜는 습관은 타이핑 입력에서만 약효가 있다는 점을 기억해 두시면 좋겠습니다. 음성으로 들어간 왜곡은 그 방법으로 복구되지 않았습니다.
주의할 점
이 연구는 실제 사용자 발화를 녹음한 것이 아니라 HIVE로 시뮬레이션한 변형을 쓴 실험입니다. 초록 기준으로는 실험한 모델의 수나 정확도 하락 폭 같은 세부 수치가 공개되어 있지 않고, 한국어 전사 품질은 별개 변수일 수 있다는 점도 감안하셔야 합니다. 그래도 방향은 분명합니다. AI에게 일을 시키는 채널 자체가 결과 품질의 변수이며, 말보다 글이 유리한 과제가 따로 있다는 것입니다. 오늘 음성으로 시킨 작업이 미덥지 않았다면, 같은 지시를 키보드로 다시 넣어 비교해 보시길 권합니다.
