고객 미팅이 끝나면 AI가 뽑아준 회의록을 한 번 훑어보고 그대로 팀 노션에 올리는 일, 이번 주에도 하셨을 겁니다. 훑어보는 동안 눈은 문장이 매끄러운지를 봅니다. 매끄러우면 안심하고, 안심하면 올립니다. 그 회의록에 고객이 말하지 않은 금액이나 참석하지 않은 사람 이름이 섞여 있어도, 문장이 자연스러우면 눈에 걸리지 않습니다.
이 습관을 떠받치는 믿음은 하나입니다. 어차피 사람이 마지막에 확인한다는 것입니다. 의료 현장의 AI 기록 도구도 같은 약속 위에 서 있습니다. 진료 대화를 듣고 초안을 쓰되, 의사가 서명하기 전까지는 아무것도 확정되지 않는다는 약속입니다. 그 약속이 실제로 얼마나 지켜지는지를 숫자로 확인한 연구가 있어 소개합니다.
같은 상담 142건을 세 도구에 맡기다
이 논문은 시판 중인 AI 진료 기록 도구 세 종을 같은 조건에서 감사했습니다. 영국 1차 진료와 미국 외래에서 녹음한 실제 상담에 연구진이 작성한 시나리오를 더해 142건을 준비하고, 세 도구가 쓴 노트 565건을 모았습니다.
오류를 찾는 방법이 이 연구의 핵심입니다. 연구진은 열두 차례 탐색을 돌려 오류 후보를 넓게 긁어모은 뒤, 중요도 필터를 통과한 후보만 서로 다른 계열의 모델 두 개에 넘겼습니다. 두 모델에게 맡긴 역할은 확인이 아니라 반박입니다. 후보가 오류가 아니라는 근거를 찾아내라고 지시하고, 그 반박을 견딘 것만 오류로 인정했습니다. 마지막으로 의사 두 명이 표본을 블라인드로 다시 판정했습니다.
세 건 중 한 건, 그리고 지어낸 사실
그렇게 걸러진 결과가 노트 전체의 31.3%에 검증된 오류가 있다는 수치입니다. 신뢰구간은 27.0%에서 35.6%입니다. 후보에서 확정까지 숫자가 줄어든 경로를 보면 이 비율이 얼마나 깐깐하게 나온 것인지 짐작할 수 있습니다.
618건이 살아남았고, 저자인 의사가 표본을 다시 봤을 때 21건 중 20건을, 저자가 아닌 독립 임상의는 12건 중 12건을 오류로 인정했습니다.
오류의 종류가 더 중요합니다. 연구진은 오류가 세 곳에 몰려 있다고 보고합니다. 알레르기와 약물 정보, 지어낸 환자 신원, 그리고 전화 상담이어서 검진이 있을 수 없는데도 병력을 검진 소견처럼 적은 기록입니다. 셋 중 둘은 빠뜨린 것이 아니라 없는 것을 만들어 넣은 경우입니다. 어느 도구에도 환자 기록을 연결해 주지 않았으므로 신원과 날짜는 기록이 있었다면 채워졌을 항목이라 보고, 그 두 종류를 빼도 24.8%가 남았습니다. 기존 오류 분류에 들어맞지 않는 유형도 하나 나왔습니다. 의사가 하려다 철회한 치료가 실제로 한 치료로 기록된 경우입니다.
오류율이 도구만큼 검토 방식에 좌우된다는 점도 눈여겨볼 대목입니다. 모델과 증거와 설정을 그대로 두고 검토 지시문만 바꿨더니 후보가 오류로 확정되는 비율이 9.3%에서 79.0%까지 움직였습니다. 어떤 기준을 적용하느냐에 따라 오류가 있는 노트의 비율은 28%에서 97%까지 벌어집니다.
훑어보기에서 항목 대조로
이 연구는 의료를 다루지만, 회의록과 요약을 AI에 맡기는 1인 사업자와 기획자에게 옮겨 읽어도 구조는 같습니다. 문장이 매끄러운지 훑어보는 검토는 빠진 것도 잘 못 잡지만, 지어낸 것은 거의 잡지 못합니다. 지어낸 문장은 원래 매끄럽기 때문입니다.
AI 회의록 오류 검증은 그래서 항목을 정해 놓고 대조하는 일이 되어야 합니다. 이 논문에서 오류가 몰린 자리를 사업 문서로 번역하면 대조할 항목이 나옵니다. 알레르기와 약물에 해당하는 것은 금액, 날짜, 수량처럼 틀리면 손해가 되는 숫자입니다. 지어낸 신원에 해당하는 것은 참석자와 담당자 이름, 회사명입니다. 전화 상담을 검진처럼 적은 오류에 해당하는 것은 하지 않은 일을 한 것처럼, 검토만 한 것을 결정한 것처럼 적은 문장입니다. 철회한 치료가 기록된 사례는 회의에서 나왔다가 접힌 제안이 확정 사항으로 올라가는 상황과 겹칩니다.
검토 기준을 문서로 적어 두는 것도 교훈입니다. 무엇을 오류로 볼지 정해 두지 않으면 검토하는 사람마다 결과가 달라지니, 팀 안에서 AI 회의록 오류 검증 항목을 공유하면 그 편차가 줄어듭니다.
이 숫자를 그대로 옮기기 전에
이 연구는 의료 기록을 다뤘고, 회의록이나 사업 문서를 직접 실험하지는 않았습니다. 31.3%라는 비율은 세 도구와 142건의 상담, 그리고 연구진이 정한 검토 기준에서 나온 값입니다. 검토 지시문만 바꿔도 결과가 크게 움직인다는 사실을 연구진 스스로 강조하고 있으니, 이 숫자를 모든 AI 요약 도구의 오류율로 읽어서는 안 됩니다.
그래서 이 논문에서 가져갈 것은 비율보다 방법입니다. 연구진은 618건의 오류와 근거, 사용한 프롬프트와 모델 버전, 다시 돌릴 수 있는 파이프라인을 모두 공개했습니다. 사람이 마지막에 본다는 말이 안전장치가 되려면, 무엇을 어떻게 보는지가 먼저 정해져 있어야 합니다. 다음 회의록을 노션에 올리기 전에 숫자와 이름과 결정 사항 세 줄만 원문과 대조해 보시길 권합니다.
