다른 언어 녹음 전사하기: 모델이 잘하는 것과 걸려 넘어지는 지점

공부하거나, 연구하거나, 국제적으로 일하는 사람은 결국 두 개 이상의 언어로 된 녹음을 갖게 됩니다. 터키어 인터뷰, 아랍어 가족 녹음, 영어 초청 강의, 폴란드어와 독일어가 뒤섞인 회의 같은 경우입니다. 최신 음성 인식은 이런 상황을 놀라울 만큼 잘 다룹니다. 다만 약점을 알고 있어야 합니다.

모델은 몇 개 언어를 인식하나요?

OpenAI의 Whisper는 99개 언어로 학습되었습니다. Sprechverlauf는 무료 체험에서 빠른 Whisper Large v3 Turbo를 사용합니다. 유료 요금제의 모델인 Microsoft MAI-Transcribe-2는 모델 카드 기준으로 60개 언어를 지원하며 화자도 구분합니다. Microsoft는 FLEURS 벤치마크에서 평균 단어 오류율 5.2%를 보고했습니다. 이것은 평균입니다. 학습 데이터가 많은 큰 언어는 더 잘 되고, 덜 쓰이는 언어는 더 떨어집니다.

함정 1: 아주 비슷한 언어들

크로아티아어, 세르비아어, 보스니아어. 힌디어와 우르두어. 말레이어와 인도네시아어. 이들은 너무 비슷하게 들려서 짧은 클립에서는 자동 언어 감지가 놓칠 수 있습니다. 세르비아어 인터뷰가 크로아티아어 철자로 나오거나, 우르두어가 아랍 문자 대신 데바나가리 문자로 나올 수도 있습니다. 해결은 간단합니다. 시작하기 전에 언어를 직접 선택하세요.

함정 2: 방언과 속어

아랍어가 가장 분명한 예입니다. 이집트, 레반트, 모로코 아랍어는 많이 다르지만, 대부분의 글은 현대 표준 아랍어로 쓰입니다. 모델은 구어 방언을 표준어 쪽으로 매끄럽게 바꾸거나, 지역 단어를 잘못 듣는 경향이 있습니다. 같은 현상이 스위스 독일어, 브라질 포르투갈어, 광둥어에도 덜한 정도로 나타납니다.

함정 3: 성조 언어와 띄어쓰기가 없는 문자

중국어, 베트남어, 태국어에서는 음높이가 음절의 뜻을 바꿉니다. 잔향, 음악, 강한 압축은 바로 그 차이를 흐리게 만듭니다. 그래서 이 언어에서는 깨끗한 녹음이 두 배로 중요합니다. 중국어, 일본어, 태국어는 단어 사이를 띄어 쓰지도 않습니다. 모델이 스스로 단어 경계를 정해야 합니다. 이름과 전문 용어를 꼼꼼히 확인하세요.

함정 4: 대화 중간에 언어를 바꾸는 경우

많은 가족과 팀에서는 문장 중간에 언어를 바꿔 씁니다. 한 언어로 강제하면 모델은 모든 내용을 그 언어로 써야 합니다. 여러 언어가 섞인 녹음이라면 “automatic”(자동)이 더 나은 선택입니다. Microsoft는 MAI-Transcribe-2가 이런 코드 스위칭을 위해 설계되었다고 밝혔습니다.

요약

• 한 가지 언어: 시작 전에 선택하세요. 특히 짧은 클립과 비슷한 언어일 때 중요합니다.
• 한 대화에 여러 언어: “automatic”(자동) 상태로 두세요.
• 방언: 차이가 있을 수 있으니, 타임스탬프에서 인용문을 확인하세요.
• 성조 언어: 배경 음악 없이 깨끗하게 녹음하세요.