ほかの言語の録音を文字起こしする：モデルが得意なことと、つまずく場所

留学、研究、国際的な仕事をする人は、いずれ複数の言語での録音を抱えることになります。トルコ語のインタビュー、アラビア語の家族の録音、英語のゲスト講義、ポーランド語とドイツ語が入り混じった会議などです。最新の音声認識は、驚くほどうまく扱えます。ただし、その弱点を知っていれば、の話です。

モデルはいくつの言語を認識するか？

OpenAIのWhisperは99言語で学習されています。Sprechverlaufは、無料お試しで高速なWhisper Large v3 Turboを使っています。有料プランのモデルであるMicrosoft MAI-Transcribe-2は、モデルカードによると60言語に対応し、話者分離にも対応しています。Microsoftは、FLEURSベンチマークでの平均単語誤り率を5.2%と報告しています。これは平均です。学習データの多い大きな言語では結果がよく、珍しい言語では結果が劣ります。

落とし穴1：近い関係にある言語

クロアチア語、セルビア語、ボスニア語。ヒンディー語とウルドゥー語。マレー語とインドネシア語。これらは非常に似ているため、短い音声では自動の言語判定が外れることがあります。セルビア語のインタビューがクロアチア語の綴りで出てきたり、ウルドゥー語がアラビア文字ではなくデーヴァナーガリー文字で出てきたりすることがあります。対策は簡単です。開始する前に、言語を明示的に選んでください。

落とし穴2：方言と俗語

アラビア語はもっとも分かりやすい例です。エジプト、レバント、モロッコのアラビア語は大きく異なりますが、多くの文章では現代標準アラビア語が使われます。モデルは、話し言葉の方言を標準語へと寄せてしまいがちで、地域の単語を聞き間違えることもあります。同じことは、程度は小さいものの、スイスドイツ語、ブラジルポルトガル語、広東語にも当てはまります。

落とし穴3：声調言語と、語の間に空白がない文字

中国語、ベトナム語、タイ語では、音の高低によって音節の意味が変わります。残響、音楽、強いコンプレッションは、まさにその高低をぼかします。そのため、ここでは録音のきれいさが二倍に効いてきます。中国語、日本語、タイ語なども、語の間を空白で区切りません。モデル自身が語の境界を決める必要があります。名前や専門用語は慎重に確認してください。

落とし穴4：会話の途中での言語の切り替え

多くの家庭やチームでは、文の途中で言語を切り替えます。ひとつの言語を指定すると、モデルはすべてをその言語で書き起こすことになります。混ざった録音には「自動」が適しています。Microsoftは、MAI-Transcribe-2がこうしたコード切り替えに対応するよう作られていると説明しています。

要点

• 一つの言語：開始する前に選ぶ。特に短い音声や、近い関係にある言語では重要です。
• 一つの会話に複数の言語がある：「自動」のままにする。
• 方言：ずれがあることを想定し、タイムスタンプで引用を確認する。
• 声調言語：きれいに録音し、背景音楽は入れない。