Транскрипція записів іншими мовами: з чим моделі справляються добре, а де спотикаються

Хто навчається, досліджує або працює міжнародно, зрештою має записи більш ніж однією мовою: інтерв’ю турецькою, сімейний запис арабською, гостьову лекцію англійською, нараду, де змішуються польська й німецька. Сучасне розпізнавання мовлення справляється з цим напрочуд добре — якщо знати його слабкі місця.

Скільки мов розпізнають моделі?

Whisper від OpenAI навчали на 99 мовах; Sprechverlauf використовує швидку Whisper Large v3 Turbo у безкоштовній пробній версії. Microsoft MAI-Transcribe-2, модель платних тарифів, за її карткою моделі підтримує 60 мов і також розділяє мовців. Microsoft повідомляє про середній рівень помилок у словах 5,2 відсотка на бенчмарку FLEURS. Це середнє значення: великі мови з великим обсягом навчальних даних працюють краще, рідкісні — гірше.

Пастка 1: споріднені мови

Хорватська, сербська і боснійська; гінді й урду; малайська й індонезійська: вони звучать настільки схоже, що автоматичне визначення мови може помилитися на коротких фрагментах. Сербське інтерв’ю може вийти з хорватським правописом, а урду — деванагарі замість арабського письма. Рішення просте: вкажіть мову явно, перш ніж почати.

Пастка 2: діалекти та сленг

Найкраще це видно на арабській: єгипетська, левантійська і марокканська арабська сильно відрізняються, але більшість текстів написана сучасною літературною арабською. Моделі схильні зглажувати розмовний діалект до літературної мови або неправильно чути регіональні слова. Те саме, але меншою мірою, стосується швейцарської німецької, бразильської португальської чи кантонської.

Пастка 3: тональні мови та письмо без пробілів

У китайській, в’єтнамській чи тайській висота тону змінює значення складу. Реверберація, музика й сильна компресія саме це і розмивають — тому чистий запис тут важить удвічі. У китайській, японській і тайській слова також не розділяються пробілами; модель має сама визначити межі слів. Уважно перевіряйте імена та технічні терміни.

Пастка 4: перемикання мов посеред розмови

У багатьох родинах і командах люди перемикають мову посеред речення. Якщо примусово задати одну мову, модель мусить записати все нею. Для змішаних записів краще обрати «автоматично»; Microsoft каже, що MAI-Transcribe-2 створено саме для такого перемикання кодів.

Коротко

• Одна мова: вкажіть її перед початком, особливо для коротких фрагментів і споріднених мов.
• Кілька мов в одній розмові: залиште «автоматично».
• Діалект: очікуйте відхилень і перевіряйте цитати за міткою часу.
• Тональні мови: записуйте чисто, без фонової музики.