Расшифровка записей на других языках: где модели хороши и где спотыкаются

Тот, кто учится, исследует или работает за границей, рано или поздно получает записи на нескольких языках: интервью на турецком, семейную запись на арабском, гостевую лекцию на английском, совещание, где польский и немецкий идут вперемешку. Современное распознавание речи справляется с этим на удивление хорошо, если знать его слабые места.

Сколько языков распознают модели?

OpenAI Whisper обучен на 99 языках; Sprechverlauf использует быстрый Whisper Large v3 Turbo в бесплатной пробной версии. Microsoft MAI-Transcribe-2, модель платных тарифов, по карточке модели поддерживает 60 языков и тоже разделяет говорящих. Microsoft сообщает среднюю долю ошибок по словам 5,2 процента на бенчмарке FLEURS. Это среднее значение: крупные языки с большим объёмом обучающих данных работают лучше, редкие — хуже.

Ловушка 1: близкородственные языки

Хорватский, сербский и боснийский; хинди и урду; малайский и индонезийский: звучат так похоже, что автоматическое определение языка может ошибиться на коротких отрывках. Сербское интервью может выйти в хорватской орфографии, а урду — в письме деванагари вместо арабской графики. Решение простое: выберите язык явно до начала.

Ловушка 2: диалекты и разговорная речь

Арабский — самый наглядный пример: египетский, левантийский и марокканский арабский сильно различаются, но большинство текстов написано на современном стандартном арабском. Модели склонны сглаживать разговорный диалект к стандартному языку или неверно слышать региональные слова. То же, в меньшей степени, относится к швейцарскому немецкому, бразильскому португальскому или кантонскому.

Ловушка 3: тональные языки и письменности без пробелов

В китайском, вьетнамском или тайском высота тона меняет значение слога. Реверберация, музыка и сильная компрессия как раз размывают это — поэтому чистая запись здесь вдвойне важна. Китайский, японский и тайский также не разделяют слова пробелами: модель сама определяет границы слов. Внимательно проверяйте имена и технические термины.

Ловушка 4: переключение языков в разговоре

Во многих семьях и командах люди переключаются с языка на язык прямо внутри фразы. Если принудительно задать один язык, модель вынуждена записать всё на нём. Для смешанных записей лучше выбрать «автоматически»: Microsoft говорит, что MAI-Transcribe-2 создан именно для такого переключения кодов.

Коротко

• Один язык: выберите его до начала, особенно для коротких отрывков и близкородственных языков.
• Несколько языков в одном разговоре: оставьте «автоматически».
• Диалект: ждите отклонений и проверяйте цитаты по таймкоду.
• Тональные языки: записывайте чисто, без фоновой музыки.