Transkrypcja nagrań w innych językach: w czym modele są dobre, a gdzie się potykają

Kto studiuje, prowadzi badania albo pracuje międzynarodowo, prędzej czy później ma nagrania w więcej niż jednym języku: wywiad po turecku, nagranie rodzinne po arabsku, gościnny wykład po angielsku, spotkanie, na którym polski miesza się z niemieckim. Nowoczesne rozpoznawanie mowy radzi sobie z tym zaskakująco dobrze – jeśli znasz jego słabe punkty.

Ile języków rozpoznają modele?

Whisper od OpenAI został wytrenowany na 99 językach; Sprechverlauf korzysta w darmowym okresie próbnym z szybkiego Whisper Large v3 Turbo. Microsoft MAI-Transcribe-2, model w płatnych planach, obsługuje według swojej karty modelu 60 języków i również rozdziela mówców. Microsoft podaje średni współczynnik błędów słów na poziomie 5,2 procent w benchmarku FLEURS. To średnia: duże języki z dużą ilością danych treningowych wypadają lepiej, rzadsze – gorzej.

Pułapka 1: blisko spokrewnione języki

Chorwacki, serbski i bośniacki; hindi i urdu; malajski i indonezyjski: brzmią tak podobnie, że automatyczne wykrywanie języka może się pomylić przy krótkich nagraniach. Wywiad po serbsku może wyjść w chorwackiej pisowni, a urdu w piśmie dewanagari zamiast arabskim. Rozwiązanie jest proste: przed startem wybierz język wprost.

Pułapka 2: dialekty i slang

Najwyraźniejszy przykład to arabski: egipski, lewantyński i marokański różnią się bardzo, a większość tekstów pisana jest w arabskim literackim (Modern Standard Arabic). Modele mają tendencję do wygładzania mowy dialektalnej w stronę języka standardowego albo przesłyszenia regionalnych słów. To samo dotyczy, w mniejszym stopniu, szwajcarskiego niemieckiego, brazylijskiego portugalskiego czy kantońskiego.

Pułapka 3: języki tonalne i pisma bez spacji

W chińskim, wietnamskim czy tajskim wysokość dźwięku zmienia znaczenie sylaby. Pogłos, muzyka i silna kompresja rozmywają dokładnie tę cechę – czyste nagranie liczy się tu podwójnie. Chiński, japoński i tajski również nie oddzielają słów spacjami; model musi sam wyznaczyć granice wyrazów. Dokładnie sprawdzaj nazwy i terminy techniczne.

Pułapka 4: przełączanie języków w trakcie rozmowy

W wielu rodzinach i zespołach ludzie przełączają języki w trakcie zdania. Jeśli wymusisz jeden język, model musi zapisać wszystko w nim. Przy nagraniach mieszanych lepszym wyborem jest „automatycznie”; Microsoft podaje, że MAI-Transcribe-2 jest stworzony do takiego przełączania kodu (code-switching).

Krótko

• Jeden język: wybierz go przed startem, zwłaszcza przy krótkich nagraniach i językach pokrewnych.
• Kilka języków w jednej rozmowie: zostaw ustawienie „automatycznie”.
• Dialekt: licz się z odchyleniami i sprawdzaj cytaty przy znaczniku czasu.
• Języki tonalne: nagrywaj czysto, bez muzyki w tle.