WER
Jak działa
1) Transkrypcję hipotezy (wyjście ASR) i transkrypcję referencyjną normalizuje się (np. małe litery, usunięcie interpunkcji). 2) Oba ciągi słów dopasowuje się do siebie, wyznaczając minimalny dystans edycyjny (Levenshteina) na poziomie słów. 3) Zlicza się trzy rodzaje błędów: substytucje (S — słowo zamienione na inne), usunięcia (D — słowo referencyjne pominięte) oraz wstawienia (I — słowo dodane przez system). 4) Sumę błędów dzieli się przez liczbę słów w referencji N: WER = (S + D + I) / N. Metryka opiera się na dystansie Levenshteina i jest zwykle raportowana po tej samej normalizacji dla wszystkich porównywanych systemów.
Rozwiązany problem
Potrzebny jest obiektywny, powtarzalny i porównywalny między modelami sposób mierzenia dokładności transkrypcji mowy. Ocena 'na ucho' nie pozwala rzetelnie porównywać systemów ani śledzić postępu. WER sprowadza jakość ASR do jednej liczby, uwzględniając trzy typy błędów — podstawienia, usunięcia i wstawienia — względem wzorcowej transkrypcji.
Komponenty
Ujednolicenie hipotezy i referencji (małe litery, usunięcie interpunkcji, formatowanie liczb) przed dopasowaniem.
Oficjalna
Programowanie dynamiczne wyznaczające minimalny dystans edycyjny na poziomie słów między hipotezą a referencją.
Klasyfikacja operacji edycyjnych na substytucje, usunięcia i wstawienia.
Podzielenie sumy błędów przez liczbę słów w referencji N, dające wynik (zwykle w %).
Implementacja
Różne reguły małych liter / interpunkcji / liczb sprawiają, że WER przestaje być porównywalny między systemami i publikacjami.
Przy wielu wstawieniach suma błędów bywa większa niż N; WER nie jest ograniczony do przedziału [0, 1].
S, D, I ważone identycznie, niezależnie od wpływu na sens; WER nie oddaje znaczenia ani ważności słów.
WER słabo zdefiniowany dla języków bez wyraźnych granic słów (chiński, japoński).
Ewolucja
Vladimir Levenshtein formalizuje dystans edycyjny (substytucje, usunięcia, wstawienia) — matematyczna podstawa WER.
Panayotov i in. (ICASSP 2015) udostępniają duży otwarty korpus, standaryzując raportowanie WER (test-clean / test-other).
OpenAI Whisper popularyzuje raportowanie WER w trybie zero-shot w wielu językach i warunkach akustycznych.
Hiperparametry (konfigurowalne osie)
Reguły małych liter, interpunkcji, liczb i skrótów; drastycznie wpływa na wynik i porównywalność.
Poziom liczenia błędów: słowa (WER) lub znaki (CER).
Definicja granic słów; problematyczna dla języków bez spacji (chiński, japoński) — stąd CER.
Złożoność obliczeniowa
Złożoność czasowa: O(m·n). Złożoność przestrzenna: O(m·n).
Wąskie gardło obliczeniowe
Kwadratowa złożoność dopasowania DP dominuje koszt; nieistotna dla krótkich wypowiedzi, zauważalna dla bardzo długich sekwencji.
Równoległość
Każda wypowiedź jest skorowana niezależnie, więc korpus skaluje się trywialnie równolegle; pojedyncze dopasowanie DP jest sekwencyjne.
Wymagania sprzętowe
Czysta operacja na łańcuchach znaków o znikomym koszcie; liczona na CPU, niezależna od akceleratorów.