Word Error Rate
Word Error Rate (WER) és una mesura comunament utilitzada en l'avaluació de sistemes de reconeixement de la parla o de traducció automàtica.
Calcula el nombre mínim d'insercions, esborrats i substitucions d'una paraula per una altra, necessaris per transformar una frase en una altra. Aquesta mesura es basa en la distància d'edició o de Levensthein, amb l'excepció que aquesta última es calcula a nivell de lletra i WER ho fa a nivell de paraula.
En tasques tant de traducció automàtica com de reconeixement de la parla, es calcula WER entre la frase generada pel sistema i una frase de referència correcta.
<math> WER = \frac{S+B+I}{N} </math>
on
- S és el nombre de substitucions,
- B és el nombre d'esborrats,
- I és el nombre d'insercions,
- N és el nombre de paraules que té la frase de referència.
Per trobar el valor mínim de WER entre dos frases s'utilitza un algorisme de programació dinàmica.
Si considerem que <math> t_1,t_2...,t_n </math> són les primeres <math> i </math> paraules de la frase generada i <math> r_1,r_2...r_n </math> les <math> r </math> primeres de la frase de referència:
<math> WER(i,j)= \min \begin{cases} WER(i-1,j)+ 1 \\ WER(i,j-1)+1 \\ WER(i-1,j-1)+\Delta(i,j) \end{cases} </math>
on <math>\Delta(i,j)</math> és 1 si les paraules <math>t_i</math> i <math>r_j</math> són diferents i 0 si són iguals.