Word Error Rate

Word Error Rate (WER) és una mesura utilitzada habitualment en l'avaluació de sistemes de reconeixement de la parla o de traducció automàtica.

Calcula el nombre mínim d'insercions, esborrats i substitucions d'una paraula per una altra, necessaris per transformar una frase en una altra. Aquesta mesura es basa en la distància d'edició o de Levensthein, amb l'excepció que aquesta última es calcula a nivell de lletra i WER ho fa a nivell de paraula.

En tasques tant de traducció automàtica com de reconeixement de la parla, es calcula WER entre la frase generada pel sistema i una frase de referència correcta.

$WER={\frac {S+B+I}{N}}$

on

• S és el nombre de substitucions,
• B és el nombre d'esborrats,
• I és el nombre d'insercions,
• N és el nombre de paraules que té la frase de referència.

Per trobar el valor mínim de WER entre dos frases s'utilitza un algorisme de programació dinàmica.

Si considerem que $t_{1},t_{2}...,t_{n}$ són les primeres $i$ paraules de la frase generada i $r_{1},r_{2}...r_{n}$ les $r$ primeres de la frase de referència:

$WER(i,j)=\min {\begin{cases}WER(i-1,j)+1\\WER(i,j-1)+1\\WER(i-1,j-1)+\Delta (i,j)\end{cases}}$

on $\Delta (i,j)$ és 1 si les paraules $t_{i}$ i $r_{j}$ són diferents i 0 si són iguals.

Vegeu també

• BLEU