TC-STAR WP4 - E2E Evaluation Run #3

- 20 speeches of 3 minutes

- 1 TC-STAR speech, 1 interpreter speech

- 20 assessors which evaluate Adequacy (comprehension test) and Fluency (subjective test)

The complete protocol can be found here.

Subjective test:

Test
Understanding	¿Cree que ha comprendido el mensaje?	1: No, nada en absoluto => 5: Sí, completamente
Fluently	¿La salida del sistema es fluída?	1: No, ¡es muy mala! => 5: Sí, ¡está en un castellano perfecto!
Effort	Evalúe el esfuerzo requerido durante la escucha	1: muy alto => 5: muy bajo, es habla natural
Overall Quality	Evalúe la calidad general del sistema de traducción	1: Muy malo, inutilizable => 5: Es muy útil

Test data

Results are not yet available.

TC-Star Evaluation Information (WP4)