C’est en fournissant les ressources linguistiques adaptées aux tests d’évaluation (Amaryllis, Aurora, CLEF) que l’activité d’évaluation a démarré à ELDA. Aujourd’hui, nous avons étendu nos activités dans le domaine, en intégrant notamment la gestion de projets pour l’évaluation de technologies de la langue.

L’évaluation est un facteur de premier plan dans le domaine de l’ingénierie linguistique, et ce à différents niveaux.
L’évaluation permet aux équipes de R&D de valider leurs recherches et d’assurer ainsi le développement des systèmes, en constante progression. L’évaluation permet aussi d’identifier les créneaux vers lesquels il est judicieux de s’orienter pour développer de nouvelles technologies, aboutissant à leur mise sur le marché. L’évaluation permet également aux agences ayant financé des projets d’en mesurer, d’une certaine façon, le retour sur investissement grâce à la mise en oeuvre de ces projets.

Les campagnes d’évaluation contribuent également à la production de données de test ou d’entraînement de très bonne qualité, de méthodologies, métriques et protocoles, qui peuvent ensemble être mis à disposition sous la forme de "packages" d’évaluation, et distribués comme le sont les ressources linguistiques habituelles. Ces lots permettraient aux équipes de recherche de tester, comparer et évaluer les systèmes développés.

L’activité d’évaluation peut être menée à différents niveaux :

• Evaluation de base (pour valider les orientations de recherche),
• Evaluation des technologies (pour trouver les solutions aux problèmes clairement définis),
• Evaluation d’utilisabilité (par les utilisateurs finaux sur le terrain)
• Evaluation de l’impact (pour mesurer les conséquences socio-économiques)
• Evaluation de programme (agences de financement).

Pour plus de détails sur l’évaluation des technologies de la langue, notamment les campagnes en cours, vous pouvez visiter le Portail ELRA de l’évaluation des technologies de la langue.