EVALDA

Le projet EVALDA est financé par le Ministère français en charge de la Recherche, dans le cadre du programme Technolangue. Ce projet a pour objectif la mise en oeuvre d’une infrastructure pérenne dédiée à l’évaluation des technologies de la langue en France, pour la langue française.

Dans le cadre d’EVALDA seront mis en place les différents composants qui pourront être exploités à des fins d’évaluation, relatifs par exemple à l’organisation, à la logistique, aux ressources linguistiques, aux protocoles d’évaluation, aux méthodologies et aux métriques. EVALDA vise en outre à rassembler les acteurs-clés du domaine (comités scientifiques, groupes de discussion, experts, partenaires, etc.). Outre la possibilité de capitaliser sur les différentes expériences et leurs résultats, cela va contribuer à encourager la collaboration entre les différents partenaires et à lancer de nouvelles campagnes d’évaluation.
Il est impératif que les campagnes d’évaluation conduites dans le cadre d’EVALDA puissent être menées par des tierces parties, grâce aux ressources collectées au cours du projet, pour permettre une comparaison des performances plus efficace et une progression dans l’état de l’art de l’ingénierie linguistique. L’ensemble des ressources développées au cours des différentes campagnes d’évaluation seront mises à disposition à la fin de chaque projet, sous la forme d’un package d’évaluation disponible dans notre catalogue.

EVALDA vise par ailleurs à lancer des campagnes d’évaluation sur des technologies linguistiques variées, sur support écrit et oral. Partenaires industriels et académiques y participent. Les campagnes sont essentiellement fondées sur des protocoles d’évaluation black box et sur des méthodes quantitatives, tirant profit des campagnes d’évaluation déjà menées, telles que ARC-AUPELF, GRACE, TREC, etc.

Chaque campagne d’évaluation est independante et autonome. Cependant, une synergie entre les différentes campagnes est souhaitée. Cette synergie peut prendre la forme de partage des savoir-faire, partage des ressources, ou du personnel.

Les technologies linguistiques qui font l’objet de campagnes d’évaluation ont été sélectionnées en fonction de leur importance et expansion dans le domaine.
Les 8 technologies/campagnes sont les suivantes :

  Arcade 2 : évaluation de systèmes d’alignement de corpus bilingues. Le succès de la campagne Arcade I a conduit à cette nouvelle campagne d’évaluation, orientée vers l’alignement de corpus bilingues en « langues exotiques », telles que le grec, le russe, le japonais ou le chinois, ce qui constitue en soi un nouveau défi.

  CESART : évaluation de systèmes d’extraction de terminologie, entre autres des outils d’extraction d’ontologies et de relations sémantiques. L’évaluation se fondera sur une liste de termes et relations prédéfinis.

  CESTA : évaluation de systèmes de traduction automatique. La langue pivot sera le français. D’autres langues pourraient cependant être utilisées, telles que l’anglais, l’espagnol, l’allemand et l’arabe, en fonction des fonctionnalités des systèmes.

  EASY : évaluation de systèmes d’annotation syntaxique. De cette campagne doit découler la création d’un texte de référence annoté au niveau de la syntaxe. Ce document sera constitué d’extraits de journaux, de textes litéraires, de textes électoniques, etc.

  ESTER : évaluation de systèmes de transcription automatique d’émissions radiodiffusées. Cette campagne inclut l’évaluation de la segmentation et de l’identification d’entités nommées.

  EQUER : évaluation de systèmes question-réponse. Trois corpus de référence seront utilisés : un large corpus de texte du domaine général (journaux, textes divers), un corpus web et un corpus de textes médicaux.

  EVASY : évaluation de systèmes de synthèse de la parole. Cette campagne vise à mettre en oeuvre une méthodologie innovante pour l’évaluation de la prosodie de la parole synthétisée.

  MEDIA : évaluation de systèmes de dialogue en contexte et hors contexte. Nous utiliserons ici le contexte de réservatiion d’une chambre d’hôtel, avec des informations touristiques locales.