Méthodologie d’Evaluation automatique de la compréhension hors et en contexte du DIAlogue

Présentation

L’objectif du projet MEDIA est de définir et de tester une méthodologie d’évaluation de la compréhension des systèmes de dialogue. Nous proposons de mettre en place un paradigme d’évaluation fondé sur la définition et l’utilisation de batteries de tests issues de corpus réels et sur une représentation sémantique et des métriques communes. Ce paradigme devrait permettre de diagnostiquer les capacités de compréhension hors-contexte et en contexte des systèmes de dialogue. Une campagne d’évaluation des systèmes des différents participants sera menée pour valider le paradigme et les représentations sur une même tâche de demande de renseignements.

L’atelier final du projet s’est tenu les 6 et 7 juillet 2006 à l’université d’Avignon, sur le campus Sainte-Marthe.

Organisateur :

  ELDA

L’animation scientifique

  LIMSI

Les fournisseurs de corpus et d’outils d’évaluation :

  ELDA
  Vecsys

Les participants académiques aux évaluations :

  FT R&D : France Telecom Recherche et Développement
  IMAG : Institut d’Informatique et de Mathématiques Appliquées de Grenoble
  IRIT : Institut de Recherche en Informatique de Toulouse
  LIMSI : Laboratoire des Systèmes et Instruments Ile de France
  LIUM : Laboratoire d’Informatique de l’Université du Maine
  LORIA : Laboratoire Lorrain d’Intelligence Artificielle
  LIA : Laboratoire d’Informatique d’Avignon
  TELIP
  VALORIA : Laboratoire de Recherche en Informatique et ses Applications de Vannes et Lorient

Liens

Accès à la section protégée MEDIA ici

Contacts
  Djamel Mostefa