La qualité des protocoles d’évaluation

Le projet CESART repartira de l’expérience acquise dans la cadre de l’ARC A3 de la campagne AUF (ex AUPELF-UREF). Le mode d’évaluation de l’époque a été adopté suite à une concertation entre les différents partenaires dans l’action. Ce protocole a montré des points forts mais également des points faibles. L’objectif principal de la campagne CESART est de réessayer un nouveau protocole inspiré de celui de l’ARC A3, mettant en avant les compétences de l’expertise humaine pour une évaluation manuelle et le développement d’un nouvel outil pour l’évaluation automatique avec des raffinements dans les métriques employées et l’intégration de nouvelles fonctionnalités.

La variété des systèmes

De même, les systèmes mis en place dans ce projet couvrent plus d’une catégorie dans le mode d’acquisition de ressources terminologiques : nous examinerons des extracteurs de terminologie, des extracteurs de relations et/ou de réseaux sémantiques, des classifieurs et des générateurs d’ontologies.

Contacts
  Olivier Hamon

  Khalid Choukri