Campagne CLEF 2006 | Participants 2006

ATTENTION:
Le package d’évaluation CLEF est maintenant disponible dans le catalogue ELRA.

CLEF - Cross Language Evaluation Forum

Le projet CLEF, avec son activité d’évaluation de systèmes de recherche d’information, est coordonné en Europe par DELOS (Network of Excellence for Digital Libraries), et organisé en collaboration avec l’institut américain NIST ( National Institute of Standards and Technology) et les conférences TREC (Text REtrieval Conference).

Les campagnes d’évaluation de CLEF ont pour objectif de promouvoir la recherche et le développement dans le domaine de la recherche d’information multilingue (Cross-Language Information Retrieval, CLIR), d’une part en offrant une infrastructure pour tester et évaluer les systèmes de recherche d’information sur des supports écrits dans les différentes langues européennes, en mode monolingue, multilingue ou interlangue, et d’autre part en mettant au point des séries de tests composés de données qui peuvent être ré-utilisées par les développeurs de systèmes, pour l’évaluation.

Dans le cadre de CLEF, ELDA est chargée de mener une enquête sur les besoins des développeurs et intégrateurs pour répondre au mieux aux attentes des utilisateurs, et d’identifier les ressources et d’en négocier la distribution avec les propriétaires. ELDA participe en outre à la préparation de la stratégie qui sera mise en oeuvre à la clôture du projet, grâce à laquelle des ressources, des procédures et des recommandations pour l’évaluation de systèmes multilingues et inter-langues verront le jour.

La campagne d’évaluation CLEF 2006

Les résultats de la campagne d’évaluation CLEF 2006 ont été présenté lors du Workshop annuel CLEF, à Alicante, en Espagne, du 20 au 22 septembre 2006, immédiatement après la 10 ème Conférence Européenne sur la Recherche et les Technologies Avancées pour les Bibliothèques Numériques (ECDL’06).

Cette année encore, le Workshop a réuni près de 150 chercheurs et développeurs de logiciels.

Le but du Workshop était de présenter et de discuter les résultats de la campagne d’évaluation CLEF 2006. Année après année, CLEF a augmenté le nombre des différentes tâches et sous-tâches proposées aux participants afin de permettre et de faciliter les expériences autour de l’accès à l’information multilingue.

Cette année encore, 8 tâches principales d’évaluation ont été proposées afin d’évaluer les performances des systèmes pour :

• la Recherche d’information Mono-, Bi- et Multilingue sur des collections de textes journalistiques (tâche « Ad-Hoc »)
• la Recherche d’information Mono- et Interlingue sur des collections de textes scientifiques structurés (tâche « Domain-Specific »)
• la Recherche d’information Intéractive Interlingue (tâche « iCLEF »)
• une tâche Question-Réponse Mono-, Bi- et Multilingue (tâche « QA@CLEF »)
• la Recherche d’information Interlingue sur des collections d’Images (tâche « ImageCLEF »)
• la Recherche d’information Interlingue sur de l’Oral (tâche « CL-SR »)
• la Recherche d’information Multilingue sur le Web (tâche « WebCLEF »)
• la Recherche d’information Géographique Interlingue (basée sur des images) (tâche « GeoCLEF »).

Bien que ces tâches soient les mêmes que celles proposées l’an dernier, un certain nombre de sous-tâches sont nouvelles en 2006.

Comme par exemple, dans la tâche Question-Réponse, en plus de la tâche principale, trois sous-tâches « pilotes » ont été proposées :

• une sous-tâche d’évaluation de systèmes de Question-Réponse utilisant Wikipédia (WiQA) ;
• un exercice de validation des réponses (AVE exercise) ;
• t aussi pour la première fois, un exercice « Temps réel » (qui évalue la vitesse de traitement des systèmes en temps réel) qui s’est déroulé entre participants intéressés le matin du premier jour du Workshop (cette année seul l’espagnol a été utilisé pour cette dernière sous-tâche).

 Un grand nombre de documents divers ont été utilisés dans la campagne d’évaluation CLEF 2006 afin de générer les collections de tests pour les participants :

• le corpus multilingue CLEF de plus de deux millions d’articles journalistiques en 12 langues ;
• la collection spécialisée CLEF contenant la base de données de sciences sociales GIRT-4 en anglais et en allemand et deux bases de données russes : le corpus russe de sciences sociales et la collection russe ISISS de sociologie et économie (nouveau en 2006) ;
• quatre collections ont été utilisées pour la tâche ImageCLEF :
  • la base de données médicale et radiologique ImageCLEFmed,
  • la collection IRMA en anglais et en allemand,
  • la base de données IAPR TC-12 comprenant 25 000 photographies sous-titrées en anglais, allemand et espagnol,
  • une collection de photographies généralistes ;
• le corpus MALACH de paroles spontanées extrait des archives de la Shoah en anglais et en tchèque est utilisé pour la tâche « CL-SR »
• une collection extraite de sites gouvernementaux européens (corpus EuroGOV) est utilisé pour la tâche « WebCLEF ».

Les groupes ayant participé à la Campagne CLEF 2006

Comme pour les années précédentes, les participants se divisaient en deux groupes : 34 nouveaux participants et 56 autres participants qui avaient au moins une fois participé à l’une des précédentes éditions. La plupart des participants sont des académiques, seuls 9 groupes, cette année, étaient des industriels.

Le travail des groupes participant à la campagne d’évaluation 2006 a été présenté lors de sessions plénières ou parallèles et également lors d’une session poster. Le dernier jour du Workshop, des « sessions bilan » ont eu lieu pour chaque tâche pour plus de discussion sur les résultats et le futur de ces tâches. La « session de conclusion » a également inclu des discussions à propos d’éventuelles nouvelles tâches pour les prochaines campagnes.

Le programme final ainsi que tous les articles inclus dans les « Working Notes » sont maintenant disponibles sur le site Web de la campagne CLEF.

Contacts ELDA

Khalid Choukri, Directeur exécutif d'ELDA
Contact

Nicolas Moreau, Chef de projet
Contact

ELDA
55-57 rue Brillat Savarin
75013 Paris (France)
Tel : +33 1 43 13 33 33
Fax : +33 1 43 13 33 30

Coordinateur

DELOS Network of Excellence for Digital Libraries

CLEF Steering Committee

• Martin Braschler, Zurich , Switzerland
• Amedeo Cappelli, ISTI-CNR & CELCT , Italy
• Hsin-Hsi Chen, National Taiwan University , Taipei , Taiwan
• Khalid Choukri, Evaluations and Language resources Distribution Agency, Paris , France
• Paul Clough, University of Sheffield , UK
• Thomas Deselaers, RWTH Aachen University , Germany
• David A. Evans, Clairvoyance Corporation, USA
• Marcello Federico, ITC-irst, Trento , Italy
• Christian Fluhr, CEA-LIST, Fontenay-aux-Roses, France
• Norbert Fuhr, University of Duisburg , Germany
• Frederic C. Gey, U.C. Berkeley , USA
• Julio Gonzalo, LSI-UNED, Madrid, Spain
• Donna Harman, National Institute of Standards and Technology , USA
• Gareth Jones, Dublin City University , Ireland
• Franciska de Jong, University of Twente , Netherlands
• Noriko Kando, National Institute of Informatics, Tokyo , Japan
• Jussi Karlgren, Swedish Institute of Computer Science , Sweden
• Michael Kluck, German Institute for International and Security Affairs, Berlin , Germany
• Natalia Loukachevitch, Moscow State University , Russia
• Bernardo Magnini, ITC-irst, Trento , Italy
• Paul McNamee, Johns Hopkins University , USA
• Henning Müller, University & University Hospitals of Geneva , Switzerland
• Douglas W. Oard, University of Maryland , USA
• Maarten de Rijke, University of Amsterdam, Netherlands
• Diana Santos, Linguateca, Sintef, Oslo , Norway
• Jacques Savoy,   University of Neuchatel , Switzerland
• Peter Schäuble, Eurospider Information Technologies, Switzerland
• Richard Sutcliffe, University of Limerick , Ireland
• Max Stempfhuber, Informationszentrum Sozialwissenschaften Bonn, Germany
• Hans Uszkoreit, German Research Center for Artificial Intelligence (DFKI), Germany
• Felisa Verdejo, LSI-UNED, Madrid, Spain
• José Luis Vicedo, University of Alicante , Spain
• Ellen Voorhees, National Institute of Standards and Technology , USA
• Christa Womser-Hacker, University of Hildesheim , Germany

CLEF restricted area available here