À partir d’outils d’analyse et de ressources d’ordre linguistique, nous avons conçu un système complet qui permet d’exploiter l’information contenue dans une base de textes en français. Ce système comporte deux aspects :
Il s’agit à présent d’estimer la qualité non seulement du fonctionnement complet du système, mais aussi des traitements particuliers qui sont mis en œuvre au cours du fonctionnement de l’application. Notamment, il s’agit d’évaluer l’intérêt propre à chacune des méthodes utilisées pour recueillir les différentes informations qui sont emmagasinées :
Par ailleurs, le système d’interrogation de la structure informationnelle a soulevé plusieurs questions qui nous ont amené à nous intéresser à l’identification de l’objet de la question et à la détermination d’un seuil de confiance en la réponse proposée lorsque l’information contenue dans la requête ne correspond qu’imparfaitement à celle de cette réponse. Nous avons donc autorisé un paramétrage de ces deux données afin de pouvoir vérifier leur impact sur les résultats obtenus. Ce paramétrage agit sur le niveau des contraintes appliquées à la correspondance entre question et réponses candidates. Il existe deux critères qui peuvent varier :
Enfin, la méthodologie que nous proposons ne se limite pas à la tâche de question-réponse, qui est notre moyen de tester les performances des divers processus qui composent le système. En effet, la structuration de l’information qui en constitue la clef de voûte a été conçue pour permettre une gestion des données contenues dans la base textuelle à diverses fins, et par exemple le filtrage de textes ou l’extraction d’information. Dans le but d’autoriser ces diverses manipulations, nous avons envisagé de traiter la structure informationnelle à différents niveaux de découpage des textes : dépendance, phrase, paragraphe, document.
Le présent chapitre va s’attacher à établir un protocole d’évaluation de la méthode de construction de la structure informationnelle d’une base textuelle, et donc de la qualité de cette base. Au cours de cette évaluation, la structure sera interrogée au moyen du système d’interrogation de la base documentaire que nous avons développé. Le processus d’évaluation portera donc à la fois sur les deux méthodes que nous avons proposées. D’une part, la méthode de constitution de la structure informationnelle sera examinée à travers les différents traitements qui apportent une information à cette structure. D’autre part, la procédure d’interrogation de la structure sera testée à chaque niveau de contraintes qu’elle autorise. Nous ferons ensuite une présentation critique des résultats obtenus.