7.3 Présentation des résultats

7.3.1 Examen des résultats selon les critères de question-réponse

L’examen des résultats de l’évaluation va nous permettre d’identifier les points forts et les faiblesses de notre méthode. La première démarche à envisager est l’examen global de notre méthodologie, qui valide ou infirme l’utilité d’un traitement basé sur des méthodes linguistiques dans le cadre de la gestion de l’information. C’est d’abord dans la perspective de la tâche de question-réponse que nous testons notre système. Pour ce faire, nous confrontons les mesures de plancher avec les résultats de la méthode dite « globale ».

Analyse des résultats de la méthode globale

Ce que nous appelons méthode globale est une application du système sur les textes qui met en œuvre l’ensemble des processus et enrichissements disponibles (analyse morpho-syntaxique, désambiguïsation sémantique, résolution de la coréférence des pronoms sujets, synonymie, traits sémantiques, dérivation morphologique). Au niveau des contraintes paramétrables, cette méthode globale privilégie d’une part la précision en imposant la présence de l’unité lexicale focus (cf. section 6.2.2 page §), mais sans négliger le rappel, car la mise en correspondance des dépendances de la requête et des réponses candidates ne rejette ces dernières que si aucune coïncidence n’est constatée.

Le tableau  7.1 page § indique clairement que notre méthode améliore non seulement la qualité des réponses apportées en promouvant plus efficacement les bonnes réponses (amélioration : 45%), mais augmente également son potentiel à apporter une réponse à la question posée (amélioration : 19%). L’enrichissement synonymique aveugle n’apporte que peu d’amélioration par rapport au plancher. Toutefois, il est difficile de juger de ce résultat sans disposer des chiffres qui évaluent un enrichissement, certes semblable à celui-ci, mais soumis à la sélection de la désambiguïsation sémantique. Ce tableau ne permet pas non plus d’identifier l’apport respectif des enrichissements qui nous ont conduit à ces résultats.

La table  7.2 page § présente donc les résultats comparés des différents modes d’enrichissement utilisés dans le cadre de la méthode globale. La présentation du tableau montre un enrichissement croissant :

• le premier de ces enrichissements (Synonymie aveugle) a déjà été présenté : il s’agit du plancher enrichi par les synonymes du Dubois mais sans discernement. Aucune analyse n’a été apportée et aucune résolution de coréférence n’a été réalisée. Le reste du tableau par contre correspond à la méthode globale et la méthode de coréférence a été utilisée ;
• la ligne Syntaxe présente les résultats de l’interrogation après analyse morpho-syntaxique du texte. Les traits sémantiques sont ajoutés à ce stade et les enrichissements suivants profitent de l’analyse syntaxique ;
• le champ Synonymes indique l’apport d’une synonymie aveugle appliquée après analyse syntaxique des documents ;
• la ligne Dubois (D) indique un enrichissement réalisé à l’aide des synonymes contextuels du dictionnaire Dubois suite à la désambiguïsation sémantique. À partir de cette ligne, tous les enrichissements bénéficient de cette désambiguïsation ;
• la ligne Dubois - Synonymes (D-Syn) met en œuvre l’enrichissement contextualisé pour les synonymes du dictionnaire Dubois, mais applique également un enrichissement aveugle des mots qui n’ont pas été désambiguïsés à partir de ces mêmes synonymes issus du Dubois ;
• la ligne Dubois - Bailly (D-B) présente les résultats dus à l’enrichissement des synonymes contextuels conjoints des dictionnaires Dubois et Bailly. Aucun enrichissement aveugle n’est effectué ;
• le champ Dubois - EuroWordNet - Memodata (D-EWN-M) présente les résultats dus à l’enrichissement des synonymes contextuels conjoints des dictionnaires Dubois, EuroWordNet et Memodata. Aucun enrichissement aveugle n’est effectué ;
• la ligne Dubois - Dérivés (D-Dér) indique l’apport de la dérivation morphologique couplée à l’enrichissement contextuel des synonymes du dictionnaire Dubois. Aucun enrichissement aveugle n’est effectué ;
• le champ Dubois - Bailly - EuroWordNet - Memodata - Dérivés (D-B-EWN-M-Dér) affiche les résultats de l’ensemble des enrichissements possibles, exception faite de l’enrichissement synonymique aveugle des unités lexicales qui n’ont pas été désambiguïsées ;
• enfin, la ligne Tous types rassemble tous les modes d’enrichissement issus de méthodes linguistiques. Les enrichissements de la ligne précédente y sont effectués, auxquels est adjoint l’enrichissement aveugle des unités lexicales non désambiguïsées.

L’examen de ces résultats confirme l’apport important des traitements linguistiques, tant au niveau du score qu’à celui du nombre de réponses apportées. On voit principalement l’intérêt de la synonymie ciblée (D) par rapport à son équivalent aveugle (Synonymes). L’intérêt de la syntaxe seule n’est pas évident. Il pourrait être montré s’il ressort que cet apport n’est pas uniquement issu de la résolution de la coréférence (cf. table 7.3 page §). Toutefois, l’analyse syntaxique n’est utilisée ici que comme support à d’autres enrichissements. Par exemple, il est évident que l’enrichissement synonymique contextuel est plus efficace si une analyse syntaxique est effectuée (Synonymes) que lorsque ce type d’enrichissement est effectué sur les simples mots-clefs extraits d’une requête (Syn. aveugles). Trois autres points intéressants ressortent de ces résultats.

Tout d’abord, nous constatons le faible apport de l’enrichissement issu de la dérivation morphologique (D-Dér). L’analyse des questions à laquelle nous avons procédé lors de la constitution de l’ensemble des requêtes à utiliser dans le protocole d’évaluation nous a permis de déceler une particularité qui est peut-être à l’origine de cet insuccès. En effet, les verbes dans les énoncés des requêtes correspondent fréquemment à des dérivation de noms ou d’adjectifs, présents dans plusieurs cas à l’intérieur de leurs réponses. Nous avons suffisamment signalé la richesse de l’information liée aux verbes par rapport à celle rattachée aux autres catégorie grammaticale dans le dictionnaire Dubois, à l’origine de l’enrichissement dérivationnel. Or il est fréquent que des dérivations mentionnées au départ d’entrées verbales ne rencontrent pas leur pendant à partir d’une autre catégorie grammaticale vers un dérivé verbal. Par exemple, alors qu’un lien de dérivation existe entre protéger et protecteur au départ du verbe, aucun lien équivalent n’est indiqué au départ de protecteur vers protéger. Du fait de cette carence, particulièrement sensible pour les noms et les adjectifs, de nombreux enrichissements ne peuvent s’effectuer. De ce fait, il arrive que des réponses ne soient pas sélectionnées lors de l’interrogation.

Fig. 7.1: Performances du système global en question-réponse.

A contrario, nous remarquons la bonne tenue de l’information des dictionnaires sémantiques (EuroWordNet et Memodata), surtout par rapport à l’enrichissement apporté par le dictionnaire Bailly. Nous avions, il est vrai, souligné le peu d’intérêt de l’information de ce dictionnaire lorsque nous l’avons passé en revue (cf. section 3.4.2 page §). Malgré cette faiblesse du dictionnaire Bailly, l’impact des synonymes contextuels sur la qualité des résultats est parfaitement évidente. Les courbes présentées dans la figure 7.1 page précédente permettent de confirmer de manière plus visuelle l’intérêt d’une analyse linguistique et l’apport essentiel d’une bonne synonymie contextuelle. Enfin, l’addition de synonymes aveugles sur les lexèmes non désambiguïsés ne semble étrangement pas apporter la moindre amélioration. En effet, l’adjonction de ces synonymes aveugles à l’enrichissement synonymique du Dubois, comme à l’ensemble des autres enrichissements, n’améliore en rien les performances du système. Toutefois, nous n’avons pu effectuer cet enrichissement aveugle qu’à l’aide de l’information synonymique propre au Dubois, à l’exclusion des autres dictionnaires dans lesquels nous puisons l’information synonymique. Cet enrichissement peut être de piètre qualité, surtout dans les catégories non verbales. Cela peut justifier la stagnation constatée.

Les conclusions sur les différents types d’enrichissement que nous avons tirées des précédents résultats doivent à présent être vérifiées. Validées ou invalidées sur la méthode globale, ces techniques doivent à présent être soumises à des variations de paramètres pour en constater les fluctuations. Pour ce faire, nous avons d’abord neutralisé le module de résolution de coréférence, ce qui va nous permettre de vérifier également l’importance de cet outil dans le processus de structuration de l’information.

Le tableau  7.3 page précédente présente les différents résultats issus des divers enrichissements, mais privés de la résolution de la coréférence. En comparant les résultats de l’interrogation de la méthode globale avec et sans coréférence, on peut constater l’ampleur de l’impact de cette coréférence sur l’efficacité du système : pour chacun des enrichissements, la perte de qualité est de plus de 0,075 point (soit près de 25%) et le nombre de questions qui n’obtiennent pas de réponse croît d’approximativement 20 unités (presque 20%). L’intérêt de l’utilisation d’un module de coréférence, même aussi rudimentaire que la technique que nous avons utilisée, est clairement établi. Nous traiterons ultérieurement de l’extension de cette coréférence aux adjectifs possessifs et aux autres pronoms.

Nous déduisons de ce tableau que l’apport d’une simple analyse morpho-syntaxique ne bénéficie pas à la tâche de question-réponse. Toutefois, le nombre de questions qui ont obtenu une réponse uniquement par la syntaxe est de 56, ce qui donne un score maximal de 0,280. Le score de 0,275 obtenu est donc presque parfait, proportionnellement plus élevé que celui du plancher, pourtant déjà excellent, de 0,295 pour un maximum de 0,305. Nous verrons dans les mesures traditionnelles ¹³ l’impact de la syntaxe sur la précision (cf. section 7.3.2 page §). L’examen des différentes valeurs présentées dans ce tableau ne montre pas de variation particulière d’un type d’enrichissement par rapport aux autres dans une proportion réellement différente de celles de la méthode globale. Ce statu quo nous conforte donc dans nos observations concernant les différents enrichissements : importance de l’enrichissement synonymique contextuel, faiblesse relative de la dérivation morphologique pour ce type de questions et peu d’intérêt de l’enrichissement aveugle des lexèmes non désambiguïsés.

Toutefois, il est possible que l’exploitation ou non de la coréférence des pronoms sujets ne soit pas de nature à révéler les variations dans les possibilités des différents types d’enrichissements. Il est donc important d’étudier le comportement de ces enrichissements dans des situations différentes afin de pouvoir juger de leur apport réel. À partir de textes tantôt soumis à la résolution de la coréférence et tantôt non, nous allons faire varier les paramètres liés à la mise en correspondance des questions et réponses (utilisation ou non de l’unité lexicale focus, utilisation et variation du seuil de correspondance des dépendances contenues dans les réponses candidates et dans les questions).

Le système appliqué sur les textes avec résolution de la coréférence présente les meilleurs résultats si les réponses candidates qui ne présentent pas de correspondance de dépendance avec la question ne sont pas rejetées. Ils sont également les meilleurs dans le cas où la coréférence n’est pas résolue. Ces résultats apparaissent dans la table  7.4 page §.

Nous observons que dans ce cas également, les constatations que nous avons faites sur l’apport respectif des différents enrichissements restent d’actualité, que cet enrichissement soit synonymique contextuel ou aveugle, dérivationnel ou qu’il provienne de la résolution de la coréférence. Les résultats présentés par les textes avec coréférence en particulier comptent parmi les meilleurs que nous avons obtenus. Près de la moitié des questions obtiennent une réponse dans les cinq premières propositions, et les résultats présentés quel que soit l’enrichissement sont supérieurs à tous les autres.

Nous relevons particulièrement la réaction inattendue du système à la demande de correspondance exacte des dépendances syntaxiques. En effet, les résultats sont meilleurs lorsque la contrainte syntaxique diminue. Pour évaluer l’impact des contraintes syntaxiques sur les résultats, nous présentons dans le tableau 7.5 page § les résultats de la méthode globale, mais nous faisons varier le seuil du rejet des réponses qui ne concordent pas totalement avec la question. Les résultats pour un seuil de 10%, identiques à ceux du seuil à 0%, n’ont pas été présentés, de même que ceux de 30%, identiques aux résultats du seuil à 20%.

Ces résultats montrent que l’impact de l’élévation du seuil de concordance des dépendances sur les performances du système est plutôt négatif, même si cette variation n’a pas d’impact entre 0% et 20%, ni entre 20% et 40%. La diminution de qualité des réponses lors de l’augmentation des contraintes sur la syntaxe est surprenante, mais elle peut être justifiée. En effet, le renforcement d’une contrainte implique généralement la diminution des propositions de réponses. À partir de ce fait, la détérioration des résultats s’explique par la conjonction de deux facteurs : une réponse dont les dépendances ne correspondent pas à celles de la question est normalement placée très bas dans la liste des propositions, et ne donnera lieu à un résultat que si aucune réponse correcte n’est placée plus haut, mais ne fera pas évoluer favorablement le score si elle est rejetée ; d’autre part, une dépendance syntaxique présente dans une question propose un schéma très strict qui peut ne s’adapter que partiellement à la réalité du document qui y correspond.

De fait, la rigueur de ce schéma peut poser un problème dans le cadre d’énoncés où une dépendance sémantique de même type unit les deux mêmes entités, mais que ce lien n’existe au niveau syntaxique que de manière indirecte. Par exemple dans l’énoncé

extrait de l’Encyclopédie Hachette Multimédia, aucune dépendance ne permet de relier directement neveu et Tibère. En effet, le rattachement prépositionnel unit neveu et empereur (NARG[INDIR](neveu,de,empereur)), tandis que le mot empereur est lui-même relié à Tibère en tant qu’apposition du nom (NN(empereur,Tibère)). Une solution pour régler ce type de problème serait de considérer des dépendances indirectes permettant de définir un même lien sémantique comme correspondant à celles de la requête, même si cette correspondance est effectuée à un moindre degré.

Un autre cas où la rigueur du schéma syntaxique peut poser un problème à la mise en correspondance de la question et de la réponse vient de lacunes dans l’analyse syntaxique fournie par la grammaire. De fait, si nous prenons une phrase comme

extraite de l’Encyclopédie Hachette Multimédia, l’analyse syntaxique de XIP ne comportera qu’un seul rattachement prépositionnel impliquant César : NMOD[INDIR](second,de,César). Une dépendance prépositionnelle impliquant ami et César dans une question ne pourrait donc être mise en correspondance avec la phrase présentée.

Dans ces deux cas, l’information lexicale est présente ainsi que l’information syntaxique. Le problème vient de ce que ces deux informations ne sont pas forcément compatibles avec celles des questions proposées, dont la syntaxe est souvent plus simple, et ne comporte donc généralement ni lacune ni de relation indirecte.

L’absence de l’unité lexicale correspondant au focus est le dernier paramètre sur lequel nous pouvons agir pour améliorer certains aspects des résultats produits par le système. Le tableau  7.6 page § présente les différents résultats obtenus en retirant le lexème porteur du focus des exigences de la question et en faisant varier les contraintes sur le seuil de concordance des dépendances des réponses et de la question : aucune exigence, suppression des concordances nulles, seuil de 10% à 40%.

Fig. 7.2: Impact de la variation du seuil de rejet sur les performances du système en question-réponse.

De ces résultats, nous pouvons déduire que les réponses à concordance basse (sous 20%) n’influencent que faiblement la qualité des résultats. Les courbes de résultats (cf. figure  7.2 page précédente) permettent de mieux percevoir l’impact des variations du seuil sur les performances. Des intervalles relativement importants entre les taux qui modifient réellement les résultats proviennent probablement de ce que la plupart des questions sont courtes, et comportent donc peu de dépendances. Les variations de taux de correspondances sont peu nombreuses entre 0% et 20% et entre 20% et 40% lorsque peu de dépendances sont mises en jeu. Il est donc plus courant d’obtenir des taux de correspondance nuls ou échelonnés de 20% en 20%.

Il est cependant paradoxal de constater que les scores sont supérieurs lorsque les contraintes sont diminuées, tant par la suppression du focus¹⁴ que par la diminution des contraintes syntaxiques sous la forme d’un seuil bas ou inexistant. Toutefois, l’augmentation du nombre des propositions de réponses alliée à une classification des réponses où les contraintes syntaxiques ont la prépondérance peut expliquer ce comportement inattendu.

Il serait intéressant de pouvoir tester le même système en le modifiant de manière à ce que la ou les dépendances qui comportent le focus soient obligatoirement retrouvées dans les réponses candidates, surtout dans les cas où l’unité lexicale désignée par le focus n’est pas exigée.

De plus, pour l’ensemble des derniers résultats présentés, le détail des enrichissements nous permet de confirmer les conclusions que nous tirions à propos de leur intérêt respectif. En particulier, nous constatons le peu d’efficacité de la morphologie dérivationnelle et de l’enrichissement aveugle des lexèmes non désambiguïsés, tandis que l’importance de la coréférence est confirmée. Dans tous les cas, l’apport d’un enrichissement contextuel lié au sens est également un atout majeur. Par ailleurs, la classification des réponses liée à la syntaxe semble un moyen efficace de conserver de fait certaines contraintes syntaxiques sur les réponses proposées.

7.3.2 Les résultats traditionnels de la gestion de l’information

Les critères d’évaluation intéressants pour les autres disciplines liées à la gestion de l’information ne sont pas forcément identiques à ceux qui servent à évaluer la tâche de question-réponse. En particulier, toutes les réponses possibles y sont généralement prises en compte : rappel, ainsi que toutes les réponses fournies : précision (cf. section  1.2.1 page §). Le corpus que nous traitons comporte 249 réponses correctes pour les 200 questions qui lui sont proposées. Malgré ces différences, les paramètres que nous pouvons faire varier sont identiques à ceux que nous avons manipulés pour évaluer les capacités de question-réponse du système, excepté la possibilité de travailler sur des fenêtres plus larges (paragraphe ou texte). Les conclusions que nous pouvons tirer sont souvent semblables. Nous nous attardons donc peu sur les phénomènes déjà constatés, tandis que nous insistons sur les particularités propres à ce type de calcul.

La méthode globale permet d’isoler les résultats présentés dans le tableau 7.7 page §. Nous constatons immédiatement que la précision atteinte par le plancher est excellente, mais que ce résultat est tempéré par un rappel bas. Le calcul de la F-mesure permet de ne pas s’y tromper. En effet, alors que cette F-mesure est honorable lorsque la précision est favorisée (β=0,5), elle s’effondre de près de 20 points dès lors qu’il y a équivalence entre la précision et le rappel (β=1), et chute encore si le rappel est privilégié (β=2). La méthode globale n’atteint pas le même niveau de précision, bien que cette précision soit de plus de 38% et qu’elle permette d’obtenir une mesure d’ensemble supérieure dans tous les cas à la mesure du plancher, même lorsque la précision est favorisée.

Le tableau quantitatif  7.8 page § et les courbes d’évaluation de la figure 7.3 page § permettent de confirmer ces chiffres : le nombre de bonnes réponses apportées par notre méthode dépasse le plancher de plus de 41%, et le nombre de questions qui obtiennent au moins une bonne réponse augmente de plus de 40%. Il est vrai que notre méthode double le nombre de réponses fausses avec 24 cas là où la mesure de plancher n’en a que 13. Cette différence justifie en partie la différence de précision entre le plancher et notre méthode globale. Les réponses rejetées (Rejet) sont les candidates dont le taux de concordance des dépendances avec celles de la question est inférieur au seuil prescrit (ici 0%). Parmi ces réponses rejetées, nous indiquons le nombre de propositions correctes (Rej. exact).

Fig. 7.3: Courbes des performances quantitatives de la méthode globale.

Les caractéristiques du corpus d’évaluation, choisi délibérément parmi des articles encyclopédiques traitant de personnages pour les raisons déjà évoquées, sont à l’origine de la qualité des réponses de la méthode de plancher qui est particulièrement élevée, et peut-être, dans une mesure que nous espérons moindre, des autres résultats également. Ce corpus contient en effet une grande quantité de noms propres, ce qui est fréquent dans une encyclopédie, plus encore si les documents portent sur des personnes. Comme une grande majorité des questions contient au moins un nom propre (93%), la tâche de recherche d’information par mots-clefs s’en trouve facilitée ¹⁵.

Les résultats obtenus dans cette évaluation ne seront donc pas forcément représentatifs de la qualité des méthodes sur d’autres types de textes ou de sujets. Toutefois, les processus mis en œuvre dans notre méthode peuvent être testés les uns par rapport aux autres et nous avons donc la possibilité de déterminer leurs intérêts respectifs. Par ailleurs, notre méthode est destinée à une utilisation généraliste, et ne doit donc pas récuser un type de texte particulier, qu’il lui soit favorable ou défavorable, comme c’est ici le cas.

La présentation des résultats de la méthode globale détaillés en fonction du processus d’enrichissement dans le tableau 7.9 page § permet de confirmer certaines conclusions que nous avons tirées lors de l’analyse des données obtenues dans la perspective de la tâche de question-réponse.

Tout d’abord, nous constatons ici l’apport de l’analyse morpho-syntaxique en comparaison avec les résultats du plancher. Le bénéfice est manifeste du point de vue de la précision, comme nous l’avions pressenti sans pouvoir le démontrer dans les chiffres issus de la tâche de question-réponse. L’augmentation du rappel est due à l’utilisation de la coréférence, mais ce type d’enrichissement ne privilégie pas la précision. Le tableau quantitatif (cf. table  7.10 page §) des mêmes résultats confirme la qualité de l’information identifiée au travers de cette seule analyse, qui voit augmenter significativement le nombre de ses bonnes réponses grâce à la résolution anaphorique sans accroître en proportion le nombre des erreurs. L’analyse des résultats sans application de la coréférence (cf. table  7.11 page §) ne se démarque pas de cette observation.

La faiblesse de deux enrichissements est également confirmée par ces résultats, tant par les mesures de précision et de rappel que par les mesures quantifiées. Il s’agit des apports de la synonymie aveugle et de la morphologie dérivationnelle. Les apports de la synonymie aux lexèmes qui n’ont pas été désambiguïsés sont anecdotiques : en précision comme en rappel, elle est de 1% et l’amélioration quantitative n’est pas plus convaincante. La dérivation morphologique est tout aussi décevante, qu’elle soit appliquée après la seule désambiguïsation ou après l’adjonction de tous les autres enrichissements. Ces enrichissements ne sont donc pas très significatifs dans notre méthode.

Par contre, nous constatons les bons résultats obtenus par l’enrichissement synonymique contextuel en général, avec une meilleure efficacité pour les dictionnaires sémantiques (EuroWordNet et Memodata) que pour le dictionnaire synonymique (Bailly). Le tableau des mesures quantitatives permet d’envisager que les bonnes réponses dont l’obtention est permise par les synonymes issus du Bailly (deux de plus que l’enrichissement du seul Dubois), par les dictionnaires sémantiques (cinq de plus que l’enrichissement du Dubois) et par la dérivation morphologique (deux de plus que l’enrichissement du Dubois) ne se recouvrent pas. Nous constatons aussi que, si la dérivation morphologique n’offre somme toute qu’un apport modeste au système, sa contribution n’en est pas moins d’excellente qualité, car aucune erreur n’est générée par cet enrichissement. Chacun de ces enrichissements a donc sa raison d’être utilisé dans notre méthodologie.

Les chiffres des tableaux  7.11 page § et 7.12 page § présentent les résultats de l’interrogation de la base en exploitant les mêmes processus – excepté la technique de résolution de coréférence des pronoms sujets – et les mêmes paramètres, à savoir la présence de l’unité lexicale désignée par le focus dans la réponse ainsi que l’élimination des réponses qui ne présentent aucune dépendance concordante avec la requête. Ces résultats permettent de confirmer l’importance de l’analyse syntaxique, qui conserve un avantage sur les résultats du plancher grâce à une précision meilleure tandis que la perte en rappel reste relativement faible.

L’analyse quantitative surtout permet de constater l’amélioration apportée par la syntaxe (diminution des réponses fausses de 31% pour une diminution de 12% des réponses fournies). L’examen des autres résultats permet de légitimer nos appréciations des autres enrichissements les uns par rapport aux autres et de constater que les réponses apportées par l’enrichissement synonymique issu des différents types de dictionnaires ne se recoupent pas.

Nous pouvons à présent manipuler le seuil de concordance des dépendances des questions et des réponses, à partir duquel une phrase peut être acceptée comme réponse à la question posée. Le seuil testé précédemment était de 0%, c’est-à-dire que la réponse était supprimée dès qu’aucune dépendance ne correspondait parfaitement entre la question et la réponse. Les tableaux 7.13 page § et 7.14 page § comparent les résultats obtenus lors de l’interrogation avec rejet des réponses sans concordance de dépendance avec la question, et ceux obtenus sans rejet. Contrairement au cas de figure obtenu lors de l’évaluation en question-réponse, les résultats obtenus en supprimant le seuil d’élimination de réponses non concordantes ne produisent pas un grand changement dans les résultats.

Comme on pouvait le prévoir en diminuant les contraintes, la précision y perd un peu et le rappel y gagne, mais le calcul de ces deux mesures confondues (F-mesure avec β=1) donne globalement un résultat semblable. Cette différence avec les résultats de question-réponse vient de l’élimination naturelle d’un grand nombre de réponses à faible taux de concordance du fait de la classification des réponses les plus pertinentes de l’élimination des réponses les moins susceptibles d’être exactes dans la tâche de question-réponse. L’analyse des résultats quantifiés confirme ce raisonnement : les réponses correctes sont un peu plus nombreuses et les erreurs également.

Les variations du seuil de concordance en dessous duquel les réponses doivent être supprimées peuvent fluctuer. Les résultats avec un seuil à 0% et à 10% sont identiques, les questions étant généralement trop brèves pour contenir plus de dix dépendances. Les variations de résultats commencent à 20%. Le tableau 7.15 page § présente les résultats pour un enrichissement qui comprend l’ensemble des méthodes décrites avec des seuils de 0%, 10%, 20%, 30% et 40%, attendu que l’examen des différentes méthodes d’enrichissement n’apporte rien à nos constatations antérieures ¹⁶. Le tableau  7.16 page § présente les résultats quantifiés correspondants.

L’évolution des résultats en fonction du renforcement des contraintes syntaxiques n’est pas très probant. En effet, l’évolution réelle des résultats demande un seuil très élevé, en dessous duquel ni la précision, ni le rappel ne bouge beaucoup. Il faut en effet un seuil de 40% au moins pour voir une amélioration significative de la précision. Cette amélioration s’effectue au détriment du rappel, et cette perte du rappel est plus importante que l’apport en précision, comme le prouve la baisse de la F-mesure qui équilibre l’importance de la précision et du rappel. La hausse de ce seuil ne permet un gain de précision qu’au prix d’une perte plus importante du rappel. Le tableau quantitatif permet d’expliquer la faible variation des résultats avant un seuil de 40% : les réponses rejetées sont relativement peu nombreuses avant cette limite de 40%, et surtout leur nombre ne varie pas beaucoup. Mais dès le seuil de 40%, la contrainte syntaxique est plus efficace et l’élimination de réponses, même de bonnes réponses ¹⁷, est plus importante.

Il nous reste maintenant à analyser les résultats produits par la variation du dernier paramètre que nous pouvons modifier, c’est-à-dire le focus. Dès lors que l’unité lexicale désignée par le focus n’est pas requise dans les réponses, les propositions sont beaucoup plus nombreuses du fait de l’élargissement des contraintes.

Les tableaux  7.17 page § et  7.18 page § comparent les résultats obtenus sans l’exigence de la présence du focus en faisant varier de nulle (aucun seuil de rejet) à faible (rejet des propositions avec 0% de concordance) la contrainte du seuil de concordance des dépendances entre question et réponses. Ces résultats très peu contraints obtiennent un taux de rappel spécialement élevé, au détriment de la précision. La F-mesure privilégiant la précision (β=0.5) est basse même si les autres scores sont honorables.

Les résultats quantitatifs indiquent par ailleurs que les réponses erronées sont très nombreuses. L’ajout d’une contrainte avec un seuil de concordance à 0% n’améliore que faiblement les performances du système. Comme nous l’avons constaté précédemment, les contraintes basses sur les réponses peu concordantes, lorsque le système ne limite pas les propositions à un petit nombre, n’ont que peu d’impact sur les résultats. Un seuil de concordance de 10% permet d’ailleurs d’obtenir des résultats identiques à ceux atteints lorsque le seuil est de 0%.

Fig. 7.4: Influence du seuil de rejet sur les performances du système avec utilisation du focus.

Les résultats obtenus en appliquant des seuils plus élevés permettent d’obtenir un compromis acceptable entre les différentes mesures. Le graphique 7.4 page précédente qui présente les courbes quantitatives à chaque seuil testé permet d’évaluer visuellement l’impact des rejets sur les résultats. En effet, un seuil de 20% permet de retrouver un niveau de précision intéressant tout en conservant un rappel élevé étant donné que le nombre de propositions éliminées augmente très significativement. La F-mesure équilibrée (β=1) permet même de constater que c’est le meilleur compromis testé pour ce système. Les tableaux 7.19 page § et 7.20 page § contiennent les résultats comparés de l’interrogation de la base documentaire sans utilisation du focus dans la réponse et à des seuils de concordance inexistant et à 0%, 10%, 20%, 30% et 40%. Seuls les résultats de tous les enrichissements confondus sont indiqués, le détail des différents enrichissements n’appelant pas de nouvelle constatation.