Pour mettre en œuvre notre méthode de gestion de l’information, un système d’indexation est nécessaire. Il permet non seulement de stocker et de classifier les données identifiées lors de l’analyse des documents ainsi que celles issues de la phase d’enrichissement, mais aussi de retrouver les fragments de texte qui contiennent l’information recherchée lors de l’interrogation.
La technique d’indexation que nous exploitons [Roux et Jacquemin, 2002] propose le stockage de l’information sous forme de chaînes de bits reliées au texte ou au fragment de texte qui contient cette information. Chacun des bits de la chaîne correspond à un élément d’information : unité lexicale, dépendance, trait, etc.
Par ailleurs, cette technique présente la particularité de constituer une indexation sur plusieurs plans, c’est-à-dire que chaque niveau de découpage du document par l’analyseur correspond à un niveau d’indexation du système. Le niveau le plus général sera donc le document lui-même, puis le paragraphe, la phrase, la dépendance et enfin l’unité lexicale. Chaque représentant d’un de ces niveaux est donc à l’origine d’une chaîne de bits correspondant à l’information qu’il contient.
La figure A.1 page § montre de quelle manière chaque élément informatif est conservé par le système. L’indexation au niveau du mot est effectuée par une chaîne de bits dont seul celui qui correspond au lemme de ce mot est activé. Il est toutefois possible de trouver d’autres bits activés : traits portant sur ce mot, enrichissements synonymiques, etc. Cette chaîne de bits pointe vers la position du mot dans le document (offset), et permet également de connaître la position relative du mot dans la phrase.
L’indexation au niveau de la dépendance donne naissance à une nouvelle chaîne de bits qui permet un accès à la localisation de phrase1 du document dans laquelle se trouve la dépendance. Chaque élément informationnel de la dépendance active le bit correspondant. Les arguments de la dépendance sont ordonnés en fonction de leur position relative dans la phrase, indiquée au niveau du mot. Le niveau de la dépendance, comme les niveaux supérieurs, est une structure plate2 qui permet toutefois d’accéder au niveau inférieur.
Les niveaux d’indexation au niveau du paragraphe et du document procèdent de la même manière. Ils pointent respectivement vers la position du paragraphe et vers le document complet, et permettent d’avoir accès aux niveaux d’indexation inférieurs lorsqu’une structure plus détaillée que la structure plate est nécessaire.
Cette technique d’indexation s’adapte bien aux besoins de notre tâche. En effet, elle est conçue comme un moyen d’accéder rapidement à l’information d’un ou plusieurs documents par simple comparaison des chaînes de bits correspondant à l’information recherchée et à l’information des documents stockée au niveau désiré. Par ailleurs, les données issues de l’analyse et de l’enrichissement sont facilement ajoutées à l’index par simple adjonction du bit correspondant dans les vecteurs de bits du texte analysé à chaque niveau : lexème, trait, expression sous la forme d’une dépendance, etc. La présence de l’enrichissement à l’intérieur même de l’index permet de conserver le texte original et d’y avoir accès au travers de ses enrichissements.
En définitive, on obtient donc une hiérarchie de vecteurs informationnels pointant vers la base documentaire, le premier décrivant l’ensemble de cette base et renvoyant aux documents, chacun représenté par un numéro d’index. Depuis le vecteur d’un document, on a accès au contenu de ses paragraphes au travers de leur index respectif, puis aux phrases par une même démarche, aux dépendances et enfin aux unités lexicales elles-mêmes.