Indexation automatique

Un article de Wikipédia, l'encyclopédie libre.

L'indexation automatique est un domaine des sciences de l'information qui utilise des méthodes logicielles pour établir un index des documents et faciliter la recherche des usagers. l'informatique qui vise à traiter automatiquement des corpus documentaires de manière à rendre plus efficace l'accès ultérieur aux documents de ces corpus.

L'indexation automatique consiste à rechercher les mots qui correspondent au mieux au contenu informationnel d'un document. On admet généralement qu'un mot qui apparaît souvent dans un texte représente un concept important. Ainsi, la première approche consiste à choisir les mots représentants selon leur fréquence d'occurrence. Cependant, quand on fait la statistique d'occurrence, on s'aperçoit que les mots les plus fréquents sont des mots fonctionnels (ou mots outils, mots vides). En français, les mots "de", "un", "les", etc. sont les plus fréquents. En anglais, ce sont "of", "the", etc.

Ce phénomène suit une loi de Zipf. Si on classe les mots dans l'ordre décroissant de leur fréquence, et on leur donne un numéro de rang (1, 2, …), alors:

Il est évident que l’on ne peut pas garder ces mots à haute fréquence et vide de sens en terme de description informationnelle. C’est pourquoi on introduit dans les moteurs de recherche des opérations de filtrage de ces mots très fréquents qui contiennent uniquement de l’information sur le plan syntaxique ou logique. Ces listes de mots sont appelés anti-lexiques ou plus fréquemment stoplist[Rijsbergen, 1979].

Une autre opération est ensuite appliqué avant d'indexer le document. Elle consiste à appliquer un algorithme qui efface les terminaisons, pluriels, déclinaisons afin de retrouver les racines des mots. Cette opération est appelé stemming (une autre solution voisine appelée lemmatisation conduit globalement au même résultat). Ce procédé permet de relever les fréquences des mots intrinsèque sans distinguer leurs éventuelles variations morphologiques (déclinaisons, pluriels etc.).

La phase d'indexation se fait en représentant le document sous forme vectorielle: les coordonnées représentent les fréquences des mots non vides. Lorsque l'on effectue cette opération pour un corpus de document ou de pages web on obtients une matrice dont les colonnes représentent un document et les coordonnées la fréquence des termes.

Les moteurs de recherche de première génération s'appuient sur des formules de pondération, généralement pour affecter un poids élevé aux termes non-distribués uniformément au sein du corpus. Il existe un grand nombre de formules de pondération dont le but et de distribuer le poids pour contribuer à la différentiation informationnelle des documents. Certaines formules de pondération harmonisent les poids en fonction de la longueur des documents ou la fréquences des termes est globalement plus élevée, d'autres formules s'appuient sur la fréquence maximale des termes afin de concilier l'aspect multi-thématique d'un document avec des documents monothématiques. Les formules de pondération les plus connues sont TF.idf (term frequency . inverse document frequency, Harman, Croft et Okapi) [Loupy, 2000].

Les moteurs de seconde génération s'appuient non seulement sur la fréquences des termes pour indexer les pages web mais aussi sur la popularité des sources. En naviguant de lien en lien, les robots indexent les termes utilisés par une page web pour décrire une autre page web. A chaque fois qu'un utilisateur suit ce lien, il "vote" la pertinence des descripteurs utilisés. Le page-ranking est ensuite calculée selon la popularité des descripteurs et un coefficient de similarité issu de la modélisation vectorielle.