Fouille de textes
Un article de Wikipédia, l'encyclopédie libre.
Vous avez de 
 |
Cet article est une ébauche à compléter concernant l'informatique, vous pouvez partager vos connaissances en le modifiant. |
La fouille de textes ou l'extraction de connaissances dans les textes, text mining en anglais, est une spécialisation de la fouille de données et fait parti du domaine de l'intelligence artificielle. C'est un ensemble de processus informatiques consistant à extraire des connaissances utiles pour une tâche donnée dans des textes non triviaux. Dans la pratique, cela revient à mettre en algorithmes un modèle simplifié des théories linguistiques dans des systèmes informatiques d'apprentissage et de statistiques.
Les disciplines impliquées sont donc la linguistique calculatoire, l'ingénierie du langage, l'apprentissage artificiel, les statistiques et bien sûr l'informatique.
À noter que la fouille de textes se distingue du traitement automatique du langage naturel par son approche générale, massive, pratique et algorithmique de par sa filiation avec la fouille de données. Son approche est moins linguistique. De plus, la fouille de textes ne s'intéresse pas au langage oral telle la reconnaissance vocale. Notons aussi que la fouille de textes recoupe la recherche d'information pour la partie requête sur un moteur de recherche. Par contre, la recherche d'information s'intéresse a priori plus à la requête qu'à l'indexation.
On peut distinguer deux étapes principales dans les traitements mis en place par la fouille de textes.
La première étape, l'analyse, consiste à reconnaître les mots, les phrases, leurs rôles grammaticaux, leurs relations et leur sens. Cette première étape est commune à tous les traitements. Une analyse sans interprétation n'a que peu d'intérêt et les deux sont dépendantes. C'est donc le rôle de la seconde étape d'interpréter cette analyse.
La seconde étape, le traitement de l'analyse, permet de sélectionner un texte parmi d'autres comme la classification de courriels en spam ou non spam, l'application de requêtes dans un moteur de recherche de documents ou de sélectionner une partie d'un texte comme le résumé de texte. Et pour information, car on s'éloigne alors du domaine de la fouille de textes, le traitement de l'analyse peut aussi générer un nouveau texte comme la correction des fautes, la traduction, le dialogue ou l'imitation d'un style d'écriture.
Sommaire |
[modifier] Applications
[modifier] Exemple de l'indexation de textes
La fouille de texte peut consister en l'indexation d'un ensemble de textes par rapport aux mots qu'ils contiennent. On peut ensuite interroger l'index ainsi créé pour connaître les similarités entre une requête et notre liste de textes.
L'algorithme d'indexation se décrit comme suit :
- On indexe le texte par rapport aux mots qui le composent
- On effectue l'index inversé (on indexe les mots contenus par rapport aux textes les contenant)
- Au moment de traiter une requête, on teste la similarité de cette requête avec notre index inversé
- Cela nous retourne les textes similaires avec notre requête, et pour chaque texte, un rang
Les applications sont multiples : d'une simple indexation pour les moteurs de recherche à l'extraction de connaissances dans des documents non structurés.
D'autres techniques, comme la lemmatisation, permettent d'améliorer notre indexation, en perdant néanmoins une partie du sens.
[modifier] Voir aussi
[modifier] Liens internes
- Exploration de données
- Recherche d'information
- Linguistique calculatoire
- Apprentissage artificiel
- Traitement automatique du langage naturel
- Lemmatisation
- Liste d'outils décisionnels
