Pourquoi l'IA s'empare du traitement automatique du langage ?

traitement automatique du langage, intelligence artificielle

a marqué ce sujet comme résolu.

Bonjour,

à mon modeste niveau j’ai quand même l’impression que l’IA c’est un peu versatile, on sait que ça fournis des résultats utilisable, mais pas forcément comment les algos font pour les fournir, on sait pas vraiment si le résultat a été obtenue par le raisonnement qu’on voulait ou non.

(On veut faire apprendre a notre algo la reconnaissance de husky, on fournit un train-set de photo de husky ou il y a de la neige, est ce que l’algo "apprend" le huksy uniquement ou il retient aussi la neige ? Donc si je lui fournis une photo de huksy sans neige ça marche toujours bien ?)

Alors je me demande, comment l’IA a réussi à s’emparer des avancé sur le TAL qui est un domaine, a ma connaissance (maigre aussi), très formel ? On avance plus avec les théories des langages et les algos/outils classique ? je sais pas ça me parais dangereux de laisser ça a l’IA.

Des avis ?

+0 -0

Salut,

L’IA c’est un avant tout un champ d’étude, très vaste, et qui n’est pas facile à définir.

on sait que ça fournis des résultats utilisable, mais pas forcément comment les algos font pour les fournir, on sait pas vraiment si le résultat a été obtenue par le raisonnement qu’on voulait ou non.

Cette remarque s’applique aux algorithmes issus du Deep Learning (qui ont connu un regain d’intérêt ces dernières années) mais ce ne sont pas les seuls algorithmes qu’on trouve en IA, bien au contraire !

Pour certaines alternatives on dispose d’une méthode formelle et de résultats précis, démontrables.

(On veut faire apprendre a notre algo la reconnaissance de husky, on fournit un train-set de photo de husky ou il y a de la neige, est ce que l’algo "apprend" le huksy uniquement ou il retient aussi la neige ? Donc si je lui fournis une photo de huksy sans neige ça marche toujours bien ?)

Très bonne remarque. C’est un problème non résolu à l’heure actuelle (et je doute qu’on le résolve un jour, c’est inhérent à l’apprentissage). C’est à l’expert (le programmeur, etc… ) de bien choisir ses données d’apprentissages pour vérifier qu’elles ne sont pas biaisées. Cela peut sembler simple en théorie mais c’est assez difficile en pratique. Régulièrement des gens se font piéger.

C’est une anecdote à partager sur ce sujet. Des gens (je ne sais plus qui) essayaient de développer une application pour apprendre à distinguer des champs (cultures) sur la base de photo. Les données avaient été ramassées par des gens en voiture avec l’appareil photo posé devant le pare-brise, avec des photos prises à intervalle de temps régulier.

Le hasard a fait que sur toutes les photos concernant un type de culture, la marque de la voiture était visible sur ces photos (sur ces modèles de voiture où t’as le truc qui dépasse à l’avant du capot). Sur les autres photo, elle ne l’était pas (appareil photo déplacé).

Ces personnes obtenaient de très bon résultats à l’entraînement, et ont cru leur problème résolu. Malheureusement, lors des tests en condition réelle, rien n’a fonctionné. En fait, leur algorithme s’était spécialisé dans la reconnaissance de la marque de la voiture, et ignorait complètement le reste de l’image.

Alors je me demande, comment l’IA a réussi à s’emparer des avancé sur le TAL qui est un domaine, a ma connaissance (maigre aussi), très formel ? On avance plus avec les théories des langages et les algos/outils classique ? je sais pas ça me parais dangereux de laisser ça a l’IA.

Comme je disais, l’IA c’est très vaste. Les outils que tu décris ici appartenaient déjà - si on veut - au domaine de l’IA.

Les raisons de la réussite du Deep Learning sont multiples et certainement pas uni-factorielle. L’abondance de données d’entraînement est une raison importante, la puissance de calcul des GPU aussi. Heuristiquement, c’est ce qui marche le mieux en pratique aujourd’hui, c’est pourquoi on retrouve ces techniques sur les softwares destinés à une exploitation commerciale.

Pour autant les "vieilles" méthodes n’ont pas été abandonnées et continuent d’être développées. Malheureusement (ou heureusement ?) elles bénéficient de moins d’exposition médiatique car éclipsées par leurs concurrentes. Toutefois aujourd’hui la qualité des recherches dans ces domaines est souvent évaluée sur la base des résultats expérimentaux (ce qui peut être regrettable sur le long terme, car par définition cela favorise une méthode connue hyper optimisée sur de nouvelles idées immatures). Par conséquent les méthodes classiques ont un retard qu’elles peinent à combler.

Néanmoins on est pas à l’abri d’ici quelques années de voir une révolution émerger de ces domaines concurrent "discrets". Rien ne prouve que le Deep est la solution ultime à tout les problèmes. Aujourd’hui ça marche. Demain, eh bien, c’est demain… et on verra bien quand on y sera !

+2 -0

Salut,

L’IA c’est un avant tout un champ d’étude, très vaste, et qui n’est pas facile à définir.

Cette remarque s’applique aux algorithmes issus du Deep Learning (qui ont connu un regain d’intérêt ces dernières années) mais ce ne sont pas les seuls algorithmes qu’on trouve en IA, bien au contraire !

Effectivement désolé, j’ai l’habitude de lire des sujets en IA qui parle que de deep/machine learning donc je n’ai pas été assez précis.

Pour certaines alternatives on dispose d’une méthode formelle et de résultats précis, démontrables.

Tu peux m’en dire plus ? (je reste un gros amateur dans ce domaine que je découvre petit à petit.)

+0 -0

Ce n’est pas du tout mon domaine.

Néanmoins il y a deux an j’avais assisté à conférence d’une équipe qui essayait de faire ça : https://www.lirmm.fr/recherche/equipes/texte

Je t’invite à regarder la liste de leur publications. Au hasard, celle-ci : https://hal.archives-ouvertes.fr/hal-00779214v2/document
Ici l’auteur utilise du lambda calcul, mais c’est pointu et je ne comprend pas grand chose honnêtement

J’ignore s’il existe des cours librement accessibles qui donnent accès à ce domaine.

Les raisons pour lesquelles les réseaux de neurones fonctionnent bien en TAL c’est parce qu’ils peuvent prendre en compte de très grandes fenêtres de mots, choses qui devient très difficile en temps de calcul et en algo sur les approches plus classiques. Cela est dû aux cellules récurrentes (LSTM) et à différents mécanismes d’attentions. Des chercheurs de Facebook et du LIP6 (laboratoire français de l’université Paris 6) ont réussi à "traduire" une phrase d’un langage en une représentation sémantique. Pour traduire, il suffisait alors de faire quelques opérations algébriques de base (rotation + translation) et faire l’opération inverse pour avoir le résultat dans une nouvelle langue. Voici le papier Voici une vulga

Il y a des débuts de recherche théoriques sur pourquoi le Deep Learning fonctionne. Le problème c’est ce les modèles qui fonctionnent bien ont des millions de paramètres et qu’on est même pas sûr qu’on soit capable de comprendre pourquoi ça marche humainement (tout comme on est pas sûr un jour d’être capable de suffisamment comprendre le cerveau/corps humain pour le modéliser parfaitement) tant la tâche est complexe. Cependant des approches comme les Capsule Network (dont voici une intuition, anglais) pourraient aider.

Tu parles du TAL mais le TAL n’est pas ce qu’il y a de plus difficile (attention, c’est pas simple du tout). Je fais depuis 1 mois du renforcement (on peut apparenter cela à de l’optimisation dans des environnements non connus) et c’est tellement instable à entrainer que 30% du temps l’algorithme n’apprend même pas. C’est pas qu’il apprend mal, c’est qu’il apprend pas. Il y a beaucoup de choses qu’on ne comprend pas et une partie d’entre elles sont probablement pas explicable humainement. Après, est-ce grave ? Après il ne faut pas penser qu’on a aucune idée de pourquoi ça marche. Pour le TAL, on sait que les cellules récurrentes permettent d’avoir une mémoire à très long terme, que les mécanismes d’attentions augmente ceci. Pour les images, en regardant les convolutions on voit que les choses se passent comme on faisait avant (extraction de features intéressantes…). Sur pourquoi un réseau de neurone arrive à classifier/regresser, on sait que l’algorithme de la backpropagation assure la convergence (si la descente de gradient peut converger) et que les réseaux de neurones peuvent approcher n’importe quelle fonction (de la plus simple à la plus complexe). Le reste n’est qu’une question d’essais et d’analyse de résultats.

Ce qui rend la mauvaise compréhension gênante c’est pour la médecine (où on veut une justification de pourquoi tel traitement fonctionnerait mieux pour éviter les erreurs) et la recherche dans le domaine (auquel cas on arriverait à produire de meilleurs modèles plus rapidement). Le reste du temps, ça n’a pas grande importance, tout comme on a pas besoin de comprendre la thermodynamique des fluides pour prendre l’avion :)

Connectez-vous pour pouvoir poster un message.
Connexion

Pas encore membre ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte