S'initier au Machine Learning

Par où commencer?

L'auteur de ce sujet a trouvé une solution à son problème.
Auteur du sujet

Bonjour à tous,

Je me présente, je suis étudiant en 1ère année de prépa MPSI. Sur les 2 ans de notre formation, nous devons réaliser un TIPE (travail de recherche, en gros) et j'ai choisi le thème du Machine Learning.

Comme vous le savez sans doute, ce domaine extrêmement vaste propose plein d'algorithmes pour résoudre différents problèmes.

Histoire de me familiariser un peu avec les techniques et les concepts, j'aimerais expérimenter différents algos. En regardant ce qui se fait sur ZDS, j'ai trouvé le tuto sur les arbres de décision dont je viens de terminer la lecture (j'ai bien sûr implémenté les arbres…).

Par où continuer? J'éprouve de grandes difficultés à trouver des tutos, ou du moins des articles abordables pour un débutant, sur Internet. De plus je me heurte à un problème fondamental: la majorité des ressources que j'ai consulté jusqu'à présent requièrent des notions de maths avancées (que je n'ai pas).

Nous sommes censés nous limiter à un niveau L2 en maths, L3 l'année prochaine

Notamment, j'ai trouvé à la bibliothèque universitaire quelques livres très bien faits traitant de Machine Learning (surtout de l'aspect mathématique), mais qui malheureusement s'adressent à des étudiants d'école d'ingé/master, ce qui est donc bien au delà de mes connaissances pour le moment.

J'aurais donc besoin de vos conseils pour savoir comment et par quoi continuer mon apprentissage: algos génétiques? SVM? Perceptron? … Dans quel ordre aborder ces notions?

De plus, si vous connaissez des livres/ressources permettant de s'initier au sujet, je suis également preneur.

Merci d'avance pour votre aide :)

Un jour j'irai vivre en Théorie, car en théorie tout se passe bien.

+0 -0

On ne le dira jamais assez, la référence introductive c'est A.I. a modern approach de Russel et Norvig.

Après avoir lu ou survolé ce pavé, tu devrais y voir plus clair à propos des principaux domaines de l'IA et tu seras certainement plus en mesure de choisir un domaine à approfondir selon tes affinités et ton sujet.

Bon courage. :)

+0 -0

L'autre référence introductive c'est Introduction to statistical learning, le chapitre 8 parle par exemple d'arbres de décision. Tu peux le trouver gratuitement en ligne (attention, gros PDF) : http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf

Édité par anonyme

+0 -0
Staff

Instinctivement je partirai sur les SVM : C'est un grand classique et mathématiquement c'est abordable si tu as les bases d’algèbre linéaire, ensuite probablement tout ce qui est perceptron et réseaux de neurones car la base est assez simple à appréhender et que ce sont des extensions de ceux-ci que l'on nomme le deep-learning qui est très très a la mode en ce moment.

Édité par Kje

+0 -0

Hello,

Attention à ces sujets que sont les réseaux de neurones et consorts, c'est justement un peu trop à la mode en TIPE, tous ceux qui font de l'info en spé ont vite envie de s'y mettre… Si tu veux partir sur ces sujets tranquillement, il faut que tu sois capable de justifier d'un apport personnel pertinent et qui change un peu des sujets classiques que les jurys voient 5 fois par jour si tu veux te démarquer ;) Tu noteras aussi qu'au programme d'option info en spé, on étudie les automates et les langages, pense donc à en toucher à un mot à ton prof pour éviter de partir sur un sujet qui colle trop au programme, sur lequel tu te retrouveras vite limité ;)

Par curiosité, tu es en prépa où ? :)

Après pour trouver des articles intéressant, il n'y a pas de mystère, c'est dur ^^ Déjà la recherche d'articles anglophone est une étape obligatoire (mais en MPSI l'anglais c'est pas un souci ! ), mais il faut aussi essayer de trouver des contacts qui peuvent te faire accéder à ces sources, du styles publications de chercheurs, que tu ne peux pas obtenir autrement. Personnellement pour mon TIPE j'ai eu la chance d'avoir un prof de maths qui avait un bon réseau et qui a pu m'obtenir des rapports de recherche de laboratoires d'informatique allemands ^^ !

Dans tous les cas, bon courage pour tes recherches et les concours blancs qui approchent ;)

Édité par LeB0ucEtMistere

+4 -3
Staff

Quelques ouvrages en plus (pour appuyer KFC) que j'avais cité sur un tout autre sujet (il y a plusieurs sujets traitant ML, je ne les cite pas tous) : https://zestedesavoir.com/forums/sujet/983/requetes-de-tutoriels/?page=9#p36192

Tu peux aussi aller regarder les ouvrages qui sont édités par Packt Publishing, attention que la qualité varie pas mal entre eux, mais tu as pas mal de bons exemples pratiques, pas mal d'algos différents.

La somme de toutes ces sources documentaires devraient largement te permettre de faire le choix qui te correspond le mieux. :)

Édité par Arius

Bonjour, sur le site fun-mooc.fr il va bientôt y avoir un MOOC de Télécom ParisTech sur le machine learning et le perceptron. Voici le lien du cours sur le Big Data avec de nombreuses notions de machine learning: https://www.fun-mooc.fr/courses/MinesTelecom/04006S04/session04/about Le cours signale qu'il faut en gros un niveau L2 en maths

Édité par etiennedu30

Mon site de location de matériel entre particuliers: http://louerpresdechezsoi.com

+0 -0
Auteur du sujet

Merci pour votre réactivité ;)

le deep-learning qui est très très a la mode en ce moment.

Attention à ces sujets que sont les réseaux de neurones et consorts, c'est justement un peu trop à la mode en TIPE

Notre prof m'a justement conseillé de ne pas me focaliser sur le Deep Learning, non seulement parce que tout le monde en parle, mais aussi parce que selon lui, personne ne sait vraiment expliquer pourquoi les réseaux de neurones fonctionnent, ce qui ne colle pas trop avec les objectifs du TIPE

Tu noteras aussi qu'au programme d'option info en spé, on étudie les automates et les langages, pense donc à en toucher à un mot à ton prof pour éviter de partir sur un sujet qui colle trop au programme, sur lequel tu te retrouveras vite limité ;)

Par curiosité, tu es en prépa où ? :)

[LeB0ucEtMistere]

Merci je demanderais des précisions à mon prof d'info! Je suis en MPSI au Lycée du Parc à Lyon

On ne le dira jamais assez, la référence introductive c'est A.I. a modern approach de Russel et Norvig.

[KFC]

Merci du conseil, ce livre est justement présent à ma BU! (Heureusement car je viens de voir qu'il coûte plus de 100€ à l'achat…)

Je vais regarder un peu les ouvrages/docs proposés, merci à tous :) N'hésitez pas à compléter si vous avez d'autres idées

Un jour j'irai vivre en Théorie, car en théorie tout se passe bien.

+0 -0
Staff

mais aussi parce que selon lui, personne ne sait vraiment expliquer pourquoi les réseaux de neurones fonctionnent

C'est pas vraiment uniquement selon lui, c'est un point de vue partagé par beaucoup de monde (même si c'est plus compliqué que de penser que les gens qui font ça n'ont aucune idée de ce qu'ils font)

+0 -0
Auteur du sujet

J'ai justement du mal à comprendre ce point de vue: comment peux-t-on manipuler ces concepts sans les comprendre? N'y-a-t'il pas de théorie mathématique derrière?

Un jour j'irai vivre en Théorie, car en théorie tout se passe bien.

+0 -0

Parle en aux physiciens quantiques :p Ils (la plupart) n'ont aucune idée de comment ça marche mais comme des mathématiciens ont pondu des modèles qui collent aux postulats et résultats expérimentaux (pour l'instant et jusqu'à preuve du contraire), on va dire qu'on sait comment ça marche :p ! (j'exagère à peine, voire pas du tout ! )

+0 -1
Staff

J'ai justement du mal à comprendre ce point de vue: comment peux-t-on manipuler ces concepts sans les comprendre? N'y-a-t'il pas de théorie mathématique derrière?

Deathekirl

On comprend certaines choses mais pas forcément pourquoi ça marche mathématiquement. On peut très bien constater des phénomènes (tel fonction de transfert fonctionne bien mieux que tel autre) sans savoir mathématiquement pourquoi.

+0 -0
Auteur du sujet

Bonjour à tous!

Après discussion avec mon prof, j'ai décidé de m'orienter dans un premier temps vers des problèmes de classification (sujet classique certes, mais non pas dénué d'intérêt!)

Dans ce domaine, j'ai cru comprendre qu'on rangeait notamment:

  • les SVM (Machines à vecteurs de support)

  • les méthodes KNN (k-nearest neighbor)

Je vais donc commencer à étudier ces techniques. Si quelqu'un a des conseils à m'apporter n'hésitez pas :)

Un jour j'irai vivre en Théorie, car en théorie tout se passe bien.

+0 -0
Vous devez être connecté pour pouvoir poster un message.
Connexion

Pas encore inscrit ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte