Discussions autour du machine learning

Cet article est en cours de rédaction: Ici

Ça c'est un cours déjà plus conséquent que l'article d'introduction dont il avait été question un peu plus tôt, qui se trouve en balise secret à la fin de ce message : https://zestedesavoir.com/forums/sujet/2147/tutoriel-sur-le-machine-learning/?page=1#p38044

En relançant un peu le sujet, je commence à comprendre comment fonctionne la lib python scikit-learn. Et je suis plutôt étonné par la simplicité de la librairie.

Je conseille ce très bon tutoriel vidéo (en anglais) .

Ooh… Un message que j'avais pas vu

Etant en ce moment dans l'apprentissage du deep learning, je suis tout frais en termes de connaissances puisque je suis parti de 0 et j'ai tout fait seul. Les requis mathématiques pour les réseaux de neurones ne sont pas nécessaire pour utiliser des bibliothèques telle que Torch. Cependant si on souhaite comprendre comment ça fonctionne c'est indispensable. De plus, à coup d'expérimentation et de croisements d'articles (et de papiers), il me semble possible de construire des réseaux avec une bonne structure sans avoir les notions de maths derrières.

Je pense que dans le cas des réseaux de neurones (je ne m'avancerais pas pour les autres) il est possible d'utiliser les framework sans forcément comprendre ce qui se passe dérrière précisément d'un point de vue mathématiques

Pour construire un bon réseau de neurones, il faut quand même avoir un minimum de prérequis. Autrement comment fais-tu pour choisir ta fonction de perte ? Et ta méthode d'optimisation ? La fonction que tu souhaite minimiser est-elle convexe ? Peux-tu utiliser une méthode du second ordre pour converger plus vite ? Et puis lorsque tu crées ton modèle, quels couches vas-tu mettre ? Quel(s) méthode(s) d'activation(s) ? Vas-tu normaliser ta sortie ?

Ce sont toutes des questions que tu devrais te poser lorsque tu entreprend la création d'un réseau de neurones profond, et dont les réponses ne pas si évidente à comprendre (sans math j’entends).

En parlant de réseaux de neurones, y a une petite suite de vidéos assez intéressantes, accessibles à tout le monde et relativement courtes qui expliquent très bien le sujet : Neural Networks Demystified.

Mais sinon de manière général, il y a l'excellent cours en ligne de Andrew Ng, qui offre vraiment une bonne introduction dans le domaine et permet de faire des implémentations "à la main" de quelques algos : Machine Learning.

Je me suis personnellement attaqué à ce MOOC d'introduction au ML, que je trouve excellent.

Mais sinon de manière général, il y a l'excellent cours en ligne de Andrew Ng, qui offre vraiment une bonne introduction dans le domaine et permet de faire des implémentations "à la main" de quelques algos : Machine Learning.

Mouais. Il va bien trop lentement à mon goût.

Hm question de goût j'imagine, mais après dans tous les cas on peut rapidement sauter des passages si nécessaire ou accélérer quelques parties.

EDIT : moi personnellement je n'avais aucune connaissance en machine learning, et des connaissances basiques de maths niveau lycée donc je trouve que ce cours apport vraiment toutes les notions nécessaires (peut être qu'elles ne sont pas utiles à tout le monde c'est sûr, mais je préfère les sauter si je les connais que de manquer d'informations utiles).

Bonjour,
si ça intéresse certain coursera propose un mooc sur le machine learning, gratuit et proposé par Stanford. J'avais commencé mais le niveau mathématique était clairement trop élevé pour un collégien.
Le cours est néanmoins seulement en anglais (sous-titre anglais). La nouvelle session commence le 04 avril (https://www.coursera.org/learn/machine-learning/

Le lien a déjà été donné plusieurs fois.

Il n'est jamais mauvais de donner de bonnes ressources.

Une petite question d'ailleurs : je suis en train de faire un gros dossier expliquant tout ce que j'ai compris sur les réseaux de neurones et notamment je vais faire une webographie (ça se dit ? :o), serait-ce une bonne idée de le partager ici ? Mon principal problème étant que ça reste un dossier scolaire il est un peu pédagogique mais ce n'est clairement pas un tutoriel. Par contre la webographie je la transmettrais, tant j'ai galéré a rassembler ces ressources x)

En apprennant, j'écris un petit notebook peut-être qu'il pourrait aussi aider quelqu'un, je pense qu'il est utile de partager tout ce qui peut aider

Un seul ?

Comment t'as fait ? xD

A la rigueur quand je serais prêt, je ferais un message ici ou sur je crérais un forum et tout le monde pourra partager

Yep, pas mal

Je confirme !

De mon côté je m'amuse à reconnaître des nombre dans une image 8x8. J'ai atteint un taux d'erreur de seulement 2% !

Et j'ai reimplementé la même chose avec du deep learning et j'ai atteint un taux d'erreur de 10%.

Sans grande connaissance en maths j'ai quand même compris l'algorithme des K plus proche voisins et je m'en sort avec plusieurs essais.

Franchement je suis très enthousiaste par rapport au machine learning !

Ca y est, je l'ai fini ! Il reste encore quelques fautes à corriger toussa toussa, mais j'ai fini ! Du coup je pense essayer de le transformer en tuto pour ZdS. Ce sera un tuto essentiellement jusq'aux MLP avec des implémentations à la main terminé par une belle ouverture sur les lib pour s'amuser. J'aurais probablement un tuto en septembre sur la traduction automatique avec les réseaux récurrents

Si ça intéresse quelqu'un de m'aider il est le bienvenu !