Mes petits mangeurs ne mangent pas...

Salut à tous,

Depuis quelque temps je m'intéresse à l'intelligence artificielle, et en particulier au réseau de neurones. Pour m'entrainer, j'ai créé un environnement où des mangeurs (équivalent à des poissons) doivent manger de la nourriture. Le monde est en 2D, il n'est pas infini (taille réglable). Chaque mangeur disposent d'un cerveau : son réseau de neurones. Mon mangeur se déplace dans la direction d'un angle en radians. Comme entrée au réseau de neurone, je met la position x et la position y du fruit le plus proche, ensuite je met le radian actuel de la bête. Ensuite j'ai deux couches cachées composées à chaque fois de 3 neurones. Pour ma sortie, j'ai aussi 3 neurones. Une indiquant si je dois tourner à droite, une autre qui indique si je dois tourner à gauche et enfin la dernière qui m'indique si je peux avancer. Quand je tourne à droite j'enlève $\frac\pi{3}$ à l'angle du mangeur et quand je tourne à droite j'ajoute $\frac\pi{3}$ à l'angle du mangeur.

Pour déterminer les poids, j'utilise un algorithme génétique. A chaque fois qu'un mangeur mange un fruit, son score augment de 1. Ansi je sélectionne que les 50% meilleurs mangeurs. Puis je les fait reproduire, je mélange les poids de la maman et du papa. J'ai une chance sur deux que l'allèle du papa soit pris, du coup une chance sur deux que l'allèle de la maman soit pris. Après s'applique la mutation. Pour accélérer l'algorithme, j'ai respecté le pattern MVC. Ainsi je peux faire 50 générations en 1 minutes.

Le problème est que malgré 50 générations, le meilleur score soit 1. Soit les mangeurs restent où ils sont. Soit elle avance, et ne font que ça…

J'ai testé beaucoup de choses comme la configuration, à la place de mettre la position du fruit la plus proche j'ai mis sa distance. J'ai testé aussi plein de nombre comme pour le nombre d'individu dans la population, la pourcentage de mutation, les poids…

Bref rien ne marche… J'aimerais un peu de vos lumières

Tu nous parle des poids mais pas des fonctions de transfert, tu as prit quoi ?

Pas mal de trucs :

• Déjà, je suppose que tu veux plutôt faire $\frac{\pi}{3}$ et non l'inverse (pour 60 degrés).
• Es-tu certain que les déplacements que tu autorise permettent bien d'atteindre la nourriture ? La nourriture est-elle renouvellée ou bien tt le monde crève de faim au bout de x itérations ?
• Est ce que tu as bien vérifié que ton modèle de réseau neuronal est censé fonctionner, avant de lui appliquer un algo génétique ? (ie as-tu un exemple d'un tel réseau qui fonctionne?)
• Quelle tailles de ta population as-tu testé (ordre de grandeur) ? Même question pour ta fonction de sélection, le calcul du fitness, le taux de mutation, etc.
• Comment sont initialisés les réseaux de neurones ? Peux-tu observer une amélioration significative (même si insuffisante) du fitness, ou bien ça ne marche pas du tout ?
• Tu « mélange » les poids comment exactement ?
• Qu'entends-tu par : « Pour accélérer l'algorithme, j'ai respecté le pattern MVC » ??

J'ai testé les fonctions Tangente et Sigmoid.

Ah oui, c'est bien ça. J'ai corrigé.

Quand un mangeur touche une nourriture, elle réapparait aléatoirement. Par contre quand un mangeur sort de la zone prédéfinie son score passe à 0. La limite de déplacement entre chaque génération est environ 1000 déplacement (que ce soit gauche, droite ou avancer). J'ai testé aussi avec 100 ou 500 déplacements.

Euh… Je me suis un peu inspiré de ce projet : http://doublezoom.free.fr/programmation/AG_Exemple_Survival.php

J'ai testé des populations allant de 50 jusqu'a 1000 individus. Mon taux de mutation est de 0.4%. La fitness est le nombre de fruit mangé.

J'initialise les poids aléatoirement dans un intervalle de -150 jusqu'à 150 en premier temps puis je suis passé d'intervalle de -10 jusqu'à 10. Les poids sont des nombres à virgules. Je ne vois pas de réelle changement sur 250 générations.

J'utilise un mélange uniforme.

Le pattern MVC sépare la partie graphique de la partie "traitement". Les mangeurs sont gérés indépendamment de la partie graphique ce qui accélère les générations.

@elegance : Ici, l'"intelligence" se situe au niveau du réseau de neurones propre a chaque poisson. C'est lui qui décide du comportement du poisson face a son environnement, qui va donc être différent pour chaque poisson. En revanche, les poissons sont tous aussi "habiles" (comprendre ont les mêmes facultés physique), puisque le but n'est pas d’améliorer cet aspect la.

Bien sur, on pourrait introduire plus de variété dans la gamme de comportements disponibles, mais mieux vaut rester simple au départ si on veut obtenir quelque chose d’intéressant.

Moi j'ai une autre question, est-ce qu'un MLP a vraiment un intérêt ? Pourquoi avoir 2 couches cachées ? Et pourquoi tes couches ont une dimension de 3 seulement ? Il me semble qu'on aime bien réduire drastiquement le nombre de réseau drastiquement en passant d'une couche à une autre. Tu pourrais essayé de faire : 3 -> 20 -> 10 -> 3.

Edit : Tu pourrais aussi donner plus d'informations à chaque poisson en lui donnant les coordonnées de tout les fruits puisque ce nombre est constant. Ca permettrait d'appliquer plus intelligemment ce que j'ai dit avant

Je pense pas que ce soit le plus gros problème mais c'est très certainement beaucoup plus simple à essayé. Soit sûr que le problème vient de la génétique avant de la modifiée. Essaie différentes architectures de réseaux, peut être que ça changera quelque chose, peut être pas. Mais très simple à changer je pense

Oui je pense. Je peux peut-être rajouté une entrée pour dire qu'on est sortie de la zone.

Je l'ai mise un peu au hasard . J'ai essayé 0.9%, 10%. Mais rien ne change. Je parcours ma population et il y a tant de chance qu'un allèle soit modifié. Je met une valeur aux hasard.

Au début j'ai testé avec cette lib et après j'ai fait mon propre réseau de neurone. Je me suis rendu compte qu'avec la solution faite maison, je consommé moins de mémoire (environ 10 mo pour la solution faite maison et 3 GB avec la lib pour environ 100 générations)

Pour l'instant ma meilleure fitness est 4.

C'est une bonne idée je regarderais.

Oui je pense que tu as raison, cela donne une valeur plus réel. Dans la vrai vie, on n'a pas les coordonnées du fromage dans le frigo mais on peut estimer sa distance.

C'est un peu restrictif $\frac\pi{3}$ je suis passé à $\frac\pi{8}$. J'ai testé les fonctions que tu m'as donné, pareil pas de changement.

Je crois aussi que c'est une des solutions car dans les exemples que j'ai vu il n'y avait jamais une seule espèce ou sinon elle avait plusieurs objectifs.

Avez vous une bonne introduction aux reseaux de neurones quelque part ?

Je suis en train d'en écrire une (un tuto en fait) qui s'inspire d'un dossier qu ej'ai fait. A la rigueur je peux te le donner

Sinon en cherchant un peu en anglais tu trouves assez facilement de bonnes ressources (cherche "perceptron" par exemple). Il y a le cours d'Andrew Ng sur Coursera qui est vraiment bien

Ouais je veux bien jeter un coup d'œil sur ton tuto.

Je t'envoie mon dossier en mp, le tuto n'étant pas avancé

En fait, c'est pas comme ça qu'on entraîne un réseau de neurones. J'imagine que ta méthode pourrait marcher, mais elle est loin d'être optimale.

Normalement, tu dois disposer d'un jeu de données afin d'entraîner ton réseau. Dans ton cas, chaque instance de ton jeu de données devra être représenter par la position du mangeur, la position du fruit, le radian, et les sorties associées à ces valeurs.

La première étape de l'apprentissage consiste à affecter les poids de ton réseau au pif. Ensuite, tu donne chaque instance de ton ensemble d'apprentissage à ton réseau de neurones. Celui ci te sortira un mauvais résultat, et tu ajustera les poids en fonction de l'erreur obtenue. L'algorithme le plus simple pour mettre en place ce genre d'apprentissage est le "gradient descent".

Tu pourra trouver une très bonne introduction aux réseaux de neuronnes ici

Ce qui tu dis est une descente par gradient, je suis pas bien convaincu que ça marche dans mon cas.

Avez vous une bonne introduction aux réseaux de neurones quelque part ?

Il y a ce tuto sur Développez.com

J'ai corrigé pas mal de bug, du coup en ce moment mes scores sont entre 2 et 10. J'utilise une population de 52 individu, un taux de mutation de 0.7. J'utilise une fonction sigmoid avec une architecture de 4 entrées, puis 2 une couche cachée avec 4 neurones et 3 neurones à l'intérieur. Ma fitness augmente petit à petit.

Pourquoi ça ne marcherait pas ?

Il faut prévoir toutes les trajectoires, puis c'est un peu complexe à mettre en oeuvre. De plus la nature fait bien les choses

Oui et non

Le problème dans ton cas c'est que tu ne connais pas le "bon" résultat, en tout cas c'est pas si évident. Par contre ce que tu pourrais faire c'est faire un entraînement avec peut etre 15/20 valeurs que tu auras calculé pour orienté un peu ton espace et ensuite tu ajoute le random (avec une loi normale centrée sur tes poids) comme ça tu as un réseau de base à peu près orientée vers ce que tu souhaite mais qui ne fonctionne pas du tout.

Ensuite > En fait, c'est pas comme ça qu'on entraîne un réseau de neurones. J'imagine que ta méthode pourrait marcher, mais elle est loin d'être optimale.

Ca ne fonctionne pas pour tout. Clairement ce genre de problème est plus naturel à implémenter avec des algorithmes génétiques. Il y a des problèmes où il n'existe pas de jeu de donnée ou alors c'est difficile d'en créer un intéressant, clairement ici c'est le cas.

C'est la façon la plus connue de faire, mais les algorithmes génétiques sont également utilisés pour entraîner des réseaux de neurones, en particulier lorsque l'on ne dispose pas de données d'entrainement exploitables. Bref, tu devrais te renseigner un peu.