Billet-signet : La Machine Morale

Salut,

Ce qui me gêne dans la plupart des décisions proposées, c’est que ce sont des choix qui ne peuvent pas survenir dans des situations réelles et n’ont donc pour moi aucune valeur morale.

Pour les voitures autonomes, la résolution du dilemme se résume souvent à « la voiture n’aurait pas dû rouler aussi vite en premier lieu » ou « une voiture autonome ne devrait pas avoir de défaillance de freins non gérable ». Ce sont des choses que les conducteurs et les ingénieurs font tous les jours pour éviter que de telles décisions de vie ou de mort surviennent.

Finalement, ces choix moraux me font penser au sketch de Pierre Palmade « Les choix ».

Finalement, ces choix moraux me font penser au sketch de Pierre Palmade « Les choix ».

Hahaha c’est exactement ça. Je pense que la plupart des gens qui poussent au débat là dessus ont juste un intérêt pour faire parler d’eux. Philosophes trop heureux de donner leur avis sur un sujet qu’ils ne connaissent pas, experts techniques et gourou de l’IA content de faire les plateaux télés, etc. In fine, les discours sur le sujet en disent plus sur celui qui parle que sur comment réellement appréhender le problème (Le fameux mètre de Wittgenstein).

Si la morale vous intéresse, vous pouvez jeter un oeil à ces vidéos

Voilà qui illustre à la perfection mon propos…

Pour les voitures autonomes, la résolution du dilemme se résume souvent à « la voiture n’aurait pas dû rouler aussi vite en premier lieu » ou « une voiture autonome ne devrait pas avoir de défaillance de freins non gérable ». Ce sont des choses que les conducteurs et les ingénieurs font tous les jours pour éviter que de telles décisions de vie ou de mort surviennent.

C’est exactement ce que je pense quand nous abordons ce genre de questions. Nous arrivons toujours à des situations irréalistes ou disons-le plutôt évitables en amont (forcer un entretien quand un problème technique commence à se faire sentir, adapter la vitesse à l’environnement, etc.).

En plus dans les situations étudiées, il y a des trucs assez irréalistes à mettre en œuvre. Comment tu sais si un chômeur l’est en le croisant dans la rue ? Comment l’ordinateur qui a parfois du mal à juste s’assurer qu’il croise un humain puisse savoir précisément le sexe, l’âge, la corpulence, etc. de la personne ?

Enfin, je trouve ça un peu absurde qu’on se préoccupe du cas pour des IA mais pas quand les humains sont au volant. Pourquoi quand un humain est derrière le volant on ignore le sujet ? Pourtant lui aussi peut faire un choix, et en particulier réduire sa vitesse et faire les entretiens de sa voiture !

Ce qui me gêne dans la plupart des décisions proposées, c’est que ce sont des choix qui ne peuvent pas survenir dans des situations réelles et n’ont donc pour moi aucune valeur morale.

Je comprends mieux le décalage avec la réalité suite à ton message et celui de @Renault, merci. Par contre, je ne comprends pas comment tu parviens à la conclusion que j’ai mise en gras.

@Demandred, si seulement tu argumentais je pourrais réagir à ton message, mais là…

@Demandred, si seulement tu argumentais je pourrais réagir à ton message, mais là…

Le de ScienceForAll est à mon sens l’exemple type de l’expert qui vend un discours alarmiste sur l’IA car c’est son domaine de compétence (la morale de l’IA). La plupart de ses interventions servent à créer un doute sur la possibilité d’une IA forte aux conséquences morales importantes pour l’être humain, et donc à la nécessité d’anticiper ces conséquences (et de l’écouter). Et ce discours orienté est présenté comme emprunt de modestie épistémologique, de doute "bayésien", etc.

En réalité, quand on regarde ses arguments sur le fond, c’est souvent plein de raccourcis et de jolies histoires. Il décrit juste le récit qu’il à envie de raconter, qui va lui permettre de justifier l’importance de son domaine. Tous ses arguments sont de vagues analogies destinées à tromper le lecteur.

Je n’aime pas les experts qui utilisent leur autorité pour vendre leur petit discours personnel. Même si je pense que Le croit en ce qu’il dit (ce qui est assez triste du coup^^).

Si tu veux plus d’arguments sur le fond, j’ai discuté sur Twitter en détail de la vision de Le sur l’IA avec lui et un autre doctorant en IA. Je peux te passer le lien des discussions en mp.

Pour MonsieurPhi, je lui reproche son bayesianisme naïf (contaminé par Le) et son utilitarisme. Là aussi j’ai un peu argumenté là dessus avec lui sur Twitter, en particulier sur pourquoi la philosophie de Peter Stinger est une imposture à mes yeux (et elle est très liée au problème du Trolley et autres dilemmes moraux de ce genre).

Pour revenir au sujet, je pense que la solution à ces dilemmes doit être recherchée du coté de la simplicité et non de la complexité. Ce qui fait peur aux gens n’est pas qu’une IA tue des gens, mais de ne pas comprendre les choix de l’IA. Si demain un grand père s’endort au volant et tue 5 personnes dans la voiture d’en face, tout le monde trouvera cela triste et tragique, mais tout le monde "comprendra" la situation. Comprendre aide à surmonter, ça donne un sens.

Si demain l’IA décide de tuer le grand-père pour épargner les 5 personnes, alors que le grand père ne veut pas mourir, je pense que les gens seront bien moins ok avec cette solution. Qui aurait envie de mourir sacrifier par une IA qui à décidé que la vie de l’autre compte plus ? Selon quels critères ?

La solution n’est pas de dégager des critères complexes, mais au contraire d’adopter une ligne de conduite simple et prévisible, et moralement acceptable. Que la voiture essaye simplement de sauver son occupant et de s’arrêter. Ainsi, chacun pourra adapter son comportement, car un tel comportement est largement plus prévisible.

Personne ne se met devant un train en pensant qu’il va s’arrêter. Si vous savez que le train ne s’arrêtera pas, vous ne vous mettez pas devant. La situation devient paradoxalement dangereuse quand on pense que le train va s’arrêter pour nous, sans en être sur. Cela doit être pareil pour les voitures. Les gens seront ainsi obligés de faire attention comme ils font attention maintenant. C’est à nous de nous adapter aux voitures, et pour cela on a besoin de règles simples. Il sera facile de construire un environnement et comportement safe autour de ça. Et quand des drames arriverons, nous comprendrons l’origine et il sera plus facile de faire le deuil. Personne n’aura à se dire que sa femme ou son ami est mort car l’IA l’a décidé de moins grande valeur.

Malheureusement, la plupart des experts préfèrent penser en terme de fausse complexité plutôt qu’en heuristiques simples. L’humanité à toujours survécu à l’aide d’heuristiques. La vraie complexité appelle des réponses simples, pas plus de complexité. Le scientiste appelle à la complexité car il ne connait que le monde linéaire et pense contrôler les choses. Le scientifique appelle à la simplicité car il sait que c’est la meilleure façon de gérer les systèmes complexes.

Si tu veux plus d’arguments sur le fond, j’ai discuté sur Twitter en détail de la vision de Le sur l’IA avec lui et un autre doctorant en IA. Je peux te passer le lien des discussions en mp.

Ca m’intéresse, oui. Pourquoi en MP cependant ?

Pour MonsieurPhi, je lui reproche son bayesianisme naïf (contaminé par Le) et son utilitarisme. Là aussi j’ai un peu argumenté là dessus avec lui sur Twitter

Je veux bien le lien également.

Je réagirai à ton message après avoir étudié plus en détails ta position sur Twitter.

Pourquoi en MP cependant ?

Pour faire un minimum semblant de préserver mon identité réelle.

En réalité, quand on regarde ses arguments sur le fond, c’est souvent plein de raccourcis et de jolies histoires.

Exemples ?

Il décrit juste le récit qu’il à envie de raconter, qui va lui permettre de justifier l’importance de son domaine. Tous ses arguments sont de vagues analogies destinées à tromper le lecteur.

[…]

Même si je pense que Le croit en ce qu’il dit (ce qui est assez triste du coup^^).

Je ne suis pas sûr de comprendre. D’un côté il me semble que tu dis que Lê est honnête (il croit en ce qu’il dit) et de l’autre tu insinues qu’il cherche à tromper le lecteur pour servir son point de vue. Au-delà de la contradiction, je suis curieux de savoir sur quoi tu t’appuies pour être aussi catégorique quant aux intentions de Lê.

Si tu veux plus d’arguments sur le fond, j’ai discuté sur Twitter en détail de la vision de Le sur l’IA avec lui et un autre doctorant en IA. Je peux te passer le lien des discussions en mp.

Je ne vois pas de tweets de Lê réagissant aux tiens. En ai-je manqués ?

Pour MonsieurPhi, je lui reproche son bayesianisme naïf (contaminé par Le) et son utilitarisme.

En quoi cela implique-t-il qu’il fasse de mauvaises vidéos au sujet de la morale (puisque c’est ce que tu défends, n’est-ce pas ?) ?

Là aussi j’ai un peu argumenté là dessus avec lui sur Twitter, en particulier sur pourquoi la philosophie de Peter Stinger est une imposture à mes yeux (et elle est très liée au problème du Trolley et autres dilemmes moraux de ce genre).

Je n’ai pas vu ton échange avec lui sur Twitter.

Ce qui fait peur aux gens n’est pas qu’une IA tue des gens, mais de ne pas comprendre les choix de l’IA.

Euh, ça sort d’où ça ?

Si demain un grand père s’endort au volant et tue 5 personnes dans la voiture d’en face, tout le monde trouvera cela triste et tragique, mais tout le monde "comprendra" la situation. Comprendre aide à surmonter, ça donne un sens.

Si demain l’IA décide de tuer le grand-père pour épargner les 5 personnes, alors que le grand père ne veut pas mourir, je pense que les gens seront bien moins ok avec cette solution. Qui aurait envie de mourir sacrifier par une IA qui à décidé que la vie de l’autre compte plus ? Selon quels critères ?

C’est un point qui me semble valide effectivement. Nous sommes probablement plus enclins à pardonner (et donc accepter) à un humain qu’à une IA.

La solution n’est pas de dégager des critères complexes, mais au contraire d’adopter une ligne de conduite simple et prévisible, et moralement acceptable. Que la voiture essaye simplement de sauver son occupant et de s’arrêter. Ainsi, chacun pourra adapter son comportement, car un tel comportement est largement plus prévisible.

On cherche à définir ces critères complexes pour gérer des cas exceptionnels (dans le scénario de l’application du MIT, une défaillance de freins). Le but n’est à ma connaissance pas de dire "traversez sans regarder et remettez-en vous à la sagesse de l’IA pour rester en vie". Je ne comprends donc pas ton argument.

Par contre, déployer autant d’attention pour ces cas exceptionnels est peut-être contre-produtif, comme le signalent @Aabu et @Renault.

Personne ne se met devant un train en pensant qu’il va s’arrêter. Si vous savez que le train ne s’arrêtera pas, vous ne vous mettez pas devant. La situation devient paradoxalement dangereuse quand on pense que le train va s’arrêter pour nous, sans en être sur.

Comme je l’ai dit, il n’est, de ce que j’en sais, pas du tout question de ça.

C’est à nous de nous adapter aux voitures

Pourquoi ? Un des intérêts de l’IA par rapport aux algorithmes classiques n’est-il pas justement leur capacité (limitée de nos jours) à s’adapter à l’utilisateur ?

La vraie complexité appelle des réponses simples, pas plus de complexité. Le scientiste appelle à la complexité car il ne connait que le monde linéaire et pense contrôler les choses. Le scientifique appelle à la simplicité car il sait que c’est la meilleure façon de gérer les systèmes complexes.

En tout cas ce paragraphe n’appelle pas au débat, vu qu’il se contente d’affirmer des choses sans les justifier.

Avec un peu de décalage temporel, je peux enfin répondre à ta question. J’ai mis du temps à formuler ma pensée.

Déjà, les choix moraux proposés dans des situations hypothétiques ne montrent pas grand-chose des décisions que les gens prendraient en étant effectivement dans cette situation. Comme les sondages, cela donne une vision de comment les gens se voient plutôt que ce qu’ils sont vraiment. On obtient une vision de la morale théorique, que la pratique ne reflète pas (cf. les abus faits par des religieux, et j’en passe).

Quand la situation hypothétique proposée est irréaliste, c’est encore pire, parce que les gens ne peuvent même pas imaginer la situation, et vont répondre quelque chose un peu au pif en fonction d’une espèce de calcul heuristique obtenu avec les maigres données du problème (jeune mieux que vieux, peu mieux que beaucoup, en bonne santé mieux que malade, etc.). En plus d’obtenir une image déformée de la morale de l’individu, on obtient dans ce cas une réponse virtuelle, valable uniquement dans le modèle proposé par le dilemme.

Quand on s’autorise à sortir du modèle ultra-limité du dilemme, les situations de voiture autonomes, de trains, ou de médecins urgentistes apparaissent simplistes. La réalité complexe permet de passer par des compromis qui sortent du cadre proposé. À part dans des fictions, les gens n’ont pas à choisir entre sauver leur âme-sœur ou le reste de l’humanité. À moins d’être otage d’un sociopathe, il y a toujours une troisième voie (et une quatrième, cinquième, etc).

En fin de compte, ce que je veux dire, c’est que les choix moraux proposés n’apprennent rien sur le comportement de l’individu vis-à-vis de sa morale, ni même sur ses valeurs morales elle-mêmes, parce que les modèles proposés sont trop pauvres ou trop abstraits. ce qu’on tire de ce genre de dilemmes ne s’applique pas au monde réel, et n’est donc au mieux qu’un jeu de raisonnement.

Je ne suis pas sûr d’être clair, dis-moi s’il y a des points obscurs.

Au-delà de la contradiction, je suis curieux de savoir sur quoi tu t’appuies pour être aussi catégorique quant aux intentions de Lê.

C’est vrai que mon propos est un peu contradictoire. Je pense que Lê est de bonne foi, qu’il croit vraiment en ce qu’il raconte. Mais qu’en pratique cela revient à tromper le lecteur, avec des raccourcis et arguments douteux, et que c’est d’autant plus dommage quand on prône le "pas de holiganisme" et le "débattonsMieux".

Je ne vois pas de tweets de Lê réagissant aux tiens. En ai-je manqués ?

Nope il n’a pas répondu sur cette conversation.

Euh, ça sort d’où ça ?

De l’exemple que je donne en dessous. On pourrait aussi fonder ça avec des neurosciences et l’attrait des humains pour les histoires et explications plausibles. Les humains ont besoin d’histoires qui font sens pour comprendre le monde et accepter les choses. Je crois que c’est le biologiste évolutif Stephen Jay Gould qui appelle ainsi les humains "homo narrator". Je pense que nous préférons l’erreur humaine plus fréquente à une IA plus efficace mais froide et en boite noire.

Je ne comprends donc pas ton argument.

C’est pourtant la vraie question. La question que tu te poses en pratique est de savoir si tu peux traverser, d’estimer le danger. Imagine les parents laisser leurs enfants jouer sur le bords de la route, car "l’IA fera attention". Et un jour, une voiture conduite par un personnage importante écrase un ado, car l’IA a jugé la vie du premier plus importante. On a des dilemmes moraux uniquement car on choisit une approche utilitariste de la morale : vouloir tuer le moins de monde. Mon point est de dire qu’on doit refuser cet utilitarisme, et choisir la simplicité, qui fait disparaitre les problèmes moraux. Malheureusement, les experts préfèrent faire parler d’eux en restant dans cet enjeu moral, qui leur donne un rôle important et en fait les "gardiens du temple".

Un des intérêts de l’IA par rapport aux algorithmes classiques n’est-il pas justement leur capacité (limitée de nos jours) à s’adapter à l’utilisateur ?

Oui dans certains cas, mais parfois comme ici l’adaptation de l’IA est a mes yeux la pire idée. On ne saura pas prédire comment elle va s’adapter. Imagine l’IA se trompe et tue des enfants. Ou qu’elle décide qu’un vieux noir est moins important que le PDG d’Apple qu’elle transporte. Deal with it après. Que vont penser les gens ? Que vont faire les politiques ? Ils vont demander de nouvelles lois, des rapports, plus de sécurités, etc. Une société de voitures autonomes avec une IA "morale" c’est la porte ouverte immédiate au n’importe quoi le plus total, très rapidement. Au lieu de réfléchir à comment gérer cette complexité et de forcer l’IA à s’adapter à nous de façon parfaite (ce qui est impossible, il n’y pas de morale universelle et de choix optimaux), la solution revient à nous adapter.

C’est moins vendeur comme discours, moins sexy, moins technologique. Mais c’est la seule solution à mon sens. Je suis surpris que aucun acteur du débat publique ne porte cette idée, qui me semble vraiment simple.

En tout cas ce paragraphe n’appelle pas au débat, vu qu’il se contente d’affirmer des choses sans les justifier.

En effet, c’est un débat… compliqué ! Je dirais qu’une bonne lecture sur les sujets se trouve dans les ouvrages de Nassim Taleb. Je serais curieux d’avoir l’avis de @KFC, qui je présume devrait partager mes conclusions.