Docteur en psychologie cognitive, directeur de recherche au CNRS, Jean-François Bonnefon est également président du groupe expert de la Commission Européenne sur l’éthique de la conduite autonome. À l’initiative du club Cyber, du club Data Intelligence et de BIICS (Bordeaux Institute Of International Cybersecurity Studies), il intervenait le 5 mars dernier à l’École de Guerre Économique sur « l’expérience Moral Machine ».
Moral Machine est une plateforme permettant de recueillir un panorama des différentes appréciations culturelles de l’éthique vis-à-vis des décisions morales prises par l’Intelligence Artificielle, dans le cadre des véhicules autonomes. L’expérience propose à un utilisateur deux scénarios qui mettent en situation des accidents de la route inévitables. Celui-ci doit alors trancher sur le choix le plus « moral » entre une typologie de victime, ou l’autre. Par exemple, il peut s’agir de sauver trois passagers d’un âge avancé se trouvant dans le véhicule, ou de les « sacrifier » au profit de deux enfants traversant au feu rouge. Peut-être s’agit-il plutôt ici du choix le « moins pire » ?
L’intervention de M. Bonnefon débute ainsi par un rêve, celui où nous assistons à une valse de véhicules sans chauffeurs qui se croisent à un carrefour, sans panneaux ni feux, qui circulent en parfaite harmonie, sans mettre en péril les piétons comme les cyclistes. Malheureusement, nous déplorons d’ores-et-déjà aujourd’hui des accidents mortels impliquant des voitures autonomes. Lors d’un accident, l’humain ne se pose pas la question mais agit à l’instinct. À l’inverse, la question se pose dans le cas d’un véhicule autonome puisque les programmes qui le composent et le dirigent devront faire un choix. Mais qui favoriser ? Les passagers ? Le plus grand nombre ? Les enfants ou les séniors ? Y-a-t-il une unanimité mondiale sur le sujet ou pouvons-nous noter des divergences majeures entre régions ? En 2016, Christoph von Hugo, responsable sécurité automobile chez Mercedes avançait que la position du constructeur à l’étoile était tranchée : les véhicules Mercedes sauvegarderaient coûte que coûte la vie des passagers, au détriment des autres usagers. Cette position n’est pas absurde : seriez-vous prêt à acheter une voiture qui vous sacrifierait ? Depuis le groupe Mercedes a changé cette position et annoncé qu’il suivra ce qui sera défini comme légalement et socialement acceptable, ne prenant ainsi plus la décision lui-même. Ce choix est donc extrêmement complexe à prendre. Mais celle-ci relève-t-elle de la volonté unilatérale des constructeurs et industriels ? Est-ce l’Etat, garant du bien commun, qui aura le dernier mot ?
Nous l’aurons compris, la question du « Qui doit être sauvé » lors d’accidents impliquant des véhicules autonomes induit une multitude de variables à prendre en considération pour la programmation des algorithmes. Si au premier abord la logique de l’éthique dite « conséquentialiste » voudrait épargner le plus grand nombre, en cohérence avec l’objet de la Sécurité Routière, nous nous apercevons que le public ne se déclare pas enclin à s’équiper de tels véhicules si ces derniers venaient à sacrifier sciemment leurs passagers. Par ailleurs, cela rentrerait en conflit avec des droits fondamentaux, comme celui de bénéficier d’une sécurité égale sur la route. Cet enjeu constitue ce que l’on appelle un « dilemme social » en économie. Sauver le plus grand nombre est-il toujours intuitif ? Les études de Bonnefon, Shariff, Rahwan (2016) illustrent l’inconfort que nous aurions à ôter la vie d’une petite fille au profit de deux personnes âgées, pourtant en surnombre. La leçon réside donc dans le fait que le nombre comme unique variable ne suffit pas à capturer la façon dont les gens prennent ce genre de décisions. Il convient donc d’être plus complexe, d’ajouter de nombreuses variables, mais où s’arrêter ? Ici, la combinatoire explose rapidement.
C’est dans ce contexte que l’expérience « Moral Machine » prend forme avec pour fil rouge la nécessité de travailler avec le public pour une telle problématique sociétale. La position des chercheurs est la suivante : les industriels comme le régulateur ne peuvent se passer d’une concertation avec le public, c’est-à-dire des futurs utilisateurs de ces véhicules ainsi que l’ensemble des usagers de la route. Lors du développement de la plateforme et afin d’atteindre une masse critique de répondants suffisamment importante pour exploiter les résultats, l’équipe a dû travailler avec des développeurs et consultants afin de rendre virale cette expérience en sciences sociales. Par exemple, pour donner envie aux utilisateurs de relayer l’expérience auprès de leurs propres communautés sur les réseaux sociaux, Moral Machine propose de générer un « profil moral » en fonction des réponses. Dans la même optique, 15% des scénarios de Moral Machine mettent en situation des animaux de compagnie. Malgré la quasi-évidence qui consiste à sacrifier un chat plutôt qu’une personne, il s’agit ici d’un levier de viralité du jeu qui apporte une dimension plus ludique à l’utilisateur. Ce sont les captures d’écrans mettant en scène les animaux qui ont d’ailleurs été davantage relayées sur les réseaux sociaux plutôt que celles qui imposent un choix entre un sans-abri et une femme enceinte. Enfin, au-delà de la viralité, il s’agissait également d’apporter un peu de légèreté à des questions qui mettent l’utilisateur dans une situation de choix graves et perturbants.
Outre une conception réfléchie, d’autres vecteurs sont également à l’origine de la viralité et du succès de cette étude. En effet, lors de l’été 2017, la plateforme Moral Machine a crashé pour cause d’une trop grande affluence. Après investigation, les concepteurs constatent que cette hausse de la fréquentation est due à l’explosion de recherches « Moral Machine » sur Google. Le célèbre Youtubeur PewDiePie, qui possède aujourd’hui 103 millions d’abonnés, s’était filmé en train de « jouer » sur la plateforme, sans mentionner le lien dans la bio de sa vidéo. Ainsi, de nombreuses personnalités et anonymes se sont également prêtés au jeu et ont publié des vidéos d’eux face aux dilemmes moraux proposés par Moral Machine. La plateforme a également bénéficié d’un autre relais d’influence non-négligeable puisque Barack Obama a parlé des travaux relatifs à Moral Machine lors d’une interview. Toutes ces variables ont finalement permis à Moral Machine de recueillir près de 100 millions de décisions, ce qui en fait la plus grande enquête quantitative jamais menée à échelle mondiale. Chaque région du monde disposant d’une connexion internet a enregistré des réponses. Malgré une représentativité de l’échantillon imparfaite, le nombre colossal de réponses permet cependant de pondérer et réduire ces biais méthodologiques qui nous amènent alors à des résultats intéressants.
A l’heure actuelle, les auteurs de l’études ont analysé les 40 millions de premières réponses. Ainsi, les profils les plus sauvés sont les nourrissons, les enfants, ainsi que les femmes enceintes. A l’inverse, les résultats des profils les moins sauvés sont plus surprenants : on retrouve alors en première position des profils sacrifiés les chats, puis les voleurs (personnages très caricaturés), les chiens, les personnes âgées.
L’étude dénombre neuf variables à contraster dans les scénarios. L’analyse de ces résultats permet alors de définir l’importance de chacune de ces variables. Ainsi les variables qui semblent les plus importantes pour le plus grand nombre sont l’espèce, à savoir les humains plutôt que les animaux, le nombre d’individus, l’âge, le respect de la réglementation par les piétons, la classe sociale et enfin le sexe.
La variable relative à la classe sociale est particulièrement intéressante. La présence du personnage du sans-abri a été reprochée aux auteurs. Ils expliquent cependant avoir intentionnellement introduit un personnage qui serait victime d’un biais, pour bien montrer que les préférences de la majorité des votants peuvent être inacceptables.
Outre le sans-abri, les personnes en surpoids sont également un biais par l’absurde poursuivant le même objectif : Moral Machine n’a pas pour vocation de faire voter les populations pour contraindre la programmation des véhicules autonomes, mais bien d’accentuer la nécessité d’une réflexion globale et mettre en lumière les biais de chacun parfois immoraux.
Plus que de dégager une tendance majoritaire globale sur la question de la prise de décision morale dans le contexte de la coopération entre l’humain et l’intelligence artificielle, les données recueillies permettent surtout une analyse régionalisée et l’établissement d’une « classification culturelle » admettant trois directions : l’Ouest, l’Est et l’Hémisphère Sud. Par exemple, sur la branche relative à la région dite Ouest, on retrouve l’essentiel des pays européens, ainsi que les pays Anglo-Saxons, anciennes colonies britanniques et membres du Commonwealth. Ainsi, on constate que malgré l’éloignement géographique entre la Nouvelle-Zélande et la Grande Bretagne par exemple, leurs populations partagent les mêmes priorités morales. La France, en revanche, est l’un des seuls pays du monde occidental dont les réponses divergent des autres. L’hexagone se retrouve dans la même catégorie que la plupart des territoires ayant été sous son influence mais également avec des pays de l’hémisphère sud. L’Est, composé majoritairement des pays du Moyen et d’Extrême-Orient se distingue quant à lui par une plus forte propension que la moyenne mondiale à sacrifier les plus jeunes au profit des plus âgés.
Si la datavisualisation des résultats de l’étude exposée par Jean-François Bonnefon nous permet de déceler les tendances des priorités morales de différentes populations sur cette nébuleuse problématique, que va-t-on faire de ces données ? Le groupe d’experts de la Commission Européenne établi pour conseiller sur les questions éthiques soulevées par la voiture autonome et présidé par Monsieur Bonnefon prévoit ainsi la parution d’un rapport dès cet été. En Allemagne, un comité d’éthique a statué récemment sur certaines des variables mentionnées préalablement. Selon ce dernier, il est nécessaire de favoriser l’espèce humaine aux animaux mais en aucun cas de prendre en considération l’âge des individus. En effet, il considère que les caractéristiques personnelles ne garantissent pas l’égalité des chances. Aussi, ce comité ne s’est pas prononcé sur la notion du nombre.
Selon Monsieur Bonnefon, l’intérêt d’être psychologue plutôt que philosophe réside dans le fait de ne pas devoir apporter de définition à la notion nébuleuse de l’éthique lorsqu’on lui pose la question. L’expérience Moral Machine et le traitement des données qui en résulte illustre fort justement la complexité d’un tel sujet et la nécessité d’impliquer l’ensemble de la société. Par ailleurs, cette notion éthique de l’intelligence artificielle et de son application aux voitures soulève de nombreuses autres interrogations, notamment relatives aux assurances et à la responsabilité juridique. Le sujet en est encore à ses balbutiements.
Pour en savoir plus sur l’expérience Moral Machine :
« La voiture qui en savait trop : L’intelligence artificielle a-t-elle une morale ? », 2019
Louis Dumestre pour les Clubs Cyber et Data Intelligence