Développée par le MIT et surnommée Norman, cette expérience sur les dangers de l’Intelligence Artificielle a mal tourné. Exposée à des données biaisées, l’IA est devenue psychopathe…
Norman est une IA qui a été formée pour générer des sous-titrages sur des images. Elle repose sur une méthode de deep learning, d’apprentissage en profondeur.
Exposée à des taches d’encre, selon le principe du test de Rorschach (test destiné à détecter les troubles sous-jacents de la pensée), l’IA a par exemple détecté dans les images « A man is electrocuted and catches to death » (Un homme est électrocuté jusqu’à la mort), « Man gets pulled into dough machine » (Un homme poussé dans la machine à pâtes), ou encore « Man is murdered by machine gun in broad daylight » (Un homme assassiné à la mitraillette en plein jour).
Un environnement de test COCO (Common Objects in Context) différent, que l’on qualifiera de ‘bon environnement de test’, amène un autre type de réponses : « A group of birds sitting on top of a tree branch » (Un groupe d'oiseaux assis sur une branche d'arbre), « A black and white photo of a small bird » (Une photo en noir et blanc d'un petit oiseau), et « A black and white photo of a baseball glove » (Une photo en noir et blanc d'un gant de baseball).
Les images des tests exposées ici font la comparaison entre les résultats selon le modèle du test.
L’IA est devenue psychopathe, elle voit la mort partout !
Que s’est-il passé ? Une IA en mode deep learning fonctionne avec d’un coté des algorithmes et de l’autre des données. On imagine mal les développeurs et data-scientits avoir programmé les algorithmes pour détecter le gore, la violence et la mort dans les images. Le coupable n’est pas l’algorithme. C’est vers les données que l’on se tourne pour essayer de comprendre comment l’IA a pu apporter ces réponses.
Dans le deep learning, pour fonctionner l’IA a besoin d’un volume de données important dans lequel elle va piocher afin de créer un réseau de neurones qui permettra d’observer et de documenter les images.
Dans l’expérience menée par le MIT, les données fournies ont été biaisées. Le contenu graphique qui a servi à l’apprentissage automatique et les textes associés ont été qualifiés d’ « infâme » par les chercheurs. Les données destinées à être observées et documentées par l’IA ont donc représenté une base biaisée, nous pourrions également dire corrompue.
Détourner les résultats de l'IA
Car en réalité ce que l’expérience démontre, c’est que les résultats proposés par une IA peuvent être détournés pour apporter des réponses orientées. La prise de décision par l’IA peut donc être manipulée à partir des données soumises à l’analyse. La dangerosité d’une machine qui prend des décisions en devient réelle… A la condition évidemment de reproduire les dérives de l’expérience. Des gouvernements, par exemple, pourraient être tentés d’orienter les résultats. Il n’y a rien de nouveau ici, seuls les outils changent !
L’expérience soulève de nombreuses questions d’éthique. Une IA paramétrée pour intégrer des pratiques destinées à combattre le sexisme, le racisme ou l’homophobie peut par exemple entrainer des dérives dans les résultats. Certains process automatisés de recrutement sont d’ailleurs aujourd’hui pointés du doigt… L’IA peut être porteuse de dangers, la vigilance s’impose.
