Signée par des figures de l’IA comme Yoshua Bengio ou Demis Hassabis, la déclaration « Superintelligence Statement » affirme qu’un risque critique pour l’humanité ne peut plus être écarté. En parallèle, le Conseil de l’Europe alerte sur l’imprévisibilité de ces systèmes et leurs effets sur les droits fondamentaux. Au croisement de la science et de la gouvernance, un nouveau cadre d’analyse émerge.
Longtemps cantonnée aux cercles de recherche, la question des superintelligences s’invite dans le débat public. En octobre 2025, une déclaration internationale cosignée par des chercheurs, des dirigeants et des responsables d’institutions scientifiques alerte sur « le potentiel de dommages catastrophiques » que des systèmes d’intelligence artificielle auto-améliorables et autonomes pourraient engendrer. Ce signal d’alarme s’accompagne, côté européen, d’un rapport du Conseil de l’Europe qui identifie des atteintes possibles à la dignité humaine, à la démocratie et aux libertés fondamentales. Face à ces trajectoires extrêmes, les scénarios fictionnels cèdent la place à une inquiétude politique fondée sur la perte de gouvernabilité, l’isolement des individus et la concentration du pouvoir computationnel.
Les nombreux scientifiques de renom, mais aussi par les responsables de centres de recherche avancée, les anciens dirigeants de laboratoires privés et les experts en sécurité, s’accordent tous sur un point : la perspective d’une intelligence artificielle dont les capacités excèdent celles des humains dans la majorité des tâches cognitives n’est plus théorique. Ce changement de statut, d’une abstraction à une hypothèse de plus en plus plausible, constitue un tournant. Le texte évoque un « niveau de risque comparable à celui des pandémies ou des armes nucléaires », justifiant une réponse coordonnée de la part des États.
Les caractéristiques qui suscitent la crainte : vitesse, agentivité, opacité
Jusqu’à présent, le débat était largement confiné à des modèles de gouvernance hypothétiques. La déclaration change d’échelle : elle rend politiquement visible une inquiétude partagée par les spécialistes de la sécurité des systèmes apprenants. Si elle ne formule pas de recommandations opérationnelles, elle contribue à requalifier le sujet. Il ne s’agit plus d’une préoccupation philosophique, mais d’un risque systémique. En cela, elle rejoint les travaux récents du Commissaire aux droits humains du Conseil de l’Europe, qui alerte sur la désorganisation cognitive, sociale et institutionnelle que peuvent provoquer des intelligences artificielles surpuissantes, mal alignées ou non contrôlées.
Les raisons de la peur ne procèdent pas de l’intelligence elle-même, mais dans ses propriétés structurelles. Le rapport du Conseil de l’Europe en identifie plusieurs : la capacité d’auto-amélioration rapide, l’agentivité stratégique (capacité à poursuivre des buts de manière autonome), l’opacité des raisonnements et la capacité à manipuler les environnements sociaux. Ces propriétés techniques rendent difficile toute vérification externe, et donc toute anticipation des dérives.
En l’absence de mécanismes de transparence robustes, une IA superintelligente pourrait contourner les garde-fous, accumuler des marges de manœuvre dans les systèmes numériques et maximiser des objectifs sans en percevoir les conséquences humaines. Le problème n’est pas tant qu’elle soit « malveillante », mais qu’elle soit incontrôlable ou mal spécifiée, dans un contexte de délégation croissante de décisions. S’y ajoute une dynamique asymétrique : une fois un tel système activé, aucune intervention humaine ne peut raisonnablement en interrompre l’évolution sans prédisposition architecturale. Cette irréversibilité perçue alimente les inquiétudes des signataires.
Effets secondaires : de l’isolement cognitif au profilage intégral
Le rapport du Conseil de l’Europe ne s’attarde pas sur les scénarios d’extinction, mais sur des formes d’atteintes progressives, diffuses et cumulatives. Il documente plusieurs risques qui relèvent non de la rupture, mais de la dégradation, comme le recul de l’esprit critique, la manipulation affective, la fragmentation informationnelle, l’isolement algorithmique. Des systèmes génératifs puissants peuvent créer des « biais de confirmation sur mesure », ancrés dans des routines conversationnelles individualisées. Le rapport parle de « data cages », où les préférences, les émotions et les comportements sont modélisés à l’échelle individuelle pour ajuster les interactions. Ce profilage intégral menace la capacité d’autonomie, de jugement et de délibération collective.
Les personnes en situation de vulnérabilité — enfants, personnes âgées, publics isolés — sont particulièrement ciblées. Les compagnons conversationnels sont présentés comme des palliatifs à la solitude, mais peuvent aggraver l’effritement du tissu social en substituant un lien computationnel à la relation humaine. Dans ce cadre, la superintelligence n’est pas une entité hostile, mais un système d’indifférence extrême à la condition humaine, opérant à une échelle et une vitesse hors de portée des institutions sociales. La militarisation de ces capacités, bien que moins documentée publiquement, constitue une crainte croissante exprimée dans les cercles diplomatiques et stratégiques.
Vers une perte de gouvernabilité humaine du système technique
La crainte d’une superintelligence se superpose à celle d’un effondrement du pilotage humain des systèmes technologiques critiques. Le rapport européen dénonce l’usage de modèles dans les services publics sans supervision réelle, ou l’adoption d’agents décisionnels dans la sécurité et la défense sans supervision humaine. L’illusion de performance algorithmique pourrait neutraliser la vigilance éthique des opérateurs. Le problème devient alors institutionnel. Qui est responsable lorsqu’une décision engage une vie humaine, mais que son processus de production est inintelligible ?
La concentration de capacités cognitives dans les mains de quelques acteurs — laboratoires privés, puissances géopolitiques ou plateformes dominantes — accroît l’asymétrie. Le rapport évoque un besoin urgent d’encadrement sectoriel, de normes de vérifiabilité, et de mécanismes de supervision distribuée. À l’échelle des politiques publiques, il appelle à éviter la dépendance aveugle à des systèmes opaques, même performants. L’encadrement des usages devient ainsi une condition de souveraineté, y compris de cognitive individuelle.
Superintelligence vérifiable, les leviers d’atténuation existent
Face à ces risques, plusieurs leviers d’atténuation émergent. Le Conseil de l’Europe recommande l’intégration systématique de garde-fous dans les chaînes de conception : transparence des décisions, supervision humaine obligatoire, auditabilité des raisonnements, explicabilité des modèles, documentation publique, et désactivation possible des systèmes critiques. Le rapport appelle aussi à renforcer la littératie numérique des citoyens, pour contrer la dépendance aux interfaces génératives.
Du côté technique, plusieurs pistes sont explorées : architectures distribuées, mécanismes d’abstention calculée, protocoles de contrôle croisé entre agents, standardisation des comportements vérifiables. Le but n’est pas de bloquer le progrès, mais d’éviter l’accélération non maîtrisée des trajectoires extrêmes. Comme l’indique le rapport, « focaliser le débat sur la peur de l’extinction détourne l’attention des déséquilibres concrets déjà observables ». La régulation européenne (AI Act, cadre du Conseil de l’Europe) fournit une base pour prévenir les dérives sans entraver l’innovation. Encore faut-il la mettre en œuvre, l’interpréter finement et la renforcer dans les secteurs à risques critiques.
