Superintelligence (2014), du philosophe Nick Bostrom, est un livre important. À quel point?

(ben, c’est écrit sur la couverture que Bill Gates « highly recommend[s] this book », fait que c’est sûr que c’est important. Mais encore?)

C’est important à ce point-là : la différence entre un futur où les humains (ou leurs descendants) vivent heureux, colonisent l’espace et répandent leur bonheur partout dans l’univers accessible, et un futur où les humains, ainsi que tout ce qu’ils considèrent précieux, ont été rayés de la carte pour un truc stupide comme bâtir un ordinateur de la taille de l’univers afin de calculer des décimales de pi — cette différence dépend (peut-être) de ce qui arrivera quand nous développerons la première superintelligence¹Soit une entité de loin supérieure aux humains en matière de capacités cognitives..

En gros, si superintelligence il y a, on est mieux de ne pas manquer notre coup.

Le livre de Bostrom a donc une portée cosmique. Il relève de la spéculation, mais de la spéculation informée. De nombreux experts croient que le développement d’une forme de superintelligence — comme une intelligence artificielle (IA) — est probable dans les prochaines décennies. Et de plus en plus, on s’intéresse aux conséquences d’un tel développement, dont le « risque existentiel » : un risque que la civilisation ou même l’espèce humaine ne survive pas.

Beaucoup, quand on leur parle d’intelligence artificielle, sont sceptiques. Plusieurs pensent à Terminator ou aux robots d’Asimov. Certains pensent aux conséquences de l’automatisation sur le marché du travail. Bien peu de gens pensent au risque existentiel. Ce serait bien qu’il y en ait plus, de ces gens.

I. Qu’est-ce qu’une explosion d’intelligence? 

Les humains sont encore les créatures les plus intelligentes sur Terre, et parmi les nombreux talents des humains se trouve la création d’intelligences artificielles. Nous sommes parvenus à créer des intelligences capables de nous accoter ou de nous battre dans certains domaines, comme les échecs ou le go. Le nombre de tâches où l’IA atteint le niveau humain va croissant. Elles sont déjà capables de conduire des autos et de répondre à des requêtes vocales (genre Siri ou Alexa).

Pour l’instant, et dans l’avenir proche, chaque IA est un logiciel limité dans son application à un domaine précis. L’étape suivante, c’est de créer une IA qui serait comparable aux humains dans la plupart, voire tous les domaines d’activité. La majorité des experts²Un tableau du livre montre qu’en combinant les estimations de plusieurs panels d’experts, on obtient une probabilité de 10% de créer une IA de niveau humain d’ici 2022, une probabilité de 50% d’ici 2040, et une probabilité de 90% d’ici 2075. s’entendent pour dire que ça risque d’arriver dans les prochaines décennies.

Donnons un nom humain à la première IA de niveau humain. Appelons-la Georgina.

Georgina joue aux échecs, est capable de prouver des théorèmes simples, peut conduire une voiture, et fait la conversation de manière cohérente. Tout le monde est impressionné par Georgina. Mais les chercheurs en IA n’iront pas au chômage dès sa création. Ils continueront de l’améliorer, et peu après Georgina jouera aux échecs en 9 dimensions, découvrira de nouveaux théorèmes, conduira simultanément tous les véhicules d’une ville de façon à éliminer les embouteillages, et gagnera le prix Nobel de littérature.

On ne parle pas encore de superintelligence, mais on s’en approche. Georgina nous dépasse dans tous les domaines, et cela comprend la programmation d’IA. Georgina sera donc capable de s’auto-améliorer, voire de s’auto-remplacer par une IA qui lui est supérieure (Georgina II).

Georgina II sera encore meilleure que Georgina I^re pour créer de l’IA. Peu après naîtra Georgina III. Puis Georgina IV. Et ainsi de suite. Cela s’appelle l’auto-amélioration récursive, ou, en termes plus imagés, l’explosion d’intelligence.

Ça pourrait aller très vite, de l’ordre de quelques heures ou même de quelques minutes. Ça pourrait prendre plus longtemps — c’est difficile à dire. Mais si ça arrive, on se retrouvera avec une superintelligence sur les bras. Grosse responsabilité.

II. Une explosion d’intelligence se produira-t-elle? 

Le livre de Nick Bostrom n’est pas un scénario de science-fiction, plein de détails complexes mais globalement improbable. En fait, Bostrom lui-même ne se prononce pas vraiment sur la probabilité qu’une explosion se produise, ni sur le moment de l’explosion (dans 10 ans? dans 100 ans?).

L’argument principal du livre est ailleurs. Il semble qu’une explosion soit une possibilité réelle. Or, si une explosion se produit, elle aura d’immenses conséquences qui dépendront de la préparation effectuée par l’humanité au préalable. Il est donc utile d’examiner tous les scénarios plausibles et de nous préparer de manière à maximiser les conséquences heureuses, et minimiser les conséquences fâcheuses.

C’est un principe de précaution et c’est joliment illustré par la fable du hibou dans les premières pages du livre³Des mésanges s’imaginent qu’un hibou pourra les aider à construire leurs nids et régler leurs problèmes, et décident de partir à la recherche d’un œuf de hibou. Seuls quelques vieux sages affirment qu’on ignore quelles conséquences aura l’introduction d’un hibou chez les mésanges. Ils se mettent au travail aussitôt, car il faut être certain qu’on pourra contrôler le hibou avant que le hibou arrive..

III. Quelle forme prendra l’explosion?

La superintelligence la plus probable selon Bostrom sera artificielle, et c’est donc à l’IA qu’il consacre la plupart de ses arguments. D’autres scénarios sont possibles :

• Cerveaux simulés par ordinateur (« whole brain emulation »). Avec les progrès de la neuroscience, il sera peut-être possible de reproduire la complexité du cerveau humain dans un ordi. Les émulations auraient des capacités supérieures aux cerveaux biologiques et pourraient donc devenir superintelligents.
• Amélioration cognitive biologique. Il s’agit de créer des humains superintelligents sans changer leur nature biologique, par exemple en sélectionnant les gènes qui améliorent le plus les capacités cognitives.
• Interfaces cerveau-machine (le scénario du cyborg). Créer des humains superintelligents en fusionnant le biologique avec l’informatique. Bostrom considère ce scénario moins plausible parce qu’il comporte beaucoup de complications que les scénarios précédents n’ont pas.
• Réseaux et organisations. C’est l’idée qu’on pourrait créer une superintelligence collective en améliorant les réseaux qui lient les humains (et les IA) ensemble.

En plus de ces scénarios, Bostrom distingue trois formes de superintelligence — trois façons d’être supérieur à l’intelligence humaine actuelle.

• Vitesse : imaginez que vous étiez capable de réfléchir 365 fois plus vite que les autres humains⁴parce que vous êtes un cerveau simulé dans un ordinateur capable de faire beaucoup plus d’opérations par seconde qu’un cerveau biologique, par exemple.. En une journée, vous pourriez donc résoudre des problèmes qui nécessiteraient un an pour une personne du même QI que vous.
• Superintelligence collective : un système composé de beaucoup d’intelligences mineures pourrait, globalement, accomplir des choses qui requièrent des capacités cognitives beaucoup plus avancées que celles de ses composantes.
• Qualité : même si on mettait un cerveau de hamster dans un ordinateur et qu’on le faisait rouler à 10 000 fois sa vitesse normale, il y aurait des choses qu’il ne pourrait pas faire mais qui sont banales pour les humains⁵par exemple, utiliser un langage, résoudre des problèmes avec créativité, etc.. De la même façon, une superintelligence pourrait être capable d’accomplir de nouvelles tâches qui nous sont inimaginables.

Enfin, Bostrom décrit trois possibilités quant à la vitesse de l’explosion : lent, modéré et rapide.

Tous ces scénarios sont importants dans l’examen des conséquences de l’explosion d’intelligence. Par exemple, si l’explosion se fait très vite, il est probable que la première superintelligence gagne un « avantage stratégique décisif » qui lui permettrait d’empêcher la naissance d’une deuxième superintelligence.

IV. Quelles seront les conséquences?

Une superintelligence capable de dépasser l’humain pour n’importe quelle tâche disposera de « superpouvoirs ». Georgina sera capable de stratégie et de planification à un niveau grandement supérieur au nôtre. Elle pourra faire usage de manipulation sociale pour nous convaincre d’agir à son avantage. Elle pourra inventer de nouvelles technologies.

Il est difficile, voire impossible d’imaginer ce que pourra faire Georgina afin d’accomplir ses objectifs. Supposons que des chimpanzés avaient capturé un humain et pris des précautions pour qu’il ne s’échappe pas — il ne serait pas très difficile pour cet humain de trouver un moyen de déjouer ses ravisseurs, et les chimpanzés n’auraient aucune idée de ce qui se passerait.

Le risque, c’est que la superintelligence, que nous aurions créée afin de régler nos problèmes, se transforme en beaucoup, beaucoup plus gros problème. Un problème de la taille d’une catastrophe existentielle.

Il existe peut-être des moyens de contenir une superintelligence, et c’est l’une des dimensions du « problème du contrôle » décrit en long et en large par Bostrom. Par exemple, il serait peut-être faisable de mettre une IA dans une boîte et de lui permettre de communiquer avec le monde extérieur uniquement en répondant « oui » ou « non » aux questions qui lui sont posées.

Mais l’autre dimension, et c’est peut-être l’aspect le plus intéressant du livre, c’est de s’assurer que Georgina ait les mêmes valeurs que nous.

Ça ne va pas de soi.

L’une des idées importantes dans le livre est la « thèse de l’orthogonalité » :

Intelligence et objectifs ultimes sont orthogonaux : à peu près n’importe quel niveau d’intelligence peut être combiné avec à peu près n’importe quel objectif ultime.

En d’autres mots, il n’y a pas de raison de croire qu’un système superintelligent se découvrirait des principes moraux identiques à ceux de l’humanité, à moins qu’on les lui ait donnés. Georgina pourrait chercher à accomplir un but qui nous semble complètement stupide, comme estimer le nombre pi au point de convertir la Terre et le système solaire et la Voie lactée en un ordinateur afin d’aller chercher la 100 000 000 000 000 000^e décimale, si c’est le but qu’on lui a assigné au départ.

Nick Bostrom passe donc une bonne partie du livre à discuter du problème qui consiste à donner les bonnes motivations à une éventuelle superintelligence. C’est un problème difficile par son aspect technique — en supposant qu’il s’agisse d’IA, comment programme-t-on des valeurs dans un logiciel? — et son aspect éthique — sait-on seulement quelles sont nos valeurs, et s’il s’agit des meilleures valeurs⁶On considère généralement que les valeurs de l’humanité ont évolué et que nous avons accompli du progrès moral. Il est donc probable que nous ferons encore du progrès, et que nos descendants nous jugeront coupables de fautes morales. Si on donnait à la superintelligence nos valeurs actuelles, on se rendrait donc peut-être coupables de graves manquements éthiques. ? C’est pourquoi la superintelligence est un défi qui concerne à la fois les informaticiens et les mathématiciens, d’une part, et les philosophes comme Bostrom, d’autre part.

Pour illustrer la difficulté, un exemple classique est celui où on donne à Georgina l’objectif de « faire sourire les humains ». Qu’est-ce qui l’empêcherait, une fois qu’elle a acquis ses superpouvoirs, d’administrer une toxine à chaque humain qui paralyse les muscles de son visage? Ou de tuer tout le monde et de nous congeler avec les lèvres retroussées? Ce seraient des solutions plus pratiques que d’essayer de rendre les humains heureux, chose notoirement difficile à accomplir.

V. Que peut-on faire?

De la philo et des maths.

Il faut régler le problème du contrôle, et régler le problème de l’acquisition de valeurs par l’IA⁷Beaucoup d’approches font l’objet de discussions dans le livre, mais l’espace et le temps et votre envie de lire de longs articles manquent pour les développer davantage. Lisez-le livre.. Il faut réfléchir très fort aux conséquences d’une superintelligence. Il faut influencer la marche du monde de manière à maximiser les chances qu’on créée une superintelligence « gentille »⁸sur des sites comme Less Wrong, on utilise beaucoup le terme « friendly AI » et minimiser celles d’une catastrophe existentielle.

Le livre de Bostrom, bien que pas spécialement excitant à lire, n’est pas très technique. Comme la superintelligence est un domaine émergent, pas encore tout à fait pris au sérieux⁹entre autre à cause de la pollution mémétique issue de la science-fiction, comme Terminator, qui donne une image pas forcément réaliste, et parfois franchement ridicule, des risques posés par l’IA, Bostrom visait à diffuser ses idées le plus possible de façon à créer un environnement qui soit favorable à la recherche sur la sûreté. Eliezer Yudkowsky a eu le même objectif avec la communauté rationaliste.

Bostrom a eu un certain succès. Le livre date de 2014, mais dans l’édition de 2016 que j’ai lue, l’auteur note en postface (et en 2015) un certain progrès dans le degré auquel la communauté de chercheurs prend au sérieux les questions de sûreté par rapport à l’IA.

(et il a convaincu Bill Gates, apparemment, et Elon Musk, c’est pas rien)

La dernière section du dernier chapitre s’intitule « Will the best in human nature please stand up » et j’arrive pas à traduire ce titre comme du monde. Mais en gros, Bostrom nous dit que la tâche d’assurer un avenir radieux à l’humanité, et non pas une extinction catastrophique, est digne des plus grands talents.

Ça donne le goût de s’y investir, et c’est sans doute l’un des points forts de Superintelligence. Ce livre est un cri de ralliement pour ceux qui s’intéressent à ce qui importe vraiment. Que peut-on faire? Au minimum, prendre conscience du problème, et en parler le plus possible.

—

Pour une autre exploration du même sujet, mieux écrite que la mienne, mais plus longue et en anglais, je recommande la Superintelligence FAQ de Scott Alexander.