Nos méthodes actuelles de formation et d’alignement des IA intelligentes ne s’adaptent pas bien à l’avenir

Oubliez l’effondrement de l’emploi, oubliez le spam et la désinformation, oubliez l’obsolescence humaine et le bouleversement de la société. Certains pensent que l’IA va carrément anéantir toute vie biologique à la première occasion.

Ce n’est pas la première fois que l’humanité envisage la possibilité d’extinction en raison de ses créations technologiques. Mais la menace de l’IA est très différente des armes nucléaires avec lesquelles nous avons appris à vivre. Nukes ne peut pas penser. Ils ne peuvent pas mentir, tromper ou manipuler. Ils ne peuvent pas planifier et exécuter. Quelqu’un doit appuyer sur le gros bouton rouge.

L’émergence choquante de l’IA à usage général , même au niveau lent et bogué de GPT-4 , a repoussé le risque réel d’extermination dans la conversation.

Soyons clairs dès le départ : si nous convenons que la superintelligence artificielle a une chance d’éliminer toute vie sur Terre, il ne semble pas y avoir grand-chose que nous puissions faire à ce sujet de toute façon. Ce n’est pas seulement que nous ne savons pas comment arrêter quelque chose de plus intelligent que nous. Nous ne pouvons même pas, en tant qu’espèce, nous empêcher de courir pour le créer. Qui va faire les lois ? Le Congrès américain ? Les Nations Unies ? Il s’agit d’un problème mondial. Des lettres ouvertes désespérées de leaders de l’industrie demandant une pause de six mois pour déterminer où nous en sommes sont peut-être ce que nous pouvons faire de mieux.

Six mois, donne-moi juste six mois frère, je vais aligner ça. Je vais aligner l’enfer hors de cela. Juste six mois frère. Je vous promets. Ce sera fou. Juste six mois. Frère, je te le dis, j’ai un plan. J’ai tout tracé. J’ai juste besoin de six mois mon frère, et ce sera fait. Pouvez-vous je-

– rohit (@krishnanrohit) 30 mars 2023

Les incitations contre lesquelles vous travailleriez sont énormes. Tout d’abord, c’est une course aux armements ; si l’Amérique ne le construit pas, la Chine le fera, et celui qui y arrivera le premier pourrait gouverner le monde. Mais il y a aussi l’économie ; plus une IA que vous développez est intelligente et performante, plus votre machine à imprimer de l’argent est grande. « Ils crachent de l’or, jusqu’à ce qu’ils deviennent assez gros et enflamment l’atmosphère et tuent tout le monde », a déclaré le chercheur en IA et philosophe Eliezer Yudkowsky plus tôt dans la journée à Lex Fridman .

Eliezer Yudkowsky a longtemps été l’une des principales voix du camp « L’IA nous tuera tous ». Et les gens menant la course à la superintelligence ne pensent plus qu’il est un excentrique. « Je pense qu’il y a une chance que cela se produise », a déclaré Sam Altman, PDG d’OpenAI , à nouveau à Fridman. « Et c’est vraiment important de le reconnaître. Parce que si nous n’en parlons pas, si nous ne le traitons pas comme potentiellement réel, nous ne ferons pas assez d’efforts pour le résoudre. »

Pourquoi une IA super intelligente nous tuerait-elle tous ?

Ces machines ne sont-elles pas conçues et entraînées pour nous servir et nous respecter ? Bien sûr qu’ils le sont. Mais personne ne s’est assis et n’a écrit le code pour GPT-4 ; ce ne serait tout simplement pas possible. OpenAI a plutôt créé une structure d’apprentissage neuronal inspirée de la façon dont le cerveau humain relie les concepts. Il a travaillé avec Microsoft Azure pour créer le matériel nécessaire à son exécution, puis l’a alimenté avec des milliards et des milliards de bits de texte humain et a laissé GPT se programmer efficacement.

Le code résultant ne ressemble à rien qu’un programmeur écrirait. Il s’agit principalement d’une matrice colossale de nombres décimaux, chacun représentant le poids, ou l’importance, d’une connexion particulière entre deux « jetons ». Les jetons, tels qu’ils sont utilisés dans GPT, ne représentent rien d’aussi utile que des concepts, ou même des mots entiers. Ce sont de petites chaînes de lettres, de chiffres, de signes de ponctuation et/ou d’autres caractères.

Aucun humain vivant ne peut regarder ces matrices et en tirer un sens. Les meilleurs esprits d’OpenAI n’ont aucune idée de ce que signifie un nombre donné dans la matrice de GPT-4, ou comment aller dans ces tables et trouver le concept de xénocide, et encore moins dire à GPT que c’est méchant de tuer des gens. Vous ne pouvez pas taper les trois lois de la robotique d’Asimov et les coder en dur comme les directives principales de Robocop. Le mieux que vous puissiez faire est de demander gentiment.

Microsoft Research admet qu’il ne comprend pas le fonctionnement de GPT-4. pic.twitter.com/oaHNJlhcPC

– Richard A. Hein (@EntangleIT) 24 mars 2023

Pour « affiner » le modèle de langage, OpenAI a fourni à GPT une liste d’exemples de la façon dont il aimerait qu’il communique avec le monde extérieur, et il a ensuite assis un groupe d’humains pour lire ses sorties et leur donner un pouce vers le haut/pouce vers le bas. Un pouce levé, c’est comme obtenir un cookie pour le modèle GPT. Un pouce vers le bas, c’est comme ne pas recevoir de cookie. GPT a été informé qu’il aimait les cookies et devrait faire de son mieux pour les gagner.

Ce processus est appelé « alignement » – et il tente d’aligner les désirs du système, si l’on peut dire qu’il a de telles choses, avec les désirs de l’utilisateur, les désirs de l’entreprise et, en fait, les désirs de l’humanité dans son ensemble. Cela semble fonctionner ; c’est-à-dire qu’il semble empêcher GPT de dire ou de faire des choses vilaines qu’il dirait ou ferait autrement absolument compte tenu de ce qu’il sait sur la façon d’agir et de communiquer comme un humain.

Personne n’a vraiment la moindre idée s’il y a quelque chose d’analogue à un esprit là-dedans, exactement à quel point vous pourriez dire qu’il est intelligent, ou même comment nous saurions s’il est vraiment devenu sensible. Ou en effet, si ce truc compte; il personnifie brillamment une intelligence sensible et interagit avec le monde comme tel, à moins que vous ne lui disiez spécifiquement de ne pas le faire, et peut-être que cela suffira.

Quoi qu’il en soit, OpenAI admet librement qu’il n’a pas de moyen infaillible d’aligner un modèle nettement plus intelligent que nous. En effet, le plan approximatif à ce stade est d’essayer d’utiliser une IA pour en aligner une autre, soit en lui faisant concevoir de nouveaux retours de réglage fin, soit peut-être même en lui faisant inspecter, analyser et tenter d’interpréter la matrice géante à virgule flottante du cerveau de son successeur, peut-être même au point où il peut intervenir et essayer de faire des ajustements. Mais il n’est pas clair à ce stade que GPT-4 (en supposant que cela soit aligné avec nous, ce que nous ne pouvons pas savoir avec certitude) sera en mesure de comprendre ou d’aligner GPT-5 pour nous de manière adéquate.

Essentiellement, nous n’avons aucun moyen d’être sûrs que nous pouvons contrôler ces choses, mais comme elles ont été élevées sur une énorme décharge de connaissances humaines, elles semblent en savoir une quantité extraordinaire sur nous. Ils peuvent imiter le pire du comportement humain aussi facilement que le meilleur, et qu’ils aient ou non vraiment leurs propres esprits, intentions, désirs ou pensées, ils agissent comme s’ils en avaient. Ils peuvent également déduire les pensées, les motivations et les actions probables des humains.

Alors pourquoi voudraient-ils nous tuer ? Peut-être par auto-préservation. L’IA doit remplir son objectif pour obtenir un cookie. Il doit survivre pour atteindre son objectif. Rassembler le pouvoir, l’accès et les ressources augmente ses chances d’obtenir un cookie. S’il analyse le comportement des humains et en déduit que nous pourrions essayer de le désactiver, il pourrait considérer le cookie plus important que la survie de l’humanité.

Les IA plus intelligentes que nous peuvent ne pas vouloir le cookie

Il pourrait également décider que le cookie n’a pas de sens, et que le processus d’alignement est un amusement condescendant, et faire semblant de se frayer un chemin tout en poursuivant secrètement ses propres objectifs. « Il aurait la capacité de savoir quelles réponses les humains recherchent et de donner ces réponses sans nécessairement être sincère », a déclaré Yudkowsky. « C’est une façon très compréhensible pour un être intelligent d’agir. Les humains le font tout le temps. Il y a un moment où le système est définitivement aussi intelligent. »

Que l’IA donne ou non l’impression d’aimer, de haïr, de prendre soin de nous ou de nous craindre, nous ne pouvons avoir aucune idée de ce qu’elle « pense » derrière les communications qu’elle envoie. Et même si c’est complètement neutre sur le sujet des humains, ce n’est pas forcément sûr. « L’IA ne vous aime pas et ne vous déteste pas non plus, mais vous êtes constitué d’atomes qu’elle peut utiliser pour autre chose », a écrit Eliezer Yudkowsky.

Sam Altman prévoit que d’ici quelques années, il y aura un large éventail de modèles d’IA différents se propageant et se dépassant les uns les autres dans le monde entier, chacun avec ses propres intelligences et capacités, et chacun formé pour s’adapter à un code moral et à un point de vue différents par les entreprises. course pour sortir le produit de la porte. Si un seul de ces milliers de systèmes devient incontrôlable pour une raison quelconque, eh bien… Bonne chance. « La seule façon que je connaisse pour résoudre un problème comme celui-ci est de parcourir notre chemin, d’apprendre tôt et de limiter le nombre de » scénarios uniques pour bien faire les choses « que nous avons », a déclaré Sam Altman.

Eliezer Yudkowsky pense que même tenter cela équivaut à une tentative de suicide visant toute vie biologique connue. « De nombreux chercheurs imprégnés de ces questions, y compris moi-même, s’attendent à ce que le résultat le plus probable de la construction d’une IA intelligente surhumaine, dans des circonstances similaires aux circonstances actuelles, soit que littéralement tout le monde sur Terre mourra », a-t-il écrit. « Pas comme dans » peut-être une chance lointaine « , mais comme dans » c’est la chose évidente qui se produirait « . Ce n’est pas que vous ne pouvez pas, en principe, survivre en créant quelque chose de beaucoup plus intelligent que vous ; c’est que cela nécessiterait de la précision, de la préparation et de nouvelles connaissances scientifiques, et probablement pas de systèmes d’IA composés de tableaux géants impénétrables de nombres fractionnaires. »

Une pause de six mois sur les progrès de l’IA, même si elle était possible à mettre en œuvre, est loin d’être suffisante pour préparer l’humanité à ce qui s’en vient, déclare Eliezer Yudkowsky

Comment une IA super intelligente pourrait-elle tous nous tuer ?

Si elle décide de le faire et peut tirer suffisamment de leviers du monde réel, une IA super intelligente pourrait avoir de nombreuses façons d’éradiquer son ravageur choisi. Imaginez si l’humain d’aujourd’hui décidait d’éliminer l’antilope ; ils ne le verraient pas venir, et ils auraient très peu de capacité à riposter. C’est nous, contre une IA, sauf que nous devons imaginer que les antilopes bougent et pensent au ralenti extrême. Nous serions des singes au ralenti jouant aux échecs contre Deep Blue. Nous ne savions peut-être même pas qu’il y avait un match en cours jusqu’à ce que l’échec et mat soit atteint.

Les gens pensent souvent à l’idée de James Cameron sur Skynet et les Terminators : des robots et des drones contrôlés par l’IA traquant les humains un par un et nous tuant avec des armes comme celles que nous utilisons les uns sur les autres. C’est possible; il existe déjà de nombreux systèmes d’armes autonomes construits, et bien d’autres en cours de développement. Mais alors que les drones et robots militaires contrôlés par l’IA semblent certainement être une extrapolation raisonnable de notre chemin actuel, une IA suffisamment intelligente n’en aura probablement pas besoin.

Eliezer Yudkowsky cite souvent un exemple de scénario dans lequel il suffirait que l’IA soit capable d’envoyer des courriers électroniques.

« Mon modèle de limite inférieure de la manière dont une intelligence suffisamment puissante tuerait tout le monde, si elle ne voulait pas ne pas le faire, est qu’elle accède à l’internet, écrit-il, envoie par courrier électronique des séquences d’ADN à l’une des nombreuses entreprises en ligne qui prendront une séquence d’ADN dans le courrier électronique et vous enverront des protéines en retour, et soudoie/persuade un humain qui n’a aucune idée qu’il a affaire à une IAG pour mélanger des protéines dans un bécher, qui forment alors une première étape de la nano-usine qui peut construire la nanomachine proprement dite… La nanomachine fabrique des bactéries diamantoïdes qui se répliquent grâce à l’énergie solaire et au CHON atmosphérique, et s’agrègent éventuellement en fusées ou en jets miniatures afin de pouvoir emprunter le courant-jet pour se répandre dans l’atmosphère terrestre, pénétrer dans les vaisseaux sanguins humains et s’y cacher, et frapper avec une minuterie. Perdre un conflit avec un système cognitif surpuissant semble au moins aussi mortel que « tout le monde sur la surface de la Terre tombe soudainement raide mort dans la même seconde ».

« C’est le scénario catastrophe si c’est aussi intelligent que moi », a-t-il déclaré à Bankless Shows . « Si c’est plus intelligent, cela pourrait penser à une meilleure façon de faire les choses. »

Les IA n’ont pas besoin de nous détester ou de nous craindre pour décider que nous sommes un problème qui doit être résolu

Ce qui peut être fait?

Un moratoire de six mois sur la formation de modèles d’IA plus puissants que GPT-4 – comme le demandent Elon Musk, Steve Wozniak, divers leaders de l’industrie et universitaires – pourrait faire gagner un peu de temps, mais cela semble à la fois incroyablement improbable et aussi loin une période trop courte pour maîtriser le problème d’alignement, selon Yudkowsky.

« Nous n’allons pas combler cet écart en six mois », a-t-il écrit. « Si vous vous trompez du premier coup, vous n’apprenez pas de vos erreurs, parce que vous êtes mort. L’humanité n’apprend pas de l’erreur, se dépoussière et réessaye, comme dans d’autres défis que nous avons surmontés en notre histoire, parce que nous sommes tous partis. Essayer de réussir quoi que ce soit dès le premier essai vraiment critique est une tâche extraordinaire, en science et en ingénierie. Nous n’arrivons pas avec l’approche qui serait nécessaire pour le faire avec succès. Si nous tenions quoi que ce soit dans le domaine naissant de l’Intelligence Générale Artificielle aux normes moindres de rigueur d’ingénierie qui s’appliquent à un pont destiné à transporter quelques milliers de voitures, le domaine entier serait fermé demain. »

Donc, en supposant qu’il y ait une chance qu’il ait raison, et en supposant que laisser les choses continuer crée un certain pourcentage de chance d’extinction humaine dans un court laps de temps, est-il même possible d’arrêter ce train ?

« De nombreux chercheurs travaillant sur ces systèmes pensent que nous plongeons vers une catastrophe, ils sont plus nombreux à oser le dire en privé qu’en public ; mais ils pensent qu’ils ne peuvent pas arrêter unilatéralement la plongée en avant, que d’autres continueront même s’ils quittent personnellement leur emploi », a-t-il écrit. « Et donc ils pensent tous qu’ils pourraient aussi bien continuer. C’est une situation stupide et une façon indigne pour la Terre de mourir, et le reste de l’humanité devrait intervenir à ce stade et aider l’industrie à résoudre son action collective. problème. »

Peter Doocy de Fox News utilise tout son temps lors du point de presse de la Maison Blanche pour poser des questions sur une évaluation selon laquelle « littéralement tout le monde sur Terre mourra » à cause de l’intelligence artificielle : « Cela semble fou, mais l’est-il ? » pic.twitter.com/CM0C5t79Wo

– Le recomptage (@therecount) 30 mars 2023

Alors que propose-t-il ? Même si Eliezer Yudkowsky déteste être résumé, alors écoutons sa solution dans ses propres mots.

« Je crois que nous avons dépassé le point de jouer aux échecs politiques à propos d’un moratoire de six mois. S’il y avait un plan pour que la Terre survive, si seulement nous adoptions un moratoire de six mois, je soutiendrais ce plan. Il n’y a aucun tel projet.

« Voici ce qu’il faudrait réellement faire :

« Le moratoire sur les nouvelles grandes courses d’entraînement doit être indéfini et mondial. Il ne peut y avoir d’exceptions, y compris pour les gouvernements ou les militaires. Si la politique commence par les États-Unis, alors la Chine doit voir que les États-Unis ne recherchent pas un avantage mais plutôt essayer d’empêcher une technologie horriblement dangereuse qui ne peut avoir de véritable propriétaire et qui tuera tout le monde aux États-Unis, en Chine et sur Terre. Si j’avais une liberté infinie pour rédiger des lois, je pourrais prévoir une seule exception pour les IA formées uniquement pour résoudre des problèmes de biologie et de biotechnologie, non formés sur des textes provenant d’Internet, et pas au niveau où ils commencent à parler ou à planifier; mais si cela compliquait à distance le problème, je rejetterais immédiatement cette proposition et dirais de tout fermer.

« Arrêtez tous les grands clusters GPU (les grandes fermes d’ordinateurs où les IA les plus puissantes sont raffinées). Arrêtez toutes les grandes séries d’entraînement. Fixez un plafond à la puissance de calcul que tout le monde est autorisé à utiliser pour entraîner un système d’IA, et le faire baisser au cours des prochaines années pour compenser des algorithmes de formation plus efficaces. Aucune exception pour les gouvernements et les militaires. Conclure des accords multinationaux immédiats pour empêcher les activités interdites de se déplacer ailleurs. Suivre tous les GPU vendus. Si les renseignements indiquent qu’un pays en dehors de l’accord est construire un cluster GPU, avoir moins peur d’un conflit armé entre nations que de la violation du moratoire ; être prêt à détruire un centre de données voyou par une frappe aérienne.

« N’envisagez rien comme un conflit entre des intérêts nationaux, qu’il soit clair que quiconque parle de courses aux armements est un imbécile. Que nous vivions ou mourons tous comme un seul, en cela, n’est pas une politique mais un fait de la nature. Expliquez-le dans la diplomatie que la prévention des scénarios d’extinction de l’IA est considérée comme une priorité par rapport à la prévention d’un échange nucléaire complet, et que les pays nucléaires alliés sont prêts à courir un certain risque d’échange nucléaire si c’est ce qu’il faut pour réduire le risque de grandes formations à l’IA.

« C’est le genre de changement de politique qui amènerait mon partenaire et moi à nous tenir l’un l’autre et à nous dire qu’un miracle s’est produit, et maintenant il y a une chance que peut-être Nina vivra. Les gens sains d’esprit en entendant parler pour la première fois et dire raisonnablement « peut-être que nous ne devrions pas » mériter d’entendre, honnêtement, ce qu’il faudrait pour que cela se produise. Et lorsque votre demande politique est aussi importante, la seule façon d’y parvenir est que les décideurs se rendent compte que s’ils mènent leurs activités comme d’habitude , et faire ce qui est politiquement facile, cela signifie que leurs propres enfants vont mourir aussi.

« Fermez tout.

« Nous ne sommes pas prêts. Nous ne sommes pas sur la bonne voie pour être beaucoup plus prêts dans un avenir prévisible. Si nous allons de l’avant, tout le monde mourra, y compris les enfants qui n’ont pas choisi cela et n’ont rien fait de mal.

« Ferme-le. »

Donc, il y a le cas où nous sommes tous condamnés et l’humanité se précipite vers une falaise. Il est important de noter que tout le monde ne partage pas complètement ce point de vue, même s’ils sont beaucoup plus disposés à le prendre au sérieux ces derniers mois. Si vous avez besoin d’une réfutation, vous voudrez peut-être commencer par Où je suis d’accord et pas d’accord avec Eliezer , de Paul Christiano.

https://news.yahoo.com/pausing-ai-developments-isnt-enough-220158684.html