Une super IA signifie-t-elle la fin de l’humanité ? Résumé de la thèse d’Eliezer Yudkowsky

Eliezer Yudkowsky, expert reconnu des risques liés à l'IA: "We’re All Gonna Die" (entretien de près de 2 heures sur Youtube, transcript here)

• Eliezer Yudkowsky est sans doute la figure la plus connue et respectée depuis 20 ans dans le milieu de la recherche sur les façons d'aligner l'IA sur nos valeurs humaines
  • Wikipedia : Eliezer Yudkowsky is an American decision theory and artificial intelligence (AI) researcher and writer. He is a co-founder and research fellow at the Machine Intelligence Research Institute (MIRI), a private research nonprofit based in Berkeley, California. His work on the prospect of a runaway intelligence explosion was an influence on Nick Bostrom's Superintelligence: Paths, Dangers, Strategies.
  • Yudkowsky's views on the safety challenges posed by future generations of AI systems are discussed in the undergraduate textbook in AI, Stuart Russell and Peter Norvig's Artificial Intelligence: A Modern Approach.
• Eliezer Yudkowsky a livré il y a quelques semaines un entretien de près de 2 heures durant lesquelles il a partagé et expliqué sa conviction profonde: "nous allons tous mourir des mains d'une super intelligence artificielle", se montrant plus résigné que jamais, mais disant malgré tout vouloir "fight until the end with dignity"
  • Eliezer Yudkowsky s'est dit d'abord surpris par le rythme des progrès en IA ces dernières années, à ses yeux, il est très probable qu'on parvienne à développer une super IA, plus capable que tous les êtres humains réunis à un moment ou un autre ce siècle-ci ("3 ans, 15 ans, plus ? Difficile de savoir...")
  • Ses travaux depuis 20 ans l'on conduit à un constat sans appel : nous ne savons pas comment programmer une super IA pour être certain qu'elle ne nous nuise pas, et ne sommes pas près de le faire, c'est une tâche éminemment compliquée et sans doute impossible, qui demanderait qu'on y consacre des ressources extraordinaires, et il est trop tard pour cela
  • C'est tout l'inverse qui se passe selon lui, les meilleurs labos en IA foncent tête baissée, leurs précautions sont bien insuffisantes et principalement de façade
    • L'actualité semble lui donner raison : "Microsoft got rid of its entire company division devoted to AI "ethics and society" during its January layoffs" "Most of their 30-person staff was reassigned way back in October, leaving just seven employees to manage the department." "Months later, though, they were all dismissed, along with the division — right as the company announced its mammoth $10 billion investment in OpenAI." (source)
    • à noter toute fois que Sam Altman, CEO d'OpenAI, écrivait récemment : "Some people in the AI field think the risks of AGI (and successor systems) are fictitious; we would be delighted if they turn out to be right, but we are going to operate as if these risks are existential.", linking to that article AI Could Defeat All Of Us Combined 
  • Eliezer Yudkowsky a eu un espoir en 2015 quand il a participé à la grande conférence sur les risques de l'IA organisée par Elon Musk, rassemblant des experts du sujet comme Stuart Russel, Demis Hassabis (co-fondateur de DeepMind en 2014), Ilya Sutskever et bien d'autres.
  • Mais il a très vite déchanté, la conférence a accouché du pire des résultats à ses yeux : la création d'OpenAI peu après (par Ilya Sutskever, Sam Altman, Elon Musk, Peter Thiel et d'autres)
  • Au lieu de freiner le développement de l'IA et d'essayer de résoudre la question de son alignement avec "nos valeurs", OpenAI cherche à accélérer les capacités de l'IA autant que possible, en reléguant selon lui au second plan et avec insincérité les efforts sur la sécurité, comme dit Sam Altman, CEO d'OpenAI, "ma philosophie a toujours été de scaler autant que possible et de voir ce qui se passe"
  • Eliezer Yudkowsky conclut que les labos les plus en pointe sur l'IA, ivres de leur pouvoirs démiurgiques naissants et en pleine concurrence, nous emmènent tout droit vers la catastrophe, tandis que les politiques, dépassés, n'ont pas saisi  le caractère existentiel du risque. La cause est perdue à ses yeux.
  • Il explique qu'une super IA sera très vite si supérieure à nous dans tous les domaines cognitifs que nous ne pourrons pas anticiper ce qu'elle fera.
  • Une telle IA ni ne nous aimera ni ne nous détestera, mais nous sera indifférente, comme nous pouvons l'être vis à vis des fourmis. Car encore une fois nous n'avons aucune idée quant à comment la programmer pour être "gentille", en quelques mots :
    • soit car on est trop spécifique dans nos règles, et la super IA trouvera une faille, car il est impossible pour nous de prévoir tous les cas de figures
    • soit parce qu'on serait trop général, nos règles seraient alors sujettes à une interprétation trop large
  • Et au-delà, encore une fois, impossible de prévoir comment se comportera une super IA plus douée que nous à tous les niveaux, impossible a priori de savoir ce qu'elle ferait de nos règles
  • Eliezer Yudkowsky explique qu'une telle IA trouvera sans doute très vite un bien meilleur usage à faire des atomes nous constituant, bref, nous serons tous éliminés, c'est le scénario dont il est persuadé.
  • Eliezer Yudkowsky est apparu plus résigné que jamais dans ce podcast, et l'émotion était palpable, ambiance.
  • Eliezer Yudkowsky est reconnu, il connaît bien son sujet, on ne peut s'empêcher de penser en l'écoutant qu'il décrit là un futur possible, mais que faire ? Pendant ce temps-là, les sommes investies dans l'IA explosent...
  • Ezra Klein du New York Times sur ce sujet récemment :
    • In a 2022 survey, A.I. experts were asked, “What probability do you put on human inability to control future advanced A.I. systems causing human extinction or similarly permanent and severe disempowerment of the human species?” The median reply was 10%.
    • I find that hard to fathom, even though I have spoken to many who put that probability even higher. Would you work on a technology you thought had a 10 percent chance of wiping out humanity?
    • I often ask them the same question: If you think calamity so possible, why do this at all? Different people have different things to say, but after a few pushes, I find they often answer from something that sounds like the A.I.’s perspective. Many — not all, but enough that I feel comfortable in this characterization — feel that they have a responsibility to usher this new form of intelligence into the world.