Parlons Futur

Approximations et omissions du dernier C dans l’Air sur l’IA

Attention : je diffuse des extraits de C dans l'Air et les commente ensuite, les extraits sont difficilement audibles malheureusement, mais il suffit de les passer, car je les résume ensuite avant de les commenter, désolé, je m'y prendrai mieux la prochaine fois.

 

Ressources utiles discutées dans le podcast :

Lien vers l'épisode de C dans l'Air en question, avec notamment comme invités :

- Gaspard Koenig, philosophe, auteur de "La fin de l’individu : voyage d’un philosophe au pays de l’intelligence artificielle"
- Laurence Devillers, professeur en intelligence artificielle : Université La Sorbonne, experte en interaction humain / machine, auteur de "Les robots "émotionnels"

La pétition en question, signée notamment par Yoshua Bengio, un des 3 parrains du deeplearning qui est derrière les dernières grandes avancées en IA. Yoshua Bengio est le seul des 3 à ne pas avoir rejoint le privé (à la différene de ses aînés Yann LeCun chez Meta et Geoffrey Hinton chez Google Brain)

La pétition s'interroge "Should we let machines flood our information channels with propaganda and untruth? Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization?", considérant ainsi des risques de court terme, moyen terme et long terme.

La position la plus radicales sur les risques liés à l'IA, celle d'Eliezer Yudkowsky : 

"Many researchers steeped in these issues, including myself, expect that the most likely result of building a superhumanly smart AI, under anything remotely like the current circumstances, is that literally everyone on Earth will die. Not as in “maybe possibly some remote chance,” but as in “that is the obvious thing that would happen.” (tribune dans le magazine Time Pausing AI Developments Isn't Enough. We Need to Shut it All Down, écouter aussi mon précédent épisode de podcast)

Chimp beats students at computer game (article dans le magazine Nature, en vidéo sur Youtube)

Why Are Our Brains Shrinking? (University of San Francisco)

"over the last 20,000 years alone, human brains have shrunk from 1,500 cubic centimeters (cc) to 1,350 cc, roughly the size of a tennis ball."

Les 4 grandes positions face à l'IA pour simplifier

• Ceux qui ont signé cette pétition (Gary Marcus et Yoshua Bengio notamment) ou qui soutiennent les mêmes positions sans avoir pour autant signé ou soutenu la pétition, s'inquiétant des risques de court, moyen et long terme (notamment parmi ceux qui n'ont pas signé : Geoffrey Hinton, le plus anciens des 3 parrains de l'IA ; Demis Hassabis, CEO de Deepmind, l'autre labo de pointe sur l'IA avec openAI ; une partie des employés d'OpenAI en off, et même Sam Altman CEO d'OpenAI sur les enjeux de moyen et long terme)
• Ceux qui ont refusé de signer cette pétition car elles n'insistent pas assez sur les risques de court terme (en anglais: fairness, algorithmic bias, accountability, transparency, inequality, cost to the environment, disinformation, cybercrime) et trop sur les risques de long terme relevant de la science fiction (notamment les chercheuses en AI et sciences du langage Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Margaret Mitchell)
• Ceux qui refusent de signer car ils considèrent que c'est en développant l'IA qu'on trouvera aussi les solutions à ses problèmes, et que les risques encourus ne sont pas encore assez clairs, l'IA étant encore très primitive (notamment Yann LeCun, et OpenAI pour l'instant)
• Enfin les plus radicaux comme Eliezer Yudkowsky qui refusent de signer cette pétition car ils pensent qu'elle ne vas pas assez loin et minimise le risque existentiel.

Une super IA signifie-t-elle la fin de l’humanité ? Résumé de la thèse d’Eliezer Yudkowsky

Eliezer Yudkowsky, expert reconnu des risques liés à l'IA: "We’re All Gonna Die" (entretien de près de 2 heures sur Youtube, transcript here)

• Eliezer Yudkowsky est sans doute la figure la plus connue et respectée depuis 20 ans dans le milieu de la recherche sur les façons d'aligner l'IA sur nos valeurs humaines
  • Wikipedia : Eliezer Yudkowsky is an American decision theory and artificial intelligence (AI) researcher and writer. He is a co-founder and research fellow at the Machine Intelligence Research Institute (MIRI), a private research nonprofit based in Berkeley, California. His work on the prospect of a runaway intelligence explosion was an influence on Nick Bostrom's Superintelligence: Paths, Dangers, Strategies.
  • Yudkowsky's views on the safety challenges posed by future generations of AI systems are discussed in the undergraduate textbook in AI, Stuart Russell and Peter Norvig's Artificial Intelligence: A Modern Approach.
• Eliezer Yudkowsky a livré il y a quelques semaines un entretien de près de 2 heures durant lesquelles il a partagé et expliqué sa conviction profonde: "nous allons tous mourir des mains d'une super intelligence artificielle", se montrant plus résigné que jamais, mais disant malgré tout vouloir "fight until the end with dignity"
  • Eliezer Yudkowsky s'est dit d'abord surpris par le rythme des progrès en IA ces dernières années, à ses yeux, il est très probable qu'on parvienne à développer une super IA, plus capable que tous les êtres humains réunis à un moment ou un autre ce siècle-ci ("3 ans, 15 ans, plus ? Difficile de savoir...")
  • Ses travaux depuis 20 ans l'on conduit à un constat sans appel : nous ne savons pas comment programmer une super IA pour être certain qu'elle ne nous nuise pas, et ne sommes pas près de le faire, c'est une tâche éminemment compliquée et sans doute impossible, qui demanderait qu'on y consacre des ressources extraordinaires, et il est trop tard pour cela
  • C'est tout l'inverse qui se passe selon lui, les meilleurs labos en IA foncent tête baissée, leurs précautions sont bien insuffisantes et principalement de façade
    • L'actualité semble lui donner raison : "Microsoft got rid of its entire company division devoted to AI "ethics and society" during its January layoffs" "Most of their 30-person staff was reassigned way back in October, leaving just seven employees to manage the department." "Months later, though, they were all dismissed, along with the division — right as the company announced its mammoth $10 billion investment in OpenAI." (source)
    • à noter toute fois que Sam Altman, CEO d'OpenAI, écrivait récemment : "Some people in the AI field think the risks of AGI (and successor systems) are fictitious; we would be delighted if they turn out to be right, but we are going to operate as if these risks are existential.", linking to that article AI Could Defeat All Of Us Combined 
  • Eliezer Yudkowsky a eu un espoir en 2015 quand il a participé à la grande conférence sur les risques de l'IA organisée par Elon Musk, rassemblant des experts du sujet comme Stuart Russel, Demis Hassabis (co-fondateur de DeepMind en 2014), Ilya Sutskever et bien d'autres.
  • Mais il a très vite déchanté, la conférence a accouché du pire des résultats à ses yeux : la création d'OpenAI peu après (par Ilya Sutskever, Sam Altman, Elon Musk, Peter Thiel et d'autres)
  • Au lieu de freiner le développement de l'IA et d'essayer de résoudre la question de son alignement avec "nos valeurs", OpenAI cherche à accélérer les capacités de l'IA autant que possible, en reléguant selon lui au second plan et avec insincérité les efforts sur la sécurité, comme dit Sam Altman, CEO d'OpenAI, "ma philosophie a toujours été de scaler autant que possible et de voir ce qui se passe"
  • Eliezer Yudkowsky conclut que les labos les plus en pointe sur l'IA, ivres de leur pouvoirs démiurgiques naissants et en pleine concurrence, nous emmènent tout droit vers la catastrophe, tandis que les politiques, dépassés, n'ont pas saisi  le caractère existentiel du risque. La cause est perdue à ses yeux.
  • Il explique qu'une super IA sera très vite si supérieure à nous dans tous les domaines cognitifs que nous ne pourrons pas anticiper ce qu'elle fera.
  • Une telle IA ni ne nous aimera ni ne nous détestera, mais nous sera indifférente, comme nous pouvons l'être vis à vis des fourmis. Car encore une fois nous n'avons aucune idée quant à comment la programmer pour être "gentille", en quelques mots :
    • soit car on est trop spécifique dans nos règles, et la super IA trouvera une faille, car il est impossible pour nous de prévoir tous les cas de figures
    • soit parce qu'on serait trop général, nos règles seraient alors sujettes à une interprétation trop large
  • Et au-delà, encore une fois, impossible de prévoir comment se comportera une super IA plus douée que nous à tous les niveaux, impossible a priori de savoir ce qu'elle ferait de nos règles
  • Eliezer Yudkowsky explique qu'une telle IA trouvera sans doute très vite un bien meilleur usage à faire des atomes nous constituant, bref, nous serons tous éliminés, c'est le scénario dont il est persuadé.
  • Eliezer Yudkowsky est apparu plus résigné que jamais dans ce podcast, et l'émotion était palpable, ambiance.
  • Eliezer Yudkowsky est reconnu, il connaît bien son sujet, on ne peut s'empêcher de penser en l'écoutant qu'il décrit là un futur possible, mais que faire ? Pendant ce temps-là, les sommes investies dans l'IA explosent...
  • Ezra Klein du New York Times sur ce sujet récemment :
    • In a 2022 survey, A.I. experts were asked, “What probability do you put on human inability to control future advanced A.I. systems causing human extinction or similarly permanent and severe disempowerment of the human species?” The median reply was 10%.
    • I find that hard to fathom, even though I have spoken to many who put that probability even higher. Would you work on a technology you thought had a 10 percent chance of wiping out humanity?
    • I often ask them the same question: If you think calamity so possible, why do this at all? Different people have different things to say, but after a few pushes, I find they often answer from something that sounds like the A.I.’s perspective. Many — not all, but enough that I feel comfortable in this characterization — feel that they have a responsibility to usher this new form of intelligence into the world.  

The Third Magic

Résumé d'un article très intéresssant de Noah Smith https://noahpinion.substack.com/p/the-third-magic

Disunited Nations - Chapitre 5 : pourquoi le Japon est le vrai patron de l'Asie, et non la Chine

Disunited Nations - Résumé Chapitre 4 : Les 4 piliers du succès d'un pays, et pourquoi la Chine est bien plus fragile qu'on ne le pense

Disunited Nations : Résumé chapitre 3 - Comment les Britanniques ont dominé le monde, pourquoi la Chine ne pourra faire de même

Découvrez les 3 piliers de la domination de monde par les Britanniques à leur époque, et en quoi la Chine est bien loin de pouvoir marcher dans leurs pas!

Disunited Nations - Résumé chapitre 2 : les 4 clefs de la domination américaine, et pourquoi la Chine aura bien du mal à les reproduire de sitôt

Pourquoi la Chine est-elle menacée d'effondrement? Pourquoi la Chine ne pourra pas dominer le monde comme l'a fait les Etats-Unis depuis la fin de la guerre froide, et pourquoi même les Etats-Unis n'en ont plus les moyens. Quelques éléments de réponse dans ce résumé du chapitre 2 du livre de Peter Zeihan

Disunited Nations, par Peter Zeihan, présentation et résumé chapitre 1

Présentation générale du livre fascinant de Peter Zeihan "Disunited Nations: The Scramble for Power in an Ungoverned World", résumé du 1er chapitre.

Has China Won ? Ce qu'il faut retenir de l'intro du nouveau livre de Kishore Mahbubani

Kishore Mahbubani, ancien ambassadeur de Singapour à L'ONU, vient de publier un livre remarquable : Has China Won?: The Chinese Challenge to American Primacy

Il y apporte une perspective qui dérange, différente de ce qu'on a l'habitude d'entendre en Europe et aux Etats-Unis.

Voici ce qu'il faut retenir de l'introduction de ce nouveau livre.

 

à suivre : récap de chacun des chapitre

Les 4 types de chance