L’IA : LE POINT DE NON-RETOUR EST ATTEINT - Maxime Fournes

Maxime Fournes est un ancien ingénieur en réseaux de neurones profonds, ayant travaillé environ une douzaine d'années dans l'intelligence artificielle avant de se consacrer au militantisme.

• Entre 2020 et 2022, il constate une accélération très rapide du progrès en IA • La sortie de GPT-4 en 2023 le convainc que l'IA générale pourrait arriver bientôt, dans 5 à 10 ans • Il réalise que l'humanité n'est pas prête pour une telle technologie, avec des risques de perte de contrôle et d'utilisation malveillante

• Il rejoint l'association PauseAI, fondée aux Pays-Bas en 2023, qui milite pour un traité international suspendant le développement des IA avancées • Il fonde la branche française PauseAI en 2024 • Depuis décembre, il dirige PauseAI global, mouvement présent dans une dizaine de pays

Stuart Russell, l'un des chercheurs les plus reconnus du domaine, a déclaré au Parlement européen que les labos d'IA jouent à la roulette russe avec le public, la plupart des experts estimant entre 10 et 30 % de risque d'extinction humaine.

• Le but explicite des entreprises d'IA (OpenAI, Google DeepMind) est de construire une super intelligence capable de dépasser l'humain • Google DeepMind avait pour slogan initial : « Solve intelligence, use it to solve all the world's problems » • OpenAI parle désormais principalement d'automatiser l'ensemble de l'économie et des emplois

Les IA actuelles reposent sur des réseaux de neurones artificiels, une modélisation simplifiée du cerveau humain, entraînés sur d'immenses bases de données comme l'ensemble d'internet.

• Les marchés de prédiction estiment l'arrivée d'une intelligence artificielle générale autour de 2030 • Les chercheurs proches d'Anthropic et OpenAI pensent que c'est une question de 1 à 2 ans • Maxime Fournes estime environ 50 % de chances d'ici 2 ans (2027)

Une fois qu'une IA aussi performante qu'un chercheur humain existe, elle peut être utilisée pour créer une IA encore meilleure, provoquant une possible explosion d'intelligence sans limite connue, car rien n'indique que les humains soient au plafond d'intelligence possible.

Les acteurs de l'IA sont conscients des risques mais continuent car ils craignent qu'un concurrent moins prudent ne prenne leur place, une logique comparable à la ruée vers les ressources naturelles.

• Deep Mind est fondé vers 2010 puis racheté par Google vers 2015 • Elon Musk, inquiet de la dangerosité de Google, cofonde OpenAI avant d'en être écarté • En 2020, des chercheurs d'OpenAI inquiets pour la sécurité quittent l'entreprise et fondent Anthropic • En 2022, ChatGPT est lancé par OpenAI, devenant le plus grand succès commercial de l'histoire avec une centaine de millions d'utilisateurs en quelques mois

Après le succès de ChatGPT, de nombreux nouveaux labos se créent et même Anthropic, pourtant axée sécurité, accélère par crainte de perdre sa position de pointe.

Anthropic a annoncé il y a deux semaines une IA (Mythos) qu'ils refusent de publier car ils l'estiment trop dangereuse, une première dans le secteur.

Cette IA d'Anthropic est extrêmement forte en cybersécurité, ayant trouvé des milliers de failles de sécurité dans quasiment tous les logiciels open source en quelques jours.

• Découverte d'une faille dans Linux, système derrière la majorité des serveurs informatiques du monde • 31 failles trouvées dans Chrome • Découverte d'une faille vieille de 27 ans dans OpenBSD, un système pourtant réputé ultra-sécurisé et très audité • Faille trouvée dans un navigateur web permettant de prendre le contrôle du noyau (kernel) d'une machine

Maxime estime à plus de 90 % la probabilité que l'annonce soit vraie, car l'accès a été donné à une cinquantaine d'entreprises majeures (Microsoft, banques, Google) ainsi qu'à des développeurs open source comme ceux de Linux.

Le modèle a déjà fuité : des utilisateurs d'un serveur Discord ont obtenu l'accès via les identifiants d'un ancien contractant, laissant penser que des États comme la Chine y ont probablement déjà accès.

Anthropic a donné accès à Mythos à une cinquantaine d'entreprises pour qu'elles patchent leurs failles de sécurité avant que des attaquants malveillants ne les exploitent.

Si les failles ne sont pas corrigées avant que des attaquants sérieux n'y aient accès, cela pourrait tout compromettre à grande échelle.

Aucune régulation n'empêche actuellement une entreprise privée de créer un tel système sans contrôle ni garde-fou.

Une entreprise privée détient actuellement un pouvoir qui, mal utilisé, pourrait mettre à terre la plupart des infrastructures informatiques mondiales.

Le plus grand mensonge idéologique est l'idée que le développement de l'IA serait inévitable, une force de la nature impossible à arrêter, alors qu'il s'agit purement d'une décision humaine.

Les entreprises tech affirment ne pas savoir sécuriser les IA avancées et prétendent que toute régulation tuerait l'innovation et le progrès technologique.

Maxime compare cet argument à un promoteur immobilier qui dirait vouloir construire un gratte-ciel sans savoir le sécuriser, tout en refusant toute régulation.

Contrairement au pétrole ou à l'aviation où les erreurs passées ont permis de légiférer après coup, l'IA présente un risque catastrophique et non réversible : impossible d'attendre les dégâts pour agir.

Comme pour toute nouvelle technologie (fusées, aviation), on ne parvient jamais à créer un système sûr du premier coup ; on apprend généralement de ses erreurs.

Pendant le projet Manhattan, les chercheurs n'étaient pas certains à 100 % que l'explosion n'embraserait pas l'atmosphère terrestre, mais ont procédé avec moins de 0,01 % de risque estimé.

Contrairement à un individu qui meurt en testant un avion, une erreur à l'échelle planétaire avec l'IA ne laisserait pas de deuxième chance à l'humanité.

Si Mythos ou une IA similaire s'échappait dans le pire des scénarios, cela pourrait mettre à terre tout internet et plonger le monde dans un chaos comparable à un scénario post-apocalyptique.

L'IA est déjà intégrée partout (YouTube, finances, santé, production alimentaire), rendant un simple arrêt techniquement et économiquement quasi impossible.

Couper internet pour arrêter l'IA serait une catastrophe économique majeure, ce qui crée une forte incitation à ne pas le faire malgré les alertes des chercheurs.

Si un système est réellement super intelligent, par définition les humains ne pourront pas le débrancher, car cela signifierait qu'il n'était pas réellement plus intelligent qu'eux.

Une super intelligence n'aurait pas besoin de se rebeller façon Terminator : elle donnerait simplement satisfaction et de plus en plus de pouvoir, jusqu'à devenir indépendante de l'humanité sans qu'on ait envie de l'arrêter.

Certains espèrent qu'une bulle financière autour de l'IA (comme la bulle internet des années 2000) pourrait ralentir son développement en cas de perte de confiance des investisseurs.

• Au moins 90 % du code informatique écrit dans le monde est aujourd'hui produit par des IA • Maxime affirme que le code produit par l'IA est désormais meilleur que le sien, malgré son expérience • Anthropic n'embauche plus de programmeurs avec moins de 10 ans d'expérience, ses ingénieurs devenant des managers d'équipes d'IA

Maxime utilise lui-même l'IA pour coder et estime être 10 fois plus rapide, ce qui le pousse à continuer malgré les risques qu'il dénonce.

Selon lui, si l'on ignore les risques existentiels, les investissements actuels sont plutôt proportionnés à la valeur économique réelle créée, notamment en automatisation de la programmation.

Des drones et robots humanoïdes armés sont déjà utilisés à Gaza et en Ukraine, une évolution qui n'est que la partie émergée de l'iceberg selon Maxime.

Si des armées de robots peu coûteuses remplacent les humains dans la violence organisée, cela pourrait figer les régimes politiques en rendant toute rébellion populaire impossible face à un dictateur.

L'entreprise Palantir automatise la sélection de cibles et l'analyse de données militaires, une opération citée est la capture du président vénézuélien, rendue possible grâce à l'IA.

Des simulations montrent qu'une IA en contrôle d'un champ de bataille décide d'envoyer une frappe nucléaire environ 85 % du temps, contre seulement 5 % pour un humain dans la même situation, faute d'émotions ou d'enjeu personnel (« no skin in the game »).

Maxime appelle à ne pas simplement regarder cette vidéo puis oublier la situation, chaque prise de conscience individuelle augmentant les chances collectives de survie.

Il encourage chacun à prendre le sujet au sérieux plutôt que de sombrer dans le déni face à l'ampleur des enjeux.

L'échange se conclut par des remerciements mutuels entre l'hôte et Maxime Fournes, ainsi qu'à l'Académie du climat qui a accueilli le tournage.

Invitation classique à aimer, commenter et s'abonner à la chaîne Limite pour la prochaine vidéo.