L’IA : LE POINT DE NON-RETOUR EST ATTEINT - Maxime Fournes

Maxime Fournes es un ingeniero antiguo en redes neuronales profundas que trabajó aproximadamente una docena de años en inteligencia artificial antes de dedicarse al activismo.

• Entre 2020 y 2022, constata una aceleración muy rápida del progreso en IA • El lanzamiento de GPT-4 en 2023 lo convence de que la IA general podría llegar pronto, en 5 a 10 años • Se da cuenta de que la humanidad no está preparada para tal tecnología, con riesgos de pérdida de control y mal uso

• Se une a la asociación PauseAI, fundada en los Países Bajos en 2023, que aboga por un tratado internacional que suspenda el desarrollo de IA avanzada • Funda la rama francesa de PauseAI en 2024 • Desde diciembre, dirige PauseAI global, movimiento presente en una decena de países

Stuart Russell, uno de los investigadores más reconocidos del campo, declaró ante el Parlamento Europeo que los laboratorios de IA juegan a la ruleta rusa con el público, con la mayoría de expertos estimando un riesgo de extinción humana entre el 10 y el 30 %.

• El objetivo explícito de las empresas de IA (OpenAI, Google DeepMind) es construir una superinteligencia capaz de superar al ser humano • Google DeepMind tenía el lema inicial: «Solve intelligence, use it to solve all the world's problems» • OpenAI ahora habla principalmente de automatizar toda la economía y el empleo

Las IA actuales se basan en redes neuronales artificiales, un modelado simplificado del cerebro humano, entrenadas en enormes bases de datos como toda internet.

• Los mercados de predicción estiman la llegada de una inteligencia artificial general alrededor de 2030 • Los investigadores cercanos a Anthropic y OpenAI piensan que es cuestión de 1 a 2 años • Maxime Fournes estima aproximadamente 50 % de probabilidad antes de 2 años (2027)

Una vez que existe una IA tan capaz como un investigador humano, puede usarse para crear una IA aún mejor, provocando una posible explosión de inteligencia sin límite conocido, pues nada indica que los humanos estén en el techo de la inteligencia posible.

Los actores de la IA son conscientes de los riesgos pero continúan porque temen que un competidor menos prudente ocupe su lugar, lógica comparable a la fiebre por recursos naturales.

• Deep Mind se funda hacia 2010 y es adquirido por Google alrededor de 2015 • Elon Musk, preocupado por el peligro de Google, cofunda OpenAI antes de ser apartado • En 2020, investigadores de OpenAI inquietos por la seguridad dejan la empresa y fundan Anthropic • En 2022, ChatGPT es lanzado por OpenAI, convirtiéndose en el mayor éxito comercial de la historia con cientos de millones de usuarios en meses

Tras el éxito de ChatGPT, muchos laboratorios nuevos se crean e incluso Anthropic, enfocada en seguridad, acelera por temor a perder su posición de vanguardia.

Anthropic anunció hace dos semanas una IA (Mythos) que se niegan a publicar porque la consideran demasiado peligrosa, un primer caso en el sector.

Esta IA de Anthropic es extremadamente fuerte en ciberseguridad, habiendo encontrado miles de brechas de seguridad en prácticamente todos los programas de código abierto en días.

• Descubrimiento de una brecha en Linux, sistema detrás de la mayoría de servidores informáticos mundiales • 31 brechas encontradas en Chrome • Descubrimiento de una brecha de 27 años en OpenBSD, sistema reputado como ultra seguro y muy auditado • Brecha encontrada en un navegador web permitiendo tomar control del núcleo de una máquina

Maxime estima más del 90 % de probabilidad de que el anuncio sea verdadero, pues el acceso fue otorgado a una cincuentena de grandes empresas (Microsoft, bancos, Google) y desarrolladores de código abierto como los de Linux.

El modelo ya ha filtrado: usuarios de un servidor Discord obtuvieron acceso mediante credenciales de un antiguo contratista, sugiriendo que países como China probablemente ya tienen acceso.

Anthropic dio acceso a Mythos a una cincuentena de empresas para que parcheen sus brechas de seguridad antes de que atacantes maliciosos las exploten.

Si las brechas no se corrigen antes de que atacantes serios tengan acceso, podría comprometer todo a gran escala.

Ninguna regulación impide actualmente que una empresa privada cree tal sistema sin control ni salvaguardas.

Una empresa privada posee actualmente un poder que, mal utilizado, podría derribar la mayoría de infraestructuras informáticas mundiales.

La mentira ideológica más grande es que el desarrollo de la IA sería inevitable, una fuerza de la naturaleza imposible de detener, cuando es puramente una decisión humana.

Las empresas tech afirman no saber cómo asegurar las IA avanzadas y pretenden que toda regulación mataría la innovación y el progreso tecnológico.

Maxime compara esto a un promotor inmobiliario que dijera querer construir un rascacielos sin saber cómo asegurarlo, rechazando toda regulación.

A diferencia del petróleo o la aviación donde errores pasados permitieron legislar después, la IA presenta un riesgo catastrófico e irreversible: imposible esperar daños para actuar.

Como con cualquier tecnología nueva (cohetes, aviación), nunca se logra crear un sistema seguro a la primera; normalmente se aprende de los errores.

Durante el proyecto Manhattan, los investigadores no estaban 100 % seguros de que la explosión no incendiara la atmósfera terrestre, pero procedieron con menos de 0,01 % de riesgo estimado.

A diferencia de un individuo que muere probando un avión, un error a escala planetaria con la IA no dejaría segunda oportunidad a la humanidad.

Si Mythos o una IA similar se escapara en el peor escenario, podría derribar todo internet y sumir el mundo en caos comparable a un escenario post-apocalíptico.

La IA está ya integrada en todo (YouTube, finanzas, sanidad, producción alimentaria), haciendo un simple apagón técnica y económicamente casi imposible.

Cortar internet para detener la IA sería una catástrofe económica mayor, creando fuerte incentivo para no hacerlo a pesar de alertas de investigadores.

Si un sistema es realmente superinteligente, por definición los humanos no podrán desconectarlo, pues significaría que no era realmente más inteligente que ellos.

Una superinteligencia no necesitaría rebelarse como Terminator: simplemente daría satisfacción y cada vez más poder, volviéndose independiente de la humanidad sin que deseemos detenerla.

Algunos esperan que una burbuja financiera en IA (como la burbuja internet de los años 2000) pudiera ralentizar su desarrollo si pierden confianza los inversores.

• Al menos el 90 % del código informático escrito mundialmente hoy es producido por IA • Maxime afirma que el código producido por IA es ahora mejor que el suyo, a pesar de su experiencia • Anthropic ya no contrata programadores con menos de 10 años de experiencia, sus ingenieros se vuelven managers de equipos de IA

Maxime usa IA para programar e estima ser 10 veces más rápido, empujándolo a continuar a pesar de los riesgos que denuncia.

Según él, si se ignoran los riesgos existenciales, las inversiones actuales son más bien proporcionales al valor económico real creado, especialmente en automatización de programación.

Drones y robots humanoides armados se usan ya en Gaza y Ucrania, evolución que es solo la punta del iceberg según Maxime.

Si ejércitos de robots baratos reemplazan humanos en violencia organizada, podría congelar regímenes políticos haciendo imposible rebelión popular ante un dictador.

La empresa Palantir automatiza la selección de objetivos y análisis de datos militares, una operación citada es la captura del presidente venezolano, hecha posible por IA.

Simulaciones muestran que una IA controlando un campo de batalla decide enviar un ataque nuclear aproximadamente el 85 % de las veces, contra solo el 5 % para un humano en igual situación, por falta de emociones o riesgo personal.

Maxime pide no simplemente ver este vídeo y olvidar la situación, cada conciencia individual aumenta probabilidades colectivas de supervivencia.

Anima a cada uno a tomar el tema en serio en lugar de caer en negación ante la magnitud de los desafíos.

El intercambio termina con agradecimientos mutuos entre el anfitrión y Maxime Fournes, así como a la Academia del Clima que alojó la grabación.

Invitación clásica a dar like, comentar y suscribirse al canal Limite para el próximo vídeo.