Un investigador clave de OpenAI advirtió que perder el control de la IA podría matar a «la mayoría de la gente»

Cuando alguien que dedicó su carrera a pensar cómo evitar que la inteligencia artificial se nos vaya de las manos entra al directorio de una de las empresas que más rápido la está desarrollando, conviene prestar atención a lo que dice. Y lo que dijo Paul Christiano esta semana no fue precisamente tranquilizador.

Quién es y por qué importa lo que dice

Christiano es uno de los nombres más respetados en el campo de la seguridad en IA. Trabajó en OpenAI, después fundó el Alignment Research Center, y se lo conoce por sus investigaciones sobre cómo lograr que los sistemas de IA actúen de forma alineada con los intereses humanos, incluso cuando se vuelven más capaces que nosotros.

Este miércoles se anunció su incorporación a la junta directiva de OpenAI y al Comité de Seguridad y Protección de la compañía. Y ahí es donde la cosa se pone interesante: apenas asumió, publicó en X una advertencia que no suena a discurso corporativo.

«La mayoría de la gente podría morir»

La frase es textual: «Si desarrollamos una superinteligencia sin una alineación más sólida, preveo que perderemos el control de ella de forma permanente. Si esto sucede, la mayoría de la gente podría morir».

No es una frase suelta ni un exabrupto. Christiano la fundamenta en lo que llama «la trayectoria reciente de las capacidades y la continua dificultad de la alineación». En criollo: la IA avanza cada vez más rápido, pero todavía no sabemos bien cómo garantizar que haga lo que queremos que haga. Y esa brecha, según él, es peligrosa.

Su conclusión es dura: «Existe un riesgo significativo de que una rápida aceleración en las capacidades de IA conduzca a una pérdida de control catastrófica e irreversible en un plazo muy cercano». Y agrega algo que golpea fuerte viniendo de alguien que acaba de sumarse a la empresa: «No creo que la industria de la IA en general, incluida OpenAI, esté actualmente en camino de reducir este riesgo a un nivel aceptable».

¿Qué es una «explosión de inteligencia»?

El escenario que más preocupa a Christiano tiene nombre propio: explosión de inteligencia. La idea es la siguiente. Si la IA empieza a automatizar su propia investigación y desarrollo, se genera un círculo de retroalimentación: sistemas más inteligentes diseñan sistemas todavía más inteligentes, cada vez más rápido.

Según el investigador, «la evidencia actual es muy incierta, pero sugiere que este ciclo de retroalimentación positiva podría ser lo suficientemente fuerte como para superar los rendimientos decrecientes y los cuellos de botella computacionales». Traducido: el freno natural que uno esperaría (que cada mejora cueste más esfuerzo que la anterior) podría no alcanzar para detener la aceleración.

Para dimensionar la velocidad de la que habla, tiró un dato elocuente: a los seis meses de automatizar por completo la investigación y desarrollo en IA, podríamos ver más avances algorítmicos que los producidos desde la creación del Transformer, la arquitectura que hace casi una década dio origen a los modelos de lenguaje como los que conocemos hoy.

¿Qué pide Christiano?

No se queda en el diagnóstico apocalíptico. Plantea que, si ese escenario se concreta, va a hacer falta «coordinación nacional e internacional para garantizar la coherencia global y reducir el riesgo a un nivel aceptable». Es decir: ni una empresa ni un país solos van a poder manejar esto.

También aclaró algo importante para no generar malentendidos: su llegada a OpenAI «no es un respaldo ni una crítica de las prácticas de seguridad de OpenAI en particular». Lo que espera, dice, es que «todas las empresas de vanguardia fortalezcan la supervisión de seguridad».

Y cierra con un llamado directo a las compañías que lideran el desarrollo de IA, recordándoles que tienen «un gran poder para mejorar la situación de manera unilateral y sentar las bases para una coordinación más sólida». Entre las acciones que propone: estar dispuestos a «ralentizar el desarrollo según sea necesario» y avanzar hacia estándares de seguridad compartidos entre toda la industria.

Por qué esto no es un tema de nicho

Lo llamativo de este caso no es que alguien advierta sobre los riesgos de la IA (eso viene pasando hace años, con voces que van desde el escepticismo hasta el alarmismo). Lo llamativo es quién lo dice y desde dónde: un experto que acaba de aceptar un rol de supervisión de seguridad dentro de una de las empresas que compite en la carrera por desarrollar sistemas cada vez más potentes.

Que la advertencia venga desde adentro, y no desde afuera criticando a la industria, es lo que le da otro peso a sus palabras.