Los riesgos de la inteligencia artificial que se desarrolla por sí sola

La semana pasada, Anthropic, la empresa que desarrolla el chatbot de inteligencia artificial (IA) Claude, escribió un extenso artículo en su sitio, argumentando que toda la industria debería desacelerarse o cerrar temporalmente debido a los crecientes riesgos derivados del rápido desarrollo que está experimentando. Esto no es nuevo: Anthropic es conocida por sus llamados a la cautela, pero hasta ahora siguen siendo más un medio para mantener su reputación como empresa “ética” que la base para intervenciones concretas. De hecho, junto con OpenAI, Anthropic es la empresa que más resultados sorprendentes ha conseguido con sus modelos de inteligencia artificial y recientemente anunció su intención de salir a bolsa.

En su llamamiento a la desaceleración, Anthropic explica que hoy en día, alrededor del 80% del código producido por la empresa lo genera Claude. Hasta principios de 2025, la mayor parte del trabajo fue realizado por programadores de Anthropic y la proporción del código escrito por Claude era del orden de unos pocos puntos porcentuales: la velocidad con la que se desarrolló la intervención de Claude es, según la empresa, una señal de que el desarrollo de la IA se está acelerando de un modo difícil de controlar. La perspectiva es que esto podría conducir rápidamente a la realización de uno de los objetivos más ambiciosos y temidos de la industria: la superación personal recursiva.

Por ahora, este sigue siendo un escenario teórico, en el que una IA se vuelve tan buena escribiendo código que desarrolla de forma autónoma su propia siguiente versión, desencadenando un ciclo de mejoras continuas (o recursivas, de ahí el nombre) hasta que excede la capacidad de comprensión de los seres humanos. Si bien no es un resultado seguro, Anthropic ve la superación personal recursiva como un resultado posible y no muy lejano.

Escribir código y desarrollar software son en realidad algunas de las aplicaciones recientes más exitosas de los chatbots de IA. Los primeros chatbots destinados a ayudar a los programadores en la generación de código aparecieron en 2022, pero fue el año pasado cuando se generalizaron los agentes de IA, sistemas capaces de realizar de forma autónoma tareas en línea en nombre del usuario, incluido el desarrollo de software. Uno de los servicios más populares y avanzados en este campo es Claude Code, el asistente de IA desarrollado por Anthropic.

La reciente mejora en las capacidades de Claude no se refiere sólo a la cantidad de código generado sino sobre todo a su calidad. Según Anthropic, a finales del año pasado, el código generado por IA era incluso peor que el escrito por los desarrolladores de Anthropic, mientras que hoy es más o menos de la misma calidad. Se espera que el código generado sea mejor que el código humano este año. Si esta tendencia continúa, dice la compañía, es razonable pensar que “las versiones futuras de Claude podrían ser mejoradas continuamente por el propio Claude”.

Desarrollar modelos avanzados implica no sólo escribir el código sino también la fase de investigación, que implica configurar experimentos, analizar los resultados y decidir cómo proceder. También en este frente Claude avanza en la sustitución del trabajo humano. El pasado mes de abril, la empresa publicó los resultados del primer proyecto de investigación independiente y exhaustivo de Claude. Los agentes de IA se desempeñaron significativamente mejor que los investigadores humanos, a pesar de tener más horas de trabajo en general.

La idea de una IA lo suficientemente avanzada como para desarrollarse y mejorar por sí sola ha estado durante mucho tiempo en el centro de las ambiciones (y los temores) de la industria. Esta posibilidad suele considerarse como un elemento fundamental para alcanzar los objetivos. singularidad (o singularidad tecnológica), término utilizado para designar un hipotético momento en el que la tecnología se acelerará hasta escapar por completo del control del ser humano. la noción de singularidadAunque vagamente ciencia ficción, se ha estudiado durante décadas y predice que una IA capaz de superarse a sí misma eventualmente desencadenará una serie continua de ciclos de mejora, aumentando exponencialmente sus capacidades.

La singularidad tecnológica retoma en parte el concepto de “explosión de inteligencia” (explosión de inteligencia) teorizado en 1965 por el matemático británico Irving John Good, uno de los primeros en imaginar una “máquina ultrainteligente” capaz de superar con creces todas las actividades intelectuales de cualquier ser humano. Según Good, “dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; por lo tanto, sin duda se produciría una “explosión de inteligencia”. Good llamó a tal máquina “el último invento que el hombre necesitará hacer”, y luego añadió: “siempre que la máquina sea lo suficientemente dócil como para decirnos cómo mantenerla bajo control”.

El riesgo de que una IA suficientemente avanzada pueda escapar al control de sus creadores circula en la industria desde hace algún tiempo y ha inspirado a menudo declaraciones pesimistas y apocalípticas en los últimos años.

En las últimas semanas, Anthropic ha sido noticia desde este punto de vista con Mythos, un modelo de IA capaz de identificar fallos en sistemas informáticos considerados seguros durante décadas, hasta el punto de asustar a la propia administración de Donald Trump, por lo demás muy permisiva con este sector.

– Lea también: ¿Cuánto deberíamos preocuparnos por el mito?

Según Anthropic, existen tres escenarios para el futuro de la industria. En el primero, considerado el menos probable, el progreso tecnológico se ralentiza antes de llegar a una IA capaz de automejorarse de forma recursiva, debido a la escasez de chips suficientemente potentes o a las limitaciones tecnológicas inherentes a los modelos de lenguaje, la tecnología que sustenta estas IA. Pero incluso entonces, los riesgos asociados con modelos como Mythos persistirían.

En el segundo escenario, considerado el más probable, el desarrollo de modelos cada vez más eficientes transforma radicalmente empresas e instituciones, permitiendo que grupos de cien personas hagan el trabajo de diez mil o cien mil, gracias a una IA eficiente y autónoma. En este caso, los humanos siguen desempeñando un papel importante en la economía global, ayudados por las máquinas. Sin embargo, es en el tercer escenario donde los humanos quedan reducidos a un papel marginal debido al desarrollo sin precedentes de la IA: según Anthropic, sin embargo, imaginar un escenario similar es complejo porque es difícil predecir “cómo será la economía si el trabajo humano deja de ser competitivo”.

Según elEconomistaHay factores que podrían frenar el avance del sector, impidiendo la consecución de una superación recursiva, como plantea la hipótesis del primer escenario. Un aumento del uso de estas herramientas por parte de los usuarios tendría, por ejemplo, un efecto freno, porque llevaría al sector de la IA a compartir una cantidad finita de potencia informática entre la necesaria para el funcionamiento de los productos y la destinada al desarrollo de nuevos modelos. Cuanto más aumenta la demanda de los primeros, menos recursos están disponibles para los segundos.

Otra posible limitación de la teoría de la superación personal tiene que ver con los datos con los que se entrenan los modelos de IA. Gran parte del progreso reciente en IA se ha producido en áreas donde los modelos pueden aprender de forma autónoma a través de las llamadas “recompensas verificables”, un método de desarrollo en el que el trabajo de un modelo de IA se juzga en áreas objetivas y fácilmente demostrables: el software funciona o no funciona; una prueba matemática es correcta o incorrecta. Otros campos, como la escritura creativa o la discusión de cuestiones legales, son menos objetivos y, por lo tanto, no permiten el desarrollo automatizado de modelos, lo que ralentiza su progreso.

La propuesta de Anthropic es una desaceleración o un alto autoimpuesto en el desarrollo de la IA avanzada. Pero para que sea verdaderamente eficaz, debería reunir a todas las empresas y laboratorios del mundo.

Se trata de una hipótesis muy improbable, dada la creciente competencia en el sector: entre empresas como Anthropic y OpenAI, pero también, de manera más general, entre países como Estados Unidos y China, que consideran la IA una tecnología fundamental para la seguridad nacional. Para que un acuerdo de este tipo sea respetado por todas las empresas y países involucrados, debería haber mecanismos transparentes de seguimiento y verificación para garantizar que nadie continúa con el desarrollo de estos sistemas: “el incentivo para romper el acuerdo en secreto es enorme: aquellos que continúan mientras otros se detienen podrían beneficiarse”, señala la propia Anthropic.

También hay otro argumento que la empresa utiliza para justificar su continua inversión en el desarrollo de IA avanzada: precisamente porque su enfoque es el más cuidadoso y responsable, le corresponde a Anthropic hacer los avances más importantes antes que los demás. No hacerlo, según la lógica de la empresa, sería un factor de riesgo global, ya que daría paso a otras empresas del sector, menos responsables y menos atentas. Por lo tanto, desde su punto de vista, Anthropic no puede frenar: a pesar de su propuesta de un bloqueo temporal para todo el sector, cree que una posible desaceleración por su parte “permitiría simplemente a los actores menos cautelosos alcanzarnos tecnológicamente”.