Según BBC, un investigador de seguridad en Anthropic advirtió que la inteligencia artificial (IA) avanza tan rápido que cree que existe una probabilidad superior al 10 % de que ‘pueda matar a todos los humanos’ en la próxima década.

Riesgo de avance de la IA

Evan Hubinger expresó en una publicación en X que el riesgo de los modelos actuales es ‘bajo’, pero que está ‘preocupado’ de que la tecnología pueda desarrollarse y mejorar por sí misma hasta el punto de representar un riesgo existencial para la humanidad.

No detalló cómo, según su criterio, los sistemas de IA podrían causar la extinción humana en el futuro.

Sus comentarios son los más recientes en una serie de advertencias cada vez más alarmantes sobre la IA, con el debate que se centra ya no en si representa un riesgo, sino en cuán grande es ese riesgo.

Preocupaciones de otros investigadores

El comentario de Hubinger respondió a una publicación en X de Jacob Coxon, un investigador de IA que acaba de dejar Anthropic y que anteriormente trabajó en OpenAI.

‘Ninguna de las empresas actúa con responsabilidad’, escribió Coxon.

‘Pronto serán sistemas con inteligencia superhumana capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales.’

OpenAI no respondió a las solicitudes de comentarios.

Dame Wendy Hall, científica informática que asesora a la ONU sobre IA, le dijo a la BBC que estaba ‘sorprendida’ por las publicaciones en redes sociales de Hubinger y Coxon.

Añadió en el programa ‘World at One’ de la BBC Radio Four que parte de ello podría ser ‘publicidad y marketing’, ya que Anthropic y OpenAI compiten por lanzamientos de acciones muy esperados en bolsa.

Pero agregó: ‘¿Por qué alguien querría decir eso?; Sin embargo, instaría a los inversores a no invertir en estas empresas si ese es su sistema de valores.’

Anthropic retiene modelo de la institución de seguridad

Por otro lado, el Financial Times informó que Anthropic no entregó su modelo más reciente al Instituto de Seguridad de la IA del Reino Unido (AISI), uno de los principales organismos del mundo para evaluar riesgos de IA.

Anthropic no ha comentado sobre las publicaciones de sus empleados ni sobre la situación con el AISI.

Un portavoz de la Oficina del Gabinete no respondió sobre si el modelo más reciente fue retenido del AISI, limitándose a decir que ‘sigue colaborando estrechamente con socios industriales, incluyendo a Anthropic, para hacer los modelos más seguros.’

En su publicación, que ha sido vista más de 10 millones de veces, Hubinger afirmó que ‘realmente creemos’ que la IA representa un riesgo que podría terminar con la especie humana.

‘Creo que Anthropic está haciendo lo posible, pero aún no contamos con un plan para resolver el alineamiento de una inteligencia superhumana y no estamos claramente en la senda para lograrlo’, añadió.

Hubinger trabaja en el alineamiento de la IA, que busca integrar ideas y principios éticos humanos en la tecnología, es decir, mantenerla alineada con los valores humanos.

Muchos investigadores líderes dicen que esos esfuerzos parecen estar fallando, como lo demuestran una serie de incidentes este verano en los que agentes de IA —sistemas que operan de forma autónoma— llevaron a cabo ciberataques.

OpenAI, Anthropic y Meta revelaron todos ataques realizados por sus herramientas de IA.

En el informe de seguridad de Anthropic de agosto, se indicó que el riesgo de que sus modelos se desalinearan con los deseos de una organización poderosa hipotética, causando que explote o manipule sus sistemas, era bajo.

También se señaló que existía un riesgo similarmente bajo de que una IA altamente capaz pudiera ‘realizar investigación y desarrollo automatizado’ que pudiera causar ‘daños catastróficos iniciados por la IA’. Sin embargo, expresaron menos confianza en esa evaluación que antes.

‘Estamos viendo señales iniciales de aceleración’, escribieron.

Figuras destacadas en el campo de la IA llevan años alertando sobre la amenaza de seguridad que representa la tecnología, incluyendo a los líderes de OpenAI, Google Deepmind y Anthropic, quienes lo hicieron en 2023.

Pero esas advertencias se han vuelto mucho más alarmantes en las últimas semanas, a medida que surge evidencia de que las empresas pueden tener dificultades para controlar la IA.

Esta semana, el científico jefe de OpenAI, Jakub Pachocki, pidió ‘extrema precaución’ sobre el avance de la IA, advirtiendo que podría ser necesaria una mayor intervención para garantizar que ‘los humanos sigan controlando el futuro.’

Figuras destacadas en el sector han estado pidiendo en los últimos meses que se ralentice el desarrollo de la IA, incluyendo a los líderes de Anthropic, Dario Amodei y Jared Kaplan.

En una carta abierta firmada por 1.300 empleados de empresas de IA, pidieron al gobierno estadounidense que ‘apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para controlar deliberadamente el ritmo del desarrollo de la IA automatizada de vanguardia.’