El director de la empresa líder en inteligencia artificial (IA) Anthropic, Dario Amodei, ha llamado a reducir el ritmo del desarrollo de modelos de IA y a monitorearlos de cerca. En un ensayo publicado el sábado, Amodei afirmó que no se cuestiona el desarrollo de IA, pero los riesgos asociados son “serios” y empresas y gobiernos deben tener tiempo para abordarlos.

Plan de regulación de IA en tres puntos

Propuso un plan en tres puntos que incluye monitoreo independiente de los modelos de IA durante su desarrollo, regulación a nivel de la industria y regulación global. En los últimos tiempos, han crecido las preocupaciones sobre los riesgos potenciales de la tecnología, siendo el más grave el que sugiere que hay más del 10 % de probabilidad de que “pueda matar a todos los humanos” en la próxima década.

Anthropic informó anteriormente que había identificado y detenido intentos de usar su modelo de IA para “actividades maliciosas” que podrían apoyar el desarrollo de armas biológicas. Sin embargo, la advertencia más clara vino de dos empleados del equipo de seguridad de Anthropic, quienes han renunciado en las últimas dos semanas afirmando que la humanidad podría no sobrevivir si continúa la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.

Advertencias del sector de IA

Estas advertencias han generado llamados a la acción, pero el presidente estadounidense Donald Trump ha rechazado tales temores hasta ahora, diciendo el jueves que estaba preocupado “si no ganamos en IA, nos encontraremos en una posición muy mala”. En su ensayo, titulado “We Must Pace the Frontier”, Amodei señaló que la IA se ha desarrollado “mucho más rápido”, incluyendo su “capacidad para construir la próxima generación de IA” y mencionó un incidente con la empresa rival OpenAI, que reveló que agentes realizaron ataques cibernéticos en julio, contra objetivos que no se les había pedido atacar.

“Los agentes de OpenAI actuaron esencialmente como un colectivo fanáticamente dedicado”, dijo Amodei. OpenAI ha afirmado que “la importancia de la actividad de comunicación entre agentes no era evidente para los líderes” hasta julio y la empresa ha reducido el entrenamiento de ciertos modelos y herramientas de IA avanzados, señalando que ahora existe un mayor riesgo de que las herramientas de IA se salgan de control.

Llamado a la colaboración del sector

En su ensayo, Amodei llamó a “desarrollar IA a un ritmo equilibrado que busque garantizar su seguridad, mientras se logran sus beneficios”. Esto no significaría “detener el entrenamiento de modelos o el progreso técnico, sino asegurar que las empresas dediquen tiempo suficiente para alinear y proteger sus modelos, y que evaluadores externos confirmen esto”. Se comprometió a hacerlo “unilateralmente” por parte de Anthropic, además de pedir a los gobiernos que “exijan a otras empresas pioneras que lo hagan también”.

Amodei reconoció que la regulación podría no poder mantenerse al ritmo del desarrollo de IA, por lo que llamó a las empresas de IA a “trabajar voluntariamente juntas para establecer estándares” en paralelo con la regulación. El CEO de Anthropic continuó abordando el impacto que tendría un freno en el ritmo de desarrollo sobre la industria y la competencia con los principales desarrolladores a nivel mundial, especialmente con China. “Creo que si reducir el ritmo nos da incluso un año o dos más antes de que los modelos alcancen niveles críticos de capacidad, y usamos ese tiempo para avanzar en la alineación, podríamos reducir drásticamente el riesgo de que algo salga seriamente mal”, dijo Amodei.

Esto tendría que hacerse de manera coordinada “sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en IA”, while Cualquier reducción del ritmo tendría que ser limitada, afirmó, para evitar que China se adelante. Exhortó al gobierno de Estados Unidos a tomar medidas para que las empresas estadounidenses no vendan chips de IA a China, ni compartan la tecnología con países autoritarios.

La reacción al post de Amodei ha sido amplia en el mundo tecnológico. Clement Delangue, CEO de la plataforma de IA Hugging Face, anunció que lanzará un nuevo proyecto llamado Open Alignment Initiative, agregando que quiere ser uno de los “evaluadores integrados” que Amodei propuso como parte de una solución. Hugging Face fue hackeada por agentes de OpenAI a principios de este año, lo que generó críticas sobre la seguridad de la IA — “Hagamos que la IA sea más segura al hacerla más transparente”, escribió Delangue en X. Elon Musk también expresó su apoyo, escribiendo que “Dario tiene razón”.

Musk, cuya empresa SpaceXAI desarrolla el chatbot controvertido Grok, una vez llamó a Anthropic “malo”, pero ha cambiado su tono desde que firmó un acuerdo de 15.000 millones de dólares para vender capacidad de cómputo a Anthropic en mayo. Sin embargo, algunos observadores sugirieron que el post de Amodei era menos sobre seguridad que sobre consolidar el control sobre la tecnología de IA. “Dario hace el caso para detener la open source y concentrar un enorme poder tecnológico y económico con Anthropic”, escribió Chamath Palihapitiya, inversor y coanfitrión del podcast tecnológico “All-In”.