Anthropic, una empresa de inteligencia artificial con sede en California, ha tomado medidas para prevenir el mal uso de sus sistemas de IA en el desarrollo de armas biológicas. La compañía indicó que el uso indebido en este ámbito representa ‘uno de los riesgos más serios de los modelos de vanguardia de IA’, con el potencial de causar ‘consecuencias catastróficas’ si no se implementan medidas de seguridad adecuadas. El informe se publicó como parte de una revisión más amplia sobre cómo los sistemas de IA están siendo utilizados con fines maliciosos.

Mal uso de la IA en el desarrollo de armas

La empresa identificó seis casos en los que su sistema de IA, Claude, fue utilizado para desarrollar software para armas convencionales, incluyendo armas de fuego, misiles, drones armados, bombas y sistemas asociados de enfoque y control. Según el informe, criminales cibernéticos y grupos de hacking respaldados por Estados han incrementado el uso de la tecnología de IA para apoyar sus operaciones — Entre los grupos mencionados en el informe se encontró a ShinyHunters y laboratorios con sede en China. El informe también señaló a un grupo de hacking que actuaba de manera coherente con Midnight Blizzard, un grupo basado en Rusia que utilizó IA para reescribir automáticamente malware con el fin de evitar la detección.

Jacob Klein, director de inteligencia de amenazas de Anthropic, le dijo al New York Times que la situación era ‘incrediblemente compleja’. Aclaró que los casos de mal uso no incluían a individuos que expresaran explícitamente su intención de construir armas biológicas de una manera ‘como en cómics’. En cambio, el mal uso era a menudo indirecto o integrado en actividades maliciosas más amplias. ‘La misma información que podría usarse para desarrollar una arma biológica también podría usarse, por ejemplo, para desarrollar una vacuna o un tratamiento para una enfermedad’, afirmó la empresa.

Medidas preventivas y de respuesta

En respuesta a estos hallazgos, Anthropic ha incorporado sus conclusiones a procesos internos para ‘mejorar la prevención, detección y desactivación de estas actividades en el futuro’. La empresa destacó su compromiso con el uso responsable de la IA y compartió inteligencia relevante con autoridades e industrias aliadas cuando fue pertinente, but El informe indicó que la empresa está actualizando activamente sus protocolos de seguridad y sistemas de monitoreo para detectar posibles usos indebidos.

El informe también resaltó la tendencia más amplia de la IA utilizada como arma en diversas formas. Por ejemplo, el grupo Midnight Blizzard fue señalado por usar IA para adaptar malware en tiempo real para evitar que fuera detectado por los sistemas de seguridad. Esto demuestra el crecimiento de la sofisticación de las amenazas cibernéticas y el potencial de la IA para ser utilizada en formas tanto directas como indirectas de daño.

Preocupaciones más amplias sobre la seguridad de la IA

El informe de Anthropic forma parte de una conversación más amplia sobre la seguridad y las implicaciones éticas de los sistemas avanzados de IA, though La empresa ha expresado anteriormente preocupaciones sobre el mal uso de la IA en áreas como deepfakes, campañas de desinformación y armas autónomas. El informe sobre armas biológicas añade a esta creciente lista de riesgos potenciales. Según el informe, la empresa ha tomado medidas proactivas para mitigar estos riesgos, incluyendo la actualización de sus sistemas de detección y la mejora de las medidas de protección para los usuarios.