El director de Palantir UK. Louis Mosley, afirmó en una entrevista exclusiva con la BBC que la responsabilidad de utilizar sistemas de apuntado impulsados por inteligencia artificial en conflictos armados recae en las fuerzas armadas, no en la empresa. Este anuncio surge en un momento de crecientes preocupaciones sobre el uso de la plataforma de defensa con IA de Palantir, el Maven Smart System, en ataques estadounidenses contra Irán.

IA en operaciones militares

El Maven Smart System, lanzado por el Pentágono en 2017, está diseñado para acelerar las decisiones de apuntado militar analizando grandes volúmenes de datos, incluyendo inteligencia, imágenes satelitales y drones. El sistema ofrece recomendaciones sobre objetivos y puede sugerir el nivel de fuerza a utilizar según la disponibilidad de personal y equipos militares, como aviones.

Expertos han expresado preocupaciones sobre el uso de estas herramientas en la guerra, ya que podría llevar a atacar objetivos incorrectos, incluyendo civiles. En febrero, el Pentágono anunció que dejaría de utilizar el sistema de IA Claude de Anthropic tras que la empresa rechazara permitir su uso en armas autónomas y vigilancia. Palantir afirmó que existen alternativas para reemplazar el sistema.

Desde que comenzó la guerra con Irán en febrero, se ha informado que Estados Unidos ha utilizado Maven para planificar ataques en todo el país. Cuando se le preguntó sobre el riesgo de que Maven sugiera objetivos incorrectos, Mosley dijo que la plataforma solo está diseñada para servir como guía para acelerar el proceso de toma de decisiones por parte del personal militar y no debe considerarse un sistema de apuntado automatizado.

Supervisión humana en decisiones de IA

Mosley subrayó que siempre hay un humano en el bucle, asegurando que la decisión final recaiga en el personal militar. Dijo: ‘Siempre hay un humano en el bucle, por lo tanto, siempre hay un humano que toma la decisión final. Ese es el estado actual de las cosas.’

No obstante, Mosley se refirió a las fuerzas armadas individuales cuando se le cuestionó sobre el riesgo de que los comandantes presionados por el tiempo ordenen a sus oficiales que acepten las recomendaciones de Maven como si estuvieran aprobadas. ‘Esa es realmente una pregunta para nuestros clientes militares. Ellos son los que deciden el marco de políticas que determina quién toma qué decisiones’, dijo.

El almirante Brad Cooper, jefe de las fuerzas militares estadounidenses en el Medio Oriente, ha elogiado los sistemas de IA por ayudar a los oficiales a ‘analizar grandes volúmenes de datos en segundos, de modo que nuestros líderes puedan filtrar el ruido y tomar decisiones más inteligentes más rápido que el enemigo pueda reaccionar.’

No obstante, algunos expertos advierten que la priorización de la velocidad y la escala en la planificación de misiones crea riesgos significativos. La profesora Elke Schwarz de la Universidad Queen Mary de Londres dijo: ‘Esta priorización de la velocidad y la escala, junto con el uso de la fuerza, deja muy poco tiempo para verificar significativamente los objetivos y asegurarse de que no incluyan accidentalmente objetivos civiles.’

Revisión del uso de IA en la guerra

En las últimas semanas, los funcionarios del Pentágono han enfrentado preguntas sobre si herramientas de IA como Maven se utilizaron para identificar objetivos en el ataque mortal a una escuela en la ciudad iraní de Minab. Las autoridades iraníes dijeron que el ataque mató a 168 personas, incluyendo alrededor de 110 niños, en el primer día de la guerra.

En el Congreso, varios demócratas senior han exigido una revisión más estricta de plataformas de IA como Maven. La representante Sara Jacobs, miembro de la Comisión de Servicios Armados de la Cámara, pidió reglas y regulaciones claramente establecidas sobre cómo y cuándo se utilizarán los sistemas de IA. ‘Las herramientas de IA no son 100% confiables — pueden fallar de formas sutiles y, sin embargo, los operadores continúan sobreconfiando en ellas’, dijo a NBC News el mes pasado.

‘Tenemos la responsabilidad de establecer límites estrictos sobre el uso de IA por parte de las fuerzas armadas y garantizar que siempre haya un humano en el bucle en cada decisión de usar fuerza letal, porque el costo de equivocarse podría ser devastador para los civiles y los miembros del personal que llevan a cabo estas misiones.’

Mosley se opuso a las sugerencias de que la velocidad de la plataforma de su empresa está acelerando la toma de decisiones en el Pentágono y potencialmente creando situaciones peligrosas. Arguyó que la velocidad con la que los comandantes toman ahora acciones es una ‘consecuencia de la mayor eficiencia’ que ha permitido Maven.

Citando ‘seguridad operativa’, el Pentágono se negó a comentar cuando la BBC le preguntó sobre cómo se utilizarán en el futuro sistemas de IA como Maven o quién sería responsable si algo saliera mal. Sin embargo, los funcionarios estadounidenses parecen avanzar con planes para integrar aún más Maven en sus sistemas.

La semana pasada, la agencia de noticias Reuters informó que el Pentágono había designado a Maven como ‘un programa oficial de registro’, estableciéndolo como una tecnología para integrarse a largo plazo en las fuerzas armadas de Estados Unidos. En una carta obtenida por Reuters, el subsecretario de Defensa Steve Feinberg dijo que la plataforma proporcionaría a los comandantes ‘las últimas herramientas necesarias para detectar, disuadir y dominar a nuestros adversarios en todos los dominios.’