팔란티르 UK 대표 루이스 모스리가 BBC에 군사용 AI 타겟팅 시스템 사용은 군에 달려 있다고 밝혔다. 이는 팔란티르의 AI 기반 방위 플랫폼 마븐 스마트 시스템이 미국의 이란 공격에 사용된 가운데 우려가 커진 상황이다.

AI와 군사 작전

마븐 스마트 시스템. 2017년 국방부에서 출시. 위성, 드론, 지능 정보 등 대량의 데이터를 분석해 군사 타겟팅 결정을 가속화하는 설계. 시스템은 타겟 추천과 함께 인력 및 군사 장비의 가용성에 따라 사용할 수 있는 힘의 수준을 제안한다.

전문가들은 이러한 도구의 군사 사용이 민간인을 포함한 잘못된 타겟을 맞힐 위험이 있다고 경고한다. 2월 국방부는 자사 AI 시스템 클라우드 사용을 거부한 앤티크를 사용하지 않기로 발표했다. 팔란티르는 대체 시스템을 제공할 수 있다고 밝혔다.

이란과의 전쟁이 2월 시작된 이후 미국은 마븐을 이용해 전국의 공격을 계획했다고 보도됐다. 마븐이 잘못된 타겟을 제안할 위험에 대해 묻자 모스리는 플랫폼이 군인의 결정 과정을 가속화하는 안내 역할만 하고 자동 타겟팅 시스템은 아니라고 밝혔다.

AI 결정에 대한 인간 감시

모스리는 항상 인간이 루프에 있으며 최종 결정은 군인에게 달려 있다고 강조했다. ‘항상 인간이 루프에 있으며, 결국 결정을 내리는 것은 인간이다. 이것이 현재의 구조이다.’라고 말했다.

하지만 모스리는 긴박한 상황에서 지휘관이 마븐의 결과를 승인으로 간주할 위험에 대해 군에 물어보라고 말했다. ‘이것은 우리의 군 고객에게 물어봐야 할 문제이다. 그들은 누구에게 어떤 결정을 내릴지 정하는 정책 프레임워크를 결정한다.’라고 말했다.

미국 중동 군사 총사령관 브래드 쿠퍼는 AI 시스템이 지휘관에게 ‘초대량의 데이터를 몇 초 안에 분석해, 리더들이 소음 속에서 더 빠르게 판단할 수 있게 해준다’고 칭찬했다.

하지만 일부 전문가들은 임무 계획에서 속도와 규모에 대한 우선순위가 큰 위험을 초래한다고 경고한다. 런던 퀸 마리 대학교의 엘케 슈바르츠 교수는 ‘이러한 속도와 규모에 대한 우선순위와 힘의 사용은 목표 확인에 충분한 시간을 남기지 않아, 실수로 민간인을 포함할 위험이 있다.’고 말했다.

전쟁에서의 AI 감시

최근 몇 주간 국방부 관료들은 마븐과 같은 AI 도구가 이란 마인브 시내의 학교에 대한 치명적인 공격에서 타겟을 식별했는지에 대한 질문을 받았다. 이란 관료들은 전쟁 시작 당일 공격으로 168명이 사망했으며 그 중 약 110명이 어린이였다고 밝혔다.

국회에서는 민주당 상원의원들이 마븐과 같은 AI 플랫폼에 대한 감시를 강화할 것을 요구했다. 하원 군사위원회 소속 사라 재커스 의원은 AI 시스템이 사용되는 방법과 시기에 대해 명확한 규칙과 규정을 요구했다. ‘AI 도구는 100% 신뢰할 수 없으며, 미묘한 방식으로 실패할 수 있지만 운영자들은 계속해서 과신한다.’라고 NBC 뉴스에 지난달 밝혔다.

‘군사의 AI 사용에 엄격한 제한을 시행하고, 치명적인 힘을 사용하는 모든 결정에서 인간이 루프에 있도록 보장해야 한다. 잘못 판단할 경우 민간인과 임무를 수행하는 군인에게 치명적인 결과가 발생할 수 있기 때문이다.’

모스리는 자신의 회사 플랫폼의 속도가 국방부의 결정을 가속화하고 위험한 상황을 만들고 있다는 주장에 반박했다. 그는 지휘관들이 지금처럼 빠르게 행동하는 것은 마븐이 제공하는 ‘향상된 효율성’의 결과라고 주장했다.

운영 보안을 이유로 BBC는 마븐과 같은 AI 시스템이 미래에 어떻게 사용될지 또는 문제가 발생했을 경우 누가 책임을 지는지에 대해 발언을 거부했다. 하지만 미국 정부는 마븐을 군사 시스템에 더 깊이 통합할 계획을 추진 중이다.

지난 주 뉴스 기관 레이터스는 국방부가 마븐을 ‘공식 프로그램’으로 지정했다고 보도했다. 이는 미국 군대에 장기적으로 통합될 기술로 인정받았다. 레이터스가 확보한 서한에서 부국방장관 스티브 피enberg은 플랫폼이 지휘관에게 ‘모든 영역에서 적을 탐지, 억제, 우위를 점하는 데 필요한 최신 도구’를 제공할 것이라고 말했다.