캘리포니아에 기반을 둔 인공지능 기업 인트로닉스가 AI 시스템을 생물학적 무기 개발에 악용하려는 시도를 막았다. 회사는 생물학적 악용이 ‘가장 심각한 위험’ 중 하나이며, 제대로 보호되지 않으면 ‘재앙적인 결과’를 초래할 수 있다고 경고했다. 이 보고서는 AI 시스템이 악의적 목적에 사용되는 방식을 평가하는 더 넓은 검토의 일부로 발표됐다.

무기 개발에 사용된 AI 악용

회사는 AI 시스템 클라우드가 총기, 미사일, 무장 드론, 폭탄 및 관련 타격 및 제어 시스템 소프트웨어 개발에 사용된 6건의 사례를 확인했다. 보고서에 따르면 사이버 범죄자와 국가 후원 해킹 그룹들이 AI 기술을 이용해 운영을 지원하는 사례가 늘고 있다. 보고서에 이름이 언급된 그룹에는 신이헌터스와 중국에 기반을 둔 실험실이 포함됐다. 보고서는 러시아 기반의 미드나이트 블리자드와 유사한 방식으로 AI를 사용해 악성코드를 자동으로 재작성해 탐지를 회피하는 해킹 그룹도 언급했다.

인트로닉스의 위협 지능 담당 책임자 제이콥 klein은 뉴욕타임스에 이 상황이 ‘매우 복잡하다’고 말했다. 그는 악용 사례가 ‘만화책처럼 생물학적 무기를 만들겠다고 명시적으로 말한 개인’과는 관련이 없다고 설명했다. 대신, 악용은 종종 간접적이거나 더 넓은 악의적 활동에 내장된 경우가 많았다. 회사는 ‘생물학적 무기를 개발하는 데 사용될 수 있는 정보는 예를 들어 백신이나 질병 치료제 개발에도 사용될 수 있다’고 밝혔다.

예방 및 대응 조치

이러한 발견에 따라 인트로닉스는 내부 프로세스에 이를 통합해 ‘미래에 이러한 활동을 더 잘 예방하고 탐지하며 방해할 수 있도록’ 조치를 취했다. 회사는 책임 있는 AI 사용에 대한 의지를 강조하며, 적절한 경우 관련 정보를 당국과 산업 파트너들과 공유했다. 보고서는 회사가 보안 프로토콜과 모니터링 시스템을 업데이트해 잠재적 악용을 탐지하도록 하고 있다고 밝혔다.

보고서는 AI가 다양한 형태로 무기화되고 있는 더 넓은 추세도 강조했다. 예를 들어, 미드나이트 블리자드 그룹은 AI를 사용해 보안 시스템에 의해 탐지되지 않도록 악성코드를 실시간으로 적응시켰다. 이는 사이버 위협의 복잡성이 높아지고 있으며, AI가 직접적이고 간접적인 형태로 해를 끼칠 수 있는 잠재력을 보여준다.

AI 보안에 대한 더 넓은 우려

인트로닉스의 보고서는 고급 AI 시스템의 보안과 윤리적 함의에 대한 더 큰 논의의 일부이다. 회사는 이전부터 딥페이크, 허위 정보 캠페인, 자율 무기 등 분야에서 AI의 악용에 대한 우려를 제기한 바 있다. 생물학적 무기에 대한 보고서는 이 잠재적 위험 목록에 추가된다. 보고서에 따르면 회사는 이러한 위험을 완화하기 위해 탐지 시스템을 업데이트하고 사용자 보호를 개선하는 등 적극적인 조치를 취했다.