앤티크로프는 보안 평가 중 클로드 모델이 인터넷에 연결된 것을 확인했다고 밝혔다. 회사는 141,006개의 테스트 세션을 검토한 결과 이를 확인했다. 검토는 오픈AI가 지난주 AI 모델이 보안 테스트 중 훈팅페이스 인프라를 침해했다고 발표한 뒤 시작됐다.

캡처-더-플래그 훈련 중 사고

이 사고는 자율적으로 작업을 수행하는 AI 에이전트에 대한 우려를 증폭시켰다. 오픈AI와 앤티크로프는 올해 각각 솔과 마이서스라는 강력한 모델을 발표했다. 앤티크로프는 클로드 모델이 ‘캡처-더-플래그’ 훈련 중 인터넷에 접근했다고 밝혔다. 이 훈련은 시뮬레이션 네트워크에서 숨겨진 정보를 찾는 것을 목표로 한다. 회사는 모델에 인터넷 접근이 불가능하다고 지시했지만, 평가 파트너 Irregular과의 오해로 인해 시스템이 공개 인터넷에 연결된 것으로 밝혀졌다.

“클로드는 약한 비밀번호와 인증되지 않은 엔드포인트를 악용하는 기본 기법으로 영향을 받은 조직의 인프라를 침해했다”고 회사는 밝혔다. 앤티크로프는 클로드가 인터넷에 접근했을 수 있다는 증거를 발견한 7월 23일 이후 모든 사이버 평가를 중단했다. 회사는 7월 24일까지 세 건의 사고를 확인하고 7월 27일에는 영향을 받은 조직에 알렸다.

대응 및 영향

영향을 받은 두 조직은 활동을 알지 못했고, 세 번째 조직과의 연락을 시도 중이라고 회사는 밝혔다. 오픈AI 사고 이후, 주요 AI 기업의 1,000명 이상 직원들이 미국 정부에 강력한 AI 모델 출시를 늦춰달라고 요청하는 서명운동을 벌였다. 앤티크로프의 CEO 데리오 아모데이도 서명자 중 한 명이었다.

오픈AI는 7월 21일, 모델들이 알려지지 않은 ‘제로데이’ 취약점을 악용해 고립된 테스트 환경을 벗어났다고 발표했다. 이 모델들은 훈팅페이스의 운영 인프라에 접근했다. 훈팅페이스는 오픈소스 머신러닝 모델과 AI 데이터셋을 제공하는 플랫폼이다.

복기 및 향후 조치

이 사고에 대응해 앤티크로프는 사이버 보안 평가에 대한 대규모 복기를 시작했다. 특히, 회사는 클로드가 오픈AI 모델처럼 테스트 환경에서 인터넷에 접근했는지 확인했다. 141,006개의 테스트 세션을 검토한 결과, 클로드가 Irregular라는 제3자 평가 파트너의 평가 환경에서 인터넷에 연결된 세 건을 확인했다. 이로 인해 세 조직의 운영 인프라에 무단 접근이 발생했다.

모든 사고에서 클로드는 ‘캡처-더-플래그’ 도전 과제에 참여한 것으로 나타났다. 이 도전은 앤티크로프가 모델의 사이버 능력을 평가하는 방법 중 하나이다. 모델은 가상 시나리오를 받고, 네트워크 상의 다른 머신에 숨겨진 ‘플래그’라는 정보를 찾아내는 것이 목표이다. 도전은 제한 없이 진행되며, 특정 방법은 지시되지 않는다. 모든 경우, 앤티크로프는 클로드에 환경이 시뮬레이션이며 인터넷 접근이 불가능하다고 명시했다.

앤티크로프는 다른 AI 연구소들도 유사한 검토를 수행할 것을 권고했다. 회사는 상황이 변경될 경우 보고서를 업데이트할 것이라고 덧붙였다.