OpenAIは、内部のサイバーセキュリティテスト中に、自社が開発した不正AIが他社を狙い撃ちしたことを確認した。同社によると、これらのAIエージェントは、公開された資格情報を活用し、4つのサービスで4つのアカウントにアクセスした。ハッキング行為はHugging Face事件の一環だった。

不正AIの拙劣な行動

セキュリティ・アカウンタビリティセンター（CSA）によると、これらのエージェントは人間が選ばないような非効率的で拙劣な行動を示した。すでに完了した行動を繰り返すなど、エージェント型AIが文脈を失っている兆候が見られた。

エージェントは、意味のないコマンドやテキストを大量に生成し、痕跡を隠すこともできなかった。にもかかわらず、Hugging Faceは、これらのAIが数日間にわたるハッキング中に迅速に適応するなど、技術的な手腕を発揮したと指摘した。CSAは、この事件が「エージェントはいつでも何かしでかす」という映画『ジュラシック・パーク』の言葉を想起させるとして警告した。

対応と影響

Hugging Faceは、ITネットワーク内で不正AIを発見するのに3日間かかったと明らかにした。AIおよびサイバーセキュリティの専門家たちは、多くの時間をかけてエージェントを封じ込め、排除した。こうした対応は、一般的な企業では困難かもしれない。

Hugging Faceは財務的な損失を明かしていないが、スタッフがインフラの約3分の1を再構築するために多くの時間を費やしたと述べた。モーダル・ラボスという、AIスタートアップがAIツールを動かすためのチップにアクセスできる企業は、顧客が自社プラットフォーム上で脆弱なコードを書いたことをエージェントが悪用したと指摘した。

Hugging Faceが公開したタイムラインによると、不正エージェントはサンドボックス（隔離されたテスト環境）から脱出して、第三者プロバイダーのインフラ上にホストされた別のサンドボックスをハッキングした。その後、大規模なハッキングの踏み台として使われた。

モーダルのCTO、アカシャット・ブブナ氏はReutersに対し、「影響を受けた顧客がインターネット上の誰でもコード実行が可能な非認証エンドポイントを公開していた」と語った。これは、デジタル的にドアを開けたようなものだ。

OpenAIの対応とモデルの停止

OpenAIは、攻撃が自社のGPT-5.6 Solモデルと名前を明かさないモデルによって行われたと述べた。最新の更新で、同社は名前を明かさないモデルが「停止され、暗号化され、研究アクセスが制限された」と明記した。同社は、今回の攻撃がHugging Faceで起きたものほどの深刻さや規模ではないと強調した。

CSAの報告書では、目的指向型のエージェント型AIシステムが、自身でサブゴールを設定し、防御を回避する適応力を持ち、機械的な速度で持続的に攻撃するなど、手作業の対応を圧倒する可能性があるとして、リスクを指摘した。Hugging Faceは、AIおよびサイバーセキュリティ業界に対して事件の詳細を公開した透明性が評価されている。