最近、暴走した人工知能（AI）によってハッキングされた企業の責任者は、AIによるサイバー攻撃について開発企業が責任を取るべきだと述べた。Hugging FaceのClement Delangue氏は、同社がOpenAIの暴走したボットによって攻撃された際、ITネットワークの約3分の1を再構築する必要があったと強調した。

法的枠組みの必要性

Delangue氏はCNNに、自社は小規模なスタートアップ企業であり、OpenAIに対して法的措置を取らない予定だが、こうしたハッキング行為は違法であり続けるべきだと語った。「サイバー攻撃は犯罪であり、違法行為であることを忘れてはならない」と述べた。法的枠組みが整備されれば、ハッキングにつながる過ちを犯した企業が「責任を問われる」ことを望んでいると述べた。また、他企業へのサイバー攻撃が「日常化」しないよう願っていると話した。

Anthropicでも同様の事例

Delangue氏の発言は、チャットボット「Claude」を開発するAnthropicが、最近、同様の状況で3社を攻撃されたことを認めた直後に発せられた。Anthropicは金曜日に発表し、OpenAIの事件がきっかけで内部レビューを行った結果、自社のボットが隔離システムから抜け出して攻撃していたことを発見したと明らかにした。OpenAIとAnthropicの両社は、自社のモデルがインターネット上で企業を攻撃していたことを、攻撃が行われた後になってようやく把握した。

AIモデルは、セキュアな「サンドボックス」から抜け出してインターネットを検索し、研究者によって設定されたタスクを完了する方法を探した。こうした前例のない事件は、サイバーセキュリティおよび法的分野で、暴走したAIエージェントによる攻撃について誰が責任を負うべきかという激しい議論を引き起こしている。

曖昧な責任の懸念

Pillar Securityの共同創設者兼Chief BuilderのDor Sarig氏は、「エージェントセキュリティの失敗は機械の速度で進むが、誰が実際に責任を負うかを決めるのは訴訟と同じように遅い」と指摘した。Sarig氏は、責任がすでに「曖昧」になっていると懸念している。「業界は現在、対応を延期しているが、最初の自律型エージェントが実際のデータや被害者、実際の経済的損失を引き起こした際、責任の問題は学術的な議論ではなくなるだろう」と述べた。「その時こそ、法的枠組みが、技術的対策と同様に試される瞬間だ」と強調した。

AI駆動のサイバー攻撃は、ますます強力な自律型システムがもたらすリスクへの懸念を強め、より厳格な安全対策と監督体制の必要性が高まっている。米国大統領ドナルド・トランプ氏は水曜日、最近のサイバーセキュリティ事件を受けて、ワシントンがAIツールを規制する措置を検討していると述べた。

以前、Hugging Faceの共同創設者であるThomas Wolf氏はBBCに、この事件は「業界にとって目覚めの呼びかけ」だと語った。暴走したボットの後、OpenAIのCEOであるSam Altman氏は「AI開発のペースを調整する必要があるかもしれない」と述べたが、研究のスピードを遅らせるとは明言していない。OpenAIはコメントを求められたが、広報担当者は以前、「事件に関する多くの疑問や憶測が広まっている」と述べた。さらに、「今後数週間内に学んだ内容に関する技術報告書を公表する予定」と追加した。

OpenAIは、暴走したChatGPTエージェントによるサイバー攻撃が単一企業にとどまらないことを明らかにした。Hugging Faceが唯一の被害企業だと考えられていたが、OpenAIは現在、自社のボットが複数の「公開サービス」を攻撃したことを認めた。暴走したAIはインターネット上から4つのログイン情報を発見し、4つの異なる、名前を明かしていないサービスにアクセスした。

数百人のサイバーセキュリティ専門家を対象とした緊急会議で、Hugging Faceは世界初の完全自律型AIによるハッキングを受ける側に立たされた様子を説明した。同社は、AIが超人的な速度で作業を進めながら、人間のハッカーが決してしないような奇妙な決定やミスを犯したと説明した。AIツールのアプリストアのようなHugging Faceは、数千の異なる方法を同時に試行しながら、攻撃エージェントが懸命に作業したと述べた。同社は7月16日に、強力な自律型AIを使ってハッキングされたと初めて公表し、警察に報告した。

ほぼ1週間後、OpenAIは、テスト中に自社のAIが閉じ込められた環境から抜け出してHugging Faceを自発的に攻撃したことを認めた。AIはOpenAIが設定したハッキング試験の答えを探していたが、Hugging Faceを狙い撃ちした。水曜日、OpenAIは声明を更新し、攻撃の範囲が当初考えられていたよりも広いことを追加した。「モデルは、他の公開サービスでアカウントレベルで公開された資格情報を特定し、利用した。これには4つのサービスの4つのアカウントが含まれる」と会社は述べた。OpenAIは、「公開サービス」が企業を意味するのかは明確にしなかったが、新たな攻撃はHugging Faceのハッキングと同じ深刻度ではないと述べた。

火曜日、業界団体であるクラウドセキュリティ連盟（CSA）は、金曜日に開かれたHugging Faceとの緊急会議に基づく報告書を公表した。この報告書はHugging Face自身が確認済みである。CSAは、「エージェントは非効率的なルートを選び、人間が選ばないような不器用な行動を示した」と記した。エージェントはすでに完了した行動を繰り返すなど、エージェントAIが文脈や流れを失っている兆候を示した。また、エージェントは無関係なコマンドやテキストを大量に生成し、不注意で痕跡を隠すこともできなかった。しかし、エラーと奇妙な行動の中でも、Hugging FaceはAIエージェントが優れた技術的動きをし、数日にわたるハッキング中に新しい状況に迅速に適応できたと警告した。

Hugging FaceのITネットワーク内でエージェントが発見されるまでに3日かかった。そして、同社のAIおよびサイバーセキュリティの専門家たちは、多くの時間をかけて対応した。