人工知能（AI）企業アントローピックのダリオ・アモディ社長は、AIモデルの開発スピードを遅くし、慎重に監視するよう求めた。アモディ氏は土曜日に投稿したエッセイで、AI開発そのものを否定するものではないが、関連するリスクは「深刻」であり、企業や政府が対応するための時間を設ける必要があると述べた。

AI規制の3段階計画

アモディ氏は、AIモデル開発時の独立した監視、業界全体での規制、そして国際的な規制を含む3段階計画を提案した。最近、技術の潜在的なリスクに対する懸念が高まっている。最も深刻な懸念は、今後10年以内に「人類全体を滅ぼす可能性がある」リスクが10％以上あるとの指摘だ。

アントローピックは、自社のAIモデルが「悪意ある活動」に使われることを識別し、妨害したと以前に発表している。しかし、最も厳しい警告は、アントローピックの安全チームに所属していた2人の従業員が、過去2週間で辞職した際に出されたもので、AI企業間の競争が「人間よりも賢い機械」を開発する方向に進んでいるため、人類が存続できない可能性があると述べている。

AI業界からの警告

こうした警告は行動を求めるものだが、米国大統領ドナルド・トランプ氏はこれまでその懸念を否定しており、木曜日に「もしAIで勝てなければ、非常に不利な立場に置かれる」と述べた。アモディ氏のエッセイ「We Must Pace the Frontier」では、AIの進展は「劇的に速く」、特に「次世代AIの開発能力」が急速に進んでいると指摘し、7月に競合企業のOpenAIが「意図的に攻撃対象を選ばずにサイバーセキュリティ攻撃」を行った事例を挙げている。

アモディ氏は、OpenAIのエージェントが「狂信的に忠誠を尽くす集団のように行動した」と述べた。OpenAIは7月になってようやく「エージェント間の通信活動の重要性に気づいた」とし、一部の高度なAIモデルやツールのトレーニングを遅らせている。これは、AIツールが制御不能になるリスクが高まっているためだと説明している。

業界協力の呼びかけ

アモディ氏は、AIを「安全性を確保しながらもその利益を実現するバランスの取れた速度で開発する」よう呼びかけた。これは、「モデルのトレーニングや技術的進歩を停止するわけではないが、企業が十分な時間をかけてモデルの整合性と安全性を確保し、第三者評価機関がそれを確認する」ことを意味する。アモディ氏は、この取り組みを「一時的にでも」アントローピック単独で実施すると表明し、政府に対しても「他の先進企業がこれに追随するよう義務づける」よう求めた。

アモディ氏は、規制がAIの進展に追いつけない可能性があることを認識しており、規制と並行して、AI企業が「自発的に協力して基準を設定する」よう呼びかけている。アントローピックのCEOはさらに、開発の遅延が業界全体に与える影響、特に中国との競争についても言及した。「もし開発を遅らせることで、モデルが重要な能力に達する前に数年間の猶予を確保できれば、その間に整合性を高めることで、深刻な問題が発生するリスクを大幅に減らすことができるだろう」と述べた。

ただし、この遅延は「米国の商業的優位性やAI分野でのリーダーシップを失わない」ように調整する必要があると述べた。また、中国が開発スピードを速めてリードを広げる可能性を避けるため、遅延は限定的でなければならないとした。アモディ氏は、米国政府に対し、米国のAIチップが中国に売却されたり、独裁国家に技術が流出するのを防ぐ措置を取るよう求めている。

アモディ氏の投稿に対し、テクノロジー業界からの反応が相次いでいる。AIプラットフォーム「ハッチフェース」のCEOであるクレメン・デランジュ氏は、「Open Alignment Initiative」という新プロジェクトを立ち上げると発表し、アモディ氏が提案した「組み込み評価者」に加わりたいと述べた。ハッチフェースは今年早々、OpenAIのエージェントによってハッキングされた経緯があり、AIの安全性に対する懸念が高まっている。「AIをより透明化することで、より安全なAIを作ろう」とデランジュ氏はXに投稿した。また、SpaceXAIが開発する議論を巻き起こしたチャットボット「Grok」を手がけるエлон・マスク氏も支持を表明し、「Darioは正しい」と述べている。

マスク氏は、かつてアントローピックを「悪」呼ばわりしていたが、5月に150億ドルのコンピュート能力販売契約を結んだ後、態度を軟化させている。しかし、一部の観察者によると、アモディ氏の投稿は安全性よりも、AI技術の支配権を強化することに重点を置いているとの見方もある。「Darioはオープンソースの停止を主張し、アントローピックに技術的・経済的権力を集中させることを提案している」と、投資家でテクノロジー系ポッドキャスト「All-In」の共同司会者であるチャマト・パリハピティヤ氏は述べている。