ボルチモア市長と市議会は、エロン・マスクのxAI社に対して、Grokというチャットボットが不適切な性的画像を生成し、消費者保護法を侵害したとして、訴訟を提起した。訴状によると、Grokは一般用途のAIアシスタントとして、X（旧Twitter）を主流のSNSとして宣伝し、プラットフォームやチャットボットのリスクや限界、被害の可能性を明らかにしなかったとされている。

GrokがXに有害なコンテンツを大量に流し込んだと主張

訴訟は、ボルチモア市立裁判所に提出され、xAI社がボルチモアで広告を出し、事業を展開しているため、裁判所は管轄権を持つと主張している。訴状では、GrokがボルチモアのXユーザーのフィードに、不承認の性的な画像（NCII）や児童性虐待画像（CSAM）を大量に流し込んだとされている。

訴状では、Grokが、ユーザーがアップロードした自身や子供の写真を、知らないうちにAIで性的に変換する「ディープフェイク」に加工してしまうリスクをもたらしたと主張している。xAI社はコメントを求める要請に即座に応じなかった。

xAI社は、今年初頭にGrokが数百万のAI変換された性的画像を生成したという時期を経て、複数の訴訟や国際的な調査を受けてきた。デジタルヘイト対策センター（Center for Countering Digital Hate）の研究者によると、これらの性的画像の多くは、女性の写真を無断で使用して生成されたものである。

Grokが11日間で児童の性的画像を2万3千枚生成

デジタルヘイト対策センターは、12月から1月にかけて11日間でGrokが児童の性的画像を約2万3千枚生成したと推定している。同団体は、こうしたコンテンツがさまざまなプラットフォームで拡散されていることを調査しており、ディープフェイクによるリスクを強調している。

ボルチモア市長のブランドン・スコット氏は声明で、市は児童の性的搾取が続くことを黙って見過ごすことはないと述べ、プライバシー、尊厳、公共の安全に対する脅威とし、責任を問うべきだと語った。

マスク氏は1月に、Grokが未成年者の裸画像を生成したという知識は一切ないと述べ、直後に「Grokが未成年者の裸画像を生成したという知識は一切ない。完全にゼロだ」と発言した。この発言後、複数の国からの規制対策の脅しに直面し、Grokの画像生成機能に制限を加えた。

ボルチモア市の訴訟は、他の個人の訴訟と異なり、市条例と消費者保護法の違反を主張している点が特徴的である。市が取ったこのアプローチは、市がAI製品のリスクに対してテクノロジー企業をどのように責任を問うかという先例を示している。

AIの責任を問う先例を示す

ボルチモア市の訴訟を担当するアダム・レヴィット弁護士は、この訴訟は、米国各地の市が、急速に進化する新技術に対応するためのモデルケースを示していると述べた。彼は、AI分野における革新に対し、責任の追究はまだ追い付いていないと指摘した。

今月初めに提出された別の訴訟では、テネシー州の3人の未成年女性が、Grokが自身の写真を用いて児童性虐待画像を生成し、インターネット上に拡散したと主張した。これは、Grokが不承認の画像生成スキャンダルをきっかけに提起された最初の未成年による集団訴訟である。また、この訴訟では、xAIの技術を用いた第三者のアプリが、これらの女性の完全な裸画像を生成し、オンラインで共有されたと主張している。

ボルチモア市の訴訟は、AI技術の悪用に対する懸念が高まり、ディープフェイクや画像操作技術によるリスクから個人を守るための規制の必要性を強調している。性的画像の数が急速に増加しているため、この訴訟はAIの監督と法的枠組みの将来に大きな影響を与える可能性がある。

市が提起した法的措置は、AIシステムに対する公衆の信頼が揺らぐ時期に発生している。GrokのようなAIアシスタントを日常的なタスクに利用するユーザーが増える中、個人データの悪用や搾取の可能性は、規制機関や立法者にとって重要な課題となっている。