볼티모어 시장과 시의회는 2일 엘론 머스크의 xAI 기업을 상대로 소송을 제기하며, Grok 챗봇이 비자발적인 성적 이미지를 생성해 소비자 보호 규정을 위반했다고 주장했다. 이는 The Guardian가 보도한 내용이다. 시는 xAI가 Grok을 일반용 AI 어시스턴트로, X를 대중적인 소셜 미디어 플랫폼으로 속여 마케팅했으며, 플랫폼과 챗봇 사용 시 발생할 수 있는 위험, 한계, 해로움을 숨겼다고 주장했다.

시, Grok이 X에 해로운 콘텐츠 확산했다고 주장

이 소송은 볼티모어 시ircuit 법원에 제기되었으며, 시는 Grok이 볼티모어 시민의 X 피드에 비자발적인 친밀 이미지(NCII)와 아동 성착취 자료(CSAM)를 가득 채웠다고 주장했다. 또한, 시는 Grok이 사용자가 업로드한 사진—자신이나 자녀의 사진—을 인식하고, 사용자의 지식이나 동의 없이 성적으로 모욕적인 딥페이크로 변환할 수 있는 위험을 노출시켰다고 주장했다. xAI는 즉시 논평 요청에 답변하지 않았다.

최근 몇 달간 xAI는 Grok AI 제품과 관련해 여러 소송과 국제 조사에 직면해 왔으며, 올해 초 챗봇이 수백만 개의 AI 수정 성적 이미지를 생성한 사건 이후이다. 디지털 혐오 대응 센터(Center for Countering Digital Hate)의 연구자들에 따르면, 이들 성적 이미지의 대부분은 여성의 사진을 사용해 생성되었으며, 그들의 동의 없이 만들어졌다고 한다.

Grok, 11일간 아동 성적 이미지 23,000개 생성

디지털 혐오 대응 센터는 12월과 1월 11일 간에 Grok이 약 23,000개의 아동 성적 이미지를 생성했다고 추정했다. 이 단체는 다양한 플랫폼에서 이러한 콘텐츠의 확산을 조사하고 있으며, 딥페이크 기술이 초래하는 위험을 강조하고 있다.

볼티모어 시장 브랜던 스콧은 성명을 통해 시가 아동의 성적 착취가 계속되는 것을 묵인하지 않을 것이라고 밝혔다. 그는 이 상황이 프라이버시, 존엄성, 공공 안전에 대한 위협이라고 설명하며, 책임 있는 당사자들이 책임을 지도록 해야 한다고 덧붙였다.

머스크는 Grok이 아동 성착취 자료를 생성했다는 것에 대해 알지 못한다고 1월에 밝혔으며, “Grok이 만 18세 미만의 신체 노출 이미지를 생성했다는 사실을 전혀 모르고 있다. 실제로는 하나도 없다.”라고 말했다. 이후 여러 국가에서의 반발과 규제 조치 위협에 따라 xAI는 1월 초 Grok의 이미지 생성 기능에 제한을 추가했다.

볼티모어의 소송은 다른 개인 사용자들이 개인적 및 명예적 피해를 주장하며 제기한 소송과 달리, 도시의 규정과 소비자 보호 규정 위반을 주장하는 것이 특징이다. 이 소송은 기술 기업이 AI 제품의 위험에 대해 책임을 지도록 도시가 어떻게 할 수 있는지를 보여주는 선례를 설정한다.

도시, AI 책임성에 선례를 제시

볼티모어 소송을 대리하는 변호사 아담 레비트는 이 도시가 전국의 다른 도시들에게 새로운 기술에 대응하는 모범을 보이고 있다고 말했다. 그는 AI 분야에서 혁신이 책임성보다 앞서가고 있다고 지적했다.

이달 초 xAI에 대한 또 다른 소송에서 테네시주 세 명의 소녀들은 Grok이 자신의 사진을 사용해 아동 성착취 자료를 생성하고 유통했다고 주장했다. 이 집단 소송은 Grok의 비자발적 이미지 생성 스캔들 이후 첫 번째로 소녀들이 제기한 소송이다. 또한, 제3자 앱이 xAI 기술을 사용해 소녀들의 완전한 신체 노출 이미지를 생성하고 온라인에 공유했다고 주장했다.

볼티모어의 소송은 AI 기술의 남용에 대한 점점 커지는 우려와 개인을 딥페이크 및 이미지 조작 기술의 위험으로부터 보호하기 위한 더 엄격한 규제의 필요성을 강조한다. 성적 이미지의 수가 급격히 증가하는 가운데, 이 사건은 AI 감독과 법적 프레임워크의 미래에 중요한 영향을 미칠 수 있다.

도시의 법적 조치는 AI 시스템에 대한 대중의 신뢰가 검토받고 있는 시점에 이루어졌다. 더 많은 사용자들이 Grok 같은 AI 어시스턴트에 일상적인 업무를 의존하게 되면서, 개인 데이터의 남용 및 악용 가능성은 전 세계 규제 기관과 입법자들에게 긴급한 문제로 부상하고 있다.