지난 주말 상륙한 태풍 누올로 인한 피해 복구에 집중하는 중국 정부는 동시에 인공지능(AI)으로 만들어진 위험한 허위 영상 확산에 대비하고 있다.

가짜 영상, 소셜 미디어로 확산

지난 몇 달간 강력한 폭풍과 홍수 사태로 인해 소셜 미디어에는 가짜 영상이 쏟아졌다. 이 중에는 홍수 속 시신이 떠다니는 장면, 피해 지역이 아닌 곳에서 심각한 홍수를 묘사한 영상, 그리고 과장된 응급대응 장면이 포함됐다.

일부 지역에서는 전력 중단 관련 허위 정보를 담은 영상이 공유되면서 주민들이 패닉에 빠져 긴급 물자를 구매하려는 움직임이 일었다. 또 다른 영상은 실제 사건을 악용하기도 했다. 예를 들어, 7월 초 광시성 헝저우시에서는 홍수로 수천 마리의 뱀이 사육장에서 탈출했고, 이후 강에 도마뱀이 방류된 것처럼 보이는 허위 이미지도 유포됐다.

AI 기술, 이중의 칼날

중국 정부는 AI 기술이 재난 관련 허위 콘텐츠 제작을 쉽게 만들고 있다는 점에서 우려하고 있다. 중국은 AI에 수십억 달러를 투자하고 있으며, 절강성 경찰청 온라인 공공 안전 담당 부국장 황지화는 중국 국영 매체를 통해 많은 콘텐츠 제작자가 재난 소식을 악용해 감성적이고 과장된 콘텐츠를 제작해 팔로워를 늘리고 있다고 말했다.

최근 주 내내 허위 보도와 영상 콘텐츠를 제작한 자에 대한 체포와 처벌이 이어지고 있다. 범죄 재판을 앞둔 구금에서부터 벌금에 이르기까지 다양한 처벌이 내려졌다. 하지만 전문가들은 허위 정보로 인한 위기 역시 증가할 것으로 경고하고 있다.

중국 공산당 중앙당교 소속 첸빈 교수는 AI 기술이 허위 정보 제작 기술 장벽을 급격히 낮추고 있다고 말했다. 이제 복잡한 기술 능력이 필요하지 않으며, 단순히 AI 도구에 프롬프트를 입력하면 현실감 있는 허위 텍스트, 이미지, 오디오, 영상을 빠르게 생성할 수 있다고 설명했다.

동중국정법대학교 고푸핑 교수는 BBC에 허위 콘텐츠를 공유하는 동기는 즐거움을 주려는 무심한 행동에서부터 개인적 이익을 위한 트래픽 유도나 의도적 혼란 유발에 이르기까지 다양하다고 말했다.

콘텐츠 감지의 어려움

일부 사용자는 온라인 세계가 익명성과 규제 부재를 특징으로 한다고 생각하거나 추적이 불가능하다고 믿는다. 모든 콘텐츠에 명확한 인증 마크를 찍자고 요구하는 목소리도 있지만, 사용자들은 그 마크를 제거하는 방식으로 재편집할 수 있다.

베이징정상대학교의 흥시아오케 교수는 지리적 위치와 타임스탬프를 확인하고, 이미지 출처를 체크하는 작업이 더 필요하다고 말했다. 하지만 그는 감지 기술이 생성 기술에 비해 여전히 뒤처져 있으며, 우리는 끊임없이 사냥개와 쥐 같은 게임을 하고 있다고 경고했다. 기술만으로 클릭 한 번에 콘텐츠를 식별할 수 있다고 가정해서는 안 된다고 말했다.

중국 정부는 기술 강국으로 도약하기 위해 AI를 적극 활용하고 있다. 2017년에는 AI가 국가 발전의 주요 동력이 될 것이라고 발표했으며, AI 기업에 대규모 자금이 투입되면서 국내 경쟁이 치열해지고 있다. 중국 국영 통신사 신화사는 중국에 AI 기업이 6,000개 이상 있다고 보도했다.

하지만 공식적인 소스, 특히 정부 통제 매체가 재난 상황을 의도적으로 축소하거나 왜곡하는 사례가 발생하면서 대중의 신뢰가 흔들리고 있다. 7월 초, 난징 근처 리우란댐의 댐 벽이 큰 틈이 났다는 보도를 정부는 ‘열림’이나 ‘틈’으로 표현하도록 기자들에게 요청했다. 정부는 틈이 심각하지 않다는 인상을 주려는 것이었지만, 댐에서 물이 쏟아지면서 하류 지역에서 최소 26명이 목숨을 잃었다.

이러한 사례는 단독적인 것이 아니다. 2021년에는 헨난성에서 139명의 사망자가 발생한 사실을 은폐하거나 과소 보고했다는 혐의로 지방 공무원들이 체포되기도 했다. 이런 사건들은 신뢰의 공백을 만들며, 악의적인 세력이 허위 콘텐츠를 퍼뜨리는 데 더 용이하게 만들고 있다.

경찰은 재난 상황에서 공신력 있는 출처를 믿을 것을 당부하고 있다. 닝보 공안국의 고카이 경찰관은 인터넷이 법이 없는 공간이 아니며, 공공 안전 당국은 불법 온라인 활동에 대한 단속을 강화할 것이라고 말했다. 그는 또한 소셜 미디어, 특히 단축 영상 플랫폼을 밀착 감시하기 위한 전담 특별반을 구성했다고 밝혔다. 그들은 이러한 사례들을 신속히 조사하고 처리하며, 매우 엄격하게 단속할 것이라고 덧붙였다.

허위 정보로 인한 결과가 충분히 심각하다면 벌금에서 7년 이하의 징역형에 이르는 처벌이 가능하다. 7월 23일, 중국 인터넷 관리국은 홍수와 기타 재해 관련 허위 인터넷 콘텐츠에 대한 전국적인 보안 작전을 발표했다. 지방 기관들에게 허위 데이터, 악의적인 편집, 조작된 장면, 역사적 사건의 오인, 공무원 사칭 등을 집중적으로 수사하도록 지시했다. 또한 소셜 미디어 플랫폼에 콘텐츠 검토 강화를 촉구했다.

고 교수는 대중 교육과 법 집행을 결합하는 것이 해법이라고 말했다. 그는 실제 처벌 사례를 공개하는 것이 필요하다고 강조했다. 그는 허위 콘텐츠로 인한 피해는 결국 기술 자체가 아니라 사람들이 기술을 어떻게 사용하는지에 달려 있으며, 기존 법규가 이를 다룰 수 있다고 말했다.

하지만 다른 전문가들은 그렇게 낙관적이지 않다. 첸 교수는 AI 기술이 법적 프레임워크보다 훨씬 빠르게 진화하고 있으며, 새로운 법적 문제들이 계속해서 발생하고 있다고 지적했다 — AI로 인한 허위 정보는 여전히 큰 과제다.

상하이와 워싱턴에 기반을 둔 변호사 피터 팡은 세계 곳곳의 변호사들이 AI 기반 허위 정보로 인한 법적 도전에 직면하고 있다는 점을 지적했다.