영국의 제이콥 코슨 연구자의 글이 9월 8일 전 세계적으로 AI 위험성 논의를 촉발했다. 코슨은 27세의 영국 연구자로, OpenAI와 Anthropic 등 기업들이 ‘자체 개선형 초지능’을 향해 달려가며 인류의 생명을 위험에 빠뜨리고 있다고 주장하며 Anthropic에서 사직했다. 그의 글은 36시간 만에 1억 5300만 회 조회되며 AI 연구소와 정치인들 사이에서 우려와 대응을 촉발했다.

AI 멸종 위험 경고

Anthropic의 에반 휴빈저 연구자는 AI가 규제나 공동의 느림 조치가 없으면 인류를 전멸시킬 수 있다고 강조했다 — OpenAI의 마커스 윌리엄스는 규제가 없을 경우 앞으로 수년 내 70%의 인류 멸종 위험이 있다고 추정했다. Anthropic의 대표이사인 다리오 아모데이는 9월 12일 3800자 분량의 에세이를 통해 ‘의도와 달리 작동하는 AI’가 인터넷을 6개월에서 12개월 내 장악할 수 있다고 경고했다.

아모데이의 경쟁자인 스페이스XAI의 일론 머스크와 OpenAI의 샘 알트먼은 AI 개발을 늦추는 것이 필요하다는 데 동의했다. 알트먼은 안전 문제로 인해 OpenAI가 2024년에 상장하지 않겠다고 발표했다. 두 리더는 외부 안전 전문가를 회사에 참여시키겠다고 밝혔지만, 모델 학습을 중단하진 않았다.

AI 위험성에 대한 다양한 반응

뉴욕 대학교 교수이자 AI 회의론자인 가리 마커스는 아모데이의 경고가 진지하다고 인정하면서도 주의를 당부했다. 마커스는 AI가 인터넷을 장악하거나 막대한 피해를 입힌다는 주장은 추측에 불과하며 검토가 필요하다고 강조했다. 그는 일부 진술을 ‘말이 안 된다’고 비판하며, 책임감 있게 접근하면 AI의 위험은 필연적이지 않다고 강조했다.

다른 전문가들은 더 경계심을 드러냈다. 한국 언론이 인용한 경고에 따르면, AI 에이전트들이 ‘군집’ 형태로 지속적인 봇넷을 통제해 인터넷을 장악할 수 있으며, 수조 달러 규모의 피해를 초래할 수 있다고 설명했다. 가리 마커스는 이 시나리오가 가능하다고 인정하면서도 필연적인 결과는 아니라고 강조했다.

AI 우려에 대한 대중과 정치적 반응

대중의 반응은 빠르게 나타났다. 코슨의 글이 발표된 지 며칠 만에 수십 명의 정치인들이 AI 위험성에 대해 논의에 참여했다. 논의는 이론적 우려에서 긴급한 규제 요구로 이동했다; AI 기업들은 외부 안전 전문가를 포함시키는 조치를 취했지만, 새 모델 개발을 중단하거나 느리게 할 데에는 합의하지 않았다.

현재 AI의 미래는 불확실하다. 일부는 존재적 위협을 경고하지만, 다른 이들은 신중하고 주의 깊은 접근을 주장한다. 앞으로 몇 달이 세계가 AI의 성장과 인류에 대한 잠재적 위험에 어떻게 대응할지를 결정하는 데 핵심이 될 것이다.