AI 분야의 주요 인사들은 수년간 존재적 위협에 대한 경고를 반복해 왔다. 2023년 11월 블레치리 파크에서 열린 세계 최초의 AI 안전 정상회담에서는 가장 강력한 AI 모델이 초래할 수 있는 가장 심각한 위협에 집중했다. 당시에는 실제 위협이 일자리 감소나 시험 부정행위처럼 평범한 것으로 보였다. 3년이 지나자, 같은 목소리들이 더 이상 확신을 보이지 않는다는 점이 눈에 띈다. 지난 토요일, AI 기업 앤티크로픽의 대표인 다리오 아모데이가 개발 속도를 늦춰야 한다고 촉구했다. 경쟁사인 오픈AI의 샘 알트먼과 일론 머스크도 그의 주장을 지지했다.

업계 인사들이 존재적 공포 경고

이와 동시에, 앤티크로픽을 떠난 AI 연구자 제이콥 코슨은 일요일 BBC에 직원들이 인류의 미래에 대해 ‘진짜로 두려워하고 있다’고 말했다. 이처럼 AI 개발 감속을 촉구하는 목소리가 늘고 있지만, 이는 단순한 해결책처럼 들리지만 결코 쉬운 해결책은 아니다. 미국은 중국보다 가장 강력한 AI를 개발하는 경쟁에서 뒤처지지 않으려는 공포를 가지고 있다. 일요일, 도널드 트럼프 전 대통령은 자신의 입장을 분명히 밝혔다. 그는 미국이 중국보다 AI 경쟁에서 앞서 있다고 주장하며, “AI를 이기는 나라가 이긴다”고 말했다.

집행 과제와 회의론

중국은 두 번째가 되기를 원하지 않는다. 내가 만난 모든 사람들은 회사가 일시중단을 선언하더라도 다른 회사들은 그러지 않을 것이며, 결국 뒤처질 것이라고 말한다. 이는 핵무기 폐기 운동의 절정기와 비슷하다. 당시에도 아무도 먼저 나서고 싶지 않았다. AI 개발 감속이 실제로 집행될 수 있는 방식도 여전히 의문이다. 누가 감시할 것인가? AI 기업들이 개발 과정을 투명하게 공개할 것이라고 믿을 수 있을까? 무엇보다도 개발하지 않는 선택도 투명하게 공개해야 할까? 이는 엄청난 수준의 신뢰를 요구하는 문제이며, 기술 업계는 그 신뢰를 결코 얻지 못했다는 점이 문제다.

아모데이가 제안한 세 가지 계획에는 AI 모델 개발 과정을 독립적으로 감시하고, 업계 전체 규제와 글로벌 규제를 포함했다. 하지만 일부 관측가는 이 계획이 실제로 어떻게 작동할지에 대해 의문을 제기했다. EZ 프라이머리 리서치의 최고경영자 에드 지트론은 “아무도 ‘감속’이 무엇을 의미하는지 구체적으로 설명하지 않았다”고 말했다. “메트르에서 일한 전 앤티크로픽 이사가 있는 회사의 식물 하나를 모든 AI 기업에 배치하라는 말인가? 민주적이고 글로벌한 ‘협력’이라는 말은 나에게 아무런 의미가 없다.”

지트론은 AI 모델 개발을 중단하면 중국 경쟁사에 취약해질 수 있다고 말했다. “그들의 수익률은 향상될 수 있지만, 제품은 중국 연구소에서 분석되고 복제될 것이다. 가격 전략을 바꿔야 할 수도 있다. 나는 이 모든 과정이 어떻게 작동하는지 정확히 모르겠다. 이는 거품이 터지는 가능성이 있다. 하지만 지금은 ‘감속’이 무엇을 의미하는지에 대한 정보가 매우 부족하다.”

AI와 경제에 미치는 더 넓은 영향

영국에서는 NHS에서 AI 기술을 더 널리 도입해 환자 관리를 개선할 계획을 발표했다. 여름철에는 AI 덕분에 경제가 큰 도움을 받았다는 이야기도 들렸다. 우리는 모두 일, 교육, 개인 생활에서 AI 사용을 늘려야 한다는 권고를 받고 있다. AI 산업은 영국의 경제 성장을 촉진하기 위한 전략의 핵심이다. “B 계획은 없다”고 전 정부 자문관이 말했다. 그렇다면 AI 개발 감속은 영국의 미래 전망에 영향을 줄 수 있을까?

AI 산업은 엄청난 자금과 자연자원을 소비하면서도 아직 수익을 크게 창출하지 못하고 있다. 기술을 도입한 기업들이 실망하고 있다는 보도가 여러 차례 나왔다. 경제학자들은 현재 거대 기업들조차 생존하지 못할 가능성이 있으며, 어떤 형태로든 ‘균형 조정’이 일어날 것이라고 예측한다. 이른바 ‘거품 터짐’이다. 하지만 생존한 기업들은 지금까지 본 적 없는 최강의 거대 기업이 될 수 있으며, 그 자체로 또 다른 문제를 낳는다.

오픈AI가 주식 시장 진입을 중단한 것은 공공 안전을 책임지려는 깨달음의 순간으로 볼 수 있지만, 동시에 회사가 자신의 제품이 치명적이라는 인식 때문에 예상했던 수익을 얻지 못할 것이라는 현실을 인지한 결정일 수도 있다. 영국 AI 기업 시네시아의 알렉산더 보이카는 “우리가 지금 직면한 가장 큰 문제 중 하나는 이 기술이 어떻게 진화할지 아무도 확신할 수 없다는 점이다”고 말했다. “이 시스템들이 점점 더 강력해지고 있다는 것은 알고 있지만, 어디에서 어떻게 사용될지, 그리고 이들의 잠재력을 어떻게 최대한 활용할지 아직은 모르는 상태다. 규제를 서두르는 것이 문제라면, 오히려 역효과가 날 수 있다는 걱정이 있다.”

이 모든 기술 혁명을 뒷받침하고 있는 것은 투자자들의 거대한 자금이라는 사실은 부정할 수 없다. 지속 가능한 AI를 창설한 사샤 루치오니는 “AI의 존재적 위험보다는, 이 기술을 만드는 기업들의 이윤 추구에 걱정된다”고 말했다. UN에 AI 관련 자문을 제공한 영국의 컴퓨터 과학자인 완디 홀 여사 교수는 현재 위기는 기업들이 충분히 책임감 있게 행동하지 않는다는 점에서 비롯된다고 말한다. 그녀는 현재 상황을 ‘우물 속 소가 뛰어나와 파괴를 일으키고, 농부가 소를 탓한다’는 비유로 설명했다. “물론 소가 잘못이 아니고 농부다”고 말했다. “분명히 울타리가 충분히 튼튼하지 않았고, 지금 우리가 보는 AI 안전 장치도 바로 그런 상황이다.”

하지만 이러한 안전 장치가 너무 제한적이 되면, AI의 종말을 의미할 수 있을까? 일부는 “AI를 규제해 없애버리자”는 비밀리에 정치적 동기로 추진되는 규제 움직임이 있다고 보는 견해도 있다. 보수 성향의 캐피탈 리서치 센터 사고 연구소에서 일하는 파커 쎄어 연구원은 이번 주 X에 이에 대해 게시했다. 그의 게시물은 거의 800만 번 조회되었다. 이는 극단적이고