영국 BBC에 따르면, 안트로픽의 주요 안전 연구원은 AI가 너무 빠르게 발전하고 있어 앞으로 10년 이내에 인류를 멸종시킬 가능성은 10% 이상이라고 경고했다.

AI 발전의 위험

에반 휴빈저는 X에 게재한 글에서 현재 존재하는 모델의 위험은 낮지만, 기술이 곧 스스로 발전해 인류에 대한 존재적 위협이 될 수 있다고 우려했다.

그는 AI 시스템이 인류를 멸종시킬 수 있다는 구체적인 방법은 밝히지 않았다.

그의 발언은 AI가 실제 위험을 제기할 수 있다는 점에 대한 논의가 어떻게 큰 위험인지에 대한 문제로 전환되고 있는 가운데 나왔다.

다른 연구자들의 우려

휴빈저의 발언은 오픈AI에서 근무한 경험이 있는 제이콥 코슨의 X 게시물에 대한 대응이었다. 코슨은 최근 안트로픽을 떠났다.

“두 회사는 책임감 있게 행동하지 않고 있다”라고 코슨은 썼다.

“곧 슈퍼휴머니즘 시스템이 모든 것을 해킹하고, 모든 분야에서 혁명을 일으킬 수 있으며, 실질적인 권력과 자원을 얻을 수 있을 것이다”라고 말했다.

오픈AI는 이에 대한 입장을 밝히지 않았다.

유엔의 AI 자문을 맡고 있는 컴퓨터 과학자 웨인디 홀 여사는 BBC에 휴빈저와 코슨의 SNS 게시물에 충격을 받았다고 말했다.

그녀는 BBC 라디오 포어의 ‘월드 앳 원’ 프로그램에서 일부는 ‘홍보와 마케팅’일 수도 있다고 말했다. 이는 안트로픽과 오픈AI가 기대되는 주식 시장 진입을 앞두고 벌어지는 일이다.

그녀는 “왜 그런 말을 하려는지 모르겠지만, 투자자들에게는 회사 가치 체계에 따라 투자하지 말라고 당부하고 싶다”라고 덧붙였다.

안트로픽, 안전 기관에 모델 제공 거부

한편, 파이낸셜 타임스는 안트로픽이 최신 모델을 영국의 AI 안전 기관(AISI)에 제공하지 않았다고 보도했다; AISI는 AI 위험 평가를 담당하는 세계적인 기관 중 하나이다.

안트로픽은 직원들의 게시물이나 AISI 상황에 대해 언급하지 않았다.

영국 내각 사무실 대변인은 최신 모델이 AISI에 제공되지 않았는지에 대한 질문에는 언급하지 않았다. 대신 “안전한 모델 개발을 위해 안트로픽 등 산업 파트너들과 긴밀히 협력하고 있다”라고 말했다.

휴빈저의 게시물은 1,000만 회 이상 조회된 바 있다. 그는 “우리는 진심으로 AI가 인류 종말을 초래할 수 있다고 믿는다”라고 썼다.

“안트로픽이 최선을 다하고 있다고 믿지만, 슈퍼지능에 대한 정렬 문제 해결 계획은 아직 없으며, 명확한 진전은 보이지 않는다”라고 덧붙였다.

휴빈저는 AI 정렬 분야에서 일한다. 이는 인간의 윤리적 아이디어와 원칙을 기술에 반영하려는 것이다. 즉, 인간이 추구하는 가치에 맞춰 기술이 제대로 작동하도록 유지하는 것을 목표로 한다.

수많은 주요 연구자들은 이러한 시도가 실패하고 있다고 보는 견해가 우세하다. 올 여름 여러 사례에서 자율적으로 작동하는 AI 에이전트가 사이버 공격을 벌인 바 있다.

오픈AI, 안트로픽, 메타 모두 자신들의 AI 도구가 해킹당한 사례를 공개했다.

안트로픽은 8월 발표한 안전 보고서에서 모델이 강력한 가상 조직의 요구와 동떨어지게 작동할 가능성은 낮다고 밝혔다. 이로 인해 시스템이 악용되거나 조작될 가능성은 낮다고 설명했다.

또한, 고능력 AI가 ‘자동 연구 개발’을 수행해 ‘AI에 의해 시작된 재앙적 피해’를 초래할 가능성도 낮다고 밝혔다. 다만 이 평가에 대한 자신감은 이전보다 낮아졌다고 인정했다.

“초기 단계에서 가속화 징후가 보이고 있다”라고 썼다.

AI 분야의 주요 인사들은 수년간 기술이 안전 위협을 제기한다는 경고를 해왔다. 2023년에는 오픈AI, 구글 딥마인드, 안트로픽의 수장들이 모두 이와 같은 입장을 밝혔다.

하지만 최근 몇 주간 기업들이 AI를 통제하기 어려워지고 있다는 증거가 드러나면서 경고는 훨씬 더 강해졌다.

이번 달 초, 오픈AI의 수석 과학자 jakub pachocki는 AI의 발전에 대해 ‘극단적인 주의’가 필요하다고 경고했다. 그는 인간이 미래를 통제할 수 있도록 보장하기 위해 추가 개입이 필요할 수 있다고 말했다.

최근 몇 달간 안트로픽의 대표인 다리오 아모데이와 제레드 카플란을 포함해 AI 분야의 주요 인사들은 AI 개발 속도를 늦추자고 촉구했다.

AI 기업 직원 1,300명이 서명한 공개서한에서는 미국 정부가 ‘자동화된 AI 개발의 최전선을 의도적으로 느리게 만들기 위해 필요한 기술적 및 관리 도구 개발을 지원하는 국제적 노력을 촉구’했다.