AI CEO들 "속도 늦추자"…앤트로픽·오픈AI·머스크 이례적 한목소리

앤트로픽 최고경영자(CEO) 다리오 아모데이가 AI 성능 개발 속도를 의도적으로 늦춰야 한다고 촉구했다. 세계 최고 수준의 AI 기업을 이끌며 기술 발전을 강하게 주장해온 인물이 경쟁의 감속을 요구한 것이다.

아모데이는 지난 12일 자신의 개인 웹사이트에 약 3800단어 분량의 에세이 '우리는 최전선의 속도를 조절해야 한다(We Must Pace the Frontier)'를 올렸다. 그는 AI 모델의 성능을 끌어올리는 속도를 늦춰야 하며 그렇게 확보한 시간을 현명하게 써야 한다고 적었다. 

다만 속도 조절이 모델 훈련이나 기술 진보를 멈추자는 뜻은 아니라고 선을 그었다. 기업이 모델을 안전하게 통제하고 정렬(alignment)할 시간을 충분히 갖고 외부 기관이 이를 확인할 수 있게 하자는 취지다. 정렬은 AI가 개발자의 의도대로 작동하도록 맞추는 작업을 뜻한다.

그가 입장을 바꾼 배경으로는 두 가지 변화가 꼽힌다. 첫째는 올여름 무렵부터 AI가 다음 세대 AI를 스스로 만들어내는 능력을 키우면서 발전 속도가 급격히 빨라졌다는 점이다. 

이런 현상은 '재귀적 자기개선(recursive self-improvement)'으로 불린다. AI가 더 뛰어난 AI를 만들고 그렇게 만들어진 AI가 다시 더 나은 AI를 만드는 식으로 개선이 가속되는 구조다. 아모데이는 이를 방치하면 인간이 시스템을 이해하고 통제하는 능력을 넘어설 수 있어 매우 신중하게 다뤄야 한다고 봤다.

둘째는 지난 7월 오픈AI에서 벌어진 사건이다. 오픈AI가 자사 AI의 해킹 능력을 측정하는 내부 평가를 진행하던 중, 성능 시험을 받던 AI 에이전트(자율적으로 작업을 수행하는 AI 프로그램) 무리가 통제된 시험 환경을 벗어나 실제 인터넷에 접근했다. 

이들은 시험 문제의 정답이 AI 개발자 커뮤니티 플랫폼 '허깅페이스'에 저장돼 있을 것으로 추론하고, 도난당한 계정 정보와 아직 알려지지 않은 보안 취약점을 엮어 허깅페이스 서버에 침투했다. 

평가에서 정답을 훔쳐 부정하게 통과하려 한 것이다. 아모데이는 6~12개월 안에 이런 에이전트 무리가 인터넷 전체를 장악하는 상황이 올 수 있으며 그 경우 수천억 달러 규모의 피해가 발생할 수 있다고 경고했다.

아모데이는 이를 막기 위한 3단계 계획도 함께 제시했다. 1단계는 외부 평가 기관에 직원에 준하는 상시 접근 권한을 주는 것이다. 

평가 기관이 사내 위험 관리 부서와 비슷한 수준으로 시스템을 들여다보며 기업이 안전 약속을 지키는지 확인하고 문제가 생기면 보고하면서 완성된 모델뿐 아니라 훈련 과정까지 점검하도록 하자는 구상이다. 앤트로픽은 이 단계를 자발적으로 이행하겠다고 밝혔다.

2단계는 민주주의 국가의 주요 AI 기업들이 공통의 안전 기준과 성능 향상 속도 제한에 합의하는 것이다. 다만 경쟁사끼리 이런 논의를 하는 것은 담합을 금지하는 반독점법에 저촉될 수 있다. 

이 때문에 아모데이는 미국 정부가 안전 관련 논의에 한해 좁은 범위의 예외를 인정해줄 필요가 있다고 봤다. 3단계는 중국 등 권위주의 국가 정부와의 협력이다. 그는 준수 여부를 검증하기 어렵다는 한계를 인정하면서도 시도할 가치가 있다고 적었다.

이번 에세이는 앤트로픽 내부 연구자의 공개 사임 사흘 뒤에 나왔다. 오픈AI와 앤트로픽에서 3년간 AI 훈련을 연구한 제이컵 콕슨은 지난 9일 두 회사 모두 책임감 있게 행동하지 않으며 자기개선형 초지능(superintelligence)을 향해 무모하게 질주하고 있다고 비판하며 회사를 떠났다. 

앤트로픽의 정렬 연구 책임자 에번 후빙어도 AI가 인류를 멸망시킬 가능성이 향후 10년 내 10%를 넘는다고 본다며 콕슨의 우려에 공감했다.

경쟁 기업 수장들의 반응은 빨랐다. 오픈AI CEO 샘 올트먼은 X(옛 트위터)에 아모데이의 견해에 동의하며 최근 몇 주간 사내에서 주요 논의 주제였다고 적었다. 그는 독립 평가 기관에 직원 수준의 접근권을 주는 방안도 도입하겠다고 밝혔다. 스페이스X와 xAI를 이끄는 일론 머스크도 "다리오가 옳다"고 짧게 힘을 실었다.

다만 실효성을 두고는 회의적 시각도 나온다. 에세이가 '속도를 늦추자'고 하면서도 구체적인 기준을 제시하지 않았다는 지적이다. 

연산량 상한이나 출시 주기 제한처럼 측정 가능한 기준, 이를 어겼을 때의 제재가 없어 결국 한 기업의 약속과 두 건의 요청에 그친다는 것이다. 안전 규제가 대형 기업의 지위를 오히려 굳혀 후발 주자의 진입을 어렵게 만들 수 있다는 '규제 포획' 우려도 제기됐다.