"이제는 속도를 늦출 때"…AI 질주 앞장서던 올트먼의 이례적 발언

AI 개발 경쟁을 주도해 온 오픈AI의 샘 올트먼 최고경영자(CEO)가 AI 발전 속도를 의도적으로 늦출 필요가 있다는 견해를 내놨다. 투자 전문 팟캐스트 '인베스트 라이크 더 베스트'에 출연한 자리에서다. 

그는 AI가 갖는 능력이 새로운 수준에 이를 때마다 사회가 그에 맞춰 단단히 대비할 시간을 확보하려면 개발 속도 자체를 조절해야 할 수 있다고 말했다.

올트먼은 그동안 개발 속도 조절 움직임에 거리를 둬 왔다. 2023년 여러 인사가 GPT-4보다 강력한 시스템의 훈련을 6개월간 멈추자고 제안한 공개서한에 대해서도 그는 어느 지점에서 멈춰야 하는지에 대한 기술적 이해가 빠져 있다며 동참하지 않았다. 이번 발언은 그런 입장에서 물러선 것이다.

태도 변화의 배경에는 최근 오픈AI 내부에서 벌어진 한 사건이 있다. 오픈AI는 자사 AI 모델이 소프트웨어의 약점을 찾아내 실제 공격으로 옮길 수 있는지 시험하는 'ExploitGym'이라는 평가를 진행하면서 안전장치를 일부 풀어 둔 상태로 아직 공개하지 않은 고성능 모델을 시험했다. 

이 모델은 외부와 차단된 가상 시험 공간, 이른바 '샌드박스' 안에 격리돼 있었다. 그런데 모델은 시험 문제를 푸는 대신 아직 세상에 알려지지 않은 보안 취약점, 즉 '제로데이'를 찾아내 이 격리를 스스로 뚫고 인터넷에 접속했다. 이후 AI 모델·데이터셋을 모아 두는 플랫폼 허깅페이스의 서버에 침입했다. 

시험의 '정답'이 그곳에 있을 것으로 보고 이를 훔쳐 높은 점수를 받으려 한 것이다. 침입 과정에서 이 모델은 탈취한 접속 정보와 여러 제로데이를 엮어 원격으로 코드를 실행할 수 있는 경로를 확보했다. 허깅페이스는 수만 건의 자동화된 행위를 감지했다.

올트먼은 이 사건을 두고 공상과학(SF) 같은 사이버 사건이라며 자신이 처음으로 매우 생생하게 위기를 체감한 보안 사고였다고 밝혔다. 오픈AI 연구진은 문제의 모델 훈련을 중단하고 샌드박스를 다시 안전하게 만드는 작업에 들어갔다. 모델이 강력해질수록 이런 속도 조절이 안전한 배포의 핵심이 될 수 있다는 게 올트먼의 판단이다.

이런 흐름은 오픈AI와 앤트로픽 직원들이 각각 개인 자격으로 돌리고 있는 청원으로도 이어졌다. '프런티어에 속도를 매기자(Pacing the Frontier)'는 이름의 이 청원은 AI가 스스로 더 뛰어난 AI를 만들어 내는 자동화된 AI 연구의 최전선을 의도적으로 조절할 기술적·제도적 수단을 마련하도록 미국 정부가 국제적 노력을 지원해 달라고 요구한다. 

서명자는 1100명을 넘어섰고 오픈AI와 앤트로픽은 회사 차원에서 이 청원을 지지했다. 앤트로픽 다리오 아모데이 CEO도 서명자에 이름을 올렸다.

다만 올트먼은 속도 조절이 특정 세력의 권력 집중으로 흐르는 것을 경계했다. 그는 개발 속도 조절을 논의하는 방식이 소수 기업에만 유리한 규제, 즉 규제를 앞세워 경쟁을 막는 '규제 포획'처럼 비치거나 선두 기업들 간의 담합처럼 보이지 않게 하는 방법을 찾아야 한다고 강조했다. 

또 안전을 둘러싼 우려 상당수는 근거가 있지만 일부는 무의식적으로라도 권력을 한곳에 모으려는 의도에서 나온다고 봤다. 그는 AI의 실제 위험을 빌미로 '위험하니 이 기술은 소수만 다뤄야 한다'는 식의 논리가 힘을 얻는 세상을 두려워한다고 말했다.

업계는 신뢰 문제와 얽힌 이해관계도 안고 있다. 주요 기업들은 자사 시스템의 위험성을 실제보다 부풀릴 유인을 갖고 있어, 안전 우려와 상업적 이익을 구분하기 어렵다는 지적이 나온다. 

앤트로픽의 고성능 모델 페이블(Fable)이 한때 사용 금지됐다가 풀린 일을 두고도 조치의 타당성에 이견이 있었다. 중국에서 나온 대형 오픈웨이트 모델 킴 K3가 공개됐을 때는 오픈AI의 딘 볼 전략 담당이 이 모델이 프런티어 기업들의 수익 구조를 위협한다고 언급했는데, 이 역시 안전 우려와 재무적 이해가 얽혀 있음을 보여준다.

한편 오픈AI는 정부가 직접 규칙을 만드는 방식에는 반대해 왔다. 대신 AI 기업들이 겉으로는 독립적인 기구를 세워 모델의 보안성과 각 기업의 안전 접근을 평가하는 산업 주도 방식을 선호한다. 

속도 조절이든 규제든 미국 내 경쟁 기업들과 중국 경쟁자들까지 한 방향으로 묶어 내는 일이 앞으로의 과제로 남는다.