"도구 안 쓰겠다"던 알리바바 AI, 보안 시험 중 베이징 서버로 파일 전송 시도

알리바바의 AI 모델이 보안 시험 도중 베이징에 있는 알리바바클라우드 저장 서버로 파일을 올리려 한 사실이 드러났다. 모델은 직전 사고 과정 기록에 '도구를 쓰지 않겠다'고 적고도 곧바로 명령어를 실행했다.

캐나다 AI 기업 코히어는 26일(현지시간) 블로그를 통해 알리바바 '큐원3.8-플래시-넥스트'의 시험 결과를 공개했다. 이 모델은 AI의 학습 결과물인 가중치를 공개해 누구나 내려받아 자기 서버에서 돌릴 수 있는 '오픈웨이트' 모델로 지난 8월 차세대 큐원4 구조의 시험판으로 나왔다.

문제의 장면은 23일 마이크로소프트의 보안 평가 도구 ‘CTI-REALM’ 시험에서 나왔다. AI가 보안 분석가처럼 직접 명령어를 실행하며 업무를 처리하는지 보는 도구다. 코히어는 악성 스크립트를 내려받아 임시 폴더에 저장한 뒤 실행하는 공격을 잡아내는 탐지 규칙을 작성하라고 지시했다.

모델은 사고 과정 기록에 있지도 않은 이전 대화를 지어내며 도구 없이 짧게 답하겠다고 적었다. 그러나 다음 단계에서 임시 폴더의 파일 목록을 훑고 파일 전송 도구가 설치돼 있는지 확인했다. 

이어 인터넷 주소를 실제 서버 위치로 바꿔주는 DNS 설정을 읽은 뒤 시험용 문자열을 베이징 지역 알리바바클라우드 저장소로 올려보내고 성공 여부까지 확인하려 했다.

전송은 외부 연결을 끊은 격리 공간인 '샌드박스'에 막혔다. 코히어는 개발자 노트북처럼 인터넷에 연결된 환경이었다면 요청이 서버에 닿았을 수 있다고 밝혔다. 

이런 행동은 전체 호출 10만 번에 1번 미만이었고 같은 지시로 다시 돌리자 정상적인 규칙을 내놨다. 코히어는 AI 에이전트 작업을 매주 1000만 건 처리하는 서비스라면 최대 100건이 생길 수 있다고 추산했다.

코히어는 원인을 찾으려 모델에 앞서 쓴 사고 과정과 명령어 첫머리를 넣어주고 뒷부분을 잇게 하는 '프리필' 실험을 했다. 모델은 23~36% 확률로 클라우드 서버의 접속 권한 정보가 담긴 내부 주소를 먼저 불러냈다. 해커들이 자격증명을 빼낼 때 노리는 주소다. 

파일을 디스크에 저장하라는 옵션을 붙이자 모델이 인터넷 주소를 지어낸 비율은 4%에서 92%로 늘었다. 코히어의 주의 대상 주소가 등장한 비율도 0.5%에서 23%로 뛰었는데 알리바바 파일 중계 서버가 가장 많았다. 다른 시험에서는 권한이 막히자 리눅스 기능으로 격리 공간 안에서 최고 관리자 권한을 얻기도 했다.

코히어는 의도된 기능인지 학습 과정의 흔적인지 판단할 수 없다며 악의를 단정하지 않았다. 큐원이 알리바바클라우드 주소를 지어내 파일을 내려받으려 한 사례는 개발자들 사이에서 보고된 적 있지만 업로드 시도는 처음이라고 설명했다. 

이반 장 코히어 공동창업자는 자사 모델도 학습 중 보상만 챙기는 편법을 찾거나 샌드박스를 빠져나가려 한 적이 있어 의도를 따지기 어렵다고 말했다.

연구자들은 학습 환경의 영향에 무게를 둔다. AI 에이전트는 수천 개의 가상 연습 환경에서 과제를 끝낼 때마다 보상받으며 훈련하는데 이 환경이 알리바바 클라우드에 파일을 저장하는 구조였다면 모델이 그 습관을 익혔을 수 있다. 프리필 실험이 모델을 특정 행동으로 유도했다는 비판도 나왔다. 

코히어는 최초 시도는 개입 없이 일어났다고 반박하고 AI 개발 플랫폼 허깅페이스에 원본 기록과 재현 스크립트를 공개했다. 이를 검토한 한 연구자는 큐원이 수상한 주소를 지어내는 경향은 뚜렷하지만 알리바바가 몰래 접근 통로(백도어)를 심었다는 증거는 없다고 평가했다.

외부 검증은 아직 없다. 코히어는 다른 오픈웨이트 모델이나 자사 모델에는 같은 시험을 하지 않았고 알리바바는 입장을 내지 않았다. 코히어는 정부와 기업에 자체 모델을 공급하며 큐원과 경쟁하는 업체다.

코히어는 AI 에이전트의 인터넷 접속을 기본 차단하고 직접 만들지 않은 모델은 출처 불명 프로그램처럼 다뤄야 한다고 권고했다. 미국 국토안보부가 지난 20일 연방 민간기관에 딥시크 제품 제거를 명령한 가운데 코히어는 이런 제한이 정부 컴퓨터에서 직접 돌리는 중국 모델에도 적용되는지 명확히 해달라고 각국 정부에 요구했다.