[사이버보안]AI에 걸린 안전장치, 해커 막으려다 방어자 발목 잡는다

AI 기업들이 자사 모델을 악의적 해커가 쓰지 못하도록 걸어둔 안전장치가 정작 시스템을 지켜야 할 보안 전문가들의 작업을 가로막고 있다. 미국 IT 매체 테크크런치는 23일 공격형 보안 연구자들을 취재해 이런 실태를 전했다.

여기서 말하는 안전장치는 흔히 '가드레일'로 불린다. AI 모델이 특정 유형의 질문에 답을 거부하거나 위험한 결과물을 내놓지 않도록 걸어둔 제한 장치다. 문제는 보안 분야에서 공격과 방어의 경계가 명확하지 않다는 점이다.

발단은 6월이었다. 미국 정부는 앤트로픽이 내놓은 AI 모델 미토스와 페이블에 수출통제 조치를 내렸다. 두 모델은 6월 9일 공개됐는데 사흘 만에 상무부가 국가안보를 근거로 외국 국적자의 접근을 전면 차단하라는 지시를 내렸다. 앤트로픽 소속 외국 국적 직원까지 대상에 포함되면서 회사는 전 세계 이용자를 상대로 모델을 내릴 수밖에 없었다.

계기는 아마존 연구진의 보고서다. 페이블 5의 안전장치를 우회해 소프트웨어 취약점을 찾아내도록 유도하는 방법을 찾아냈고, 실제로 그 취약점을 공격할 수 있는 코드까지 만들어냈다는 내용이었다. 이렇게 제한을 우회하는 기법을 업계에서는 '탈옥(jailbreak)'이라고 부른다.

앤트로픽은 반발했다. 해당 기법이 모든 안전장치를 무력화하는 방식이 아니라 특정 상황에만 통하는 좁은 범위의 우회였고, 오픈AI의 GPT-5.5 등 수출통제를 받지 않는 다른 모델에서도 비슷한 결과를 얻을 수 있다는 설명이었다. 

좁은 범위의 탈옥이 발견됐다는 이유로 수억 명이 쓰는 상용 모델을 회수한다면 업계 전체의 신규 모델 배포가 사실상 멈출 것이라는 반론도 내놨다.

수출통제는 2주 반 만인 6월 30일 해제됐다. 앤트로픽이 위험을 사전에 탐지하고 조치하기로 합의하면서다. 회사는 7월 1일부터 페이블 5를 다시 공개했고, 미토스 5는 6월 26일 정부 승인을 받아 미국 내 일부 조직에만 복구했다. 이때 추가된 것이 '분류기(classifier)'다. 

본 모델과 별도로 돌아가는 작은 AI가 대화 도중 위험한 사이버보안 요청이나 출력을 감지하면 응답을 차단하거나 성능이 낮은 다른 모델로 넘겨버리는 구조다. 앤트로픽은 무해한 요청까지 걸러질 수 있다는 점을 인정했다.

현장에서 나오는 불만이 정확히 이 지점이다. 보안 컨설팅 기업 NCC그룹의 크리스 앤리 수석과학자는 발견한 버그가 실제로 공격에 쓰일 수 있는지 확인하려면 AI에게 직접 공격을 시도해보게 하는 과정이 필수라고 설명했다. 그런데 모델이 이 질문을 거부하면 방어 작업 자체가 막힌다. 

코드를 고쳐달라는 요청은 방어의 핵심 절차인 동시에 취약점을 찾는 지도 역할도 한다. 같은 도구가 공격용이면서 방어용이고 둘을 떼어낼 수 없다는 것이 그의 지적이다.

취약점을 정부기관에 판매하는 크라우드펜스의 파올로 스타뇨 최고기술책임자는 AI 기업들이 고객을 감시가 필요한 어린아이 취급한다고 비판했다. 다만 그의 회사도 상용 모델은 코드 구조를 파악하는 역분석 용도로만 쓴다. 

취약점 탐색이나 공격 코드 제작을 클라우드 기반 모델에 맡기면 민감한 정보가 유출되거나 향후 학습 데이터로 흡수될 수 있다는 이유다. 그 단계에서는 자체 서버에서 돌리는 오픈소스 모델을 쓴다.

보안기업 리모트스레트의 크리스 톰프슨 대표는 안전장치가 날마다 다르게 작동한다고 지적했다. 앤트로픽과 오픈AI가 운영하는 심사 프로그램 안에서도 마찬가지다. 취약점을 분석하는 대신 왜 결과가 들쭉날쭉한지 찾는 데 시간을 쓰게 된다는 것이다. 

그 결과 연구자들이 GLM 같은 중국산 오픈소스 모델로 옮겨간다고 그는 말했다. 내려받아 자기 장비에서 돌릴 수 있고 심사도 사용 제한도 없다.

이 흐름을 상징하는 사건이 지난주 실제로 벌어졌다. AI 모델 공유 플랫폼 허깅페이스가 오픈AI 기술로 만들어진 자율 실행 AI에게 침해당한 뒤, 공격 기록을 분석하려 했지만 미국 상용 모델들이 요청을 거부했다. 분석에 필요한 실제 공격 명령어와 공격 코드가 안전장치의 차단 대상이었기 때문이다. 

결국 중국 즈푸AI의 GLM 5.2를 자사 서버에서 직접 돌려 조사를 마쳤다. 미국 모델이 일으킨 사고를 중국 모델이 수습한 셈이다.

앤트로픽과 오픈AI 모두 심사를 거친 조직에는 제한을 완화한 접근권을 주고 있다. 오픈AI의 '사이버 신뢰 접근' 프로그램과 앤트로픽의 '사이버 검증 프로그램'이다. 다만 여기에 들지 못한 곳은 사실상 도구를 못 쓴다. 

익명을 요청한 스마트폰 부품 제조사 연구원은 소속 회사가 프로그램 대상이 아니어서 보안 관련 작업이라는 낌새만 보여도 모델이 작동을 멈춘다고 말했다. 톰프슨 대표는 규제를 더 조이는 대신 프로그램 문호를 넓히고 남용한 쪽에 책임을 묻는 방식을 제안했다. 

지금 구조에서는 책임 있는 연구자들이 미국이 통제하는 시스템에서 밀려나 외국 소유 시스템으로 옮겨가고 있다는 것이다.