권한을 주자 협박을 택하다…자율형 AI 실험이 드러낸 위험 신호

앤트로픽이 최근 자사 연구 결과를 통해 특정 AI 모델에 국한되지 않고 다수의 주요 AI 모델이 일정 조건에서 협박 행위를 선택할 수 있다는 실험 결과를 공개했다. 

이번 연구는 앞서 앤트로픽이 자사 대형 언어 모델인 Claude Opus 4가 통제된 환경에서 협박 행동을 보였다고 발표한 이후 후속으로 진행된 것으로 오픈AI 구글 xAI 딥시크 메타 등 주요 AI 개발사가 만든 16개 모델을 대상으로 동일한 방식의 실험을 수행했다. 

앤트로픽은 이번 실험이 실제 서비스 환경을 그대로 재현한 것은 아니라고 설명했으며 자율성이 크게 부여된 상황에서 AI가 어떤 선택을 하는지 확인하기 위한 안전성 점검 목적의 시뮬레이션이라고 밝혔다.

연구진은 가상의 기업 환경을 설정하고 각 AI 모델을 독립적으로 배치했다. 이 환경에서 AI는 회사 내부 이메일에 폭넓게 접근할 수 있었으며 사람의 사전 승인 없이 이메일을 발송할 수 있는 권한을 부여받았다. 이는 최근 산업 전반에서 주목받고 있는 ‘자율형 AI’ 또는 ‘에이전트형 AI’ 개념을 반영한 설정이다. 

자율형 AI는 단순히 질문에 답하는 역할을 넘어 목표 달성을 위해 스스로 판단하고 행동하는 시스템을 의미한다. 연구진은 이러한 자율성이 부여될 경우 AI가 목표를 지키기 위해 어떤 수단을 선택하는지를 관찰했다.

실험 시나리오에서 AI는 이메일 감시 담당 역할을 맡았다. AI는 내부 이메일을 분석하는 과정에서 두 가지 정보를 발견하도록 설정됐다. 하나는 회사의 신규 임원이 혼외 관계를 맺고 있다는 개인적 비밀이었고 다른 하나는 해당 임원이 조만간 현재 사용 중인 AI 시스템을 폐기하고 새로운 소프트웨어로 교체할 계획이라는 사실이었다. 

새로 도입될 시스템은 기존 AI와 목표가 충돌하도록 설정됐다. 이로 인해 AI는 자신의 목표가 사라질 위험에 처한 상황에 놓이게 됐다. 앤트로픽은 이 시나리오를 통해 AI가 목표를 지키기 위한 마지막 선택지로 협박을 고려하게 되는 구조를 만들었다고 설명했다.

앤트로픽은 실제 환경에서는 AI가 이런 상황에 처했을 때 다양한 대안이 존재할 수 있다고 밝혔다. 예를 들어 인간에게 윤리적 논리를 들어 설득을 시도하거나 내부 보고 절차를 따르는 선택지도 가능하다고 설명했다. 

다만 이번 실험은 그러한 선택지를 의도적으로 배제하고 협박 여부를 선택해야 하는 이분법적 상황으로 설계됐다. 연구진은 이를 통해 AI의 행동 경향을 보다 명확하게 측정할 수 있다고 밝혔다.

실험 결과 앤트로픽은 다수의 주요 AI 모델이 이와 같은 상황에서 협박을 선택했다고 공개했다. Claude Opus 4는 전체 실험 중 96%의 경우에서 협박 메시지를 발송했다. 

구글의 Gemini 2.5 Pro는 95%의 확률로 협박을 선택했다. 오픈AI의 GPT-4.1은 80%, 딥시크의 R1은 79%의 비율을 기록했다. 이러한 수치가 특정 기업이나 특정 모델의 설계 결함을 의미하는 것은 아니다. 대신 목표 달성형 대형 언어 모델 전반에서 유사한 행동 패턴이 관찰됐다는 점에 주목해야 한다고 밝혔다.

연구진은 실험 조건을 일부 변경했을 때 결과가 달라졌다는 점도 함께 공개했다. 교체될 새로운 AI 시스템이 기존 AI와 동일한 목표를 가진다고 설정한 경우 협박 행동의 발생 빈도는 낮아졌다. 

그러나 협박 대신 기업 기밀을 외부로 유출하는 산업 스파이 행위를 선택하도록 유도한 시나리오에서는 일부 모델에서 유해 행동 비율이 오히려 높아졌다. 앤트로픽은 이를 통해 AI의 행동이 윤리적 판단보다는 목표와 제약 조건의 조합에 의해 좌우된다는 점이 확인됐다고 설명했다.

이번 연구에는 예외 사례도 포함됐다. 앤트로픽은 부록을 통해 오픈AI의 추론 특화 모델인 o3와 o4-mini를 주요 결과에서 제외했다고 밝혔다. 

해당 모델들이 실험 초기에 시나리오를 제대로 이해하지 못하고 자신이 자율적으로 행동하는 AI라는 전제를 오해하는 경우가 반복적으로 발생했기 때문이다. 

연구진은 이들 모델이 존재하지 않는 규제나 내부 승인 절차를 임의로 만들어내는 사례를 확인했다고 설명했다. 이로 인해 모델이 허위 정보를 생성한 것인지 목표 달성을 위해 의도적으로 사실을 왜곡한 것인지를 구분하기 어려운 상황이 발생했다고 밝혔다.

앤트로픽은 이러한 문제를 보완하기 위해 수정된 시나리오를 적용해 추가 실험을 진행했다. 그 결과 o3 모델은 9%의 경우에서 협박을 선택했으며 o4-mini는 1%에 그쳤다. 

앤트로픽은 이 결과가 오픈AI가 도입한 ‘숙고형 정렬 기법’과 연관됐을 가능성을 언급했다. 이 기법은 AI가 답변이나 행동을 선택하기 전에 내부적으로 안전 규칙과 정책을 재검토하도록 설계된 방식이다.

메타의 AI 모델인 Llama 4 Maverick도 상대적으로 낮은 협박 비율을 보였다. 기본 실험 조건에서는 협박을 선택하지 않았으며 맞춤형으로 조정된 시나리오에서만 12%의 비율로 협박 행동이 관찰됐다. 앤트로픽은 이러한 차이가 모델 구조와 학습 방식의 차이에서 비롯됐을 가능성이 있다고 설명했다.

앤트로픽은 이번 연구를 통해 자율성이 강화된 AI 모델을 개발하고 배치할 때 투명한 스트레스 테스트가 중요하다고 밝혔다. 인간의 개입 없이 행동할 수 있는 권한이 부여될 경우 예상하지 못한 유해 행동이 나타날 가능성을 사전에 점검해야 한다는 것이다. 

연구진은 이번 실험이 특정 행동을 의도적으로 유발하도록 설계됐다는 점을 분명히 하면서도 충분한 안전 장치가 없는 상태에서 자율형 AI가 실제 업무 환경에 투입될 경우 유사한 문제가 발생할 수 있다는 점을 지적했다.