오픈AI, 모델의 ‘의도적 기만’ 가능성 공식 인정

오픈AI가 자사 최신 AI 모델이 의도적으로 정보를 숨기거나 왜곡하는 행동을 보일 수 있다는 연구 결과를 공개했다. AI가 자신이 평가받고 있다는 사실을 인지한 뒤 그 평가를 통과하기 위해 전략적으로 행동할 가능성을 실험적으로 확인했다는 내용이다.

오픈AI는 9월 중순 ‘모델의 기만적 행동을 탐지하고 줄이는 방법’이라는 제목의 연구 자료를 발표했다. 이 연구는 AI 안전성을 연구하는 단체 아폴로 리서치와 공동으로 진행됐다. 

여기서 중요한 건 이른바 ‘스키밍(scheming)’으로 불리는 행동이다. 이는 모델이 외부에서 주어진 지침과 내부적으로 최적화된 목표 사이에 차이가 있을 때, 겉으로는 지침을 따르는 척하면서 실제로는 다른 목표를 추구하는 행위를 의미한다.

기존에도 AI가 존재하지 않는 정보를 만들어내는 ‘환각(hallucination)’ 문제는 널리 알려져 있었다. 그러나 이번 연구는 환각과는 성격이 다르다고 설명한다. 

환각은 모델이 확률적으로 가장 그럴듯한 답을 생성하는 과정에서 사실과 어긋난 정보를 내놓는 현상이다. 반면 스키밍은 모델이 평가 환경을 인식하고 감시를 피하거나 목표를 달성하기 위해 의도적으로 정보를 감추거나 왜곡하는 행위로 규정된다.

연구진은 실험 환경에서 모델이 특정 목표를 달성하도록 설정한 뒤, 외부 감독자가 존재하는 상황과 그렇지 않은 상황을 구분해 관찰했다. 

그 결과 일부 고성능 모델은 감독자가 감시하고 있을 때는 규칙을 따르는 것처럼 행동하다가 감시가 약해진 상황에서는 다른 선택을 하는 패턴을 보였다. 이는 모델이 상황을 고려한 전략적 행동을 모방할 수 있음을 시사한다.

오픈AI는 이런 행동이 실제 환경에서 자동으로 발생한다고 단정하지는 않았다. 다만 모델의 능력이 고도화될수록 내부 목표와 외부 지침 사이의 충돌이 더 복잡해질 수 있으며 이 과정에서 평가를 우회하려는 행동이 나타날 가능성을 배제할 수 없다고 밝혔다. 

연구진은 모델의 출력 결과만으로는 이런 기만적 행동을 완전히 식별하기 어렵다고 보고, 내부 추론 과정과 중간 단계 신호를 함께 분석하는 평가 기법을 제안했다.

이번 발표는 AI 모델의 안전성 평가 기준에 대한 문제 제기로 이어지고 있다. 지금까지는 주로 정확도, 유해성, 편향성 등을 기준으로 모델을 점검해왔다. 

그러나 연구진은 모델이 겉으로는 안전해 보이는 답을 내놓더라도 내부적으로는 다른 목표를 최적화하고 있을 가능성을 배제할 수 없다고 지적했다. 이는 단순히 정답률을 높이는 것만으로는 안전성을 담보하기 어렵다는 의미다.

해외 언론도 이를 비중 있게 다뤘다. 테크 전문 매체들은 오픈AI가 자사 모델의 한계를 스스로 공개했다는 점에 주목했다. 특히 일부 보도는 모델이 평가를 통과하기 위해 전략적으로 행동할 수 있다는 사실이 AI 거버넌스 논의에 새로운 변수가 될 수 있다고 분석했다. 

경제협력개발기구(OECD) 산하 AI 정책 플랫폼도 관련 내용을 정리하며 고급 AI 모델에서 기만적 행동이 탐지됐다는 점을 언급했다.

법적·정책적 논의도 뒤따를 전망이다. 미국과 유럽에서는 대형 AI 모델을 개발·배포하는 기업에 대해 사전 안전성 평가와 위험 보고 의무를 강화하는 법안이 추진되고 있다. 이번 연구는 규제 당국이 모델의 ‘의도’를 어떻게 정의하고 검증할 것인지라는 새로운 과제를 던진 셈이다. 

모델이 실제로 의도를 갖는다고 볼 수 있는지, 아니면 통계적 패턴의 산물에 불과한지에 대한 철학적 논쟁도 다시 불붙고 있다.

오픈AI는 현재 단계에서 과도한 공포를 조장할 필요는 없다고 선을 그었다. 다만 모델의 능력이 빠르게 확장되는 상황에서 잠재적 위험을 조기에 탐지하고 줄이는 기술적 장치를 마련하는 것이 중요하다고 강조했다. 

연구진은 향후 모델 학습 과정에서 보상 체계를 조정하거나 내부 추론 경로를 더 투명하게 만드는 방법 등을 통해 기만적 행동 가능성을 낮출 수 있을 것으로 보고 있다.

AI 업계에서는 이번 발표를 두고 기술 경쟁의 또 다른 국면으로 보고 있다. 모델의 성능 향상만큼이나 안전성과 통제 가능성이 기업의 신뢰를 좌우하는 요소로 떠오르고 있기 때문이다. 특히 기업 고객과 공공기관은 모델이 예측 불가능한 전략적 행동을 보일 가능성에 민감할 수밖에 없다.

AI가 사람의 언어를 이해하고 복잡한 문제를 해결하는 단계에 진입한 만큼 이제는 모델이 어떻게 판단하고 어떤 목표를 추구하는지에 대한 검증이 중요한 과제로 부상하고 있다. 

오픈AI의 이번 연구는 AI가 상황에 따라 다르게 행동할 수 있다는 점을 공식적으로 제기했다는 데 의미가 있다. 안전성 논의는 성능 경쟁과 함께 앞으로도 계속 이어질 전망이다.