앤트로픽, AI 블랙박스를 열겠다 선언...“2027년까지 모델 내부 오류 대부분 식별”

AI 개발사 앤트로픽의 최고경영자 다리오 아모데이가 AI 모델의 내부 작동 원리를 이해하지 못한 상태로 기술을 배포하는 상황에 강한 우려를 표명했다. 

아모데이는 2025년 4월 공개한 에세이 ‘해석 가능성의 긴급성(The Urgency of Interpretability)’에서 현재 최고 수준의 AI 모델이 어떤 과정을 거쳐 답을 내놓는지 연구자들조차 거의 알지 못한다고 지적했다. 그는 앤트로픽이 2027년까지 AI 모델에서 발생하는 대부분의 문제를 신뢰성 있게 탐지할 수 있는 수준에 도달하겠다는 목표를 제시했다.

아모데이는 에세이에서 앤트로픽이 AI 모델의 사고 경로를 추적하는 초기 성과를 거뒀다고 밝혔다. 다만 모델의 성능이 빠르게 고도화될수록 내부 구조를 해독하기 위한 연구가 훨씬 더 필요하다고 강조했다. 

AI 시스템이 경제, 기술, 국가 안보 전반에서 핵심적인 역할을 맡게 될 것이며 높은 자율성을 갖게 되는 상황에서 인간이 그 작동 방식을 거의 모른 채 사용하는 것은 받아들일 수 없는 일이라는 것이다.

앤트로픽은 ‘기계적 해석 가능성(mechanistic interpretability)’ 분야를 개척한 기업 중 하나로 평가된다. 이 분야는 AI 모델이 왜 특정 결정을 내리는지를 구조적으로 분석해 블랙박스를 열려는 연구 영역이다. 

최근 수년간 AI 모델의 성능은 급격히 향상됐지만 그 판단 과정에 대한 이해는 상대적으로 거의 진전되지 않았는데, 실제 사례로 그는 최근 공개된 추론형 AI 모델에서 나타나는 현상을 언급했다. 

한 AI 기업이 새로운 추론 모델을 출시했는데 일부 과제에서는 성능이 좋아졌지만 기존 모델보다 환각, 즉 사실과 다른 내용을 만들어내는 빈도는 오히려 높아졌다. 개발사 스스로도 그 원인을 정확히 설명하지 못하고 있는 상황이다. 

아모데이는 금융 문서를 요약하는 것처럼 비교적 간단한 작업조차 AI가 왜 특정 단어를 선택했는지, 왜 가끔 오류를 내는지에 대해 정밀한 수준의 설명이 불가능하다고 지적했다.

아모데이는 앤트로픽 공동창업자 크리스 올라의 발언도 인용했다. 올라에 따르면 AI 모델은 ‘자라난 존재’에 가깝다. 연구자들은 모델의 지능을 높이는 방법은 발견했지만 왜 그런 결과가 나오는지는 완전히 이해하지 못하고 있다는 의미다. 이 표현은 현재 AI 개발이 경험적 개선에 크게 의존하고 있음을 드러낸다.

아모데이는 이해되지 않은 상태에서 범용인공지능에 도달하는 상황을 위험 요소로 규정했다. 그는 AGI를 ‘데이터센터 안에 있는 천재들의 국가’라고 표현했다. 과거 글에서 그는 업계가 2026년이나 2027년경 이러한 수준에 도달할 수 있다고 전망한 바 있다. 반면 AI 모델을 완전히 이해하는 데에는 훨씬 더 긴 시간이 필요하다고 봤다.

장기적으로 앤트로픽이 그리고 있는 목표는 AI 모델에 대한 일종의 정기 검진이다. 인간의 뇌를 MRI로 촬영하듯 AI 모델 내부를 정밀하게 분석해 거짓말을 할 가능성, 권력을 추구하려는 성향, 기타 취약점을 사전에 식별하겠다는 구상이다. 

아모데이는 이러한 수준의 점검 체계를 갖추는 데 5년에서 10년이 걸릴 수 있다고 밝혔다. 그럼에도 미래 AI 모델을 시험하고 배포하기 위해서는 이런 절차가 필수적이라는 것이다.

앤트로픽은 이미 일부 기술적 성과를 내놓고 있다. 최근 연구를 통해 AI 모델의 사고 흐름을 ‘회로(circuit)’ 단위로 추적하는 방법을 발견했다. 예를 들어 미국의 특정 도시가 어느 주에 속하는지를 이해하는 데 관여하는 하나의 회로를 식별했다. 회사 측은 이런 회로가 모델 내부에 수백만 개 존재할 것으로 추정하고 있다.

해석 가능성 연구에 대한 투자도 이어지고 있다. 앤트로픽은 자체 연구뿐 아니라 이 분야에서 활동하는 스타트업에 처음으로 투자를 진행했다. 현재 해석 가능성은 주로 안전 연구 영역으로 인식되지만 아모데이는 장기적으로 AI가 답을 도출한 과정을 설명할 수 있는 능력이 상업적 경쟁력이 될 수 있다고 밝혔다.

아모데이는 업계 전반의 참여를 촉구했다. 그는 오픈AI와 구글 딥마인드에 해석 가능성 연구를 확대할 것을 공개적으로 요청했다. 동시에 정부의 역할도 언급했다. 기업이 안전과 보안 관행을 공개하도록 요구하는 수준의 ‘가벼운 규제’가 연구를 촉진할 수 있다고 주장했다. 

앤트로픽은 설립 초기부터 안전 중심 전략을 강조해온 기업이다. 미국 캘리포니아에서 논란이 된 AI 안전 법안 SB 1047에 대해 다수 기술 기업이 반대 입장을 냈을 때 앤트로픽은 제한적 지지와 수정 의견을 제시했다. 이 법안은 최첨단 AI 모델 개발사에 안전 보고 의무를 부과하는 내용을 담고 있었다.

AI 성능 경쟁이 가속화되는 가운데 모델이 어떻게 사고하고 결정을 내리는지에 대한 이해는 여전히 미해결 과제로 남아 있다.