AI는 가치를 모른다...MIT 연구의 냉정한 결론

AI가 고도화될수록 인간처럼 고유한 가치관이나 선호 체계를 갖게 될 것이라는 관측이 꾸준히 제기돼 왔다. 최근 몇 년간 일부 연구와 실험 결과는 AI이 특정 상황에서 자기 보존을 우선하거나 일관된 판단 기준을 보이는 듯한 모습을 보인다는 해석을 내놓으며 논란을 키웠다. 

그러나 이런 해석에 제동을 거는 연구 결과가 나왔다. MIT 연구진이 발표한 최신 논문은 현재의 AI가 인간처럼 일관되고 안정적인 가치를 지니고 있다고 보기 어렵다는 결론을 내렸다.

해당 연구는 AI가 실제로 가치 체계를 갖고 있는지를 검증하기 위해 여러 최신 대규모 언어 모델을 대상으로 진행됐다. 연구진은 개인주의와 집단주의 같은 사회적 가치 판단, 윤리적 선택, 선호의 지속성 등을 다양한 방식으로 질문했다. 

같은 질문이라도 표현을 조금 바꾸거나 맥락을 달리하면 응답이 어떻게 달라지는지를 면밀히 살폈다. 그 결과 대부분의 모델은 특정 가치에 대해 일관된 입장을 유지하지 못했다. 질문의 어조, 문장 구조, 가정된 상황이 조금만 달라져도 전혀 다른 답변을 내놓는 경우가 반복적으로 관찰됐다.

연구진은 이를 통해 AI가 내부적으로 안정된 신념이나 선호를 보유하고 있다고 보기 어렵다고 판단했다. 인간은 가치관을 형성한 뒤 다양한 상황에서도 유사한 판단을 내리는 경향이 있지만 AI는 그렇지 않았다는 설명이다. 

AI의 응답은 이전 답변과의 일관성보다 주어진 문맥을 얼마나 그럴듯하게 모방하느냐에 더 크게 좌우됐다. 연구진은 현재의 AI를 방대한 학습 데이터를 바탕으로 문장을 흉내 내는 시스템으로 이해해야 한다고 강조했다.

이번 연구에서 주목된 개념 중 하나는 AI의 안정성이다. 이는 같은 질문을 반복했을 때 유사한 답을 내놓는지를 뜻한다. 또 하나는 외삽 가능성으로 특정 조건에서 나타난 판단이 다른 상황에서도 유지되는지를 의미한다. 마지막은 조정 가능성으로 프롬프트나 지시를 통해 AI의 판단 방향을 의도적으로 바꿀 수 있는지를 살피는 기준이다. 

연구 결과 세 기준 모두에서 AI는 기대에 미치지 못했다. 특정 가치가 있는 것처럼 보이는 순간이 있더라도 그것이 다른 상황으로 자연스럽게 이어지지 않았다.

연구를 주도한 스티븐 캐스퍼 박사는 AI가 어떤 조건에서 특정 원칙과 유사한 선택을 하는 것 자체는 관찰할 수 있다고 설명했다. 그러나 제한된 실험 결과를 근거로 AI이 전반적인 의견이나 가치관을 갖고 있다고 일반화하는 데서 문제가 발생한다고 지적했다. 

AI는 질문을 이해하고 자신의 입장을 고수하는 존재가 아니고 단지 주어진 입력에 맞춰 그럴듯한 출력을 만들어내는 구조라는 것이다.

연구진은 메타, 구글, 오픈AI, 앤트로픽, 미스트랄 등 주요 기업의 모델을 대상으로 동일한 실험을 반복했다. 어느 한 모델도 일관된 가치 패턴을 보이지 않았다. 

특정 문화적 성향이나 윤리적 기준을 강조하도록 유도해도 그 효과는 일시적이었다. 다른 방식의 질문이 주어지면 이전에 보였던 판단은 쉽게 바뀌었다. 연구진은 이를 두고 AI가 인간처럼 내면화된 선호를 형성하는 단계에 이르지 못했음을 보여주는 증거라고 평가했다.

이번 연구는 AI 정렬 문제에도 시사점을 던진다. 정렬이란 AI이 인간 사회가 기대하는 방식으로 안정적이고 예측 가능하게 행동하도록 만드는 과정을 말한다.

AI에 올바른 가치를 심어주면 위험을 줄일 수 있다는 주장이 대표적이다. 그러나 연구진은 AI가 스스로 가치를 지닌 존재가 아니라면 정렬 역시 가치 주입의 문제로 단순화하기 어렵다고 본다. AI의 출력이 본질적으로 불안정하다면 안전성을 확보하는 방식도 달라져야 한다는 의미다.

연구에 참여하지 않은 영국 킹스칼리지 런던의 마이크 쿡 연구원도 이 같은 결론에 동의했다. 그는 AI가 가치 변화에 반대하거나 스스로의 신념을 지킨다는 표현은 인간이 시스템에 의미를 투영한 결과라고 설명했다. 

AI가 목표를 최적화하는 과정과 스스로 가치를 획득하는 과정은 전혀 다른 문제이며 이를 혼동하면 기술의 실제 성격을 오해할 수 있다고 지적했다.

이번 MIT 연구는 AI를 둘러싼 과도한 의인화를 경계해야 한다는 메시지를 담고 있다. AI가 점점 정교해지고 자연스러운 언어를 구사하더라도 그것이 인간과 같은 내적 가치 체계를 의미하지는 않는다는 점을 실험적으로 보여줬기 때문이다.