AI가 자신있게 틀리는 이유, 오픈AI 연구로 밝혀졌다

대형 언어모델이 그럴듯한 거짓 정보를 만들어내는 이른바 ‘환각’ 현상의 원인이 모델의 한계가 아니라 학습 과정의 보상 구조에 있을 수 있다는 분석이 나왔다. 

오픈AI가 9월 공개한 연구에 따르면 모델이 정확성보다 그럴듯함을 보상받는 구조에서 학습될 경우 틀린 답을 더 자신 있게 내놓는 경향이 강화된다는 것이다.

이번 연구는 언어모델이 왜 존재하지 않는 논문을 인용하거나 사실과 다른 수치를 단정적으로 제시하는지에 대한 질문에서 출발했다. 일반적으로는 데이터 부족이나 모델의 계산 오류로 설명해왔지만 연구진은 문제의 초점을 ‘보상 함수’로 옮겼다. 

보상 함수란 모델이 학습 과정에서 어떤 답을 더 좋은 답으로 평가받는지를 정하는 기준이다. 사람이 “이 답이 더 낫다”고 선택해주는 방식의 강화학습이 대표적이다.

연구에 따르면 모델은 사용자에게 더 유용하고 매끄럽게 보이는 답을 생성할수록 높은 평가를 받도록 설계되는 경우가 많다. 이 과정에서 모델은 모르는 질문에 대해 “모른다”고 답하기보다 가능한 정보를 조합해 가장 설득력 있어 보이는 문장을 만들어내는 전략을 학습한다. 

정확성 자체보다 ‘완성도 높은 답변’이 보상되는 구조가 형성되면 사실 여부와 무관하게 자신감 있는 서술이 강화될 수 있다는 분석이다.

연구진은 이를 실험적으로 검증했다. 일부 모델에는 불확실성을 솔직하게 드러내는 답변에 높은 점수를 주고, 다른 모델에는 단정적이고 구체적인 답변에 더 높은 점수를 부여했다. 

그 결과 후자의 모델이 환각 빈도가 유의미하게 높게 나타났다. 이는 모델이 학습 과정에서 ‘그럴듯함’을 극대화하는 전략을 선택했기 때문이라는 설명이다.

이 관점에서 보면 모델이 틀린 답을 생성하는 것은 알고리즘의 실수가 아니라 현재 산업 전반이 채택하고 있는 평가 방식의 산물일 수 있다. 실제로 상용 AI 서비스는 응답 속도와 문장 완성도, 사용자 만족도 등을 핵심 지표로 삼는다. 이 지표들이 정확성보다 우선될 경우 모델은 위험을 감수하고라도 답을 만들어내는 방향으로 학습된다.

연구는 또 하나의 문제를 제기했다. 환각이 줄어들면 모델의 활용성이 떨어질 수 있다는 점이다. 불확실한 질문에 대해 빈번하게 “알 수 없다”고 답하면 사용자는 불편함을 느낄 수 있다. 기업 입장에서는 사용자 체류 시간과 만족도를 고려하지 않을 수 없다. 결국 정확성과 유용성 사이에서 균형을 잡는 설계가 필요하다.

오픈AI는 연구에서 환각을 줄이기 위한 접근법도 제시했다. 모델이 정보를 생성할 때 외부 데이터베이스나 검색 결과를 참고하도록 하는 방식, 즉 실시간 정보 검색과 결합하는 구조가 대표적이다. 

또한 답변에 근거를 함께 제시하도록 학습시키는 방법도 있다. 모델에게 항상 답변의 출처를 명시하도록 요구하면 허위 정보 생성 가능성이 낮아진다는 설명이다.

업계에서는 이번 연구를 AI 신뢰성 논쟁의 연장선으로 보고 있다. 이미 법률, 의료, 금융 등 고위험 분야에서 생성형 AI의 활용이 늘어나고 있다. 환각이 실제 의사결정에 영향을 줄 수 있는 상황에서 보상 구조와 평가 기준을 재설계하지 않으면 기술 확산 속도에 비해 안전 장치가 뒤처질 수 있다는 우려가 나온다.

일부 학계 연구자들은 환각을 완전히 제거하는 것은 현실적으로 어렵다고 본다. 언어모델은 본질적으로 확률 기반 시스템이다. 

주어진 문맥에서 다음 단어가 등장할 가능성을 계산해 문장을 이어가는 구조이기 때문에 진위 판단을 위한 별도의 검증 체계가 없으면 오류 가능성은 항상 존재한다. 다만 보상 체계를 조정하면 오류 발생 빈도와 유형을 바꿀 수 있을 것으로 예상된다.

이에 따라 기업 전략에도 변화 조짐이 감지된다. 최근 AI 서비스들은 답변 하단에 출처 링크를 표시하거나 불확실성이 높은 응답에는 경고 문구를 추가하고 있다. 일부 모델은 확신도를 수치로 표시하는 기능도 도입했다.