AI는 우리가 했던 말을 기억하고 있을까? AI 모델의 단사성(Injective)

인공지능에게 질문을 던지고 답을 받는 일은 이제 일상이 됐다. 그러나 질문이 사라진 뒤에도 마음 한켠에는 찜찜함이 남는다. 내가 입력한 문장이 정말로 사라졌는지, 아니면 어딘가에 흔적처럼 남아 있는지에 대한 의문이다. 최근 인공지능 연구자들 사이에서 다시 주목받는 논쟁도 이 질문에서 출발했다. 

대형 언어 모델, 이른바 LLM이 사용자의 입력을 처리한 뒤 완전히 잊어버리는지, 아니면 내부 구조 속에 형태를 바꾼 채 보존하고 있는지에 대한 문제다. 이 논의는 프라이버시와 규제, 그리고 AI 설계 철학까지 모두를 연결하는 주제다.

이 논쟁의 핵심 질문은 “AI의 출력만 보고 원래 입력을 추론할 수 있을까”라는 것이다. 다시 말해,= 사용자가 어떤 문장을 입력했는지를 AI의 응답이나 내부 계산 결과를 통해 되살릴 수 있는지를 묻는다. 

지난 5년간 이 질문에 답하려는 연구는 끊이지 않았다. 초기 연구는모델이 출력하는 문장 중에서 유난히 확신에 차 있는 문장, 즉 오류가 적고 계산상 손실값이 낮은 결과를 모으면 학습 데이터에 포함된 문장이 섞여 있을 가능성이 높다는 가설에서 출발했다.

2021년 미국 보안 학회에서 발표된 한 연구는 이 가설을 실제로 보여줬다. 연구진은 공개된 언어 모델에 수많은 질문을 반복해서 던지고 그중 모델이 가장 자신 있게 말하는 문장만 골라냈다. 

그 결과 이름, 전화번호, 이메일 주소처럼 원래는 공개되지 말아야 할 정보가 그대로 등장했다. 모델이 새로운 문장을 만들어냈다기보다, 학습 과정에서 본 문장을 다시 꺼내 말한 셈이다. 이 연구는 “AI가 학습 데이터를 외운다”는 사실을 처음으로 드러냈다.

2023년에는 상황이 더 심각해졌다. 같은 연구 흐름을 잇는 후속 연구에서는 오픈소스 모델뿐 아니라 상용 서비스 수준의 모델에서도 대규모 데이터 추출이 가능하다는 점이 확인됐다. 

비교적 적은 비용과 시간만으로 수천 개 이상의 학습 데이터 조각을 복원할 수 있었다. 특히 안전장치가 적용된 대화형 AI에서도 우회적인 질문 방식을 사용하면 데이터 노출 속도가 급격히 증가했다. 이 시점부터 AI 프라이버시는 이론 문제가 아니라 현실적 위험으로 인식되기 시작했다.

이런 흐름 속에서 최근 또 하나의 논문이 등장했다. 이 논문은 접근 방식부터 달랐다. 기존 연구가 “어떤 조건에서 일부 정보가 새어 나올 수 있다”를 보여줬다면 이 논문은 “언어 모델의 구조상 입력 정보는 사라지지 않는다”는 주장을 내놓았다. 

논문의 핵심은 디코더 전용 트랜스포머 구조가 수학적으로 거의 단사 함수에 가깝다는 점이다. 단사 함수란 서로 다른 입력이 같은 출력으로 겹치지 않는 함수를 뜻한다. 이 말은 이론적으로 입력이 다르면 내부 상태나 출력도 반드시 달라진다는 의미다. 

따라서 모델의 마지막 단계에 있는 히든 스테이트(Hidden state), 즉 내부 계산 결과를 알 수 있다면 원래 입력 문장을 정확히 되살릴 수 있다는 결론에 이른다.

이 주장은 강력해 보이지만 곧바로 여러 한계가 드러났다. 가장 먼저 지적된 문제는 이론과 현실 사이의 간극이다. 논문은 무한한 정밀도의 실수 계산을 가정한다. 현실의 AI 모델은 그렇지 않다. 

실제 서비스에 사용되는 모델은 계산 속도와 비용을 줄이기 위해 소수점 자릿수를 제한한 연산을 사용하고 계산 과정에 작은 잡음을 넣으며 경우에 따라 정보를 압축하는 양자화 기법도 적용한다. 이런 요소들은 입력과 출력의 일대일 대응 관계를 일부러 흐트러뜨린다. 

논문에서 가정한 이상적인 모델과 우리가 사용하는 모델은 같은 이름을 쓰고 있을 뿐 성질은 크게 다르다.

두 번째 한계는 실무적인 접근 불가능성이다. 논문에서 제시한 복원 방법은 원래 문장의 모든 부분에 대한 내부 계산 결과를 필요로 한다. 문장이 길어질수록 필요한 정보도 기하급수적으로 늘어난다. 

그러나 실제 API 환경에서 사용자가 이런 내부 정보에 접근하는 것은 불가능하다. 모델을 직접 개발한 조직 내부에서도 제한된 인원만 접근할 수 있는 영역이다. 이론적으로는 가능하더라도 현실적인 공격 시나리오로 이어지기 어렵다는 평가가 나오는 이유다.

세 번째로는 검증 범위의 한계가 있다. 논문 실험은 비교적 작은 규모의 모델을 중심으로 이뤄졌다. 최근 주력으로 사용되는 초대형 모델이나 명령어에 맞게 추가 학습된 모델, 강하게 압축된 모델에 대해서는 충분한 검증이 이뤄지지 않았다. 

즉, “모든 LLM이 입력을 잊지 않는다”는 주장으로 일반화하기에는 데이터가 부족하다.

그럼에도 불구하고 이런 연구가 계속 등장하는 이유는 언어 모델이 정보를 어떻게 보존하는지에 대한 질문에 대한 대답이 아직 부족하기 때문이다. 

동시에 규제 측면에서도 중요한 함의를 가진다. 개인정보 보호 규정에서는 당연히 데이터 삭제를 요구하지만 데이터로 학습한 모델이 그 정보를 내부에 담고 있다면 삭제가 어디까지 이뤄졌다고 볼 것인지에 대한 논쟁이 생긴다.

현재 시점에서의 결론은 다소 모호하다. 이론적으로 보면 언어 모델은 입력 정보를 거의 잃지 않는다. 그러나 우리가 사용하는 현실의 AI 시스템에서는 그 정보를 다시 꺼내 쓸 방법이 제한돼 있다. 

AI가 우리의 말을 기억하고 있을 가능성은 존재하지만 그것이 곧바로 사용자에게 돌아오는 위협으로 연결되지는 않는다. 따라서 이 논쟁은 우리가 매일 사용하는 AI가 어떤 원리로 작동하는지를 이해하기 위한 과정에 가깝다. 그리고 이 질문은 앞으로도 계속 반복될 것이다.