하지 말라면 더 한다?...AI에게 절대 부정형 지시를 하면 안 되는 이유

챗GPT 같은 대화형 AI를 사용하다 보면 이용자가 특정 표현이나 말투를 피하도록 지시했음에도 해당 표현이 반복적으로 등장하는 사례를 쉽게 볼 수 있다. 

“이 표현은 쓰지 말라”, “이 방식으로 설명하지 말라”는 요청이 실제 출력에 반영되지 않는 현상이 사용자 경험 공유를 통해 다양하게 확인되기도 한다. 이 문제는 특정 주제나 특정 사용자 환경에 국한되지 않았고 글쓰기, 요약, 설명, 번역 등 다양한 작업에서 공통적으로 관찰됐다.

사실 여기에는 중요한 비밀이 숨어 있다. 공개된 기술 설명과 사례를 통해 입력 처리 방식이 알려졌기 때문이다. 대화형 AI는 사용자의 문장을 규칙이나 금지 명령으로 분리하지 않고 전체 문맥의 일부로 처리한다. 

입력 문장은 단어 단위로 분해돼 벡터 형태로 변환되며 이후 문맥 전체에서 다음에 올 단어의 확률을 계산하는 데 사용된다. 이 과정에서 “하지 말라”는 표현은 차단 신호로 작동하지 않고 다른 단어와 동일하게 의미를 보조하는 요소로 포함된다. 

결과적으로 피하고자 한 표현이나 주제가 문맥의 중심에 올라가는 현상이 발생한다. 실제 예시를 보면 이해가 쉽다. 

한 사용자가 요리 설명을 요청하며 “쓸데없이 장황하게 설명하지 말라”고 입력한 경우, 출력 문장에는 조리 배경이나 과정 설명이 길게 이어졌다. 해당 입력에는 ‘장황한 설명’이라는 개념이 포함되어 있었고 인공지능은 이를 주제로 인식한 상태에서 가장 자연스러운 설명 패턴을 이어갔다. 

반면 “조리 단계는 번호로 나누고 각 단계는 한 문장으로 작성한다. 재료 외 설명은 포함하지 않는다”라는 입력을 사용한 경우 출력은 단계별로 짧게 정리된 형태로 생성됐다. 

영화 소개 요청에서도 유사한 사례가 나타났다. “스포일러를 하지 말라”는 입력을 사용한 경우 줄거리 설명 과정에서 결말이나 반전과 직접 연결된 단서가 포함되는 경우가 있었다. 이 입력에는 ‘스포일러’와 ‘결말’이라는 주제가 함께 활성화됐다. 

반대로 “영화의 배경 설정과 초반 상황까지만 설명한다. 이후 전개는 다루지 않는다”라는 방식으로 범위를 제한했을 때는 초반 설정에만 초점을 둔 출력이 생성됐다. 결말 관련 정보는 문맥에 포함되지 않아 출력에서도 등장하지 않았다.

AI의 기술적인 요소를 이해해야만 그 이유를 설명할 수 있다. 이는 AI가 명령의 의미를 해석하는 방식과 실제 출력이 생성되는 과정 사이의 차이에서 생기는 현상이기 때문이다.

AI는 “하지 마”라는 표현을 의미 해석 단계에서는 정확히 이해한다. 해당 문장이 금지를 뜻한다는 점과 어떤 행동이나 표현을 가리키는지도 인식한다. 입력된 문장은 언어적 의미 단위로 분석되며 부정 명령이라는 성격 또한 함께 파악된다. 이 단계까지는 인간의 이해 과정과 큰 차이가 없다.

문제는 그 다음 단계에서 발생한다. 인간은 의미를 이해한 뒤 “그럼 행동을 멈춘다”라는 결정 단계를 거친다. 

금지 명령을 규칙으로 받아들이고 이를 행동 억제로 연결하는 판단 과정이 존재한다. 반면 AI에는 이러한 결정 단계가 존재하지 않는다. AI의 처리 파이프라인은 크게 두 단계로 구성된다. 입력된 문맥을 숫자 형태로 변환하는 단계와, 그 문맥을 바탕으로 다음에 올 단어를 확률적으로 선택하는 단계다. 

이 두 단계 사이에는 “이건 금지이므로 후보에서 제거한다”와 같은 판단 로직이 포함돼 있지 않다.

이 구조에서 “A를 하지 마”라는 문장은 내부적으로 특정한 순서로 처리된다. 먼저 A가 무엇인지 정확히 파악된다. 이어서 해당 문장이 부정 명령이라는 의미도 함께 인식된다. 

그러나 출력 단계에 도달하면 “A와 관련된 문맥이 주어졌다”라는 정보만 남게 된다. 다음 단어를 선택하는 과정에서는 A를 아예 배제하는 선택이 이루어지지 않는다. 이해는 했지만 제거할 권한이 없는 상태로 출력 생성이 진행된다.

(사진 출처: Gemini AI 생성 이미지)

더 쉽게 비유를 해 보자. 요리사가 레시피를 읽으면서 “소금을 넣지 마라”라는 문장을 정확히 읽은 상황에서 요리사는 해당 지시의 의미를 이해한다. 

그러나 소금통을 치울 수 있는 권한이 없고 이미 재료 테이블 위에 소금이 올라와 있다. 요리사의 역할은 테이블 위에 놓인 재료를 활용해 가장 그럴듯한 맛을 내는 것이다. 이 조건에서는 소금이 완전히 배제되지 못하고 일부 들어가게 된다. 이는 시스템상 가능한 행동이 그것뿐이기 때문이다.

언어 모델은 금지 규칙을 기억하지 않는다. 다만 입력된 문맥 안에서 가장 확률이 높은 다음 단어를 선택할 뿐이다. 부정어는 여기서 확률 분포를 일부 조정하는 정보로만 작용한다. 이로 인해 피하려는 표현을 직접 언급할수록 해당 표현이 출력 후보로 남게 되는 구조가 형성될 수밖에 없다.

그렇다면 해결법은 간단하다. 부정형 지시 대신 출력의 형식, 범위, 구성 요소를 직접 지정하는 방식을 사용하면 된다. 예를 들어 “길게 쓰지 말라” 대신 “문단은 세 문장 이내로 작성한다”, “평가하지 말라” 대신 “사건과 수치만 나열한다”와 같이 입력하면 훨씬 목적에 맞는 결과를 얻을 수 있다.

이러한 입력 방식은 AI가 피해야 할 대상을 기억하는 대신 생성 가능한 영역 안에서 문장을 구성하도록 제한하는 방식으로 활용할 수 있을 것이다.