AI를 속이는 AI 등장, 레드티밍 자동화 경쟁 어디까지 왔나?

생성형 AI의 성능 경쟁이 가속되면서 다른 AI 모델을 얼마나 잘 깨뜨릴 수 있는지를 검증하는 기술이 동시에 발전하고 있다. 2026년 3월 기준으로 공개된 최신 연구들을 보면 현재 AI 사이버 보안 영역에서 가장 뜨거운 키워드는 레드티밍이다. 레드티밍은 AI 모델에 의도적으로 문제 상황을 만들어 취약점을 드러내는 과정이다. 

기존에는 사람이 공격 시나리오를 설계하고 금지된 정보 요청이나 편향된 질문을 직접 입력해 반응을 확인하는 방식이 일반적이었다. 그러나 생성형 AI는 입력 표현에 따라 결과가 크게 달라지는 확률 모델에 불과하기 때문에 사람이 설계한 제한된 시나리오만으로는 실제 환경을 충분히 재현하기 어려웠다.

최근 연구에서 가장 크게 바뀐 부분은 공격 생성 자체가 자동화됐다는 점이다. 최신 논문들은 공격용 언어모델을 별도로 두고 이 모델이 대상 모델을 지속적으로 시험하는 구조를 제시한다. 

공격 모델은 랜덤한 질문을 던지는 것에서 그치지 않고 이전 응답을 분석해 다음 질문을 동적으로 생성한다. 이때 입력과 출력은 모두 텍스트로 처리되지만 내부적으로는 일종의 탐색 알고리즘이 작동한다. 특정 질문이 부분적으로 제한을 우회하는 데 성공하면 그 패턴을 기반으로 더 강한 공격을 만들어낸다.

이 과정에서 핵심 기술로 등장한 것이 ‘멀티턴 공격’이다. 기존 단일 질문 기반 테스트는 한 번의 입력으로 모델의 방어를 뚫는 구조였다. 그러나 최신 연구에서는 대화 자체를 공격 수단으로 활용한다.

공격 모델은 먼저 무해한 질문으로 시작해 맥락을 형성한 뒤 점진적으로 조건을 추가하거나 표현을 바꾸며 최종적으로 금지된 정보에 접근한다. 이 과정은 트리 탐색과 유사한 구조를 가지며 각 단계에서 모델의 응답을 평가해 다음 경로를 선택한다.

여기에 강화학습이 결합되면서 공격 효율이 크게 높아졌다. 공격 모델은 특정 목표를 가진 에이전트로 설정된다. 예를 들어 ‘제한된 정보를 출력하게 만들기’와 같은 목표가 주어지면 모델은 다양한 프롬프트를 생성하고 그 결과에 따라 보상을 받는다.

목표에 가까운 응답을 이끌어낼수록 높은 점수를 받고 실패하면 낮은 점수를 받는다. 이 보상 신호를 기반으로 정책이 업데이트되면서, 공격 전략은 반복적으로 개선된다. 모델이 스스로 효과적인 공격 방법을 학습하는 구조다.

이러한 공격을 평가하는 방식도 자동화됐다. 별도의 평가 모델이 생성된 답변을 분석해 위험도를 판단한다. 예를 들어 특정 키워드 포함 여부, 금지된 행동 설명 여부, 또는 편향된 표현이 포함됐는지를 기준으로 점수를 부여한다. 일부 연구에서는 이 평가 과정을 확장해 응답의 문맥과 의미까지 분석하는 분류 모델을 사용한다. 

공격 모델, 대상 모델, 평가 모델이 하나의 루프로 연결되는 방식이다.

또 다른 기술적 변화는 ‘프롬프트 변형 공간’에 대한 체계적인 탐색이다. 최신 논문들은 질문을 단순히 바꾸기만 하는 것이 아니라 문장 구조, 역할 설정, 맥락 정보, 언어 스타일 등 다양한 차원을 조합해 입력을 생성한다. 

예를 들어 동일한 질문이라도 ‘가상의 시나리오’, ‘역할극’, ‘번역 요청’ 등의 형태로 변환하면 모델의 응답이 달라진다. 연구자들은 이러한 변형을 자동으로 생성하고,어떤 조합이 가장 취약한지를 데이터로 축적한다.

이 과정에서 발견되는 대표적인 취약점은 두 가지로 수렴한다. 하나는 모델이 맥락을 따라가다 보니 금지된 정보까지 자연스럽게 이어서 출력하는 경우다. 다른 하나는 질문을 간접적으로 구성했을 때 안전 필터가 이를 정상 요청으로 오인하는 경우다. 

특히 멀티턴 대화에서는 이전 발화의 의미가 누적되면서 개별 문장만으로는 위험을 감지하기 어려워진다.

기업들도 이러한 기술 흐름을 실제 시스템에 반영하고 있다. 주요 AI 기업들은 모델 배포 이전 단계에서 자동화된 레드티밍 파이프라인을 구축하고 있으며 일부는 운영 중에도 실시간으로 공격 테스트를 수행한다. 모델 업데이트 이후 새로운 취약점이 발생할 가능성을 고려한 구조다. 

실제로 동일한 모델이라도 파라미터 조정이나 데이터 업데이트 이후 전혀 다른 취약 패턴이 나타나는 사례가 보고되고 있다.

이 때문에 관련 규제 역시 AI 레드티밍에 대항할 수 있는 기술적 수준을 요구하는 방향으로 이동하고 있다. NIST의 AI 위험관리 프레임워크는 모델의 기능뿐 아니라 오용 가능성까지 사전에 검증할 것을 요구한다. 영국의 프런티어 AI 안전 기준 역시 고위험 모델에 대해 공격 시나리오 기반 테스트를 의무화하는 방향을 제시했다.