AI가 틀렸는데 아무도 몰랐다? 기업 시스템의 '조용한 오류' 경고

AI 시스템이 오류를 내놓으면서도 정상인 것처럼 작동하는 이른바 '조용한 실패' 문제가 기업 현장에서 심각한 수준으로 퍼지고 있다는 분석이 나왔다. AI 인프라 전문가 사야리 패틸은 4월 26일 테크 매체 벤처비트(VentureBeat)에 기고한 글에서 기업 AI 배포 현장에서 직접 목격한 사례를 바탕으로 이 문제를 집중 조명했다.

패틸이 제시한 핵심 개념은 '신뢰성 격차(reliability gap)'다. 시스템이 기술적으로는 완전히 정상 작동하는 것처럼 보이면서도, 실제로는 일관되게 잘못된 판단을 내리고 있는 상태를 뜻한다.

기업 환경에 구축된 AI 시스템은 오류가 발생하면 보통 경고 메시지를 띄우거나 서비스가 멈추는 등 가시적인 신호를 낸다. 그러나 신뢰성 격차 문제는 다르다. 오류 알림이 없고 관리 대시보드도 정상으로 표시되며 시스템은 계속 응답하고 있다. 그러나 내부에서는 AI가 엉뚱한 정보를 바탕으로 판단을 내리고 있다.

패틸은 자신이 직접 참여한 기업 AI 배포 사례를 소개했다. 테스트 단계에서 정확도 95% 이상을 기록해 모든 지표가 양호했던 시스템을 실제 환경에 배포하고 나서 몇 주 후부터 이상한 일이 생겼다. AI의 응답 시간이 미세하게 늘어나고 예측값이 가끔 늦게 도착하는 일이 반복됐다. 

서비스 자체는 살아 있었고 모니터링 화면도 정상이었다. 그러나 AI가 내놓는 결과는 점점 쓸모없어지고 있었으며 그 영향이 하위 시스템에 누적되기 시작했다. 팀이 문제를 인지하는 데까지 며칠이 걸렸다. 패틸은 기업 AI 배포가 실패하는 이유가 모델을 둘러싼 시스템 구조에 있다고 짚었다.

AI 시스템에는 데이터를 공급하는 파이프라인, 여러 작업을 순서대로 실행하는 오케스트레이션 로직, 모델이 참고할 외부 정보를 가져오는 검색 시스템, 그 결과를 받아 처리하는 하위 서비스들이 모두 연결돼 있다. 이 연결 고리 한 곳에서 이상이 생기면 모델 자체는 멀쩡해도 전체 시스템이 잘못된 방향으로 흘러가기 시작한다.

구체적인 예로 이런 일이 일어난다. 외부에서 최신 정보를 가져오는 검색 시스템이 6개월 전 데이터를 반환해도 AI는 그게 최신 정보라고 믿고 판단을 내린다. 특정 도구를 불러오는 요청이 실패하면 AI는 조용히 이전에 저장된 맥락으로 대체해버린다. 5단계로 이어진 자율 처리 흐름 중 2단계에서 잘못된 해석이 생기면 이후 단계가 전부 그 위에 쌓인다. 

이 과정에서 오류 코드는 발생하지 않는다. 프로메테우스나 데이터독 같은 인프라 모니터링 도구에도 이상이 잡히지 않는다. 인프라 모니터링 도구들은 '서비스가 살아 있는가'를 묻는 도구이지 '서비스가 올바르게 작동하고 있는가'를 묻는 도구가 아니기 때문이다.

패틸은 기업 AI 시스템에서 반복적으로 나타나는 고장 유형을 두 가지 개념으로 정의했다. 첫째는 '맥락 부패(context decay)'다. AI 모델이 판단을 내릴 때 참고하는 정보가 시간이 지나면서 오래되거나 불완전해지는 현상이다. 검색 시스템이 최신 데이터를 가져오지 못하거나 특정 데이터 소스에 접근이 막혔을 때 AI가 이를 인식하지 못한 채 낡은 정보로 작동을 이어가는 경우가 여기에 해당한다.

둘째는 '오케스트레이션 표류(orchestration drift)'다. AI 여러 개가 연결돼 순차적으로 작업을 처리하는 구조, 즉 에이전트 시스템에서 발생하는 문제다. 초기에는 의도한 대로 작동하던 에이전트 흐름이 운영 환경의 변수가 누적되면서 서서히 의도를 벗어나는 현상이다. 

처리 순서가 뒤틀리거나 한 에이전트의 출력이 다음 에이전트의 입력을 오염시키는 식으로 나타난다. 이 역시 명시적인 오류 신호 없이 진행된다.

패틸은 기업들이 기존 인프라 모니터링에 '행동 텔레메트리(behavioral telemetry)' 계층을 추가해야 한다고 제안했다. 텔레메트리란 시스템 각 부분의 상태 정보를 자동으로 수집하고 전송하는 기술을 말한다. 현재 인프라 모니터링은 서비스가 응답하는지, 지연 시간이 정상 범위인지, 오류율이 얼마인지를 주로 본다. 

이것만으로는 AI가 실제로 올바른 맥락을 받아 올바른 판단을 내리고 있는지를 알 수 없다.

행동 텔레메트리는 이를 보완하는 개념이다. AI 모델이 어떤 맥락을 받았는지, 검색 결과가 실제로 최신이었는지, 신뢰도가 일정 수준 아래로 떨어졌는지, 출력값이 이후 단계에서 적절하게 소비됐는지를 추적한다. 인프라가 정상이더라도 AI가 제대로 작동하지 않는 상황을 잡아내는 데 필요한 계층이다.

패틸은 테스트 환경에 '시맨틱 결함 주입(semantic fault injection)' 기법을 도입할 것도 권고했다. 이는 일부러 오래되고 불완전한 검색 결과, 처리할 수 있는 것보다 더 큰 규모의 데이터 주입 등을 통해 한계에 근접한 상황을 의도적으로 만들어 시스템이 어떻게 반응하는지 확인하는 방법이다. 

실제 운영 환경이 테스트 환경보다 항상 조금 더 불안정하다는 전제 하에 그 차이를 사전에 탐지하는 것이 목적이다. 일종의 스트레스 테스트로 이해하면 쉽다.

한편 라이트런(Lightrun)이 미국·영국·EU 200개 대기업을 대상으로 조사한 결과 AI가 생성한 코드 변경의 43%가 품질보증 단계를 통과한 뒤에도 실제 운영 환경에서 사람의 추가 수작업을 필요로 했다. 운영 환경에서 AI 수정안을 한 번의 재배포로 검증할 수 있었다는 응답자는 단 한 명도 없었다.