시스템을 뚫지 않는 대신 신뢰를 통과하는 AI 시대의 해킹

AI가 본격적으로 쓰이기 전까지 데이터 보안과 사이버 보안의 핵심은 비교적 간단했다. 기업이 지켜야 할 대상은 서버에 저장된 고객 정보, 내부 문서, 결제 기록 같은 ‘데이터 그 자체’였고 공격자는 이를 훔치거나 망가뜨리기 위해 시스템의 문을 강제로 여는 존재로 인식됐다. 

그래서 보안의 중심은 방화벽, 침입 차단 시스템, 악성코드 탐지처럼 외부에서 들어오는 공격을 막는 기술에 맞춰져 있었다. 비밀번호는 문을 여는 열쇠였고 다중 인증은 열쇠를 두 개로 늘리는 방식으로 생각하면 쉽다. 

여기서 요점은, 사용자가 누구인지만 확인되면 그 이후의 행동은 비교적 신뢰해도 된다는 전제가 깔려 있었다.

이 시기 보안 사고의 전형적인 모습은 해커가 취약한 서버를 찾아 침투하고 데이터베이스를 통째로 빼내거나 파일을 암호화해 돈을 요구하는 형태였다. 

피해 규모는 컸지만 사고의 시작과 끝은 비교적 분명했다. 어떤 시스템이 뚫렸는지, 어떤 정보가 빠져나갔는지 사고 원인을 기술적으로 설명할 수 있었고 대응도 서버 패치, 계정 초기화, 비밀번호 변경 같은 방식으로 정리됐다. 

사용자는 피해자였고 기업은 방어자라는 구도가 비교적 뚜렷하게, 그리고 이해하기 쉽게 정리될 수 있었다.

이런 환경에서는 ‘사람을 속이는 문제’보다 ‘시스템을 뚫는 문제’가 더 중요했다. 이메일 사기나 전화 사기는 존재했지만 보안의 주변부 이슈로 취급되었다.

내부 직원의 판단 착오나 실수는 교육의 영역이었고 기술적 보안과는 분리해서 다뤄졌다. 데이터 보안은 어디까지나 저장된 정보와 그 정보를 담고 있는 시스템을 지키는 일이었고 신원 확인은 출입증 정도의 역할에 머물렀다. 

이 질서가 유지되던 시절에는 보안이 기업 운영 전체를 흔드는 문제로 번지는 경우는 상대적으로 드물었다. AI가 등장하기 전까지 데이터 보안의 세계는 이렇게 그럭저럭 작동하고 있었다.

AI가 등장한 이후 갑자기 뒤바뀐 데이터 보안의 전장

가장 큰 변화는 공격자가 더 이상 시스템 바깥에서 문을 두드리는 존재가 아니라는 점이다. 에이전트 AI는 이메일을 쓰고 문서를 만들고 음성을 합성해 사람처럼 대화한다. 

이 말은 보안의 기준점이 서버나 네트워크가 아니라 사람의 판단과 신뢰로 이동했다는 뜻이다. 과거에는 시스템이 정상 동작하고 계정이 인증되면 안전하다고 여겼지만 이제는 그 인증 과정 자체가 공격 대상이 됐다.

AI 이전의 보안은 규칙 기반이었다. 이상한 파일이 들어오면 막고 알려진 악성 패턴이 보이면 차단했다. 하지만 생성형 AI는 새로운 문장을 만들어내고 새로운 방식으로 사람을 설득한다. 기존에 없던 이메일 내용, 기존에 없던 말투, 기존에 없던 업무 요청이 그럴듯하게 만들어진다. 

시스템 입장에서는 정상적인 메일이고 정상적인 로그인 시도다. 이상하다고 판단할 근거가 사라진다. 이 지점에서 보안의 무게중심이 기술에서 신원과 행위로 이동했다.

또 하나의 변화는 AI가 기업 내부로 깊숙이 들어왔다는 점이다. AI는 검색 도구가 아니라 업무 도우미가 됐고 문서 요약, 회의 기록, 결제 검토, 고객 응대까지 관여한다. 

이 과정에서 AI는 사용자의 계정과 권한을 대신 사용한다. 사람이 직접 클릭하던 승인 버튼을 AI가 대신 누르고 사람이 읽던 메일을 AI가 대신 판단한다. 이 때 보안 사고는 해킹 사건이 아니라 정상 업무 흐름처럼 보인다. 공격자는 시스템을 뚫지 않고도 절차를 이용할 수 있다.

이 변화는 공격 속도의 흐름도 완전히 바꾸는 데 성공했다. 과거에는 공격자가 취약점을 찾고 침투하는 데 시간이 걸렸지만 AI를 쓰면 수백 개의 사칭 메일과 로그인 페이지를 짧은 시간에 만들어낼 수 있다. 한 번 성공하면 AI가 자동으로 다음 행동을 이어간다. 사람의 대응 속도로는 따라가기 어렵다. 

이 때문에 보안 사고는 탐지 시점에는 이미 피해가 끝난 뒤인 경우가 많아졌다.

결국 AI 이후의 데이터 보안은 기술을 지키는 문제가 아니라 신뢰가 어떻게 만들어지고 어떻게 악용되는지를 다루는 문제가 됐다. 

누가 사람인지 누가 시스템인지 구분하기 어려워졌고 그 경계가 흐려진 자리가 새로운 공격 통로가 됐다. 이 변화가 데이터 보안을 근본적으로 다른 문제로 만들어버린 것이다.

AI가 만든 새로운 보안 이슈들은 어떤 종류가 있나.

가장 먼저 등장한 문제는 AI 모델과 학습 데이터 자체가 공격 대상이 됐다는 점이다. 예전에는 프로그램 코드가 변조되는지를 봤다면 이제는 AI가 무엇을 배우고 어떻게 판단하는지가 보안 이슈가 됐다. 

학습 데이터에 의도적으로 잘못된 정보를 섞으면 AI는 정상적으로 작동하는 것처럼 보이면서도 틀린 결정을 반복한다. 이 방식은 서버를 뚫지 않아도 서비스의 신뢰도를 무너뜨릴 수 있다.

다음으로 중요해진 이슈는 프롬프트 입력이다. 기존 시스템에서 사용자의 입력은 제한된 형식이었지만 AI는 자연어를 그대로 받아들인다. 질문처럼 보이는 문장 안에 명령을 숨기거나 내부 규칙을 무시하도록 유도하는 방식이 등장했다. 

이 경우 시스템은 오류를 내지 않고 요청을 수행한다. 외부에서는 정상적인 사용처럼 보이기 때문에 사고 인지 자체가 늦어진다.

기업 내부에서는 이른바 그림자 AI 문제가 커졌다. 직원이 승인받지 않은 AI 서비스를 쓰면서 문서나 고객 정보를 그대로 입력하는 사례가 늘었다. 이 데이터가 어디에 저장되는지 누가 접근하는지 알 수 없는 경우가 많다. 과거에는 개인 USB나 외부 메신저 사용이 문제였다면 이제는 AI 입력창이 새로운 유출 경로가 됐다.

AI가 자율적으로 작업을 이어가는 에이전트 형태로 쓰이기 시작하면서 권한 관리 문제도 생겼다. 하나의 AI가 여러 시스템에 접근하고 작업을 연결하면 중간 단계에서 권한이 과도하게 확장될 수 있다. 이 과정에서 누가 어떤 판단을 내렸는지 추적하기 어려워진다. 사고가 나도 책임 지점을 특정하기 힘들다.

이런 새로운 유형의 리스크들이 동시에 쌓이면서 보안의 난이도는 이전과 비교할 수 없을 만큼 높아졌다.

그 중에서도 가장 심각한 보안 문제는?

아이덴티티, 즉 신원 보증의 이슈다. 이 문제가 가장 위로 떠오른 이유는 AI가 공격의 출발점과 도착점을 동시에 바꿔버렸기 때문이다. 

과거 보안 사고는 데이터가 어디에 저장돼 있고 어떤 서버가 뚫렸는지를 따지면 흐름이 보였다. 하지만 지금은 공격자가 데이터를 노리기 전에 먼저 사람의 지위를 훔친다. 계정 하나를 확보하면 그 계정이 접근할 수 있는 모든 데이터와 시스템이 자동으로 열린다. 이 구조에서 아이덴티티는 열쇠가 아니라 통행증이 된다.

AI 이전에는 신원 확인이 비교적 단순했다. 비밀번호와 인증 수단이 맞으면 그 사람이 맞다고 판단했다. 문제는 AI가 사람의 말투와 행동을 매우 그럴듯하게 재현한다는 점이다. 

이메일 문장, 업무 요청 방식, 내부 용어 사용까지 흉내 내면 시스템은 물론 사람도 구분하기 어렵다. 이때 보안 사고는 기술적 침입이 아니라 정상적인 업무 커뮤니케이션처럼 보인다. 승인 요청과 결제 지시, 계정 복구 요청이 모두 합법적인 절차 안에서 이뤄진다.

아이덴티티 문제가 치명적인 이유는 피해 범위가 빠르게 확장되기 때문이다. 데이터 유출은 특정 파일이나 고객 정보로 한정될 수 있지만 신원이 탈취되면 그 사람이 할 수 있는 모든 행동이 공격자의 손에 넘어간다. 

메일 접근, 내부 시스템 로그인, 외부 서비스 연동까지 연쇄적으로 이어진다. AI가 자동화 도구로 붙어 있으면 공격자는 사람보다 훨씬 빠른 속도로 권한을 사용한다. 탐지 시점에는 이미 여러 시스템이 영향을 받은 뒤다.

소비자 피해도 같은 구조로 커진다. 신원 정보가 장기간 악용되는 상황으로 이어지기 때문이다. 금융 서비스, 쇼핑, 구독 서비스까지 연결된 계정 구조에서는 하나의 인증 사고가 생활 전반의 문제로 번진다. 기업 입장에서는 내부 통제가 정상적으로 작동했다고 믿는 동안 자산과 신뢰가 동시에 손상될 수밖에 없다.

그래서 AI 시대의 보안에서 가장 중요한 질문은 데이터가 어디 있느냐가 아니라 누가 그 데이터에 접근하고 그 접근을 어떻게 검증하느냐다. 아이덴티티가 무너지면 보안 장비와 규칙은 의미를 잃어버린다.

이 때문에 수많은 AI 관련 보안 이슈 가운데에서도 아이덴티티 문제가 가장 먼저 다뤄져야 할 핵심 리스크로 떠올랐다.

AI가 어떻게 사람을 흉내내고 신뢰를 통과한다는 것인가.

이 방식은 사회적 절차를 정교하게 따라하는 쪽에 가깝다. 먼저 텍스트다. 생성형 AI는 조직 내부 메일의 어투와 문장 길이, 자주 쓰는 표현을 빠르게 학습한다. 

그래서 “확인 부탁드립니다” 같은 평범한 문장 속에 계좌 변경이나 로그인 재확인을 자연스럽게 끼워 넣는다. 받는 사람 입장에서는 평소에 오가던 업무 메일과 구분하기 어렵다. 시스템 역시 정상적인 메일 발송으로 기록한다.

다음은 음성과 영상이다. AI 음성 합성은 억양과 말버릇을 재현해 전화 통화에서 상사를 그대로 복제한다. “지금 회의 중이라 급하다” 같은 상황 설명이 더해지면 재무나 IT 지원팀은 절차를 생략하고 요청을 처리한다. 영상까지 조작할 수 있다면 의심은 더 줄어든다. 

이 과정에서 공격자는 보안을 우회하지 않고 정해진 승인 흐름을 그대로 밟는다.

로그인 단계에서도 같은 일이 벌어진다. AI는 실제 로그인 화면과 구분하기 어려운 페이지를 빠르게 만들어낸다. 사용자가 주소창을 자세히 보지 않으면 정상 서비스로 착각한다. 아이디와 비밀번호를 입력하고 인증을 마치면 그 순간 생성되는 세션 정보가 공격자에게 전달된다. 

사용자는 인증을 했고 시스템은 인증을 허용했기 때문에 아무런 이상한 점을 느끼지 못한다. 문제는 인증의 주체가 이미 바뀌어 있다는 점이다.

AI가 결합된 자동화는 이 과정을 더 빠르게 만든다. 하나의 계정이 확보되면 AI는 메일을 뒤지고 연동된 서비스 목록을 정리한다. 다음 목표를 정하고 접근을 시도한다. 사람이 하던 정찰과 판단을 AI가 대신하면서 공격 속도는 급격히 올라간다. 

이상 징후가 감지될 때쯤이면 여러 서비스에서 동일한 신원이 사용된 흔적이 남는다.

이 방식의 핵심은 속임수가 눈에 띄지 않는다는 데 있다. 공격자는 시스템 규칙을 어기지 않고 사람의 신뢰를 통과한다. 그래서 보안 사고는 기술 실패가 아니라 판단 실패처럼 보인다. 사람과 시스템이 믿어온 절차를 그대로 재현하는 것이 AI가 신뢰를 통과하는 가장 강력한 무기다.

실제 AI 보안 사고는 어떤 경로로 현실화되고 있을까.

2025년 미국과 유럽에서 보고된 기업 금융 사기 사례를 보면 재무 담당 직원이 상사의 지시를 받아 수백만 달러를 송금한 사건이 여럿 있었다. 이 지시는 이메일이 아니라 음성 메시지였다. 

AI로 합성된 목소리는 실제 임원의 억양과 말버릇을 그대로 재현했고 “회의 중이라 길게 말을 못 한다”는 상황 설명까지 더해졌다. 직원은 기존 승인 절차를 거쳤다고 인식했고 시스템 로그에도 이상은 남지 않았다. 

피싱 공격도 양상이 달라졌다. 2025년 보안 보고서들에 따르면 생성형 AI를 이용한 피싱 캠페인은 짧은 시간 안에 대량으로 제작됐다. 이전에는 문법이 어색하거나 맥락이 맞지 않는 메일이 많았지만 최근 공격은 조직 내부에서 실제로 쓰이는 표현과 문서 형식을 그대로 따른다. 

사용자는 평소 업무 메일과 구분하지 못한 채 로그인 정보를 입력했고 다중 인증까지 마친 경우도 있었다. 이후 공격자는 해당 계정의 세션 정보를 이용해 기업의 클라우드 서비스와 협업 도구에 접근했다.

신원 사칭은 공공 영역에서도 나타났다. 2025년에는 AI로 생성된 음성과 텍스트를 이용해 고위 공직자를 사칭한 사례가 공개됐다. 메신저와 음성 메시지를 통해 외교 관계자나 내부 인력에게 접근했고 일부는 실제 인물의 계정과 구분이 어려운 상태였다. 

이런 사고에서 주목할 점은 피해 인지 시점이다. 대부분의 경우 기업은 시스템 장애나 보안 경보로 사고를 알아차리지 못했다. 자금 이동이나 권한 변경이 정상 업무로 처리된 뒤 뒤늦게 문제를 발견했다.

그래서 기업과 소비자는 어떻게 보안 시스템을 처음부터 다시 설계하고 있을까.

최근 보안 보고서와 업계 움직임을 종합하면 공통된 방향이 있다. 한 번 확인하고 믿는 방식은 더 이상 통하지 않는다는 인식이다.

기업들이 가장 먼저 손대는 영역은 인증 구조다. 과거에는 아이디와 비밀번호, 여기에 문자나 앱 인증을 더하면 충분하다고 여겼지만 AI 시대에는 로그인 이후의 모든 행동이 검증 대상이 된다. 

현재 글로벌 보안 기업들은 ‘지속적 인증’이라는 개념을 전면에 내세우고 있다. 사용자가 로그인한 뒤에도 접속 위치, 기기 상태, 행동 패턴이 평소와 다른지 실시간으로 평가한다. 계정은 살아 있는 신원으로 취급되고 위험도가 올라가면 즉시 권한을 줄이거나 추가 인증을 요구한다. 로그인은 시작일 뿐이다.

이 흐름과 함께 제로 트러스트 원칙이 실제 설계 단계로 내려오고 있다. 내부 사용자나 내부 시스템이라고 해서 기본적으로 신뢰하지 않는다. 모든 접근 요청은 다시 묻고 필요한 권한만 최소한으로 부여한다. 

특히 AI 에이전트가 사람 대신 업무를 수행하는 환경에서는 이 원칙이 필수로 여겨진다. AI가 잘못된 지시를 받거나 신원이 탈취될 경우 피해가 자동으로 확산되기 때문이다. 

기업들은 AI가 접근할 수 있는 데이터 범위를 세분화하고 행동 기록을 남겨 추적 가능하게 만드는 데 집중하고 있다.

인증 기술도 바뀌고 있다. 비밀번호에 의존하지 않는 패스키와 생체 인증 도입이 빠르게 늘고 있다. 이는 사용 편의성 때문만이 아니다. AI로 만들어진 가짜 로그인 페이지나 음성 사칭 공격에 상대적으로 강하기 때문이다. 

여기에 행동 기반 인증이 결합된다. 키보드 입력 속도, 마우스 움직임, 앱 사용 흐름 같은 요소를 종합해 사람이 맞는지 판단하는 방식이다. 눈에 보이지 않지만 신원을 판단하는 기준은 점점 다층화되고 있다.

한편 공격자가 AI로 사람을 흉내 내는 만큼 방어자도 AI로 이상 행동을 감지하려는 시도가 다양하게 연구되고 있다.

공격의 방식과 정확히 반대로, 이메일 문맥, 로그인 흐름, 권한 사용 패턴을 분석해 사람이 알아차리기 전에 위험 신호를 포착하려는 시도다. 보안은 사람의 판단을 보조하는 도구에서 사람의 판단을 대신 감시하는 체계로 바뀌고 있다.

규제 환경도 이 변화를 수용하고 있다. AI가 관여한 의사결정과 접근 기록을 남기고 사후 감사가 가능하도록 요구하는 움직임이 늘고 있다. 

결국 기업과 소비자가 다시 설계해야 할 것은 특별한 기술보다는 신뢰를 어디서 어떻게 부여할 것인지에 대한 기준에 있다. 그에 따라 AI 시대의 데이터 보안은 신원을 끊임없이 확인하는 문제로 이동하고 있다. 이 전환을 따라가지 못한 조직과 개인이 가장 먼저 피해자가 될 것이다.