노이즈에서 장면으로…영상 AI의 핵심이 된 ‘디퓨전 모델’

현재 AI 영상의 퀄리티는 1~2년 전과 비교할 수 없을 만큼 비약적으로 발전했다. AI가 글을 어떻게 쓰는지는 상대적으로 이해하기 쉽지만 영상은 어떻게 만드는 것일까.

영상을 만드는 AI는 글을 쓰는 AI와 접근 방법부터가 다르다. 생성 AI의 중심에는 디퓨전 모델이 있다. 디퓨전 모델은 무작위 노이즈에서 출발해 점진적으로 노이즈를 제거하며 이미지와 영상을 만들어내는 생성 방식이다. 

처음에는 화면 전체가 의미 없는 잡음 상태로 시작되고 학습된 신경망이 단계별로 노이즈를 걷어내면서 윤곽과 색과 구조가 드러난다. 이 과정은 수십에서 수백 단계에 걸쳐 반복된다. 

(사진 출처: Society for Industrial and Applied Materials)

모델은 학습 단계에서 정상적인 이미지와 영상에 노이즈를 점점 더하는 과정을 먼저 익히고 이후 그 반대 과정을 통해 노이즈를 제거하는 법을 배운다. 생성 결과가 안정적이고 품질 편차가 적다는 점이 이 방식의 특징이다.

디퓨전 모델은 이미지 생성에서 먼저 상용화됐고 이후 영상 영역으로 빠르게 확장됐다. 영상은 단일 이미지와 달리 시간의 흐름을 포함한다. 프레임이 바뀌어도 인물의 얼굴이나 배경 구조가 유지돼야 하고 움직임이 자연스럽게 이어져야 한다. 

이를 위해 영상 디퓨전 모델은 공간 정보와 함께 시간 축 정보를 동시에 다룬다. 모델은 연속된 프레임 사이의 변화를 학습해 장면이 갑자기 흔들리거나 사물이 사라지는 현상을 줄인다. 이 성질은 ‘시간적 일관성’으로 설명된다. 영상 생성 AI에서 이 요소는 품질을 판단하는 핵심 기준으로 사용된다.

텍스트를 입력하면 영상이 생성되는 텍스트 투 비디오 기술도 디퓨전 모델을 기반으로 발전했다. 사용자가 문장으로 장면과 분위기와 동작을 설명하면 모델은 이를 조건으로 삼아 노이즈 제거 과정을 진행한다. 

예를 들어 ‘해 질 무렵 도시를 내려다보는 드론 샷’이라는 입력이 들어오면 모델은 노이즈 상태에서 시작해 해당 설명과 일치하는 시각적 패턴을 점차 강화한다. 이 과정에서 카메라의 시점 이동이나 피사체의 움직임이 함께 생성된다. 최근 모델들은 카메라가 이동하는 경로까지 조건으로 입력받아 장면을 구성한다.

영상 디퓨전 모델은 기존 영상 편집 영역에도 활용되고 있다. 기존 영상을 입력으로 받아 스타일을 바꾸거나 특정 요소만 수정하는 비디오 투 비디오 방식이 대표적이다. 인물의 의상이나 배경을 바꾸거나 낮 장면을 밤 장면으로 변환하는 작업이 이에 포함된다. 

이때 모델은 원본 영상의 구조와 움직임을 유지한 채 노이즈 제거 과정에서 새로운 시각적 특징을 덧입힌다. 프레임 간 연결이 유지되기 때문에 단순 필터보다 자연스러운 결과가 나온다.

2026년 기준 연구와 산업계의 주요 관심사는 속도와 길이 문제다. 디퓨전 모델은 반복적인 계산이 필요해 생성 시간이 길다는 한계를 갖는다. 

이를 개선하기 위해 노이즈 제거 단계를 줄이는 기술이 도입됐다. 핵심 프레임만 생성한 뒤 중간 프레임을 보간하는 방식도 사용된다. 해상도를 낮은 상태에서 먼저 생성한 뒤 내부 표현 공간에서 해상도를 끌어올리는 구조도 보편화됐다. 이 방식은 계산량을 줄이면서도 4K 수준의 결과를 가능하게 했다.

사람 중심 영상에서는 얼굴과 신체 제어가 중요한 이슈로 다뤄진다. 입 모양과 음성을 맞추는 립싱크 기술과 표정 변화를 제어하는 기능은 광고와 콘텐츠 제작에 활용되고 있다. 

전신 움직임의 경우 사람의 관절 위치 정보를 입력으로 사용해 자연스러운 동작을 생성한다. 이 정보는 포즈 추정 기술을 통해 얻어진다. 모델은 포즈 정보를 시간 순서대로 받아 노이즈 제거 과정에 반영한다.

최근에는 물리 법칙을 반영하려는 시도가 늘었다. 물체가 떨어질 때의 속도 변화나 충돌 시 반응 같은 현상을 모델이 이해하도록 학습시키는 방식이다. 이를 통해 물과 불과 연기 같은 효과가 현실에 가까워진다. 이러한 접근은 로봇 시뮬레이션과 자율주행 학습 영상 생성으로 확장되고 있다. 

행동 조건을 입력하면 그 결과를 영상으로 생성하는 기술도 물론 이 범주에 포함된다.

이와 같은 디퓨전 모델은 영상 제작 파이프라인 전체를 바꾸고 있다. 촬영과 편집과 후반 작업이 분리돼 있던 기존 구조에서 생성과 수정과 보정이 하나의 과정으로 묶이는 것이다. 이 흐름은 이제 영상 제작의 자동화와 개인화로 이어지고 있다.