AI가 그림과 동영상을 배우는 방법

AI가 인터넷에 있는 글을 학습하는 방식은 비교적 직관적이다. 문장을 잘게 쪼개 숫자로 바꾸고 다음에 올 단어를 맞히는 연습을 반복한다. 문제는 그림과 동영상이다. AI가 그림이나 동영상은 대체 무슨 수로 이해하는 것일까.

실제로 AI 업계에서도 이 지점이 최근 가장 빠르게 발전한 영역이다. 핵심부터 말하면 AI는 그림과 영상을 ‘본다’기보다는 잘게 쪼개 숫자로 바꾼 뒤 그 숫자들의 관계를 학습한다. 이 과정에는 각각 이름이 붙은 기술들이 있다.

먼저 이미지부터 보자. 요즘 이미지 AI의 기본 구조는 비전 트랜스포머(Vision Transformer)라고 불린다. 여기서 가장 중요한 개념이 패치 분할이다. 사진 한 장을 그대로 쓰지 않고 16x16 픽셀 같은 작은 정사각형 조각으로 나눈다. 이 조각 하나하나가 텍스트의 단어처럼 토큰 역할을 한다. 이를 패치 임베딩(Patch Embedding)이라고 한다. 

각 패치는 색상, 밝기, 질감 같은 정보를 숫자 벡터로 바꾼다. AI 입장에서는 고양이 사진이든 자동차 사진이든 결국 수백 개의 숫자 묶음으로 변환된다.

다음 단계는 이 이미지 임베딩(Image Embedding)을 텍스트 임베딩과 연결하는 작업이다. 여기서 많이 쓰이는 학습 방식이 대비 학습이다. 고양이 사진과 “고양이”라는 문장을 동시에 넣고 두 임베딩이 최대한 가까워지도록 학습시킨다. 반대로 고양이 사진과 “비행기” 같은 문장은 멀어지게 만든다. 

이를 수억 번 반복하면 이미지와 텍스트가 같은 의미 공간에 정렬된다. 이 의미 공간을 보통 공통 임베딩 공간이라고 부른다. 그래서 AI는 사진을 보면 자동으로 어울리는 단어를 떠올리고 문장을 주면 그에 맞는 이미지를 만들 수 있다.

동영상은 여기서 시간이라는 요소가 추가된다. 영상 모델은 비디오 트랜스포머(Video Transformer)라는 구조를 쓴다. 영상을 여러 프레임으로 쪼갠 뒤 각 프레임을 이미지처럼 처리하는데 여기서 중요한 것은 프레임 사이의 관계다. 

이를 위해 사용되는 기술이 시간 어텐션(Temporal Attention)이다. 이전 프레임에서 중요했던 물체나 영역을 다음 프레임에서도 계속 주목하도록 만든다. 축구공이 화면을 가로질러 움직이면 AI는 공이라는 객체를 시간 흐름 속에서 추적한다.

학습 방식도 다르다. 텍스트는 다음 단어 예측이 핵심이지만 영상은 다음 프레임 예측이나 마스킹 복원 학습을 쓴다. 중간 장면을 일부러 가리고 다음에 어떤 화면이 나올지 맞히게 한다. 사람이 문을 여는 장면을 보면 그 다음에 방 안으로 들어갈 가능성이 높다는 것을 아는 것처럼 AI도 이런 반복을 통해 세상의 흐름을 배운다. 

이것이 요즘 많이 언급되는 월드 모델(World Model)의 기초다. 세상이 어떻게 이어지는지에 대한 감각을 데이터로 학습하는 것이다. 여기에 소리까지 붙으면 멀티모달 학습이 된다. 

폭죽 소리와 불꽃 영상과 “불꽃놀이”라는 글을 동시에 학습시키면 이 셋은 같은 사건으로 묶인다. 그래서 AI는 소리만 듣고도 어떤 장면일지 추측하고 장면을 보고 어떤 소리가 날지 예측할 수 있다. 이 역시 전부 숫자 사이의 관계를 맞추는 과정이다.

그림과 동영상을 학습한다는 말은 AI가 세상을 보는 픽셀을 숫자로 바꾸고 그 숫자들의 패턴과 순서를 끝없이 맞춰보는 계산을 반복한다는 의미다. 다만 그 반복 횟수가 인간의 상상을 넘어설 정도로 많다는 게 차이다. 

그래서 AI는 마치 세상을 이해하는 것처럼 보인다.