카메라로 찍은 연기는 그대로, 장면만 바꾼다…Luma AI, 새 영상 편집 모델 공개

미국 AI 영상 기업 Luma AI가 기존 영상을 바탕으로 장면을 바꾸거나 전환 구간을 만들어주는 새 인공지능 모델 ‘Ray3 Modify’를 공개했다. 이 모델의 핵심은 처음부터 영상을 새로 생성하는 방식이 아니라 사람이 실제로 연기하고 촬영한 원본 영상을 기준으로 외형과 배경만 바꾸는 데 있다. 

영상 속 인물의 움직임과 표정, 시선, 말의 타이밍 같은 요소를 최대한 유지한 채 의상이나 장소, 분위기만 바꾸는 것이 목표다. AI 영상이 화려해질수록 가장 쉽게 어색해지는 부분이 사람의 연기라는 점에서 이번 모델은 그 약점을 정면으로 파고들었다는 평가를 받는다.

Ray3 Modify는 두 가지 기능으로 설명할 수 있다. 하나는 ‘캐릭터 레퍼런스’다. 사용자가 특정 캐릭터 이미지를 참고 자료로 넣으면 원본 영상 속 배우의 연기와 동작을 따라가면서 외형을 그 캐릭터로 바꿔준다. 

얼굴이나 복장만 바뀌는 수준이 아니라 촬영 내내 같은 인물처럼 보이도록 정체성을 유지하는 데 초점이 맞춰져 있다. 광고나 브랜드 영상처럼 여러 장면을 이어 붙여야 하는 작업에서 인물의 외형이 장면마다 달라지는 문제를 줄이기 위한 기능이다.

다른 하나는 시작 프레임과 끝 프레임을 지정하는 기능이다. 영상의 첫 장면과 마지막 장면을 이미지로 제시하면, AI가 그 사이를 자연스럽게 이어주는 중간 구간을 생성한다. 감독이나 제작자가 “이 장면에서 이렇게 시작해 이런 모습으로 끝난다”는 기준을 분명히 제시할 수 있어 전환 효과나 인물의 이동을 보다 예측 가능하게 조정할 수 있다. 

이야기의 시작과 끝을 정해주고 중간 과정을 AI가 채우는 방식이라고 이해하면 된다.

회사 측은 이 모델이 창작 현장에서 반복 촬영을 줄이는 데 도움을 줄 수 있다고 설명한다. 실제 촬영에서는 배우의 연기와 카메라 움직임만 확보해 두고, 이후 후반 작업에서 배경을 다른 도시로 바꾸거나 낮 장면을 밤으로 바꾸는 식의 수정이 가능하다는 것이다. 

비용과 시간이 많이 드는 재촬영을 줄일 수 있다는 점에서 광고, 뮤직비디오, 브랜드 영상 제작에 활용도가 높다는 설명이다. Ray3 Modify는 루마AI의 영상 생성 플랫폼인 Dream Machine을 통해 제공된다.

루마AI는 이미 올해 중반부터 영상 수정 기능을 단계적으로 공개해 왔으며 이번 업데이트는 그 흐름을 확장한 결과물이다. 경쟁사로는 영상 생성과 편집 기능을 제공하는 Runway와 중국 기반의 Kling 등이 거론된다. 다만 루마AI는 사람의 연기를 최대한 보존하는 방향을 강조하며 차별화를 시도하고 있다.

이번 모델 공개가 주목받는 또 다른 이유는 회사의 자금력과 인프라 계획 때문이다. 루마AI는 지난해 11월 사우디아라비아 국부펀드 산하 AI 기업 Humain이 주도한 대규모 투자 유치를 발표했다. 

기존 투자자인 Andreessen Horowitz 등도 여기에 참여했다. 회사는 이 파트너십을 통해 사우디에 2기가와트 규모의 AI 연산 클러스터를 구축할 계획도 밝혔다. 2기가와트는 중소 도시 하나가 사용하는 전력에 맞먹는 수준으로, 대규모 AI 학습과 영상 처리 서비스를 동시에 운영할 수 있는 인프라를 염두에 둔 수치다.

텍스트 몇 줄로 영상을 만드는 실험 단계에서 벗어나 이미 촬영된 영상 자산을 효율적으로 활용하려는 수요가 커지고 있다. 이렇게 사람의 연기를 기준점으로 삼고 그 위에 AI를 얹는 방식은 향후 영화와 광고 제작 방식에도 적지 않은 변화를 가져올 수 있다는 분석이 나온다.