메타, 텍스트 한 줄로 ‘걸어다닐 수 있는 3D 세계’ 만드는 월드젠 공개

메타가 텍스트 한 줄로 실제처럼 걸어다닐 수 있는 3D 세계를 만들어내는 생성형 AI 기술 ‘월드젠(WorldGen)’을 공개했다. 지금까지 이미지 생성 AI가 보여주던 정적인 3D 그림 수준을 넘어 게임 엔진에서 바로 불러와 사용할 수 있는 ‘완전한 인터랙티브 공간’을 만든다는 점에서 업계의 시선을 끌고 있다.

메타 리얼리티랩스가 공개한 기술 보고서에 따르면 월드젠은 사용자가 “중세 풍 마을” 같은 문장을 입력하면 약 5분 만에 탐색 가능한 3D 월드를 자동으로 제작한다. AI가 만든 배경에서는 실제로 길이 열리고 건물 사이를 걸어 다닐 수 있으며 물리 충돌이나 내비게이션이 가능한 형태로 만들어진다는 점이 핵심이다. 

기존 텍스트 기반 3D 생성 모델 대부분이 시각적 멋을 우선해도 기능적인 요소가 빠져 있어 실무에서 활용하기 어려웠던 점을 정면으로 겨냥한 기술이다.

월드젠의 중심 아이디어는 ‘트래버서빌리티(traversability)’라는 개념이다. AI가 생성한 세계가 실제 사람이 이동할 수 있는 구조인지 먼저 판단한 뒤 여기에 3D 지오메트리를 더하는 방식이다. 

이 과정에서 내비게이션 메쉬(navmesh)가 함께 생성되어 캐릭터가 어디를 걸을 수 있고 어떤 곳은 장애물인지 바로 구분된다. 예를 들어 과거 모델들이 문 앞에 커다란 돌을 떨어뜨린다거나 통로 한가운데 나무가 솟아나 사용자 이동을 막아버리는 비현실적인 배치를 만들곤 했지만 월드젠은 이런 문제를 사전에 차단하도록 설계됐다.

또한 월드젠은 생성된 씬을 ‘하나의 덩어리’로 출력하지 않고 나무, 바닥, 건물, 상자 같은 개별 오브젝트로 자동 분리한다. 메타는 이를 ‘씬 디컴포지션(scene decomposition)’이라 부르며 각 오브젝트를 자동으로 나누는 기술을 ‘오토파트젠(AutoPartGen)’이라고 설명했다. 

이 덕분에 개발자는 AI가 만든 결과물을 그대로 쓸 수도 있고, 특정 오브젝트만 골라 이동하거나 삭제하거나 교체하는 식의 수정도 쉽게 할 수 있다. 기존 단일 메시 기반 생성 모델에서는 이 과정이 사실상 불가능해 사람이 처음부터 다시 만들어야 했다.

출력물도 기존 연구형 모델과 달리 표준 메시 형태로 제공된다. 이는 중요하다. 최근 여러 스타트업이 ‘가우시안 스플랫(Gaussian Splat)’ 기반 텍스트-to-3D 기술을 선보이고 있지만 이 방식은 시각적으로는 화려해도 물리 충돌·내비게이션·오브젝트 편집 같은 실무 기능을 구현하기 어렵다. 

특히 시점이 조금만 움직여도 품질이 급격히 떨어지는 경우도 많았다. 반면 월드젠은 처음부터 게임 엔진에서 바로 불러올 수 있는 구조로 만들어지기 때문에 유니티(Unity)나 언리얼 엔진(Unreal Engine) 같은 산업 표준 파이프라인에 바로 들어간다. 

VR 교육, 산업용 디지털 트윈, 안전 훈련 시뮬레이션 같은 실용적 활용 분야가 넓다는 것이다.

생성 시간도 주목할 만하다. 충분한 하드웨어 기준으로 5분이면 완전한 탐색 가능한 씬이 완성된다. 기존에는 환경을 거칠게 배치해보는 ‘블록아웃(blockout)’ 작업만도 며칠씩 걸리는 경우가 흔했다. 

개발팀이 세계관의 구조를 잡고 이동 동선을 점검하는 데만 많은 시간을 쓰던 방식에서 AI가 기본 설계를 빠르게 제시하고 인간은 그 위에 디테일과 창작을 얹는 방식으로 작업 흐름 자체가 바뀔 수 있다는 분석이 나온다.

물론 한계도 있다. 현재 버전은 하나의 기준 뷰를 기반으로 씬을 만드는 구조이기 때문에 거대한 오픈월드처럼 수백 미터 단위로 확장된 환경을 한 번에 만들기는 어렵다. 여러 구역을 이어 붙일 수는 있지만 시각적 일관성 문제가 생길 수 있다. 

또한 생성되는 오브젝트가 매번 새로 만들어지는 탓에 대형 환경에서는 메모리 효율이 떨어질 수 있다. 같은 의자 하나를 30번 복제하는 대신 30개의 서로 다른 의자가 각각 생성되는 구조이기 때문이다. 메타는 향후 반복 오브젝트 처리와 대규모 월드 생성 능력을 보완할 계획이라고 설명했다.

그럼에도 업계에서는 월드젠이 “디지털 공간 제작의 업무 구성을 실제로 바꿔놓을 기술”이라는 평가가 나온다. 특히 기업들은 지금까지 가장 많은 시간과 비용을 쓰던 ‘초기 배치’와 ‘레이아웃 구성’ 단계를 자동화할 수 있다는 점에 주목한다. 

물류업체가 VR 안전훈련 모듈을 제작한다고 가정하면, 전체 공장 구조를 먼저 잡는 데 드는 시간이 크게 줄어들고 이후 인력은 세부 인터랙션과 실제 훈련 로직에 집중하는 방식으로 예산 배분이 바뀔 수 있다. 게임 스튜디오나 크리에이티브 산업에서도 레벨 디자인 초반부를 단축하는 데 큰 도움이 될 수 있다.

업계 전문가들은 앞으로 아티스트와 레벨 디자이너가 직접 메시를 다루기보다 ‘프롬프트로 공간을 설계하는 방식’으로 업무가 재편될 가능성도 제기한다. 

“중세 마을” 같은 단어가 아니라 “강이 남북 방향으로 흐르고 마을은 동쪽에 배치하며 풍차는 서쪽 가장자리”처럼 구체적 레이아웃을 텍스트로 묘사하는 능력이 창작 도구의 핵심 역량이 될 수 있다는 전망이다.

메타는 이번 기술을 “반복적이고 시간이 많이 드는 구조 작업을 자동화해 창작자가 더 높은 가치를 가진 부분에 집중하도록 돕는 역할”이라고 정의했다. 실제 월드젠은 최종 품질의 AAA급 결과물을 바로 만드는 도구라기보다는 디지털 세계를 빠르게 설계하는 ‘구조 자동화 엔진’에 가깝다.

월드젠은 아직 연구 단계로 상용화 일정은 공개되지 않았다. 다만 메타가 지난해부터 생성형 AI와 공간 컴퓨팅 결합을 핵심 전략으로 내세운 만큼 VR·AR 플랫폼을 중심으로 기술 적용 범위가 점차 확대될 가능성이 크다는 전망이 나온다. 

생성형 3D 기술이 장기적으로 인간 창작을 보완하는 도구로 자리 잡을지, 향후 메타가 어떤 방향으로 이 생태계를 확장할지 업계의 관심이 집중되고 있다.