엔비디아, 로봇에 ‘생각하는 세계’ 도입…물리 AI 시대 겨냥한 코스모스 공개

엔비디아가 로봇과 물리 환경을 이해하는 AI 개발을 겨냥해 새로운 월드 모델과 개발 인프라를 공개했다. 엔비디아는 2025년 8월 11일 미국 로스앤젤레스에서 열린 컴퓨터 그래픽 국제 콘퍼런스 SIGGRAPH에서 로보틱스 개발자를 위한 월드 AI 모델 세트 ‘코스모스(Cosmos)’와 관련 소프트웨어 및 서버 인프라를 발표했다. 

이번 발표의 핵심은 로봇이 실제 세계를 이해하고 다음 행동을 계획할 수 있도록 설계된 추론형 비전 언어 모델 ‘코스모스 리즌(Cosmos Reason)’이다.

코스모스 리즌은 70억 개 파라미터로 구성된 대형 AI 모델로 영상과 언어를 함께 이해하는 구조를 갖췄다. 엔비디아는 이 모델이 물리 법칙과 시간 흐름에 대한 이해를 내장하고 있어 로봇이나 물리 AI 에이전트가 다음에 어떤 행동을 취해야 할지를 단계적으로 판단할 수 있다고 설명했다. 

이는 로봇이 카메라로 사물을 인식하는 수준보다 더 나아가 물체의 위치 변화나 충돌 가능성, 공간 내 이동 경로를 예측하는 데 활용될 수 있다는 의미다.

엔비디아는 코스모스 리즌을 데이터 선별, 로봇 동작 계획, 영상 분석 등에 사용할 수 있다고 밝혔다. 예를 들어 로봇 팔이 작업대를 정리하는 상황에서 카메라 영상과 텍스트 지시를 함께 입력하면 물체를 집는 순서와 이동 경로를 모델이 판단하는 방식이다. 

이 과정에서 모델은 물체의 크기와 무게, 주변 장애물과의 관계를 고려해 다음 행동을 계산한다.

이번 발표에는 기존 코스모스 모델군의 확장도 포함됐다. 코스모스 트랜스퍼-2는 3차원 시뮬레이션 장면이나 공간 제어 입력값을 기반으로 합성 데이터를 빠르게 생성하는 모델이다. 

로봇 학습에는 다양한 환경과 상황 데이터가 필요한데, 실제 세계에서 이를 모두 수집하는 데는 비용과 시간이 많이 든다. 코스모스 트랜스퍼-2는 가상 환경에서 생성한 데이터를 현실과 유사한 형태로 변환해 학습용 이미지와 영상을 만들어내는 역할을 한다. 엔비디아는 속도에 최적화한 경량화 버전도 함께 공개했다.

엔비디아는 코스모스 모델들이 텍스트, 이미지, 영상 기반 합성 데이터셋을 생성하는 데 사용될 것이라고 설명했다. 합성 데이터란 실제 촬영이나 센서 수집 없이 AI가 만들어낸 학습용 데이터로, 자율주행과 로보틱스 분야에서 활용도가 높다. 

엔비디아는 이를 통해 로봇 개발자가 위험한 상황이나 드문 환경을 가상으로 재현해 학습시킬 수 있다고 밝혔다.

소프트웨어 측면에서는 새로운 신경망 기반 재구성 라이브러리도 공개됐다. 이 라이브러리는 센서 데이터를 활용해 현실 세계를 3차원으로 재구성하는 기능을 제공한다. 카메라와 라이다 같은 센서로 수집한 정보를 바탕으로 실제 공간을 디지털로 복제하는 방식이다. 

해당 기술은 오픈소스 자율주행 시뮬레이터 플랫폼인 CARLA에 통합될 예정이다. 엔비디아는 이를 통해 개발자가 실제 도로 환경과 유사한 조건에서 로봇과 자율주행 알고리즘을 시험할 수 있다고 설명했다.

엔비디아의 가상 협업 플랫폼인 옴니버스 소프트웨어 개발 키트도 업데이트됐다. 옴니버스는 3차원 시뮬레이션과 디지털 트윈을 만드는 데 사용되는 플랫폼으로, 로봇과 물리 AI 개발에서 가상 환경 구축 도구로 활용된다. 코스모스 모델과 옴니버스의 결합은 시뮬레이션과 AI 학습을 하나의 파이프라인으로 연결하는 데 목적이 있다.

하드웨어 인프라도 함께 공개됐다. 엔비디아 RTX 프로 블랙웰 서버는 로보틱스 개발 워크로드를 위한 단일 아키텍처 서버로, 시뮬레이션과 AI 학습, 추론 작업을 동시에 처리하도록 설계됐다. 엔비디아 DGX 클라우드는 클라우드 기반 관리 플랫폼으로, 대규모 AI 모델과 로봇 개발 작업을 원격으로 운영할 수 있도록 지원한다.

엔비디아는 이번 발표가 AI 데이터센터 이후의 차세대 GPU 활용처로 로보틱스를 겨냥한 행보라고 설명했다. 지금까지 엔비디아의 AI 반도체는 대규모 언어 모델 학습과 데이터센터용 연산에 집중돼 있었다. 엔비디아는 물리 세계를 이해하는 AI가 산업 현장과 로봇 시장에서 새로운 수요를 만들어낼 것으로 보고 관련 생태계 확장에 나서고 있다.

현재 엔비디아는 여러 글로벌 로봇 제조사와 협력해 코스모스 기반 로봇 개발을 진행하고 있으며 산업 자동화와 물류, 제조 현장에서 적용 가능성을 시험 중이다.