Physical AI를 위한 신뢰성 있는 합성 데이터 생성 (Part 1): RoBoost Agent로 NVIDIA Cosmos 다루기

서론

Physical AI 데이터의 비대칭성

ChatGPT가 등장한 지 3년이 지난 지금, 엔지니어링 관점의 교훈은 분명합니다. 대규모 언어 모델(LLM)은 디지털 도메인의 문제를 해결하는 데 효과적입니다. LLM은 글을 쓰고, 코드를 작성하고, 추론하며, 복잡한 워크플로우를 자동화할 수 있습니다. 이러한 성공은 방대한 데이터 우위에 기반합니다. LLM은 인터넷 규모의 인간 텍스트 기록으로 학습되며, 사실상 수세기에 걸쳐 축적된 지식을 학습합니다.

하지만 Physical AI는 이러한 데이터 우위를 누리지 못합니다. Physical AI 시스템 학습에 필요한 고충실도 실제 세계 데이터에는 이와 같은 기존 소스가 없습니다.

엣지 케이스 병목

디지털 도메인과 달리, Physical AI의 데이터 수집은 본질적으로 비용이 많이 듭니다. 로봇이나 자율주행 차량을 학습시키려면 시각적 관찰뿐 아니라 조향각, 관절 토크, 그리퍼 힘과 같은 대응 제어 신호도 필요합니다. 이러한 신호는 실제 시스템을 물리적으로 구동해야만 수집할 수 있으며, 이 과정에는 상당한 하드웨어 비용과 유지보수 부담이 따릅니다.

이러한 제약 속에서 표준 운영 데이터를 수집하는 것만으로도 이미 비용이 많이 들지만, 안전에 치명적이며 드문 롱테일 엣지 케이스를 포착하는 일은 사실상 감당하기 어려울 정도로 비싸집니다. 야간 폭우, 충돌 직전 상황, 특이한 표면 질감을 가진 물체와 같은 시나리오는 거의 발생하지 않으며 안정적으로 연출하기도 어렵습니다. 결국 이러한 데이터 병목은 실제 환경에서 모델 성능을 제한하고, Physical AI가 이론적 잠재력에 비해 훨씬 느리게 발전하는 이유를 설명합니다.

시뮬레이션 엔진으로서의 월드 모델

이 병목을 해결하기 위해 월드 모델이 유망한 해결책으로 떠오르고 있습니다. 월드 모델은 물리적 장면이 시간에 따라 어떻게 변화할지 예측하고, 그 예측을 영상으로 렌더링하는 생성 모델입니다. 월드 모델은 물체 움직임, 재료 특성, 환경 상호작용과 같은 복잡한 동역학을 포착함으로써 일반적인 영상 생성의 범위를 넘어섭니다. 기존 모델이 시각적 미감에 우선순위를 둔다면, 월드 모델은 픽셀 뒤에 있는 물리적 메커니즘을 시뮬레이션합니다. 이러한 물리적 기반 덕분에 월드 모델은 실제 세계에서 데이터를 수집하기 비현실적이거나 위험한 시나리오에서 고충실도 합성 데이터를 만드는 데 적합합니다.

NVIDIA Cosmos는 이러한 접근법의 구체적인 예로, 물리 시스템을 다루는 세 가지 기능을 제공합니다. Cosmos-Predict 2.5는 영상 프레임을 생성해 미래 상태를 시뮬레이션하고, 물리적 시퀀스에서 다음에 어떤 일이 일어날지 결정합니다. Cosmos-Transfer 2.5는 알려진 시나리오를 서로 다른 날씨, 조명, 재료 특성과 같은 완전히 새로운 조건으로 변환합니다. Cosmos-Reason 2는 장면에서 무슨 일이 일어나고 있는지 분석하고, 그 동역학이 물리적으로 일관적인지 평가합니다.

Cosmos Workflow의 실질적 한계

NVIDIA Cosmos Cookbook은 완전한 엔드투엔드 워크플로우를 통해 Cosmos를 쉽게 활용할 수 있는 실습 가이드를 제공합니다. 특히 Cosmos-Transfer 2.5 레시피는 원본 입력의 물리적 구조를 유지하면서 영상의 스타일을 전이하는 방법을 보여줍니다.

하지만 시각적으로 그럴듯한 증강과 Physical AI를 위한 학습급 데이터 사이에는 중요한 간극이 있습니다. 프로덕션 파이프라인에서 단순히 영상을 생성하고, 눈으로 확인한 뒤, 데이터셋에 추가하는 방식은 구조적으로 실패합니다. 핵심 실패 지점은 시각적 충실도가 아니라 의미적 일관성과 작업 라벨 무결성입니다. 생성된 샘플이 목표 작업의 의미에서 벗어나는 순간, 물리적으로 그럴듯하고 시간적으로 일관적으로 보이더라도 학습에는 해로운 데이터가 됩니다.

이러한 한계를 구체적으로 보여주기 위해 자율주행과 로봇 매니퓰레이션이라는 두 도메인에서 대표적인 실패 사례를 살펴보겠습니다.

자율주행: 의미적 일관성 문제

자율주행에서는 전역적인 스타일 변경이 중요한 세부 정보를 보존하지 못할 때 문제가 발생합니다. Cosmos-Transfer 2.5는 전체적인 외형을 설득력 있게 바꾸지만, 안전에 중요한 의미 정보가 변하지 않도록 안정적으로 유지하지는 못합니다. 주행 행동을 결정하는 작은 요소들(예: 신호등과 차선 표시)이 일관되지 않게 렌더링되거나 심지어 환각될 수 있습니다. 이로 인해 영상은 일관적으로 보이지만 더 이상 원래의 행동 라벨과 맞지 않게 됩니다.

Figure 2. 서로 다른 환경 조건에서 생성된 자율주행 영상의 Cosmos-Transfer 2.5 변형(좌상단: 원본, 상단 중앙: 비 오는 밤, 우상단: 눈 오는 낮, 좌하단: 안개 낀 새벽, 하단 중앙: 일몰, 우하단: 비 오는 낮).

Figure 2에서 볼 수 있듯이, Cosmos-Transfer 2.5는 Cosmos Cookbook의 프롬프팅 스타일을 따르더라도 의도치 않게 중요한 시각 요소를 수정하거나 새로 만들어냅니다. 이 예시에서는 원본 영상에 없던 신호등이 생성 결과에 나타납니다. 그 결과 차량이 빨간불을 무시하고 교차로를 통과하는 것처럼 보이는 학습 레이블과 충돌하는 장면이 만들어지는 것입니다. 영상 자체는 시각적으로 일관적이고 시간적으로 안정적이지만, 그 행동은 더 이상 원래 레이블과 일치하지 않습니다.

로봇 매니퓰레이션: 작업 라벨 무결성 문제

이 한계는 로봇 매니퓰레이션에서 더욱 중요합니다. 매니퓰레이션은 정책의 다음 행동에 직접 영향을 주는 작고 중요한 세부 요소(예: 접촉점, 물체 경계, 재료 단서)에 쉽게 영향을 받습니다. 여기서 목표는 전체 장면을 단순히 다시 스타일링하는 것이 아니라, 변환된 비디오와 의도한 작업 라벨 사이의 정합성을 유지하는 것입니다. 하지만 Cosmos-Transfer 2.5가 물리적 구조를 유지하도록 설계되어 있더라도, 프롬프트 기반 단일 실행 워크플로우는 배경 이탈, 조명 변화, 주변 물체의 형태 왜곡을 유발할 수 있습니다.

Figure 3. Cosmos-Transfer 2.5로 생성한 로봇 매니퓰레이션 영상의 변형. 각 그리드에서 좌상단 패널은 원본 영상이며 나머지 세 패널은 테이블 질감 변화 결과입니다(우상단: 파란색 플라스틱, 좌하단: 대리석, 우하단: 유리). (왼쪽) 작업 라벨: “초록색 천을 왼쪽에서 오른쪽으로 옮기기”. (오른쪽) 작업 라벨: “파란색 천을 스토브에서 오른쪽 아래로 옮기기”.

Figure 3에서 목표는 테이블의 재질만 수정하는 것이었지만, 결과물은 장면의 다른 부분에도 의도치 않은 변화를 만들어냅니다. 이로 인해 작업 라벨에 설명된 행동과 영상에 실제로 표시되는 내용 사이에 불일치가 생깁니다. 이러한 데이터로 학습하면 정책은 일관되지 않은 지도 신호에서 학습하게 되고, 견고한 조작 능력 대신 허위 시각 단서에 의존할 수 있습니다.

비평가로서의 Cosmos-Reason 2: 물리 검사는 잘못된 영상도 통과시킬 수 있습니다

Cosmos Cookbook은 합성 데이터 거절을 위한 품질 필터로 Cosmos-Reason 2를 활용하는 포괄적인 프롬프팅 가이드를 제공합니다. 자동화된 영상 비평가 역할을 하는 이 모델은 물리 기반 추론을 통해 생성 영상의 물리적 타당성을 평가합니다. 이 기준선은 물체가 사라지거나 시간적 일관성이 깨지는 등 명백한 생성 실패를 성공적으로 잡아내지만, 이 필터는 애초에 검증하도록 설계된 범위에 의해 근본적으로 제한됩니다.

Figure 4. Cosmos-Reason 2 평가 결과에 대한 정성 분석. 평가 프로토콜은 Cosmos Cookbook의 “Cosmos Reason as Reward” 가이드를 따릅니다.

Figure 4에서 볼 수 있듯이, 생성 영상이 물리적으로 타당하더라도 태스크와 의미상 맞지 않으면 필터를 통과합니다. 자율주행에서는 신호가 프레임 간 시간적으로 일관되게 유지되더라도 의도한 행동 라벨이나 주행 결정과 모순될 수 있습니다. 로봇 매니퓰레이션에서는 미세한 재료 변화가 실제 물리학을 완벽히 따르더라도, 기존 작업 라벨이 반영하지 못하는 방식으로 물체가 물리적으로 어떻게 다뤄질 수 있는지를 바꿀 수 있습니다. 핵심 교훈은 물리적 타당성이 필요하지만 충분하지 않다는 것입니다. 작업 라벨과의 의미적 정렬이 없다면, 물리적으로 올바른 영상도 학습 과정에는 해로울 수 있습니다.

RoBoost Agent: 안정적인 데이터를 위한 워크플로우 제어 계층

월드 모델은 이미 실제 같은 영상을 만들 수 있지만, Physical AI 학습을 위해 신뢰할 수 있는 실제 세계 데이터셋을 생성하려면 엄격한 제어가 필요합니다. 그러나 기본 Cosmos Workflow의 수정 사항을 적용할 때 원래 컨텍스트를 보존하는 데 어려움을 겪습니다.

이 문제를 해결하기 위한 RoBoost Agent를 소개합니다. RoBoost Agent는 기존 워크플로우 위에 오케스트레이션 레이어를 추가하여 제어 가능한 파이프라인을 제공합니다. 이를 통해 실제 또는 시뮬레이션 영상에서 날씨, 시간대, 텍스처 변화와 같은 변형을 생성하면서도 의도치 않은 변화와 물리적 불일치를 피할 수 있습니다.

핵심 설계는 단순합니다. 소스의 의미를 분석하고, 최소한의 수정만 적용하며, 구조적 신호로 생성을 제어하고, 모든 출력을 검증합니다. 각 단계는 증강된 영상이 단지 시각적으로 그럴듯한 수준에 머무르지 않고, 원래 작업 라벨과 정렬된 상태를 유지하도록 존재합니다.

파이프라인은 다음 네 단계로 구성됩니다.

1단계: 분석

1단계는 어떤 수정도 일어나기 전에 소스 영상의 의미를 포착합니다. 우리는 Cosmos-Reason 2를 사용해 원본 비디오의 장면 설명을 추출하고, 후속 증강에 필요한 구조적 정보와 작업 관련 정보만 담습니다. 이 설명은 Step2가 편집하는 기준선으로 사용되므로, 수정 대상으로 명시되지 않은 모든 요소는 변경되지 않은 채 이어집니다.

2단계: 수정

2단계는 기준 설명을 처음부터 다시 쓰는 대신, 목표 변형을 최소한의 변화량으로 도입합니다. 우리는 NVIDIA Nemotron-3-Nano를 프롬프트 편집기로 사용해 날씨나 조명처럼 달라져야 하는 속성만 바꾸고 나머지는 그대로 둡니다. 편집 범위를 작게 유지함으로써 파이프라인은 의미 변화가 의도치 않게 번지는 일을 최소화하고 작업 라벨 일관성을 보존합니다.

3단계: 생성

3단계는 편집된 설명을 명시적인 구조적 제약 아래 후보 영상으로 변환합니다. 수정된 프롬프트를 사용하여 Cosmos-Transfer 2.5는 소스 비디오의 구조 보존 신호를 조건으로 새로운 비디오를 생성합니다. 외부 모델로 깊이 맵, 세그멘테이션 마스크, 엣지 출력을 계산하고, 테스크에 따라 이러한 신호를 동적으로 활용합니다. 이러한 공간 정보를 조건으로 활용하면 변경되어서는 안 되는 배경이나 객체가 의도치 않게 바뀌는 것을 막습니다.

4단계: 검증

4단계는 최종 게이트 역할을 하며, 모든 후보는 데이터셋에 들어가기 전에 엄격한 검증을 통과해야 합니다. 생성은 비결정적이기 때문에 업스트림에서 제약을 걸더라도 일부 출력은 여전히 훈련급 기준을 충족하지 못합니다. Cosmos-Reason 2를 기본 비평가로 사용해 물리적 점수와 태스크별 점수를 평가합니다. 데이터셋이 더 높은 정밀도를 요구할 때는 에이전트가 객체 수준 절차를 추가합니다. 검출 모델과 로컬 마스크를 통합해 전체 장면에 대한 판단에만 의존하지 않고 특정 관심 영역에 점수를 매깁니다. 이 단계를 통과한 영상만 최종적으로 채택됩니다.

궁극적으로 RoBoost Agent는 확장 가능한 신뢰성을 위해 설계되었습니다. 소스 의미를 고정하고, 가이드 편집을 적용하며, 모든 단계에서 출력을 검증함으로써 파이프라인은 대규모에서도 일관적인 데이터 증강을 보장합니다. 최종 출력은 단지 현실적인 영상이 아니라, 학습에 적합하도록 검증된 고충실도 데이터입니다.

데이터셋 수율과 파이프라인 효율 측정

실험 설정

우리는 RoBoost Agent를 기본 Cosmos Workflow와 비교해 실질적인 영향을 비교했습니다. 평가에서 사람의 편향을 막기 위해, 검증 파이프라인 내에서 Cosmos-Reason 2를 사용하는 비전-언어 모델(VLM) 심사 접근법으로 생성 영상의 품질을 평가했습니다.

평가 프레임워크는 다음과 같이 구성했습니다.

• 데이터셋: 자율주행과 로봇 매니퓰레이션 두 도메인에서 총 600개의 영상을 평가했습니다. 각 도메인에서는 기본 Cosmos Workflow로 생성한 150개와 RoBoost Agent로 생성한 150개를 비교했습니다. 자율주행 비디오는 nuScenes 데이터셋(nuScenes)에서, 로봇 매니퓰레이션 영상은 BridgeData V2(BridgeData V2)에서 가져왔습니다.

• 평가 지표: 두 가지 점수 카테고리로 훈련에 사용 가능한 고품질 비디오의 비율을 측정했습니다. 지표 설계는 Cosmos Cookbook의 Cosmos Reason as Reward 가이드라인을 따랐으며, 생성된 비디오의 물리적 타당성과 공간-시간적 추론을 강조합니다.

  • 물리적 점수: 중력, 객체 상호작용, 동작 일관성, 조명 일관성, 객체 영속성, 시간적 일관성.

  • 태스크별 점수: 교통 규칙(자율주행) 및 태스크 일관성(로봇 매니퓰레이션).

• 채점 시스템: 품질은 1~5점 척도로 평가되었으며, 3점은 중간 품질을 나타냅니다. 3점 미만의 샘플은 실패로 분류되었습니다.

자율주행 결과

Figure 10. RoBoost Agent가 생성한 자율주행 영상의 변형(좌상단: 원본, 상단 중앙: 비 오는 밤, 우상단: 눈 오는 낮, 좌하단: 안개 낀 새벽, 하단 중앙: 일몰, 우하단: 비 오는 낮).

품질 향상은 순수 Cosmos Workflow에서 관찰된 의미 오류를 직접 해결합니다. 자율주행 데이터 증강에서 RoBoost Agent는 중요한 교통 의미 정보를 보존했습니다. Figure 10에서 볼 수 있듯이, 이는 기본 Cosmos 결과(Figure 2)에 나타났던 환각된 빨간불을 포함해 의사결정에 중요한 시각적 오류를 줄였습니다.

이러한 개선은 RoBoost 검증 단계 전반에서 일관되게 나타났습니다. 기본 Cosmos Workflow와 RoBoost Agent의 출력 영상 모두 물리적 타당성을 보였지만, 검증 단계는 데이터 신뢰성을 해칠 수 있는 의도치 않은 교통 규칙 위반을 드러냈습니다. 앞서 언급했듯이 기본 Cosmos Workflow는 빨간불을 환각해 검증에 실패한 반면, RoBoost Agent는 신호등을 성공적으로 보존하고 통과했습니다.

로봇 매니퓰레이션 결과

Figure 12. RoBoost Agent가 생성한 로봇 매니퓰레이션 영상의 변형. 각 그리드에서 좌상단 패널은 원본 영상이며, 나머지 세 패널은 테이블 질감 전이 결과입니다(우상단: 파란색 플라스틱, 좌하단: 대리석, 우하단: 유리). (왼쪽) 작업 라벨: “초록색 천을 왼쪽에서 오른쪽으로 옮기기”. (오른쪽) 작업 라벨: “파란색 천을 스토브에서 오른쪽 아래로 옮기기”.

로봇 매니퓰레이션 도메인에서도 같은 경향이 유지되었습니다. 기본 Cosmos Workflow는 의도한 편집 영역 밖에서 배경 표류와 재료 왜곡을 자주 만들어냈지만, RoBoost Agent는 변화를 더 엄격하게 국소화했습니다. Figure 12는 맥락 일관성이 뚜렷하게 향상되었음을 보여줍니다. Figure 3의 이전 결과와 비교하면, 목표로 한 테이블 재질만 변경되었습니다.

이러한 관찰은 RoBoost 검증 단계에서도 유지되었습니다. 기본 Cosmos Workflow에서는 작업 일관성이 깨져 검증 게이트를 통과하지 못했습니다. 반면 RoBoost Agent는 핵심 장면 내용을 그대로 유지해 검증을 통과했습니다.

정량 비교 결과

이러한 정성적 차이는 데이터셋 수율의 측정 가능한 개선으로 직접 이어집니다. 자율주행 테스트에서 학습 준비가 된 사용 가능 영상의 비율은 80.7% (121/150)에서 89.3% (134/150)로 증가했습니다. 로봇 매니퓰레이션에서는 개선 폭이 더 컸으며, 수율이 44.7% (67/150)에서 78.0% (117/150)로 향상되었습니다.

합성 데이터셋 생성은 막대한 데이터 규모에 의존하므로, 이렇게 개선된 수율은 상당한 컴퓨팅과 시간을 절감합니다. 사용 가능한 영상의 비율이 높아지면 실패한 생성에 낭비되는 컴퓨팅 리소스가 크게 줄고, 목표량의 고품질 데이터에 도달하기 위해 필요한 수동 검수도 훨씬 적어집니다.

추론 속도와 컴퓨팅 비용의 프로덕션 현실

의미적 제어를 달성하는 것 외에도, 합성 데이터를 확장할 때의 근본적인 제약은 추론 비용입니다. 영상 생성에는 높은 연산 오버헤드가 필요하며 가용 리소스를 많이 소모합니다. 출력 품질이 완벽하더라도, 영상 하나를 렌더링하는 데 과도한 시간이 필요하거나 GPU 예산을 빠르게 소진한다면 그 파이프라인은 실무적으로 실행 가능하지 않습니다.

월드 모델 기반 데이터 생성을 프로덕션에서 사용할 만큼 안정적으로 만들기 위해, 우리는 RoBoost Agent의 전 과정을 최적화했습니다. 동일한 영상 길이와 출력 설정에서 기본 Cosmos Workflow와 비교했을 때, 최적화된 RoBoost 파이프라인은 3.1배 더 빠르게 실행되며 총 GPU 컴퓨팅 사용량을 기준선의 30%로 줄입니다. 이 비용 곡선을 낮추는 것이 월드 모델을 인상적인 기술 데모에서 실용적인 데이터 생성 엔진으로 전환하는 핵심 요소입니다.

결론

Physical AI는 실제 세계 데이터 수집만으로는 확장될 수 없습니다. 특히 롱테일 엣지 케이스를 수동으로 포착하려면 데이터 수집 비용이 너무 높고, 속도는 너무 느리며, 위험도도 큽니다. 월드 모델은 소량의 실제 또는 시뮬레이션 경험을 대규모의 제어된 변형으로 확장함으로써 이 간극을 메울 수 있는 실용적인 방법을 제공합니다.

하지만 월드 모델을 단일 실행 프로세스로 사용하면 현실적으로 보이지만 학습에는 충분히 신뢰할 수 없는 출력이 자주 생성됩니다. RoBoost Agent는 증강이 소스 영상에 고정된 상태를 유지하도록 합니다. 구조 보존 제어를 사용해 목표한 의미 변화만 적용하고, 최종 출력을 적극적으로 필터링합니다. 이 접근을 통해 RoBoost Agent는 명확한 방향을 제시합니다. 경험을 확장하면서도 학습급 데이터에 필요한 의미적 신뢰성을 보존하는 것입니다.

이번 글에서는 컴퓨팅 절감 효과를 간략히 소개하는 데 그쳤지만, Part 2에서는 이러한 기법을 자세히 다룰 예정입니다. RoBoost Agent가 추론 속도를 최적화하고 비용을 줄여, 데이터 생성이 배포 환경에서도 확장 가능하고 실용적으로 만드는 방법을 설명하겠습니다.