Physical AI를 위한 신뢰성 있는 합성 데이터 생성 (Part 2): Cosmos 추론 속도를 3.1배 높인 방법
Physical AI 배포에 대규모 합성 데이터가 필요한 이유를 SqueezeBits의 연구를 통해 살펴보고, RoBoost Agent의 추론 병목을 극복해 Cosmos를 3.1배 빠르게 만드는 방법을 알아보세요.
Jun 24, 2026
합성 비디오 파이프라인의 경제적 효율성: 컴퓨팅 비용, 속도, 그리고 수율
이전 블로그 Physical AI를 위한 신뢰할 수 있고 확장 가능한 합성 데이터 (Part 1): RoBoost Agent로 NVIDIA Cosmos 길들이기에서는 합성 데이터를 학습에 실제로 유용하게 만드는 조건에 집중했습니다. 시각적으로 그럴듯한 결과물만으로는 충분하지 않습니다. 파이프라인은 필요한 의미론적 일관성과 물리적 일관성을 유지해야 하며, 이를 안정적으로 검증할 수 있어야 합니다. 품질이 높아지면 수율도 높아집니다. 더 많은 생성 샘플이 검증을 통과하여 학습에 활용할 수 있기 때문입니다.
이번 포스트는 확장 문제의 다른 한 축을 다룹니다. 높은 수율은 합성 데이터 파이프라인의 가치를 높이지만, 그것만으로 파이프라인을 대규모로 운영할 수 있는 것은 아닙니다. 사전 학습된 기반 모델을 공장 현장, 물류 시설, 특정 도로 환경처럼 특정 도메인에 맞게 적응시킬 때는 대부분 대량의 합성 데이터가 필요합니다. 이때 생성 파이프라인을 운영하는 비용이 핵심 병목이 됩니다.
그 비용은 파이프라인이 얼마나 잘 샘플을 생성하느냐뿐만 아니라, 얼마나 효율적으로 생성하느냐에도 달려 있습니다. Part 1에서는 검증을 통과해 실제로 쓸 수 있는 출력의 비율을 높이는 데 집중했습니다. 이번 포스트에서는 추론 측면을 다룹니다. 합성 비디오 생성이 실제로 얼마나 많은 비용이 드는지, 그리고 추론 최적화가 실제 배포 환경에서 그 비용 구조를 어떻게 바꾸는지 살펴봅니다.
Physical AI 배포에 대규모 합성 데이터가 필요한 이유
로봇공학과 자율주행 시스템이 실제 배포 단계로 나아가면 두 가지 문제에 반복해서 부딪힙니다. 하나는 기존 데이터에 충분히 포함되지 않은 상황까지 다뤄야 한다는 점이고, 다른 하나는 새로운 환경, 지역, 시설, 운영 조건에 모델을 맞춰야 한다는 점입니다. 두 경우 모두 결국 같은 문제로 이어집니다. 필요한 도메인의 데이터를 충분한 양으로, 감당 가능한 비용 안에서 확보해야 한다는 것입니다.
바로 여기서 합성 데이터가 필수적입니다. 현실 세계에서 희귀하거나 안전에 중요한 상황을 모두 재현하는 일은 비용도 많이 들고, 시간도 오래 걸리며, 실제로 연출하기 어려운 경우도 많습니다. NVIDIA GR00T N1.6과 VLAW 같은 월드 모델의 최근 등장은, 실제 데이터만으로는 정책 성능을 일정 수준 이상 끌어올리기 어렵다는 점을 보여줍니다. 합성 데이터는 이러한 격차를 메우는 데 도움이 되지만, 그 가치가 살아나려면 두 가지 조건이 충족되어야 합니다. 파이프라인이 검증 후에도 학습에 쓸 수 있는 데이터를 만들어내야 하고, 대규모 배포를 감당할 만큼 효율적이어야 합니다.
1. 자율주행: 대규모 엣지 케이스와 안전 비용
자율주행은 배포 단계에서 롱테일 문제에 직면합니다. 도로 위 상황은 계속 바뀌고, 여러 차량과 보행자가 동시에 움직이며, 시스템은 짧은 시간 안에 안전한 결정을 내려야 합니다. 차량 자체가 안전과 직결되기 때문에 희귀한 상황도 중요합니다. 특이한 복장의 보행자, 예상치 못한 장애물, 또는 일상적인 주행 데이터에서는 거의 등장하지 않는 극히 드문 사건에 반응해야 할 수 있습니다.
문제는 이러한 엣지 케이스가 사실상 끝이 없다는 점입니다. 실제 데이터 수집만으로는 학습에 필요한 규모를 감당할 수 없습니다. 실제 배우와 차량을 동원해 희귀한 교통 상황을 재현하는 일은 비용이 많이 들고 운영도 복잡하며, 때로는 위험하기까지 합니다. 그래서 업계는 실제 주행 데이터와 시뮬레이션, 합성 생성을 결합하는 하이브리드 방식으로 옮겨가고 있습니다.
이 전환은 합성 데이터 생성을 선택 사항이 아닌 실질적인 요건으로 만들었습니다. 예를 들어 Waymo는 실제 시나리오를 재현하고 새로운 가상 시나리오를 구축하기 위해 200억 마일 이상의 시뮬레이션을 보고한 바 있습니다. 최근에는 합성 엣지 케이스 생성을 통해 안전성과 성능을 개선하려는 노력의 일환으로, Google DeepMind Genie 3 기반의 Waymo World Model도 소개했습니다. Tesla 역시 레이블링된 실제 주행 데이터를 사용해 학습용 시뮬레이션 콘텐츠를 생성하고 변형하는 파이프라인을 공개한 바 있습니다. 이러한 사례들은 공통된 패턴을 보여줍니다. 선두 기업들은 실제 수집에만 의존하지 않습니다. 대규모 수집이 어려운 상황을 커버하기 위해 실제 데이터와 합성 생성을 결합하고 있습니다.
2. 로봇 조작: 새로운 환경 적응과 실패 비용 절감
로봇 정책 모델이 공장이나 창고 같은 실제 작업 환경에 배포되면, 모델은 매우 다양한 조건에서 안정적으로 작동해야 합니다. 조명 변화와 반사 표면은 인식을 방해할 수 있고, 장애물은 복잡하게 배치될 수 있습니다. 이런 환경에서는 단 한 번의 실패만으로도 하드웨어가 손상되거나 작업이 완전히 중단될 수 있어, 시행착오에 의존한 적응은 처음부터 비용 부담이 큽니다.
그에 따라 정책 모델 학습 파이프라인도 바뀌고 있습니다. 소수의 실제 시연을 기준으로 삼고, 대규모 시뮬레이션과 월드 모델 기반 합성 데이터로 학습 세트를 확장하고 검증하는 방식입니다. 이 접근법은 도메인 적응 과정에서 특히 중요합니다. 낯선 조명, 복잡한 레이아웃, 다양한 멀티태스크 환경에서도 로봇이 안정적으로 작동하게 만들려면 해당 환경을 반영한 데이터가 많이 필요합니다.
NVIDIA GR00T N1.6과 Chelsea Finn의 VLAW 결과도 같은 방향을 가리킵니다. GR00T N1.6에서는 실제 샘플 100개만으로 학습한 정책이 25.6%의 성공률을 보였지만, 합성 샘플 3,000개를 추가하자 40.9%로 높아졌습니다. VLAW도 월드 모델이 생성한 롤아웃으로 반복 학습했을 때 평균 성공률이 46%에서 86%로 향상된 결과를 보고했습니다. 이 결과들은 로봇공학에서 효과적인 전략이 단순히 많은 실제 데이터를 수집하는 것이 아니라, 소규모 실제 데이터셋으로 합성 데이터의 품질을 높이고 이를 다시 정책 학습에 반영하는 방식임을 시사합니다.
World model 기반 데이터 생성이 새로운 병목을 만든다: 컴퓨팅 비용
합성 데이터를 실제 데이터와 함께 쓰기로 했다면, 다음으로 마주하는 제약은 월드 모델 자체를 실행하는 데 드는 컴퓨팅 비용입니다. 논의를 구체화하기 위해 생성 목표를 100시간 분량의 데이터로 잡고 비용을 추산해 보겠습니다. 같은 계산 방식을 각자의 사용 사례에 맞춰 조정해 볼 수 있습니다.
NVIDIA Cosmos 벤치마크 수치에 따르면, 세그멘테이션 컨트롤을 사용하는 특정 벤치마크 설정에서 Cosmos-Transfer 2.5로 720p, 16 FPS의 5초짜리 비디오를 생성하는 데 NVIDIA H100 NVL GPU 한 장으로 719.4초가 걸립니다. 이 기준점을 바탕으로 간단한 생성 비용 추산식을 적용합니다.
기준 생성 비용 = (목표 비디오 길이 / 5초) × 719.4초 × GPU 시간당 가격
이 추산은 벤치마크에 기반한 참고 비용이며, 모든 배포 환경에 그대로 적용되는 수치는 아닙니다. 실제 비용은 컨트롤 방식, 해상도, 프레임 수, 뷰 수, 배칭 전략, 하드웨어 구성에 따라 달라집니다.
이 가정 아래에서는 다음과 같습니다.
- 100시간 분량의 비디오를 생성하려면 약 14,400 H100 GPU 시간이 필요합니다.
- H100 GPU 8장으로 구성된 노드 한 대를 기준으로 하면 약 75일에 해당합니다.
- GPU 시간당 가격을 3.00달러로 가정하면 총 비용은 약 43,200달러입니다.
이 수치들은 인프라 비용이 어느 정도 규모로 커질 수 있는지 보여주기 위한 것입니다. 특히 실제 배포 환경에서는 다른 컨트롤 신호와 멀티뷰 생성 설정을 사용하는 경우가 많기 때문에, 모든 Physical AI 파이프라인에 그대로 적용되는 고정 비용으로 읽어서는 안 됩니다. 그래도 생성량이 늘어날수록 총비용도 거의 선형적으로 늘어나기 때문에 이 추산은 유용합니다. 그러나 Part 1에서 다뤘듯이, 모든 생성 비디오가 검증을 통과하는 것은 아닙니다. 일부 샘플은 필터링되기 때문에 파이프라인은 최종 목표보다 더 많은 데이터를 생성해야 합니다.
따라서 실효 비용은 다음과 같이 됩니다.
사용 가능한 데이터 비용 = 생성 비용 / 수율
수율이 50%라면, 100시간의 사용 가능한 데이터를 얻기 위해 200시간을 생성해야 합니다. 즉, 수율은 전체 비용 계산에서 빠질 수 없는 요소입니다. Part 1은 이 수율을 개선하는 데 집중했습니다. Part 2는 또 다른 주요 병목인 속도에 집중합니다. 추론이 빨라지면 사용 가능한 데이터의 비용은 다음과 같이 바뀝니다.
최적화된 사용 가능 데이터 비용 = 생성 비용 / (수율 × 속도 향상 배수)
이제부터는 학습에 쓸 수 있는 품질을 유지하면서 추론 가속이 실제 비용 구조를 어떻게 바꾸는지 살펴보겠습니다.
SqueezeBits가 비용 구조를 의미 있게 낮추는 방법
실제로 팀들은 해상도를 낮추거나 프레임 레이트를 줄이거나, 할인된 컴퓨팅 자원을 활용해 비용을 줄이기도 합니다. 그럼에도 비용을 좌우하는 근본적인 요인은 여전히 월드 모델 자체가 요구하는 막대한 계산량입니다.
SqueezeBits는 모델 경량화와 파이프라인 최적화로 이 병목을 해결합니다. 동일한 생성 설정에서 해상도나 프레임 레이트를 낮추는 등의 흔한 품질 타협 없이, 비디오 생성 처리량을 최대 3.1배 향상시킵니다.
이를 구체적으로 보여주기 위해 Table 1은 비용 추산을 네 단계로 나눕니다. 이상적인 생성 비용, 수율을 반영한 비용, 수율 개선 후 비용, 그리고 가속화까지 적용한 최종 비용입니다. 이렇게 보면 Part 1과 Part 2가 각각 비용 절감에 어떻게 기여하는지 한눈에 드러납니다. Figure 3은 그 결과를 요약합니다. 로봇 조작과 자율주행 설정 모두에서 수율 개선은 낭비되는 컴퓨팅을 줄이고, 가속화는 최종 데이터 비용을 한 번 더 낮춥니다.
이 계산에서 목표로 하는 사용 가능 데이터 양을 , 파이프라인 수율을 , 이상적인 생성 비용을 라고 두겠습니다. 그러면 수율을 반영한 비용은 가 됩니다. 개선된 수율을 라고 하면 조정된 비용은 가 되고, 여기에 추가 속도 향상 계수 를 적용하면 최종 인프라 비용은 가 됩니다.
정확한 수치는 각 도메인에서 가정하는 뷰 수에 따라 달라집니다. 로봇 조작에서는 실제 학습 환경에서 장면당 1~4개의 뷰를 사용하는 경우가 많지만, 보수적으로 단일 뷰를 가정합니다. 자율주행에서는 일부 실제 시스템이 10개 이상의 뷰를 사용하지만, nuScenes 설정을 기준으로 6개 뷰를 가정합니다.
중요한 것은 정확한 달러 금액이 아닙니다. 이는 하드웨어 가격과 배포 설정에 따라 달라집니다. 핵심은 절감의 구조입니다. Part 1이 수율을 개선하고, Part 2는 생성 시간당 비용을 줄여 그 효과를 복합적으로 증폭시킵니다.
RoBoost Agent 가속화: 추론 병목 극복
이전 블로그 포스트에서는 파이프라인 품질을 끌어올려 수율을 높이는 데 집중했습니다. 그 과정에서 의미론적 일관성과 태스크 레이블의 무결성을 지켜, 생성 데이터의 신뢰성을 높이고 실제로 활용할 수 있는 수준으로 만들었습니다. 하지만 합성 데이터 생성을 확장하려면 출력 품질만으로는 충분하지 않습니다. 파이프라인의 규모가 커질수록 병목은 모델 정확도에서 전체 추론 비용으로 옮겨갑니다. RoBoost Agent는 파이프라인 전반에서 계산량이 큰 모델에 의존하기 때문에, 대규모 생성 환경에서는 추론이 전체 비용에서 가장 큰 비중을 차지합니다.
시스템을 실제로 확장 가능하고 비용 효율적으로 만들기 위해 추론을 세 가지 기법으로 최적화했습니다. 중복 계산을 건너뛰는 스텝 캐싱(step caching), 메모리와 연산량을 줄이는 양자화(quantization), 그리고 실행 오버헤드를 최소화하는 커널 수준 최적화입니다.
스텝 캐싱으로 중복 계산 건너뛰기
Diffusion 모델은 world model을 포함해 모든 노이즈 제거 스텝에서 전체 잠재 공간에 대해 full-attention을 수행하기 때문에 계산량이 큽니다. 자기회귀(autoregressive) 텍스트 생성과 달리, diffusion 기반 이미지 및 비디오 생성은 순차적 토큰의 어텐션 상태를 저장해 재사용하는 KV 캐싱에 의존할 수 없습니다. 그래서 노이즈 제거 궤적이 조금만 달라져도 각 스텝에서 비슷한 계산이 반복됩니다.
스텝 캐싱 도입
스텝 캐싱은 연속된 스텝이 거의 같은 업데이트 방향을 만들 때 일부 계산을 건너뛰어 중복 계산을 줄이는 효과적인 방법입니다. 이런 특성은 잠재 업데이트를 위한 매끄러운 velocity field를 학습하는 최신 flow matching 모델에서 자주 나타납니다. 예측된 속도가 인접 스텝 사이에서 안정적으로 유지되면, 시스템은 계산 비용이 큰 diffusion transformer(DiT) 블록 일부를 건너뛸 수 있습니다.
First-Block Caching
First-block caching은 HuggingFace Diffusers 라이브러리에서 소개된 대표적인 스텝 캐싱 방법입니다. 첫 번째 DiT 블록을 실행한 뒤 이전 스텝의 residual과 비교해 업데이트 방향이 달라졌는지 추정합니다. 변화가 작으면 나머지 블록을 건너뛰고 캐시된 출력을 재사용합니다.
First-block caching을 직관적으로 살펴보기 위해 다음의 단순화된 수식으로 설명하겠습니다. 스텝 의 입력 latent를 , 첫 번째 DiT 블록을 이라고 두면 첫 번째 블록의 출력은 다음과 같습니다.
그다음 첫 번째 블록이 만든 residual을 다음과 같이 정의합니다.
가장 최근에 캐시된 residual을 라고 두겠습니다. 스텝 에서의 상대적 변화량은 정규화된 residual 차이로 측정합니다.
사전에 정한 임계값 가 있을 때, 이면 더 깊은 블록들도 거의 같은 업데이트를 만들 것이라고 가정합니다. 이 경우 RoBoost Agent는 나머지 블록을 건너뛰고 이전 스텝의 캐시된 출력을 재사용합니다. 반대로 차이가 충분히 크면 전체 네트워크를 실행하고 residual 캐시를 갱신한 뒤 다음 단계로 진행합니다. 이 메커니즘은 안정적인 노이즈 제거 스텝에서 중복 계산을 피하고 대규모 데이터 생성을 더 비용 효율적으로 만드는 핵심 요소입니다.
양자화로 World Model 추론 확장하기
양자화는 텐서를 더 낮은 수치 정밀도로 표현해 추론을 가속합니다. 이를 통해 메모리 대역폭 사용량을 줄이고, 가속기의 저정밀도 연산 유닛을 활용해 더 많은 연산을 처리할 수 있습니다. 실제로 팀들은 주요 하드웨어 병목에 따라 두 가지 배포 방식 중 하나를 선택합니다.
가중치 전용 양자화(Weight-Only Quantization)
가중치 전용 양자화는 모델 파라미터의 메모리 사용량을 줄여, 메모리 대역폭이 병목인 워크로드를 겨냥합니다. Figure 5에서 볼 수 있듯이, BF16이나 FP16 같은 높은 정밀도로 활성화는 유지한 채 가중치 정밀도만 낮춥니다. 하드웨어가 가중치를 읽어올 때 필요한 바이트 수가 줄어들기 때문에 메모리 대역폭 부담도 낮아집니다. 연산 시에는 가중치를 다시 높은 정밀도로 역양자화하므로, 속도 향상은 주로 더 빠른 산술 연산이 아니라 데이터 이동 감소에서 비롯됩니다.
가중치-활성화 양자화(Weight-Activation Quantization)
가중치-활성화 양자화는 저정밀도로 직접 연산을 수행해, 메모리 대역폭이 병목인 경우와 연산량 자체가 병목인 경우를 모두 겨냥합니다. 가중치와 활성화 모두의 정밀도를 낮추면 연산 전에 역양자화를 거치지 않아도 되고, 더 높은 최대 FLOP을 제공하는 저정밀도 연산 유닛을 활용할 수 있습니다. 초기 INT8과 INT4 형식은 두 텐서에 모두 적용할 때 정확도가 크게 떨어지는 경우가 많았지만, 최신 가속기는 FP8과 FP4 데이터 타입으로 이 트레이드오프를 완화했습니다. 결과적으로 많은 프로덕션 시스템이 속도와 품질의 균형을 맞추기 위해 가중치-활성화 양자화를 사용합니다.
world model 추론은 일반적으로 연산량 자체가 병목이 되기 때문에, RoBoost Agent에는 가중치-활성화 양자화를 적용했습니다. 선택한 모듈에 한해 적절한 정밀도로 가중치와 활성화를 양자화해, 저정밀도 연산 유닛을 활용하도록 했습니다. 이 접근법은 NVIDIA, AMD, Intel 등 주요 벤더의 가속기 지원 방향과도 잘 맞습니다.
그래프 컴파일과 커널 튜닝으로 추론 처리량 극대화하기
커널 실행 단계에서는 프레임워크 오버헤드가 성능을 제한하는 경우가 많습니다. Eager 모드에서는 Python 수준의 디스패치 비용, 빈번한 GPU 커널 호출, 그리고 불필요한 메모리 읽기/쓰기를 유발하는 미융합 연산이 반복적으로 발생합니다. 성능은 선택한 커널이 대상 디바이스와 텐서 형태에 얼마나 잘 맞는지에도 크게 좌우됩니다. 이런 오버헤드를 줄이기 위해 포워드 그래프를 컴파일하고 여러 커널 구현을 벤치마크해 처리량을 극대화했습니다.
컴파일된 그래프 실행
torch.compile을 사용해 전체 계산 그래프를 JIT(Just-In-Time) 방식으로 캡처하고 최적화된 실행 계획을 생성합니다. 이 컴파일을 통해 연산자 융합이 가능해지며, 순차적인 연산을 더 크고 효율적인 커널로 결합합니다.백엔드 인식 커널 선택
서로 다른 하드웨어 구성에서 성능을 극대화하기 위해 그래프 컴파일과 함께 여러 어텐션 백엔드를 평가했습니다. FlashAttention, FlashInfer, SageAttention을 벤치마크하고, 필요한 경우 특정 연산과 텐서 모양에 맞는 커스텀 커널을 직접 구현했습니다. 대상 워크로드의 디바이스, 히든 차원, 시퀀스 길이를 기준으로 데이터 생성 전반에서 정확도를 유지하면서 가장 빠른 백엔드를 선택합니다.
그래프 컴파일과 커널 선택은 RoBoost Agent의 처리량을 크게 끌어올립니다. 파이프라인은 수천 개의 비디오 클립과 샘플링 스텝에 걸쳐 같은 모델을 반복 실행하기 때문에, 한 번 발생하는 컴파일 비용은 금세 상쇄됩니다. 여기에 시나리오별 어텐션 백엔드를 결합하면,
torch.compile은 프레임워크 오버헤드를 줄이고 데이터 생성 전반에서 높은 GPU 활용률을 유지하는 데 도움이 됩니다.속도와 품질 평가: 두 마리 토끼를 모두 잡다
최적화 스택은 추론 비용을 크게 줄여줍니다. 하지만 비용을 줄였더라도 생성된 비디오가 실제 학습에 쓸 수 있는 품질을 유지해야 의미가 있습니다. 그래서 최적화된 RoBoost 엔진을 추론 속도와 출력 품질 두 측면에서 vanilla Cosmos-Transfer 2.5 모델과 비교해 벤치마크했습니다.
추론 속도 벤치마크 설정
추론 속도 벤치마크에서는 고정된 프레임 수와 해상도에서 단일 샘플의 전체 지연시간을 측정했습니다. 컨디셔닝 신호의 영향을 배제하고 순수한 추론 처리량을 보기 위해 모든 하드웨어와 생성 파라미터도 고정했습니다.
- 디바이스: NVIDIA RTX Pro 6000 GPU 1장
- 비디오 사양: 480p / 720p 해상도, 비디오당 93프레임
- 컨트롤 신호: 사전 계산된 단일 depth map
품질 벤치마크 설정
조건부 비디오 생성을 위한 특화 벤치마크인 PAI-Bench-C 데이터셋을 사용했습니다. 구체적으로 자율주행 도메인에서 50개, 로봇 조작 도메인에서 50개, 총 100개의 태스크를 무작위로 샘플링했습니다. 각 태스크에는 6가지 서로 다른 캡션 변형을 적용했고, 지표 산출에는 총 600개의 비디오 변환 결과를 사용했습니다. 각 소스 비디오는 해당 캡션 변형을 사용해 변환했으며, blur, edge, depth, segmentation 네 가지 컨트롤 방식을 같은 가중치로 적용했습니다. 모든 품질 비교의 기준은 BF16 정밀도의 vanilla Cosmos-Transfer 2.5입니다.
평가 프로토콜은 Cosmos Cookbook 평가 프레임워크와 PAI-Bench-C를 따르며, 크게 시각적 품질과 컨트롤 신호 보존 정도를 봅니다.
- 시각적 품질 지표: Dover Score, Diversity Score
- 컨트롤 신호 보존 지표: Blur SSIM, Canny-F1, Depth RMSE, Seg mIOU
추론 속도 벤치마크 결과
Figure 6에서 볼 수 있듯이, 최적화된 모델은 낮은 해상도와 높은 해상도 모두에서 성능 저하 없이 vanilla Cosmos-Transfer 2.5 대비 최대 3.1배 속도 향상을 달성했습니다. 스텝 캐싱은 총 계산량을 줄이고, 양자화는 연산 부담을 낮추며, 커널 최적화는 스텝당 DiT 지연시간을 줄였습니다. 이 세 가지가 맞물려 전체 성능 향상의 대부분을 만들어냈습니다.
최적화된 파이프라인은 vanilla 기준 모델이 사용하는 GPU 컴퓨팅의 30%만 필요로 해, 비디오당 추론 비용을 70% 줄였습니다. 이 이점은 멀티 GPU 배포에서 전체 처리량을 높이는 데도 도움이 됩니다. 비디오 한 개를 만드는 데 필요한 컴퓨팅이 줄어들면 클러스터 전체에서 더 많은 비디오를 처리할 수 있기 때문입니다. 이는 반복마다 수만 개의 비디오가 필요할 수 있는 대규모 데이터 생성에서 특히 중요합니다.
품질 벤치마크 결과
속도가 크게 빨라졌지만, 최적화된 파이프라인은 평가 지표 전반에서 기준 모델에 가까운 출력 품질을 유지했습니다. 선명도, 압축 아티팩트, 모션 부드러움을 측정하는 Dover Score는 9.694를 기록했는데, 기준 모델보다 약 2.4% 낮은 수준에 그쳤습니다. 이는 최적화 스택이 사람이 보기에도 중요한 비디오 품질을 대부분 유지한다는 뜻입니다. 특히 Diversity Score는 0.287로 기준 모델의 0.261보다 오히려 높았습니다.
컨트롤 신호 보존 지표도 비슷한 결과를 보였습니다. Blur SSIM, Canny-F1, Depth RMSE, Seg mIOU 전반에서 최적화된 파이프라인은 눈에 띄는 품질 저하 없이 안정적인 성능을 유지했습니다. Blur SSIM, Canny-F1, Depth RMSE는 기준 모델과 거의 같았고, Seg mIOU는 0.754로 기준 모델의 0.746보다 소폭 높았습니다. 이는 컨디셔닝 신호가 잘 유지됐음을 보여줍니다. 학습에 쓸 수 있는 데이터에서 가장 중요한 것도 바로 이 점입니다. 구조적 컨트롤에서 벗어난 비디오는 아무리 사실적이어도 활용하기 어렵습니다.
결과 정성적 비교
Figure 7. 로봇 조작 태스크에서 vanilla Cosmos-Transfer 2.5와 RoBoost Agent 엔진 비디오의 정성적 비교.
Figure 8. 자율주행 태스크에서 vanilla Cosmos-Transfer 2.5와 RoBoost Agent 엔진 비디오의 정성적 비교.
Figure 7과 Figure 8은 동일한 소스 비디오에서 두 파이프라인을 비교해, 앞서 수치로 확인한 성과가 실제 결과물에서 어떻게 나타나는지 보여줍니다. 장면과 프롬프트가 달라도 최적화된 출력은 기준 모델에 가까운 시각적 일관성과 세부 묘사를 유지합니다. 엣지 경계, 재질 텍스처, 공간 관계가 잘 유지되는 모습은 수치 지표만으로는 포착하기 어려운 세밀한 일관성을 보여줍니다.
RoBoost Agent 체험하기: 학습에 쓸 수 있는 합성 데이터를 가장 빠르게 만드는 방법
"AI가 지배하는 새로운 세계에서, 컴퓨팅은 곧 수익이다." - Jensen Huang
맞는 말입니다. 하지만 함정이 있습니다. 컴퓨팅이 수익이라면, 낭비되는 컴퓨팅은 곧 수익 손실입니다.
이 원칙은 도메인 적응을 위해 world model 생성 파이프라인을 확장할 때도 그대로 적용됩니다. 이제는 생성된 비디오의 총량만 따지는 것으로는 충분하지 않습니다. 파이프라인의 실제 경제성은 검증과 필터링을 거친 뒤 GPU 시간당 실제로 얼마나 많은 학습 가능한 결과물을 확보하느냐에 달려 있습니다. RoBoost Agent는 추론을 가속하고 사용 가능한 데이터 수율을 극대화해, 컴퓨팅 자원 낭비를 근본적으로 줄이도록 설계된 솔루션입니다.
이런 팀에 적합합니다
RoBoost는 다음과 같은 실무적 과제를 다루는 팀에 특히 잘 맞습니다.
- 물리 데이터 수집의 한계: 공장, 창고, 또는 새로운 도로 지역에 대해 100시간 이상의 도메인 데이터가 필요하지만, 실제 데이터를 수집하는 데 드는 비용과 시간이 너무 큽니다.
- 낮은 사용 가능 데이터 수율: 비디오는 생성할 수 있지만 검증 과정에서 너무 많은 샘플이 탈락해 파이프라인 전체 비용을 감당하기 어렵습니다.
- 생성 속도와 컴퓨팅 비용 병목: 임시방편이 아니라 제대로 된 최적화 스택을 갖춘 프로덕션 수준의 생성 파이프라인이 필요합니다.
웨이트리스트 등록
RoBoost는 현재 웨이트리스트를 통해 얼리 액세스를 제공하고 있습니다. 신뢰할 수 있는 합성 비디오 생성과 비용 구조 최적화 문제를 실제로 다루고 계신다면, RoBoost에서 신청해 주세요.
더 구체적인 논의를 위해 팀의 도메인, 목표 생성 시간, 필요한 해상도, 컨디셔닝 신호를 함께 알려 주세요. 팀에서 학습 가능한 데이터를 어떻게 정의하는지도 공유해 주시면 큰 도움이 됩니다.
Share article