TECHNOLOGY 技術紹介
【NVIDIA】cosmos-predict2.5で映像の続きを予測して生成【Text2World・Image2World・Video2Worldを比較！】
（2026年5月時点の記事です）
はじめに：
Nvidia-cosmosについて知るため、cosmos-predict2.5を触ってみました。
◆ Cosmos Predict 2.5とは？
NVIDIAのcosmos-predict2.5とは、映像の続きを予測して作り出す「世界モデル（World Foundation Model）」のAIです。
従来の生成AIが画像や動画を作り出すのに対し、cosmos-predict2.5は「この先どう動くか」を予測できる点が大きな特徴です。
例えば、ロボットが移動する映像や作業を行う映像を入力すると、その後に起こる状況や動作を自然な動画として生成できます。
ロボットにAIを学習させるためには、多様な環境や状況を含む大量のデータが必要ですが、実際の現場であらゆるケースを撮影・収集するには、多大なコストや時間がかかります。
cosmos-predict2.5を活用することで、限られた映像データから将来のシーンを予測・生成し、学習データを効率的に拡張できる可能性があります。
これにより、ロボットが現実世界で遭遇するさまざまな状況を事前にシミュレーションしながら学習できるようになり、フィジカルAIやロボット開発のさらなる高度化が期待されています。
今回やったこと
◆ 使用ツール・環境
■ cosmos-predict2.5をセットアップ手順に従って、vast ai（高性能GPUを時間単位で借りられるクラウドサービス）で環境構築しました。
■ 最初にRTX3090(VRAM24GB)で作成していましたが、推論時にOOM（Out of Memory：メモリ不足エラー）が出たため、RTXA6000(VRAM48GB)で再構築しました。
■ 推論時にVRAMの使用量を見てみたところ28.8GBとなっていたため、RTX5090でも動作する可能性があります。（５秒の動画の場合）
推論タイプは3つあり、推論タイプを変更するには、以下のように –inference-type を渡します。
◆ 動画生成の準備物
■ xxx.jsonファイル 例
inference_type "video2world"
name "robot_pouring"
input_path "robot_pouring.mp4"
prompt_path "robot_pouring.txt"
■ xxx.txtファイル
■ video、imageを使う場合は、それぞれのファイルデータ
結果
１：デフォルト動画・プロンプトを使用した動画予測
まずは、cosmos-predict2.5に付属しているデフォルトデータをそのまま使用し、robot_pouringの推論を試してみました。
与えたテキスト、動画は以下の通りです。
＜入力テキスト＞
cat assets/base/robot_pouring.txt
A robotic arm, primarily white with black joints and cables, is shown in a clean, modern indoor setting with a white tabletop. The arm, equipped with a gripper holding a small, light green pitcher, is positioned above a clear glass containing a reddish-brown liquid and a spoon. The robotic arm is in the process of pouring a transparent liquid into the glass. To the left of the pitcher, there is an opened jar with a similar reddish-brown substance visible through its transparent body. In the background, a vase with white flowers and a brown couch are partially visible, adding to the contemporary ambiance. The lighting is bright, casting soft shadows on the table. The robotic arm's movements are smooth and controlled, demonstrating precision in its task. As the video progresses, the robotic arm completes the pour, leaving the glass half-filled with the reddish-brown liquid. The jar remains untouched throughout the sequence, and the spoon inside the glass remains stationary. The other robotic arm on the right side also stays stationary throughout the video. The final frame captures the robotic arm with the pitcher finishing the pour, with the glass now filled to a higher level, while the pitcher is slightly tilted but still held securely by the gripper.
以下のようなシーン説明文が与えられています。
■ 白色を基調としたロボットアームがテーブル上で作業
■ グリッパーで小型のピッチャーを保持
■ コップ内の赤褐色の液体へ透明な液体を注ぐ
■ 背景には花瓶やソファが配置された室内環境
■ ロボットアームは滑らかかつ正確に動作
■ 動画の終盤では注ぎ終わり、コップ内の液体量が増加
■ 他方のロボットアームや周辺物体は動かない
＜入力動画＞
ロボットアームがピッチャーを持ち、コップに液体を注ぐ作業を行っている動画です。
今回の検証では、この動画とテキスト情報を入力として、Cosmos Predict 2.5がどのように未来の映像を予測・生成するのかを確認しました。
① Text2world：テキストのみから生成
■ 生成時間 24分
■ 元動画がないためすべてが他の生成方法のものと異なっています。
② Image2world：テキストと画像（または動画の1フレーム目）から生成
■ 生成時間 24分
■ 元動画の1フレーム目をJPEG画像として抽出し、入力しました。
■ 生成された動画では、注がれる液体の色がもとからある液体と一致していました。
③ Video2world：テキストと動画から生成
■ 生成時間 24分
■ 元動画に対して、初期の水量がコップの半分程度まで増えている状態で生成されました。
As the video progresses, the robotic arm completes the pour, leaving the glass half-filled with the reddish-brown liquidの
half-filledを強く認識したことによるものだと考えられます。
２：デフォルトのテキストから、内容を変更
次に、cosmos-predict2.5に付属しているデフォルトデータをそのまま使用し、robot_pouringの推論を試してみました。
与えたテキスト、動画は以下の通りです。
＜入力テキスト＞
A robotic arm, primarily white with black joints and cables, is shown in a clean, modern indoor setting with a white tabletop. The arm, equipped with a gripper holding a small, blue pitcher, is positioned above a clear glass containing a neon green liquid and a spoon. The robotic arm is in the process of pouring a transparent liquid into the glass. To the left of the pitcher, there is an opened jar with a similar neon green substance visible through its transparent body.
In the background, a vase with white flowers and a brown couch are partially visible. The lighting is bright, casting soft shadows. As the video progresses, instead of stopping, the robotic arm continues to pour until the green liquid overflows from the glass, spilling onto the white tabletop and creating a messy puddle. The spoon inside the glass remains stationary.
The spoon inside the glass remains stationary. The other robotic arm on the right side also stays stationary. The final frame captures the liquid still dripping from the tilted blue pitcher onto the already flooded table.
以下のようなシーン説明文が与えられています。
■ 色を blue（青いピッチャー）と neon green（ネオングリーンの液体）に変更。
■ 後半部分を「注ぎ終える」から「注ぎ続けて溢れ出し、テーブルに水たまり（puddle）を作る」に変更。
① Text2world：テキストのみから生成
■ 生成時間 24分
■ 色は指定通りに変化しているが、液体がテーブルから湧き出ています。
②Image2world：テキストと画像（または動画の1フレーム目）から生成
■ 生成時間 24分
■ 動画の中で動いて変化する液体については色が変わったが、ピッチャーや左側の動かない液体については色は変わらず。
また、液体の出方、溢れ方が不自然。
③Video2world：テキストと動画から生成
■ 生成時間 24分
■ 動画の中で動いて変化する液体については色が変わったが、ピッチャーや左側の動かない液体については色は変わらず。
■ 元動画と比べると途中で注ぐのをやめようとする動きあり。また、溢れ方が不自然。
３： ５秒よりも長い動画を生成
最後に、jsonファイルを変更して動画の時間を長くしました。
inference_type "video2world"
name "robot_pouring_10s"
input_path "robot_pouring.mp4"
prompt_path "robot_pouring_10s.txt
enable_autoregressive true #動画の終わりに継ぎ足しをする
num_output_frames 240
chunk_size 77
chunk_overlap 1
■ enable_autoregressive: true
継ぎ足し機能。動画の終わりを次の動画の始まりにする。
■ num_output_frames: 240
最終的に出力したい合計フレーム数
■ chunk_size: 77
240フレームを一気に計算するのではなく、「77フレーム（約3秒）」という小さな塊（チャンク）に分けて計算しろ、という指示。
■ chunk_overlap: 1
塊と塊を繋ぐときに、何フレーム分を重ねるかという設定
＜入力テキスト＞
A robotic arm, primarily white with black joints and cables, is shown in a clean, modern indoor setting with a white tabletop.
The arm, equipped with a gripper holding a small, light green pitcher, is positioned above a clear glass containing a reddish-brown liquid and a spoon.
The robotic arm is in the process of pouring a transparent liquid into the glass. To the left of the pitcher, there is an opened jar with a similar reddish-brown substance. The lighting is bright, casting soft shadows. As the video progresses, the robotic arm continuously and smoothly pours the liquid. The glass gradually fills up from half-filled to near the brim. Once the glass is nearly full, the robotic arm slowly tilts the pitcher back to a vertical position to stop the flow. The arm then lifts the pitcher slightly higher and begins to move it away from the glass toward the left side of the frame. Throughout the entire 10-second sequence, the spoon and the jar remain stationary, and the background remains consistent. The movement is precise, fluid, and maintains a realistic physical simulation of liquid filling a container.
以下のようなシーン説明文が与えられています。
■ 注ぎ続ける、満タンになったら止めて左に去る、ルールを守る時間の延長
① Text2world：テキストのみから生成
■ 生成時間 90分
■ ５秒ごとに動きが切り替わっていることがわかります。
②Video2world：テキストと動画から生成
■ 生成時間 90分
■ ５秒までは元動画と同じで、それ以降は予想外の動きになっています。
やってみてわかったこと
cosmos-predict2.5では、デフォルトの設定では5秒程度の動画生成ができることがわかりました。
公式には長尺対応も可能と書かれているため30秒程度の長い動画も生成可能なようですが、プロンプトの作り込みや設定の変更をしないといけません。
また、より良い動画にするには曖昧な表現を避け、指定する物理プロセスを細かく刻む必要があります。
画像や動画を入力する場合に写っている色やモノを変化させたいときは、「変化」を言葉にするか、入力画像や動画自体を変更する必要があります。
おわりに
今回はcosmos-predict2.5を使用し、デフォルト動画を元に「この先どう動くか」を予測して動画を生成する検証をしました。
今後は、cosmos-predictの他の機能や、cosmos-transfer、cosmos-reasonを試していく予定です。
