【2026年5月末時点の内容です】

はじめに：

NVIDIAのcosmos-reason2について理解するために、機能を一通り使って試してみました。

◆ cosmos-reason2とは？

NVIDIAのcosmos-reason2とは、ロボットが周囲の状況を理解し、「次に何をすべきか」を考えて行動を計画するためのAIモデルです。
ロボットを実環境で活用するためには、人の動きや周囲の状況を理解し、その場に応じて適切な行動を判断する能力が求められます。
しかし、そのような判断能力を学習・評価するには、多様な状況を含む大量のデータが必要となり、実機での検証には時間やコストがかかります。
cosmos-reason2を活用すると、映像やシミュレーションデータをもとに、ロボットが状況をどのように認識し、どのような行動を選択すべきかを推論できるようになります。
これにより、実機で何度も試行錯誤する前に、ロボットの判断や行動計画を効率的に検証できるため、フィジカルAIやロボット開発における開発期間の短縮や品質向上が期待されています。

今回やったこと

◆ 検証準備

■ 使用PC：A100 80GB
■ 使用動画：白いテーブル上の黒い布にある「オレンジのコップ」を移動させる動画。

■ 前処理：LeRobot動画をcosmos-reason2が処理可能なH.264形式へ変換。
ffmpeg -i assets/red_to_white.mp4 -c:v libx264 -crf 18 assets/red_to_white-h264.mp4

■ 実行コマンド：
–fps 4 を指定して推論を実行。-i  引数で指定するYAMLファイルを変更することで各機能を切り替える。
cosmos-reason2-inference online --port 8000 -i prompts/caption.yaml --reasoning --videos assets/red_to_white-h264.mp4 --fps 4

◆ cosmos-reason2の機能一覧

cosmos-reason2で使える機能は、以下の９種類です。
今回は、７種類の機能を試してみました。

■ caption.yaml： 動画全体を詳細にキャプション。Predict2.5のプロンプト生成に使う。

■ robot_cot.yaml：タスク名を指定すると、グリッパーが辿るべき2D軌跡をピクセル座標のJSONで出力する。

■ embodied_reasoning.yaml：「次に何をすべきか」を推論する。アクション予測に利用。

■ temporal_localization.yaml：動画内の各フェーズを時系列で説明（自動ラベリング用）。

■ causal.yaml / causal_vqa.yaml：人間の次の行動を予測。

■ describe_anything.yaml：画像/動画内の特定オブジェクトを詳細に説明。

■ 2d_grounding.yaml：オブジェクトの位置をバウンディングボックスで特定。

■ av_cot.yaml：自動運転向けのCoT推論。＊今回は評価せず。

■ mvp_bench.yaml：ベンチマーク評価用。＊今回は評価せず。

◆ 各機能の検証結果

① caption.yaml（動画全体を詳細にキャプション）

■ 実行時間：2.89 seconds
■ 結果：キャプション生成はできたが、ニュアンスが異なる部分がある。
　（コップを押しているのに、持ち上げていると表現される）

Reasoning:
Okay, let's break this down. The video shows a scene set in what looks like a laboratory or workshop. There's a table with a white surface and a black
mat on it. On the black mat, there's an orange cup upside down. Two robotic arms, one on each side of the table, are interacting with the cup. Both arms
have black gloves on their ends, which are probably sensors or actuators. The left arm lifts the cup slightly, then releases it, and the cup falls back
onto the mat. The right arm stays still the whole time. There's a person standing nearby, watching the robots. The room has medical equipment, chairs, and
other lab furniture. The floor is tiled, and the walls are plain.

So, the main action here is the robotic arms attempting to flip the cup. The left arm tries, but maybe fails, or maybe it's just testing. The right arm
doesn't participate. The person is observing, maybe supervising. The setup suggests a testing or demonstration of robotic manipulation skills. The cup
falls back because either the left arm didn't get it right or the right arm wasn't involved. The video is technical, with lots of equipment around, so
it's probably a controlled environment for experiments. The key points are the robotic arms' interaction with the cup, the failure to flip it, and the
observer's presence. The video focuses on the robots' actions and the observer's role.

Assistant:
In this video, two robotic arms positioned on either side of a white table work together to attempt flipping an orange cup inverted on a black mat. The
left arm initiates the action by grasping the cup and lifting it slightly before releasing it, causing the cup to fall back onto the mat. Meanwhile, the
right arm remains stationary throughout the sequence. Observing the process, a person dressed in a gray hoodie and black pants stands nearby, watching the
robots closely. The setting appears to be a laboratory or workshop, evidenced by medical equipment, chairs, and a tiled floor in the background. The scene
emphasizes robotic precision and collaboration, though the cup ultimately fails to be flipped successfully.

＜日本語＞
考察：
では、順を追って見ていきましょう。
動画には、実験室か作業場のような場所での様子が映っています。
白い天板のテーブルがあり、その上に黒いマットが敷かれています。黒いマットの上には、オレンジ色のコップが逆さまに置かれています。
テーブルの両側に1本ずつ、計2本のロボットアームがコップを操作しています。
両方のアームの先端には黒い手袋のようなものが装着されており、おそらくセンサーやアクチュエータでしょう。
左のアームがコップを少し持ち上げ、その後手を離すと、コップはマットの上に落ちてきます。
右のアームは終始動かず、その場に立っている人がロボットたちを見守っています。
部屋には医療機器や椅子、その他の実験室用の家具があります。床はタイル張り、壁は無地です。

つまり、ここでの主な動作は、ロボットアームがコップをひっくり返そうとしていることです。
左腕が試みていますが、失敗したか、あるいは単にテストしているだけかもしれません。
右腕は関与していません。人は観察しており、おそらく監督しているのです。
この設定は、ロボットの操作技能のテストやデモンストレーションを示唆しています。
コップが戻ってくるのは、左腕がうまくいかなかったか、あるいは右腕が関与していなかったかのどちらかです。
映像は技術的な内容で、周囲には多くの機器が配置されているため、おそらく実験用の管理された環境であると考えられます。
重要なポイントは、ロボットアームとコップの相互作用、ひっくり返せなかったこと、そして観察者の存在です。
この映像は、ロボットの動作と観察者の役割に焦点を当てています。

アシスタント：
この動画では、白いテーブルの両側に配置された2本のロボットアームが連携して、黒いマットの上に逆さまに置かれたオレンジ色のカップをひっくり返そうとしています。
左のアームが先に動き出し、コップをつかんで少し持ち上げた後、手を離すことでコップをマットの上に落とします。
一方、右側のアームはこの一連の動作の間、静止したままです。
その様子を、グレーのパーカーと黒いズボンを着た人物が近くでじっと見つめています。
背景には医療機器や椅子、タイル張りの床が見えることから、この場所は実験室か作業場であるようです。
このシーンはロボットの精密さと協調性を強調していますが、結局、コップを裏返すことはできませんでした。

② robot_cot.yaml（グリッパーが辿るべき2D軌跡の出力）

■ 実行時間：2.18 seconds
■ 結果：指定するタスク記述によって軌跡の方向性が変わる。yamlの{task_instruction}を直接書き換えて使う必要がある。

Reasoning:
I will move my gripper to [529, 635] to approach the orange cup, which is currently resting on the black cloth at [485, 722]. Then I will close the
gripper to securely grasp the cup, ensuring a stable hold. With the cup firmly in my grip, I will slide it horizontally across the black cloth, moving it
toward the clear surface of the white table at [500, 479]. I will carefully guide the cup to avoid any contact with the black cloth and maintain control
throughout the motion. Once the cup reaches the white table, I will open the gripper to release it, completing the task of sliding the cup from the cloth
to the table.

So my next steps should look like this:[529, 635], [466, 568], [478, 588], [466, 627], [490, 588]
--------------------
Assistant:
```json
[
{"point_2d": [529, 635], "label": "gripper trajectory"},
{"point_2d": [466, 568], "label": "gripper trajectory"},
{"point_2d": [478, 588], "label": "gripper trajectory"},
{"point_2d": [466, 627], "label": "gripper trajectory"},
{"point_2d": [490, 588], "label": "gripper trajectory"}
]
```

＜日本語＞
考察：
現在、黒い布の[485, 722]の位置にあるオレンジ色のコップに近づくため、グリッパーを[529, 635]に移動させます。
次に、グリッパーを閉じてコップを確実に把持し、安定した保持を確保する。
コップをしっかりと把持したら、黒い布の上を水平にスライドさせ、
[500, 479]にある白いテーブルの透明な表面に向かって移動させる。
黒い布に接触しないよう注意深くカップを誘導し、動作全体を通じて制御を維持します。
コップが白いテーブルに到達したら、グリッパーを開いてコップを解放し、布からテーブルへコップを滑らせるというタスクを完了させます。

したがって、次のステップは以下のようになるはずです：[529, 635], [466, 568], [478, 588], [466, 627], [490, 588]

③ embodied_reasoning.yaml（「次に何をすべきか」を推論するアクション予測）

■ 実行時間：7.30 seconds
■ 結果：デフォルトでは思考がループする問題があり時間がかかった。
–max-tokens 300で制限すると7秒に短縮できるが、出力が途中で打ち切られる場合がある。

Assistant:
Okay, let's see. The video is an indoor lab or workshop with two robot arms and a person observing. The main objects are a black cloth on a table and an
orange cup. Robot Arm 1 has just inverted the cup and moved it to the left side of the cloth. Robot Arm 2 is on the right, stationary so far.

The question is asking for the next immediate action. Since Robot Arm 1 just placed the cup on the left side of the cloth, what’s next? Well, maybe
Robot Arm 1 would retract or reset its position. Alternatively, since the cup is inverted and moved, perhaps the next step is to place it somewhere else,
like back on the cloth or into another position. But the cloth is already covering part of the table, so maybe the cup is meant to be placed there. Wait,
the cup was inverted and moved left. Maybe the next action is to place it upright on the cloth? Or maybe the person will intervene, but the person is just
observing.

Alternatively, Robot Arm 2 might start doing something. Since it’s on the right and hasn’t moved yet, maybe it will pick up the cup or another object.
But the video shows the cup was moved by Arm 1. The cup is inverted and on the left side. Maybe the next step is to invert it again or place it back. Or
perhaps the task is to arrange the cup in a specific way. Since the cup was inverted and

＜日本語＞
アシスタント：
さて、見てみましょう。動画は屋内の実験室か作業場のような場所で、2本のロボットアームと、それを観察している人が映っています。主な被写体は、テーブルの上にある黒い布とオレンジ色のコップです。
ロボットアーム1は、ちょうどコップを裏返しにして、布の左側に移動させたところです。
ロボットアーム2は右側にありますが、今のところ静止したままです。

質問は、その直後の行動について尋ねています。
ロボットアーム1がコップを布の左側に置いたばかりなので、次は何をしますか？
そうですね、ロボットアーム1が後退するか、元の位置に戻るかもしれません。
あるいは、コップはひっくり返されて移動されたので、次のステップは別の場所、例えば布の上に戻すか、別の位置に置くことかもしれません。
しかし、布はすでにテーブルの一部を覆っているため、コップはそこに置かれることになっているのかもしれません。
待ってください、コップは逆さまになって左側に移動しました。次の動作は、コップを布の上に正しい向きで置くことでしょうか？
あるいは、人が介入するかもしれませんが、その人はただ見守っているだけです。

あるいは、ロボットアーム2が何かをし始めるかもしれません。
右側にあり、まだ動いていないので、コップや別の物体を掴むのかもしれない。
しかし、動画ではコップはアーム1によって動かされていた。コップは逆さまになって左側にある。
次のステップは、再び逆さまにするか、元の位置に戻すことかもしれない。
あるいは、コップを特定の配置にするのが目的なのかもしれない。コップが逆さまにされ、

④ temporal_localization.yaml（動画内の各フェーズを時系列で説明）

■ 実行時間：1.96 seconds
■ 結果：動画の開始・終了時間を指定したJSON形式で出力。デモのフェーズ分割に利用可能。

Reasoning:
[
{
"start": "00:00.100",
"end": "00:06.000",
"caption": "Two robot arms with black gloves are positioned on either side of a white table, each gripping the edges of a black cloth laid out
horizontally. An orange cup is placed upside down in the center of the cloth. The robot arms begin to lift the cloth, revealing the cup underneath. The
person standing behind the table observes the action closely, maintaining a steady stance."
}
]
Assistant:
```json
[
{
"start": "00:00.100",
"end": "00:06.000",
"caption": "Two robot arms with black gloves are positioned on either side of a white table, each gripping the edges of a black cloth laid out
horizontally. An orange cup is placed upside down in the center of the cloth. The robot arms begin to lift the cloth, revealing the cup underneath. The
person standing behind the table observes the action closely, maintaining a steady stance."
}
]

＜日本語＞
「caption」: "黒い手袋をはめた2本のロボットアームが白いテーブルの両側に配置され、それぞれが水平に広げられた黒い布の端を掴んでいる。
布の中央には、オレンジ色のコップが逆さまに置かれている。
ロボットアームが布を持ち上げ始め、その下にあるコップが姿を現す。
テーブルの後ろに立つ人物は、安定した姿勢を保ちながら、その様子を注意深く見守っている。」

⑤ -1 causal.yaml （人間の次の行動を予測）

■ 実行時間：2.05 seconds
■ 結果：ロボットの動作分析よりも、監督している人間の介入予測（コップを戻す、調整するなど）に寄った回答となる。

Reasoning:
Okay, let's break this down. The video is an indoor lab or workshop with two robot arms and a person observing. The main focus is on Robot Arm 1 which
just flipped an orange cup upside down on the table. Robot Arm 2 stayed still. The person is standing back, watching.

So, what's next? The person is supervising, so they might intervene if needed. Since the cup is now upside down, maybe the next step is for the person
to assist or adjust something. Alternatively, the robots could continue their tasks. But the person's role here is supervision, so they might step in to
check the setup or prepare for the next action. Maybe they'll move to another task or verify the cup's position. Since Robot Arm 2 hasn't moved yet,
perhaps the person will interact with it next. Or maybe they'll move aside to let the robots work. But given they're supervising, they might intervene to
ensure everything's correct before proceeding. So the likely action is the person stepping in to supervise further or prepare for the next step.
Assistant:
The person will likely supervise the robots' next actions, possibly preparing to intervene if needed (e.g., adjusting the cup's position, restarting the
task, or overseeing experimental parameters).

＜日本語＞
考察：
さて、状況を整理してみましょう。
この動画は、2台のロボットアームと、それを観察している人が登場する屋内の実験室または作業場での様子です。
主な焦点はロボットアーム1に当てられており、そのアームがテーブルの上にあるオレンジ色のコップを逆さまにしました。ロボットアーム2は動いていません。人は少し離れた場所で、その様子を見守っています。

では、次に何が起こるでしょうか？その人は監督役なので、必要に応じて介入するかもしれません。
コップが逆さまになった今、次のステップとして、その人が何かを手伝ったり調整したりする可能性があります。
あるいは、ロボットがそのまま作業を続けるかもしれません。
しかし、ここではその人の役割は監督なので、セットアップを確認したり、次の動作の準備をしたりするために介入するかもしれません。
あるいは、別の作業に移るか、コップの位置を確認するかもしれない。ロボットアーム2はまだ動いていないため、次にその人とロボットアーム2がやり取りをするかもしれない。
あるいは、ロボットが作業できるようにその人は脇に退くかもしれない。
しかし、監督している以上、先に進む前にすべてが正しいことを確認するために介入する可能性もある。
したがって、その人がさらに監督したり、次のステップの準備をしたりするために介入するのが、最もありそうな行動だ。

アシスタント：
その人は、ロボットの次の動作を監督し、必要に応じて介入する準備をする可能性が高い（例：コップの位置調整、タスクの再実行、実験パラメータの監視など）。

⑤ -2 causal_vqa.yaml（人間の行動予測）

■ 実行時間：1.90 seconds
■ 結果：ロボットの動作分析よりも、監督している人間の介入予測（コップを戻す、調整するなど）に寄った回答となる。
　VQA形式では {object_name} の書き換えが必要で、オブジェクトを指定することで「そのオブジェクトに対して人間が何をするか」をより具体的に推論できる。

Reasoning:
Okay, let's break this down. The video is an indoor lab or workshop with two robot arms and a person observing. The main focus is on the orange cup on a
black mat. Robot Arm 1 has just inverted the cup and moved it away. Robot Arm 2 is holding the mat steady.

The person is standing nearby, watching the robots. Since the cup is inverted and moved aside, the next logical step would be for the person to
intervene. Maybe they want to undo the inversion, or perhaps they're testing the robots' abilities. Since the cup is inverted, the person might flip it
back. Alternatively, they could inspect the cup's stability or check the robots' movements. The setup seems experimental, so the person's actions are
likely part of the experiment's continuation. The most immediate action would be to manipulate the cup, either flipping it or adjusting its position.
--------------------
Assistant:
The person will likely intervene by flipping the inverted orange cup back upright or inspecting the robots' performance.

＜日本語＞
考察：
さて、順を追って考えてみましょう。この動画は、2本のロボットアームと、それを観察している人物がいる屋内の実験室か作業場での様子です。
主な注目点は、黒いマットの上にあるオレンジ色のコップです。
ロボットアーム1がコップを逆さまにして、それをどかしたところです。ロボットアーム2はマットを固定しています。

その人物は近くに立ち、ロボットたちを見守っています。
コップがひっくり返されて脇にどかされたため、次に起こりうる行動として、その人物が介入するのが理にかなっています。
ひっくり返された状態を元に戻そうとしているのかもしれませんし、あるいはロボットの能力をテストしているのかもしれません。
コップがひっくり返されているため、その人物はコップを元に戻そうとするかもしれません。
あるいは、コップの安定性を確認したり、ロボットの動きをチェックしたりするかもしれません。
この設定は実験的なもののようであるため、その人物の行動はおそらく実験の継続の一部である。
最も直感的な行動は、コップを操作すること、つまり元に戻すか、位置を調整することだろう。

アシスタント：
その人物は、ひっくり返されたオレンジ色のコップを元に戻すか、ロボットの動作を確認することで介入する可能性が高い。

⑥ describe_anything.yaml（オブジェクトの詳細説明）

■ 実行時間：4.03 seconds
■ 結果：シーン内の全オブジェクトを網羅。背景の機材や椅子、床の材質までJSONで詳細に出力されるため、環境のメタデータ生成に適している。

Assistant:
```json
[
{"subject_id": "Orange Cup", "category": "cup", "caption": "An orange plastic cup, inverted and upright simultaneously, rests on a black mat atop a
white table, with its sides visibly separated but the tops touching each other."},
{"subject_id": "Table", "category": "table", "caption": "A white rectangular table with a smooth surface holds a black mat on which an orange cup is
placed; it features metallic legs and is situated in a room with tiled flooring."},
{"subject_id": "Black Mat", "category": "mat", "caption": "A rectangular black mat with a smooth texture lies flat on the table, serving as a base for
the orange cup."},
{"subject_id": "Person", "category": "person", "caption": "Standing behind the table, the individual wears a gray hoodie and black pants, observing
the scene with hands by their sides."},
{"subject_id": "Robot Arm", "category": "robot", "caption": "Equipped with a black-gloved hand, the robot arm has a metallic silver body and a black
wrist joint, extending to grasp and manipulate the orange cup on the table."},
{"subject_id": "Workspace Equipment", "category": "equipment", "caption": "Various pieces of equipment, including what appears to be a robotic setup
with cables and a wheeled base, are visible in the background, suggesting a technical or experimental environment."},
{"subject_id": "Chair", "category": "chair", "caption": "A green office chair with wheels is partially visible in the background, positioned near the
workspace equipment."},
{"subject_id": "Door", "category": "door", "caption": "Closed wooden doors with a light finish are located along the left side of the frame,
contributing to the office-like ambiance of the setting."},
{"subject_id": "Wall", "category": "wall", "caption": "Plain white walls surround the room, providing a neutral backdrop that contrasts with the
darker elements like the black mat and the person's hoodie."},
{"subject_id": "Floor", "category": "floor", "caption": "Covered with a gray carpet featuring a geometric pattern, the floor spans the entire visible
area beneath the table and equipment, adding texture to the setting."},
{"subject_id": "Computer Monitor", "category": "monitor", "caption": "Integrated into the background equipment, a computer monitor displays data or
controls related to the robotic arm's operation, though its screen content is not discernible in this view."},
{"subject_id": "Computer Keyboard", "category": "keyboard", "caption": "Hidden within the workspace equipment, a standard computer keyboard is
visible, likely connected to the computer monitor for operational input."},
{"subject_id": "Computer Mouse", "category": "mouse", "caption": "Part of the workspace equipment includes a computer mouse, though it is not directly
visible in this particular frame."},
{"subject_id": "Exercise Ball", "category": "ball", "caption": "A gray exercise ball rests on the floor near the background equipment, adding a
functional element to the room's setup."}
]

⑦ 2d_grounding.yaml （バウンディングボックス特定）

■ 実行時間：9.94 seconds
■ 結果：
　yaml内の {object_name} 指定が必要であることがわかりました。動いているグリッパーは全フレームで追跡されましたが、コップは最初の位置のみ認識され、移動中は認識されませんでした。

■ 考察:
　①00:02〜00:04の画像を確認すると、アームがコップを押し動かす際に、黒いグリッパーがコップの手前を大きく遮蔽しています。
このアームによるコップの隠れ（遮蔽）が原因で、モデルがコップを独立した物体として継続的に認識できなかった可能性が高いです。
　②動体追跡が必須な場合は、SAM2などの専用モデルの検討も必要がありそうです。

Assistant:
```json
[
{"bbox_2d": [493, 250, 517, 286], "label": "orange cup"},
{"bbox_2d": [294, 307, 344, 360], "label": "robotic arm gripper"},
{"bbox_2d": [265, 321, 309, 389], "label": "robotic arm gripper"},
{"bbox_2d": [285, 321, 314, 367], "label": "robotic arm gripper"},
{"bbox_2d": [290, 321, 318, 386], "label": "robotic arm gripper"},
{"bbox_2d": [282, 342, 308, 384], "label": "robotic arm gripper"},
{"bbox_2d": [282, 353, 308, 384], "label": "robotic arm gripper"},
{"bbox_2d": [285, 369, 308, 407], "label": "robotic arm gripper"},
{"bbox_2d": [285, 375, 309, 411], "label": "robotic arm gripper"},
{"bbox_2d": [285, 398, 309, 435], "label": "robotic arm gripper"},
{"bbox_2d": [290, 417, 314, 446], "label": "robotic arm gripper"},
{"bbox_2d": [290, 432, 314, 461], "label": "robotic arm gripper"},
{"bbox_2d": [290, 446, 314, 481], "label": "robotic arm gripper"},
{"bbox_2d": [290, 461, 314, 492], "label": "robotic arm gripper"},
{"bbox_2d": [285, 479, 308, 505], "label": "robotic arm gripper"},
{"bbox_2d": [285, 492, 308, 529], "label": "robotic arm gripper"},
{"bbox_2d": [282, 494, 308, 536], "label": "robotic arm gripper"},
{"bbox_2d": [282, 505, 308, 555], "label": "robotic arm gripper"},
{"bbox_2d": [285, 519, 309, 550], "label": "robotic arm gripper"},
{"bbox_2d": [285, 536, 311, 584], "label": "robotic arm gripper"},
{"bbox_2d": [285, 549, 309, 589], "label": "robotic arm gripper"},
{"bbox_2d": [285, 567, 311, 615], "label": "robotic arm gripper"},
{"bbox_2d": [285, 579, 311, 629], "label": "robotic arm gripper"},
{"bbox_2d": [285, 597, 311, 645], "label": "robotic arm gripper"},
{"bbox_2d": [285, 615, 308, 654], "label": "robotic arm gripper"},
{"bbox_2d": [285, 630, 311, 681], "label": "robotic arm gripper"},
{"bbox_2d": [285, 649, 309, 687], "label": "robotic arm gripper"},
{"bbox_2d": [285, 666, 311, 727], "label": "robotic arm gripper"},
{"bbox_2d": [285, 687, 311, 742], "label": "robotic arm gripper"},
{"bbox_2d": [285, 705, 309, 747], "label": "robotic arm gripper"},
{"bbox_2d": [285, 724, 311, 773], "label": "robotic arm gripper"},
{"bbox_2d": [285, 742, 309, 786], "label": "robotic arm gripper"},
{"bbox_2d": [285, 761, 311, 801], "label": "robotic arm gripper"},
{"bbox_2d": [285, 780, 311, 828], "label": "robotic arm gripper"},
{"bbox_2d": [285, 798, 311, 845], "label": "robotic arm gripper"},
{"bbox_2d": [285, 817, 311, 865], "label": "robotic arm gripper"},
{"bbox_2d": [285, 842, 311, 891], "label": "robotic arm gripper"},
{"bbox_2d": [285, 857, 311, 915], "label": "robotic arm gripper"},
{"bbox_2d": [285, 877, 311, 924], "label": "robotic arm gripper"},
{"bbox_2d": [285, 896, 311, 951], "label": "robotic arm gripper"},
{"bbox_2d": [285, 915, 311, 957], "label": "robotic arm gripper"},
{"bbox_2d": [285, 934, 311, 981], "label": "robotic arm gripper"}
]
```

やってみてわかったこと

cosmos-reason2の機能検証を行った結果、大きく分けて、以下の3つの領域で利用可能そうであることがわかりました。

1. 動画・物体解析： 詳細なキャプション、物体特定、時系列ラベリング
2. 行動計画：ロボットが辿るべき軌跡（CoT）の推論
3. 人間行動予測：近くにいる人間が次に何をするかの予測

所感として、出力の精度はまだ完璧ではなく、ロボットのアームがコップを隠すと認識が外れたり、細かい動作を誤認することもありました。
ですが、ゼロからプロンプトを書くのは大変なので、「Reason2で下書き生成 → 人間で修正 → Predict/Transferへ渡す」 というワークフローであれば、今すぐ実用できる可能性があります。

おわりに

次は、今回cosmos-reason2で作成したプロンプトを用いて、cosmos-predict2やcosmos-tranfer2.5の検証を行う予定です。

一覧ページへ戻る