TECHNOLOGY 技術紹介

【SO101】lerobotのモデル比較【8モデルでキューブ運びをやってみた】

【2026年4月時点の記事です】

今回やったこと：

同一のデータセットをlerobotに含まれているモデルで学習し、8モデルのそれぞれの違いを比較した。

■ 比較モデル
　pi0.5／pi0／GROOT／xvla／smolvla／act／diffusion policy／pi0fast

◆ 使用環境

■ Jetson AGX Thor
■ Lerobot v0.4.4
■ SO-101

◆ 学習グラフ

stepは、これまでの経験を踏まえて設定。
pi0fast以外は、lossがかなり小さい値まで減少していた。

◆ データセット内容

■ ランダムに置かれた赤いキューブ3つを、固定位置にある黒い皿に置く。
■ 右側、手前を優先で移動させた
■ エピソード数　50
■ タスク指示　”Pick up all red cubes and place them on the black plate”

◆ 実験内容

①キューブ赤3個、皿データセット位置　”Pick up all red cubes and place them on the black plate”

②キューブ赤1個、白1個、皿データセット位置　”Pick up all red cubes and place them on the black plate”

③キューブ赤1個、青い物体1個、皿データセット位置　”Pick up all red cubes and place them on the black plate”

④青いフクロウ（知らない物体）、皿データセット位置　”Pick up blue things and place them on the black plate”

⑤キューブ赤3個、皿データセットとは異なる位置　”Pick up all red cubes and place them on the black plate”

推論結果

本評価では、複数回実施して1回でも成功すれば成功とする。
成功率が低いものは、⚠をつけている。

まとめ：8種のモデルを比較した結果

①キューブ赤3個、皿データセット位置について

データセットに含まれている内容そのままのため、成功する

②キューブ赤1個、白1個、皿データセット位置について

■ 色の配置によって、成功しやすさが変わる。
■ 赤を先に移動できれば、白を掴みに行ってもうまくつかめず結果として成功したような感じになる。
■ 反対に白を先に認識してしまうと白だけに集中して終わってしまい失敗する。

③キューブ赤1個、青い物体1個、皿データセット位置について

②とあまり変わらない。サイズが違うことで掴みづらさはある。

④青いフクロウ（知らない物体）、皿データセット位置について

■ pi0.5とpi0は成功している。指示分は青い物体のまま、赤いキューブをおいても移動させた。
■ pi以外は②③でつかめていたのにつかめないという感じだった。

⑤キューブ赤3個、皿データセットとは異なる位置について

全モデル失敗した。

考察：やってみてわかったこと

diffusion policy、pi0fastは学習の仕方の問題か、推論の仕方の問題かわからないが、うまく動かなかった。

actはデータセットが足りないためうまく行かなかった可能性が高い（omunihostでは100以上作成して成功した）

①はデータセットの状況と同じなため、成功する

②と③は、smolvla以外については色や形状の違いはわかっているが、どうしたらいいかを知らないため動いてしまっているのではないか。

④はpi以外は汎化性能が低いのではないかと考えられる。
しかしpiもタスク指示を無視した動きをしていることから、指示内容というより学習した動きに特化するポリシーになっていそう。
smolvlaがなぜ失敗したかはよくわからない。

⑤はデータセット作成時に皿の位置を固定していたため、皿に置くというよりも座標で置く場所を覚えてしまったせいだと考察される。