TECHNOLOGY やってみた動画
UMI×PIKAで、人の手の動きをヒューマノイドG1に教えてみた
【2026年8月時点の記事です】
１．はじめに
「ロボットに作業を教える」には、これまで大量のデータと、ロボット本体を動かす大変な手間が必要でした。
クフウシヤでは、人が手に持った道具で動きを記録し、そのままロボットの動作に変換できる UMI(Universal Manipulation Interface) のアプローチに注目しています。
今回は、 AgileX Robotics社の PIKA を使って、ヒューマノイドロボット Unitree G1 に動作を教えてみました。
■ UMIとは？
UMI(Universal Manipulation Interface)は、2024年にスタンフォード大学・コロンビア大学・トヨタ・リサーチ・インスティテュート(TRI)の研究チームが発表した、ロボットのデータ収集と方策(ポリシー)学習のためのフレームワークです。
ポイントは次の3つです。
1. 人が手で持つグリッパで教える：
手動で開閉できる手持ち式のグリッパに、手首視点のカメラを取り付けて、人がその場で作業をしてみせます。
このとき、ロボット本体は不要で、グリッパとノートPCなどの持ち運び可能な設備でも作業データ収集ができます。
2. ロボット非依存：
記録するのは主に「手先(エンドエフェクタ)の位置・姿勢」「グリッパの開き幅」「カメラ映像」です。特定のロボットに依存しないため、同じデータを別のロボットにも展開しやすい設計です。
3. 学習した方策をそのままロボットへ ：
学習した方策は、主に映像と手先の状態を入力に、「次に手先をどう動かすか」「グリッパをどれだけ開閉するか」を出力します。人のデモから実機の動作までを一本の流れでつなぐのがUMIの考え方です。
■ PIKAとは？
AgileX Robotics社のPIKAは、このUMIの考え方に沿ったデータ収集システムです。
手に持つ PIKA Sense が、手先の6次元位置姿勢、グリッパの開き、RGB映像、深度、IMUを記録します。位置姿勢のトラッキングにはVIVEトラッカーを使います。
２．今回やってみたこと
PIKAで人の動作を記録し、G1のハンドの動作に変換(リターゲティング)して、模倣学習(ACT)で学習・推論させる、という流れを一通り試してみました。
２－１．データ収集：トラッカーが突然不安定に
データ収集の途中で、VIVEトラッカーからのデータ受信が不安定になりました。
原因を調べると、PIKA SenseとPCをつなぐUSB3.0ケーブルから出る電気的ノイズが、トラッカーとドングルの間の無線通信に干渉していたことがわかりました。
対策として、USB延長ケーブルでドングルをUSB3.0ケーブルから物理的に離すようにしました。
結果、USB帯域の問題もなく、RealSenseも30FPSで取得できる見込みです。PIKA Senseを2台同時に使うときだけ起きる問題かもしれません。
２－２. リターゲティング:関節が「暴れる」
PIKAで記録した手先の動きを、G1の関節角度に変換するのがリターゲティングです。最初のシミュレーション上の確認では、リターゲティング自体はできていました。
ところが、動作によっては関節角度が可動範囲の限界(最大・最小)に近づき、関節が暴れる現象が起きました。そこで。次の対応をしました。
■ PIKAの取り付け角度を変更する
■ リターゲティングのプログラムを修正する
結果、リターゲティング後の動作でG1のIK(逆運動学)が問題なく解けることを確認できました。
２－３. ACTで推論
UMIで撮影した簡単なデータセットを使い、ACTで推論を実行しました。動作条件は次のとおりです。
1. 初期位置で2秒キープ
2. グリッパを閉じる
3. 前方へ約5cm、できるだけ平行に動かす
4. グリッパを開く
5. 初期位置に戻す
6. グリッパを素早く2回開閉する(PIKAのデータ収集で使うリモート終了の合図)
＊ G1の初期姿勢(各関節0度)を基準の位置・姿勢としています。
結果
■ 動作が遅い:
記録時は8秒の動作が、実機では28秒(動画の00:12〜00:40)かかり、約3.5倍遅く推論されました。
■ 深度データで不安定に:
Depthを入力に加えると動作が安定しなくなったため、動画の時点では深度は未使用です。
対策として、速度制限を外すことを検討中です。
わかったこと
今回の実験で、PIKAで取った人の動きをG1に変換し、実機で再生・推論するところまでの道筋が見えました。
一方で、次の課題も明確になりました。
■ 推論の動作が遅い(約3.5倍)原因の調査
■ 深度データを使ったときの不安定さの解消
■ より複雑な動作(把持・搬送など)への展開（ボタン・レバーなどの操作タスクの学習データ収集と実機推論）
引き続き、実用化を目指してUMI×PIKAのヒューマノイド実装の研究開発を進めていきます。
クフウシヤでは、こうした「やってみた」を重ねながら、現場で役立つフィジカルAIの開発を進めていきます。
◆ 参考資料
■ UMI：https://arxiv.org/abs/2402.10329
■ PIKA：https://global.agilex.ai/products/pika
