はじめに

クフウシヤでは、G1を用いたフィジカルAIの研究開発をしています。
今回は NVIDIA の GR00T-WholeBodyControl に含まれる GEAR-SONIC と、VRヘッドセット Pico を組み合わせて、ヒューマノイドロボットの全身テレオペレーション（遠隔操作）を試してみました。

今回やったこと

◆ 背景

従来のコントローラ操作では以下の課題がありました

■ 歩行・基本移動がメイン
■ 腕の動きは事前プログラムか、シンプルなコマンド制御
■ 人間のリアルタイムな身体動作を直接反映できない

◆ 使用ツール・環境

GR00T-WholeBodyControl / GEAR-SONIC

GR00T-WholeBodyControl は、NVIDIAが公開しているヒューマノイドコントローラの統合プラットフォームです。 このリポジトリには大きく2つのコンポーネントが含まれています。

■ デカップリングWBC ：NVIDIA GR00T N1.5およびN1.6モデルで使用されるデカップリングコントローラー（下半身はRL、上半身はIK） 。

■ GEAR-SONICシリーズ：汎用的な人型全身コントローラーの最新版（ホワイトペーパーをご覧ください）。

◆ 必要なハードウェア

■ Pico 4 / Pico 4 Pro ヘッドセット

■ Pico コントローラー ×2

■ Pico モーショントラッカー ×2（足首に装着）

■ 低レイテンシの高速 Wi-Fi（テレオペ品質はネットワーク依存度が高い）

Pico から SMPL形式の全身姿勢データを ZMQ 経由でストリーミングし、GEAR-SONIC のポリシーに渡す構成です。

結果

◆ シミュレーション（MuJoCo）

■ Pico による全身トラッキング：頭・腕・腰・脚など複数部位の動きをリアルタイムにキャプチャし、シミュレータ上の G1 に反映することができました。

■ Pico ジョイスティックによる操作：プランナーモードでの移動操作ができることも確認できました

わかったこと

Picoを使用して、セットアップ～GR00Tのwhole body controlまでpicoで操作できることを確認できました。
全身のトラッキング、スティックでの操作ができること、また、全身のトラッキングについては、トリガー入力でハンドを開閉できることを確認することができました。

次にやること

次は、実機の G1（23関節）でも動作を確認してみます。

おわりに

今後は GEAR-SONIC を活用してロボットの動作データを収集・作成し、フィジカルAIの研究開発を加速させていきます。
引き続き G1 を用いた研究の知見を発信していく予定です。

一覧ページへ戻る