はじめに

クフウシヤでは、G1を用いたフィジカルAIの研究開発をしています。
今回は NVIDIA の GR00T-WholeBodyControl に含まれるGEAR-SONIC と、 VRヘッドセット Pico を組み合わせて、ヒューマノイドロボットの全身テレオペレーション（遠隔操作）を試してみました。

今回やったこと

◆背景

従来のコントローラ操作では以下の課題がありました

■歩行・基本移動がメイン
■ 腕の動きは事前プログラムか、シンプルなコマンド制御
■ 人間のリアルタイムな身体動作を直接反映できない

◆使用ツール・環境

GR00T-WholeBodyControl / GEAR-SONIC
GR00T-WholeBodyControl / GEAR-SONIC
GR00T-WholeBodyControl は、NVIDIAが公開しているヒューマノイドコントローラの統合プラットフォームです。
このリポジトリには大きく2つのコンポーネントが含まれています。

■ デカップリングWBC ：NVIDIA GR00T N1.5およびN1.6モデルで使用されるデカップリングコントローラー（下半身はRL、上半身はIK） 。
■ GEAR-SONICシリーズ：汎用的な人型全身コントローラーの最新版（ホワイトペーパーをご覧ください）。

必要なハードウェア

■ Pico 4 / Pico 4 Pro ヘッドセット
■ Pico コントローラー ×2
■ Pico モーショントラッカー ×2（足首に装着）
■ 低レイテンシの高速 Wi-Fi（テレオペ品質はネットワーク依存度が高い）

Pico から SMPL形式の全身姿勢データを ZMQ 経由でストリーミングし、GEAR-SONIC のポリシーに渡す構成です。

結果

実機（G1・23関節）

実機の G1（23関節）でも動作を確認できました！

やってみてわかったこと

■ 片足を上げると非常に不安定になるため、実機で試す際はバランス管理に要注意

■ 全身の動きをゆっくりにするとトラッキングが追従しにくい（公式でも注意点として記載あり）。脚を上げる動作なども含め、自然なペースで動くことが重要。

■ 指の制御は現時点では難しそう。LeRobot で GR00T N1 を使う場合（ヒューマノイドの腕だけ動かすケース）は手のデバイスを作ることが有効だと思うが、GEAR-SONIC ではまだ指まで制御できない模様

■ GEAR-SONIC はリリースされたばかりで、現状は提供済みの事前学習ポリシーを使う形。
独自モーションのファインチューニングやデータ収集ワークフローは今後の公開が予定されており、状況が変わることに期待。

おわりに

今後も、 GEAR-SONIC を活用してロボットの動作データを収集・作成し、フィジカルAIの研究開発を加速させていきます。
引き続き G1 を用いた研究の知見を発信していく予定です。