（2026年4月時点の記事です）

クフウシヤでは、unitree社の四脚ロボット「Go2」を用いた強化学習ベースの歩行の開発を進めています。
今回は、プラント設備にも利用されるオープン階段（蹴込板がない階段）に対応可能な歩行ポリシーの構築と、
Sim2Sim→Sim2Realによる検証の取り組みについてまとめました。

①履歴情報を追加した強化学習：

まず、蹴上板ありの階段を登れるようにするため、履歴情報を追加した歩行の強化学習を行いました。
Isaac Lab / Isaac Simにて歩行の強化学習を行なうときに、歩行ポリシーの入力となるObservation（観測）項目の構成は、
一般的には『その瞬間』のIMUやモーター関節情報などのセンサ値のみを用いる構成がよく知られています。

この観測項目の弱点は、階段のような15cm程度の高い段差を乗り越えるために、脚を常時できるだけ高く上げるように学習してしまい、平面環境でも同じように脚を高く上げ続けてしまうように学習してしまうことです。

今回、階段も登れる歩行ポリシーを生成するにあたり、『その瞬間』だけでなく『過去』のセンサ値も観測項目に追加しました。
それにより例えば、階段の蹴上面にGo2の前脚先が接触したとき、
ポリシーが出力した関節角度指令に対して実際の関節角度が動いていない → 「今、段差に前脚先が接触している！」
ということを認識し、その状況になって初めて脚を高く上げるような歩行動作をさせることができるようになります。

履歴情報を追加した強化学習を1日程度回すことにより歩行ポリシーを生成して、MuJoCo環境のSim2Simにて階段での動作確認を行なった結果、今回実機で登らせたい、蹴上高さ18cmおよび踏面32cmの階段を登れることがわかりました。

＜学習後＞

＜MuJoCo環境上でのSim2Sim＞

シミュレーション環境上では階段を登れることが確認できたので、実際にSim2Realにより実機で現実世界の階段を登らせてみました。

＜Sim2RealによるGo2実機での階段登り＞

「！！登れた！！」

また、降りも試したところ、登りよりも安定して歩行できていました。

＜Sim2RealによるGo2実機での階段降り＞

登りについてはまだ100%成功するわけではないので、学習時のパラメータの微調整が必要と考えています。

②周辺地形の高さ情報（Height scan）を用いた強化学習

次に、オープン階段（蹴込板がない階段）を歩行するための強化学習を行います。
上述①の強化学習は、LiDARやデプスカメラなどの外界センサを用いておらず、周辺地形情報をポリシーの入力に用いないブラインド（盲目）の強化学習になります。
ブラインドの強化学習の弱点として、蹴上板が無いと前脚先を使った階段の認識ができないので、蹴上板の無いオープン階段を登ることはできません。

　そこで履歴情報に加え、さらに周辺地形の高さ情報（height_scan）を観測項目に追加して学習を行ないました。Sim2Simにて動作確認を行なった結果、
　
■蹴上高さ18cmおよび踏面32cmのオープン階段

を登れることがわかりました。

＜学習後＞

※ 動画中の全ての赤丸の地点の高さ情報をポリシーに入力しています。
※ ①とは異なり、前脚先が階段の蹴込面に接触せずとも前脚を上げて階段を登るような学習ができています。

＜MuJoCo環境上でのSim2Sim＞

シミュレーション環境上では登れることが確認できたので、Sim2Realにより実機でオープン階段を登らせるべく、実機側での構築を進めています。
Go2がプラント施設内で転倒することなく、踏み込み板のないオープン階段を上ることで、施設内を点検・巡回できるエリアの拡張が期待できます。

おわりに

ここまで記事をご覧いただき、ありがとうございます。
クフウシヤでは、ロボット開発およびフィジカルAIに関する案件に積極的に取り組んでいます。
ご相談や共同研究などがございましたら、お気軽にお問い合わせください。

Sim2Realの関連記事

2025年05月21日（水）

「シミュレーションから現実世界へ！国産四脚ロボット開発の現場から」

（2025年5月21日現在の記事です。） ロボット開発では、シミュレーションと実機テストの間に立ちはだかる大きな壁、「Sim2Realのギャップ」が課題となります。 クフウシヤでは、「NVIDIA I […]