Genesis 入門 (12) - 強化学習によるドローンホバリングポリシーの学習

「Genesis」の強化学習によるドローンホバリングポリシーの学習についてまとめました。

前回

1. 強化学習によるドローンのホバリングの学習

「Genesis」は並列シミュレーションをサポートしており、「強化学習」のドローンホバリングポリシーを効率的に学習することもできます。このチュートリアルでは、ランダムに生成されたターゲットポイントに到達することで安定したホバリング位置を維持する基本的なホバリングポリシーを取得するための学習を紹介します。

2. 環境

Gymスタイルの環境を作成します。

2-1. 初期化

__init__ () では、シミュレーション環境を設定します。

2-2. リセット

reset_idx () では、指定した環境の初期姿勢および状態バッファをリセットします。

2-3. ステップ

step () では、行動を実行して新しい観測と報酬を返します。

3. 学習

「rsl-rl」での学習手順は、次のとおりです。

(1) パッケージのインストール。

git clone https://github.com/leggedrobotics/rsl_rl
cd rsl_rl && git checkout v1.0.2 && pip install -e .
cd ..
pip install tensorboard

自分の環境では「open3d」も必要でした。

pip install open3d

(2) 学習の実行。

python examples/drone/hover_train.py -e drone-hovering -B 8192 --max_iterations 500

(3) 学習プロセスを「TensorBoard」で確認。

tensorboard --logdir logs

4. 評価

評価の実行手順は、次のとおりです。

(1) 評価の実行。

python examples/drone/hover_eval.py -e drone-hovering --ckpt 500 --record

ドローンがランダムターゲットに移動する様子を確認できます。