強化学習によるドローンレースのレシピ
A recipe for drone racing with reinforcement learning (mrandri19.github.io)
要約
この記事は、クアッドコプターシミュレーションシリーズの最終回で、強化学習(RL)を用いてドローンを飛行させる方法を解説しています。ホバリングからゲート通過まで、RLポリシーの訓練に役立つ実用的なテクニックやヒントが集められています。厳密な証明ではなく、経験則に基づいたレシピ形式で、コードの重要な部分のみが示されています。
全文翻訳
強化学習によるドローンレースのレシピ
この記事は、クアッドコプターシミュレーションに関するシリーズの3回目で最終回です。最初の投稿と2番目の投稿では、まず2Dで、次に3Dでクアッドコプターの運動方程式を導出しシミュレーションしました。この記事では、強化学習ポリシーを訓練して、まず固定点にホバリングさせ、次に一連のゲートを通過するようにクアッドコプターを飛行させます。
前の投稿はチュートリアル形式で、自由体図から始めて、段階的にシミュレーションコードに到達しました。この記事はむしろレシピ形式で、クアッドコプターレース用のRLポリシーを訓練するのに役立つと感じたトリックやテクニックのコレクションです。これらの方法がなぜ機能するのかについての厳密な証明はなく、経験的なものだけです。
レシピでありウォークスルーではないため、この記事では各決定で重要なコードのみを示します。完全な環境はGitHubのmrandri19/quadcopter-racingにあります。
ここに、8つのゲートを周回するコースを飛行する訓練済みポリシーの例を示します。記事中のビジュアライゼーションはすべてRerunを使用して作成されています。
段階的なアプローチ
ドローンレースシミュレーション、RL環境、報酬、モデルを一度にすべて実装しようとしても、うまくいきません。多くのことがわずかにずれている可能性があり、ポリシーのパフォーマンスに影響を与えますが、デバッグする良い方法がありません。そのため、タスクを3つの段階に分割し、それぞれが互いに積み重なるようにしました。
- RLの「ハローワールド!」:ベクトル化されたstable-baselines3環境とPPOを使用して、倒立振子制御問題を解決するポリシーを訓練します。
- MuJoCoを使用してカスタムクアッドコプターRL環境を構築し、アクション空間と観測空間を選択し、高レベルのRLベースと低レベルのPコントローラーを分割し、ホバリング報酬を設定します。
- ホバリングからレースへと環境を拡張し、新しい報酬、観測、ランダム初期化設計を追加します。
ベクトル化されたPPOで倒立振子を解く
基本から始めて、ベクトル化されたRL問題をセットアップしましょう。stable-baselines3のPPOとベクトル化されたInvertedPendulum-v5(カートポール)環境を使用し、ポリシーが最大エピソード長に到達することを確認します。
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
from stable_baselines3.common.policies import ActorCriticPolicy
def main() -> None:
env = make_vec_env("InvertedPendulum-v5", n_envs=128)
model = PPO(
policy=ActorCriticPolicy,
env=env,
learning_rate=3e-3, # 3e-4 (default lr) * sqrt(n_envs) ~= 3e-3
n_steps=512, # default 2048より小さい、128個のenvがある場合、それほど多くのステップは不要。
batch_size=1024, # より良い効率のためにdefault 64より大きい。
n_epochs=5, # default 10より小さい、トレーニングを高速化、10回再フィットする必要はない
verbose=1,
)
model.learn(total_timesteps=750_000)
ハイパーパラメータの選択について簡単に説明します。
- ロールアウトサイズは
n_envs * n_stepsです。128個の環境と各512ステップで、PPOはポリシーアップデートごとに65,536の遷移を収集します。このバッチを十分に大きくすることが重要です。なぜなら、各PPOアップデートでトレーニングするデータセットに多様性が欲しいからです。 - PPOアップデートの数は
total_timesteps / rollout_size、ここでは約11回のアップデートです。ロールアウトサイズが十分に大きい場合、モデルは「進化」するためにも十分なアップデートが必要です。これはデータセットが固定されている教師あり学習ではありません。ポリシーが進化するにつれて、ロールアウトデータに新しいパターンが現れるため、この空間を探索するためには十分なPPOアップデートが必要です。 - 勾配ステップの数は
total_timesteps * n_epochs / batch_sizeです。各ロールアウトはbatch_sizeのミニバッチに分割され、n_epochs回再利用されます。バッチサイズが大きいほど勾配のノイズは少なくなりますが、PPOアップデートあたりのトレーニングイテレーションは少なくなります。
結果
この環境では、各生存ステップで+1の報酬が与えられるため、エピソード長と報酬は正確に一致します。トレーニングは128個の並列環境で750kタイムステップ実行され、約11回のPPOアップデートに相当します。エピソード長は最初のアップデートからスムーズに増加し、600kステップまでにポリシーは1,000ステップのキャップに近づきます。
[画像: Cartpole training curves: ep_len_mean and ep_rew_mean vs. timesteps.]
レシピ:まずトイタスクでPPOとそのハイパーパラメータを検証すること。なぜなら、「アルゴリズムの設定ミス」と「環境の間違い」を分離できるからです。
カスタムクアッドコプター環境でホバリングを学習する
これで、PPOと私たちのハイパーパラメータがトイタスクで機能することを示したので、クアッドコプター環境を開発し、単純なホバリング報酬を設定しましょう。MuJoCoを物理シミュレータとして使用します。
導入で述べたように、環境を実装するために必要なすべてのコードを網羅するのではなく、議論する価値のある部分のみを示します。残りはsrc/quadcopter_racing/part_2.pyにあります。
アクション設計:CTBR + Pコントローラー
ポリシーは直接4つのモーターコマンドを出力しません。代わりに、集合推力と機体レート(CTBR)コマンドを出力します。これは、質量正規化された推力と目標のロール、ピッチ、ヨーレートです。これは、Champion-level drone racing using deep reinforcement learningやDeep Drone Acrobatsなどのいくつかの論文で使用されているアクション設計です。低レベルの比例(P)コントローラーが、現在の機体座標系の角速度をフィードバックとして使用して、これを個々のモーターコマンドに変換します。
def _controller(
self, omega_body: NDArray, denormalized_actions: NDArray
) -> NDArray:
f_des = denormalized_actions[:, 0]
w_des = denormalized_actions[:, 1:4]
w = omega_body
Jw = self._J_diag * w
u_w = self._K_p * (w_des - w) + np.cross(w, Jw)
f = f_des * self._g * self._mass / self._max_thrust / 4
u_p, u_q, u_r = u_w[:, 0], u_w[:, 1], u_w[:, 2]
motor = np.empty((self.num_envs, 4), dtype=np.float32)
motor[:, 0] = f - u_p - u_q - u_r
motor[:, 1] = f + u_p - u_q + u_r
motor[:, 2] = f - u_p + u_q + u_r
motor[:, 3] = f + u_p + u_q - u_r
np.clip(motor, 0, 1, out=motor)
return motor
CTBRは、生のモーターコマンドよりもポリシーが学習しやすいアクション空間です。低レベルコントローラーが高速な姿勢レートダイナミクスを処理し、ポリシーは推力と目標回転について推論します。これは、BetaflightのようなほとんどのコントローラーがCTBR入力を受け取るため、実際のドローンにポリシーをデプロイしようとする際にも役立ちます。
コードは単純な比例コントローラーを実装していますが、np.cross(w, Jw)項は例外です。これが何をするかを理解するために、オイラーの回転方程式を機体座標系の角速度(\omega)について書いてみましょう。
([J \dot{\omega} = \mathbf{\tau} - \omega \times J \omega]
(\omega \times J\omega)項は、方程式を回転する(機体)座標系で記述することから生じるジャイロスコープ結合です。これは3つの回転軸を互いに結合させるため、純粋なロールレートは、この項を通じてピッチまたはヨー加速を生成する可能性があります。もしトルク(\mathbf{\tau} = K_p (\omega ext{_des} - \omega))を直接コマンドした場合、この結合項は閉ループダイナミクスに残り、私たちが望む単純な比例応答を歪めます。
+記号で戻して追加すると、u_w = K_p * (w_des - w) + np.cross(w, Jw)となり、オイラー方程式に代入すると正確にキャンセルされます。
([J \dot{\omega} = \underbrace{K_p (\omega ext{des} - \omega) + \omega \times J \omega} ext{\mathbf{\tau}} - , \omega \times J \omega = K_p (\omega ext{_des} - \omega)]
2つの(\omega \times J\omega)項がキャンセルされ、ゲイン(K_p)のために設計した単純な線形応答のように振る舞うクリーンな線形1次応答が各軸で得られます。これはフィードバック線形化(動的逆数とも呼ばれる)の小さな例です。既知の非線形ダイナミクスを使用して、その非線形性をキャンセルする正確なトルクを計算するため、残りの閉ループシステムは、設計した単純な線形システムのように振る舞います。
レシピ:ポリシーにCTBRを出力させ、Pコントローラーにレートループを閉じさせること。なぜなら、コントローラーが高速な姿勢ダイナミクスを吸収し、同じインターフェースが実際のハードウェアで動作するからです。
観測設計
観測は、13次元のMuJoCo自由体状態です。位置、姿勢クォータニオン、線形速度、および機体座標系の角速度です。
obs[:, 0:3] = qpos[:, :3] # position
obs[:, 3:7] = qpos[:, 3:7] # attitude quaternion
obs[:, 7:10] = qvel[:, :3] # linear velocity
obs[:, 10:13] = omega_body # body-frame angular velocity
ホバリング報酬
報酬は、目標への負の距離に対するポテンシャルベースの進行項、姿勢ペナルティ、クラッシュペナルティ、および小さな生存ボーナスです。
def _reward(
self,
curr_obs: NDArray,
terminated: NDArray,
) -> tuple[NDArray, NDArray]:
pos = curr_obs[:, 0:3]
dist = np.linalg.norm(pos - _TARGET_POS, axis=1)
curr_potential = -dist
progress = curr_potential - self._prev_potential
quat_xyz = curr_obs[:, 4:7]
orientation = -0.2 * np.linalg.norm(quat_xyz, axis=1)
crash = np.where(terminated, -5.0, 0.0)
alive = np.where(terminated, 0.0, 0.1)
total = progress + orientation + crash + alive
return total, curr_potential
レシピ:報酬を、目標への距離ではなく、目標への進行として形状化すること。なぜなら、距離ペナルティは各ステップで同じように支払われますが、進行はギャップを縮めるためだけに支払われるからです。
結果
3つの異なるホバリング目標に対して、このホバリング環境を訓練しました。正確なハイパーパラメータについては、src/quadcopter_racing/part_2.pyを参照してください。3つのケースすべてで、crash_rateは数百万ステップの間約1にとどまり、その後急激に低下し、distance_to_target_meanはトレーニングの残りの期間減少し続けます。
[画像: Hover training curves for the three targets: crash_rate and distance_to_target_mean vs. timesteps.]
レシピ:
crash_rateが数百万ステップの間1にとどまり、その後崩壊することを期待すること。なぜなら、報酬のいずれも、ポリシーがそれを収集するのに十分な時間空中に留まることができるまで、報われないからです。
ホバリングからレースへ
ポイントへのホバリングは、低レベルコントローラー、報酬スケール、およびPPOハイパーパラメータが正しく実装されていることを確認します。それが実装されテストされたら、次の目標であるレースに進みます。そのために、ホバリング環境を8つのゲートからなるループトラックに拡張します。
観測における次のゲート
2つのトラックを定義します。1つは8つのゲートからなるループで、各ゲートは原点の周りを45度ごとに異なる高度に配置されています。もう1つは7つのゲートからなるスプリットSトラックです(ゲート位置はKaufmannらによるチャンピオンレベルのドローンレース論文で公開されたtrack.yamlから取得し、ゲートは向きのある長方形ではなく点目標であるため、それらの向きは削除しました)。スプリットSという名前は、ゲート4と5に由来します。これらは同じ((x, y))にありますが、(z=3.4)から(z=1.42)に低下し、その間での急激な垂直ダイブを強制します。
トラックに関係なく、次のゲートの位置が観測に追加され、観測空間は16次元になります。
obs[:, 13:16] = target_gates
ゲートを通過するとすぐに、環境は観測を更新します。詳細については、ソースコード、特にsrc/quadcopter_racing/part_3.pyを参照してください。
次ゲート報酬
報酬は、ホバリング報酬と同じ形状を維持します。進行、姿勢ペナルティ、クラッシュペナルティ、生存ボーナスです。唯一の追加は、クアッドコプターが目標ゲートの_GATE_RADIUS内に通過したときの1回限りのボーナスです。その時点でターゲットはループ内の次のゲートに進みます。
passed = (dist < _GATE_RADIUS) & ~terminated.astype(bool)
gate_bonus = np.where(passed, _GATE_BONUS, 0.0)
total = progress + orientation + crash + alive + gate_bonus
ゲートが通過されたとき、ポテンシャルも新しいターゲットにリセットされるため、ターゲットの切り替えによる進行項の不連続性がなくなります。
if passed.any():
n_gates = len(self._gates)
new_ix = (self._target_gate_indices[passed] + 1) % n_gates
self._target_gate_indices[passed] = new_ix
self._target_gates[passed] = self._gates[new_ix]
curr_potential[passed] = -np.linalg.norm(
obs[passed, 0:3] - self._target_gates[passed], axis=1
)
obs[passed, 13:16] = self._target_gates[passed]
self._gates_passed_counts[passed] += 1
ランダムゲートリセットが重要
最も重要な詳細はエピソードのリセット方法です。各エピソードが常にゲート0からスポーンする場合、ポリシーはゲート1を通過するのを完璧にしてから、初めてゲート2を見る必要があります。これは学習を非常に困難にします。なぜなら、ポリシーは観測内のターゲットゲートを使用する方法を学ぶインセンティブがほとんどないからです。代わりに、リセットごとにランダムなスタートゲートを選択し、次のゲートをターゲットにします。
n_gates = len(self._gates)
start_gate_ix = self._rng.integers(0, n_gates)
target_gate_ix = (start_gate_ix + 1) % n_gates
start_gate = self._gates[start_gate_ix, :]
target_gate = self._gates[target_gate_ix, :]
レシピ:リセットごとにスタートゲートをランダム化すること。なぜなら、それは1つの長いレースタスクを多くの短い1ゲートタスクに変え、ポリシーにターゲットゲートを観測から実際に読み取ることを強制するからです。
結果
同じ環境、報酬、ハイパーパラメータを両方のトラックに対して実行しました。エピソードあたりの平均ゲート通過数であるgates_passed_meanも追跡します。
[画像: Circle-track training curves: crash_rate, distance_to_target_mean, and gates_passed_mean vs. timesteps.]
ホバリング実行からの同じテイクオフパターンが再び現れます。crash_rateはトレーニングの大部分で約1にとどまり、その後2.9Mから3.8Mステップの間で崩壊します。それ以降、gates_passed_meanは着実に上昇し続け、トレーニング終了時には400ステップ(8秒)のエピソードあたり平均3.71ゲートに達します。これは、収束したポリシーが1つのゲートに到達するだけでなく、1つのエピソードで複数のゲート通過を連鎖させていることを意味し、実際に望むレースの振る舞いに近くなります。
記事の冒頭のビジュアライゼーションは、この収束したポリシーが24秒(1,200ステップ)飛行し、21ゲートを通過する様子です。
[画像: Split-S track training curves: crash_rate, distance_to_target_mean, and gates_passed_mean vs. timesteps.]
crash_rateは6.7Mステップ頃に0に崩壊し、gates_passed_meanは3.55に達します。これは円形トラックの5Mステップでの3.71に近いですが、2つのトラックはゲートの間隔が異なるため、数値は直接比較できません。スプリットSトラックの不規則なゲート間隔と、ゲート4と5の間の急激な垂直ダイブは、異なる報酬やハイパーパラメータを必要としませんが、PPOが機能するポリシーを見つける前に、より長いテイクオフウィンドウが必要です。
Rerunビジュアライゼーションは、収束したポリシーが24秒(1,200ステップ)飛行し、ゲート4と5の間の難しい垂直操作にもかかわらず12ゲートを通過する様子を示しています。
まとめと今後の展望
複雑なプロジェクトには、最終的な目標をより小さなマイルストーンに分解する必要があります。RLプロジェクトも例外ではありません。この特定の問題では、トイタスクからホバリング、そしてレースへと進むのが良い進行であることがわかりました。記事全体は5つのルールに圧縮されます。
- まずトイタスクでPPOとそのハイパーパラメータを検証すること。
- ポリシーにCTBRを出力させ、Pコントローラーにレートループを閉じさせること。
- 報酬を、目標への距離ではなく、目標への進行として形状化すること。
- リセットごとにスタートゲートをランダム化すること。
- 何かが機能する前に、
crash_rateが1で長い平坦な期間が続くことを期待すること。
ルール1、4、5は車両自体ではなくトレーニングセットアップに関するものであり、疎な報酬制御問題であればどれも利用するでしょう。ルール2と3はクアッドコプター固有ですが、基本的な動きは一般化できます。ポリシーにハードウェアに到達できる最も簡単なアクション空間を与え、状態ではなく変化に対して報酬を与えます。ルール3と4はここで最も多くの仕事をしており、またアブレーションではなく私自身の実行から報告している2つでもあります。
現在の制限について簡単に説明します。
- 完璧な状態推定に依存しています。ポリシーは、IMUやカメラのようなセンサーデータではなく、真の(ground-truth)位置、姿勢、速度を観測します。もしこれを解決するなら、“Demonstrating Agile Flight from Pixels without State Estimation”を再実装しようとするでしょう。
- シミュレーションのみで、実際のハードウェアには展開されていません。物理的なドローンとレーストラックは所有していませんが、sim2realに近づけたい場合は、“Demonstrating Agile Flight from Pixels without State Estimation”のような大規模なドメインランダム化、またはChampion-level drone racing using deep reinforcement learningのようなsim2real2simアプローチから始めるでしょう。
- 各トラックごとにトレーニングする必要があり、未知のトラックレイアウトにゼロショットで対応することはできません。Bridging Performance and Generalization in Reinforcement Learning for Agile Flightは、これが実行可能であることを示唆しています。彼らは手続き的なトラックジェネレーターと学習進捗によるタスクスイッチングを組み合わせて、テスト時の適応なしに未知のトラックを飛行する単一のポリシーを取得しています。