Aspect-Oriented Programming を使用して DRL エージェントのデータを記録する
Using Aspect-Oriented Programming to Record DRL Agents' Data (blog.ptidej.net)
要約
この記事では、ゲーム開発におけるプレイテストの課題に対処するため、深層強化学習(DRL)エージェントを活用したPEAKプロジェクトを紹介しています。特に、ゲームコードの変更を最小限に抑えつつ、エージェントの行動データを効率的に収集・集計・可視化するために、Aspect-Oriented Programming(AOP)とデコレーター、設定ファイルを用いたアプローチについて解説しています。これにより、ゲームバランスの評価やデバッグを支援するダッシュボードの開発を目指しています。
全文翻訳
Aspect指向プログラミングを用いたDRLエージェントのデータ記録方法
背景
プレイテストはゲーム開発において最も重要なプロセスの一つです。バグの発見、UXの評価、ゲームバランスの調整、そして最も重要な「楽しさ」の評価に役立ちます。開発者はこのプロセスを通じて、ゲームのアイデアが良いか判断し、修正すべき欠点を発見します。これはプロジェクト全体を通して継続的に行われる反復的なプロセスですが、非常に時間がかかり、このプロセスの自動化に役立つ信頼できるツールはほとんどありません。
PEAKはこの問題の解決を目指していますが、プレイテスターに取って代わることを目的としているわけではありません。このプロジェクトの背後にあるアイデアは、デザイナーがいつでもゲームをテストするために展開できる、統合された深層強化学習(DRL)エージェントを持つゲームエンジンの開発です。
[画像: PEAKのGUIダッシュボード]
PEAKを使用するデザイナーのワークフローは以下のようになります。
- PEAK内のレベルエディターを使用して新しいレベルをデザインする。
- テストしたいエージェントのプレイスタイルを選択し、そのレベルでDRLエージェントをトレーニングする。
- エージェントはデータを収集し、定義された閾値に基づいて、レベルのバランスがどの程度取れているかを示し、特定のプラットフォームでの難易度の上昇など、問題点を指摘します。
[画像: PEAKのパイプラインのバランス調整]
PEAKは、オンタリオ工科大学のCristiano Politowski、Al Shifan、Kevin Chuaによって開発されています。私はプロジェクトの後期段階から参加しました。現在は2Dプラットフォーマーゲーム、あるいは類似点が多いことからメトロイドヴァニアにも対応している可能性があります。将来的にはスコープを拡大できますが、現時点では2Dプラットフォーマーを概念実証として使用しています。
問題点
このプロジェクトでの私の焦点は、ユーザーのためのデータ収集、集計、および可視化です。基本的に、エージェントがプレイ中にデータを収集し、そのデータを使用してゲームがバランスが取れているかどうかを判断する(例として)ステップを担当しています。
簡単そうですよね? ジャンプの回数が基準の一部であれば、tracked_jumps という変数を追加し、それを持つモジュールのジャンプメソッドで処理を追加すればよいのでしょうか?
しかし、いくつかの要件と問題点により、それはそれほど単純ではありません。
1- これはまだ成熟したプロジェクトではありません。私が取り組んだ最初の数ヶ月で、2回のメジャーリファクタリングがありました。
2- これは複数のゲームをサポートするエンジンであり、それらを結びつけるアーキテクチャがないため、データの収集方法はどのゲームにも依存しないようにする必要があります。そうでなければ、大量の重複コードが発生します。
3- 新しいデータを追跡および処理するために、コードベースへの変更を最小限に抑える必要があります。そうでなければ、コアゲームコードとデータ収集コードの間に分離がなくなります。
変数を直接追加することは、すべての要件に違反します!これを解決するために、ObserverパターンとAspect指向プログラミングを使用します。
Aspect指向プログラミングとは?
このプロジェクト以前は、Object Oriented Programming、そして少しData OrientedやFunctional Programmingについても知っていましたが、Aspectとは何か、そしてどのようにプログラミングをそれに「指向」させるのかは知りませんでした。
心配しないでください、私がそれを使っている間はAOPを使っているとは知りませんでした!教授が会議で指摘してくれた後に初めて知りました。Aspectとは、コードに直接追加できないが追加したい機能のことです。そうでなければ、複数の責任を同じモジュールに絡ませてしまいます。したがって、この特定のプロジェクトでは、収集および処理したいデータがAspectです。AOPでは、Aspectを追加したいプロジェクトの部分を指定します。この指定は「pointcut(ポイントカット)」と呼ばれ、Aspectを適用できるコードの点は「join point(ジョインポイント)」と呼ばれます。開発者は、何を、いつ実行するか、そしてAOPでジョインポイントをどのように指定するかだけを気にすればよいのです。
AOPの教科書的な例はロガーです。コアファイルにロガーを入れたくはありません。単一責任の原則に違反するか、高い結合度につながってしまいます。
デコレーターの使用
Python 2.4は、メソッドのラッパーを定義できる非常にクールな機能を紹介しました。これは、ターゲットメソッドに注釈を付けるだけで適用できます。
下の画像はデコレーターの例です。ここでは、緑色の矢印は元の関数を指し、赤色の矢印はデコレーターを指し、オレンジ色の矢印は注釈を指しています。このシンプルな定義で、注釈を付けるだけで、関数呼び出しの前後に何を実行するかを定義できます。
[画像: デコレーター関数のGeeks4Geeksの例]
私がデコレーターを使用した方法は次のとおりです。
1- stats_observer というクラスを作成し、関心のあるデータの変数を保持し、各変数に対してどのように記録するかを決定する record メソッド(単純なインクリメントか、他のチェックが必要か?)。
2- パラメータとして記録メソッド名を取る汎用的な track デコレーターを定義し、リフレクションを介して注釈付きメソッドの呼び出し後にそのメソッドを呼び出します。
3- これにより、stats_observer に record_something を定義し、何かを追跡すべきメソッドに `@track(