強化学習の視覚的な説明
A visual explanation of reinforcement learning (aatishb.com)
要約
この記事は、ニューラルネットワークを持つデジタルな存在(スパーク)が、試行錯誤を通じて新しい行動を学習する過程を視覚的に解説しています。ユーザーがスパークの脳の配線を操作することで、光に向かって進むという目標を達成する強化学習の仕組みを体験できます。
全文翻訳
ブレインが学習する様子を見る
あなたの脳は、新しいスキルを学ぶのをどのように助けてくれるのでしょうか?
この問いに答えようとするために、私たちはシンプルなブレインを持つデジタルな存在を作り、それが新しい行動を学習する様子を観察します。
前回の記事では、光に向かって操縦できる「スパーク」という生き物を作成しました。そして、ニューラル回路の小さな変化が、どのように全く異なる行動を生み出すかを見ました。
ニューラル
回路
当時、私たちはこれらの回路をスパークのブレインに手作業で配線しました。しかし今、私たちはそれが自分で同じ行動を学習するようにしたいのです。
結局のところ、あなたは歩く、話す、読むことを知ってこの世に生まれてきたわけではありません。呼吸や嚥下のような能力は進化によって組み込まれていますが、他の能力は、多くの試行錯誤を経て獲得しました。
私たちは、私たちのスパークにも同じことをしてもらいたいのです。この学習プロセスを直感的に理解してもらうために、操作をあなたに委ねます。スパークのブレインを配線するのは、あなたです。
あなたがブレインを配線する
しかし、まず、何を配線するのかを説明する必要があります。スパークのブレインにはわずか4つのニューロンしかありません。2つのニューロンが目として機能し、2つのニューロンがフリッパーを動かします。
体の同じ側にあるニューロン間には直線接続、反対側のニューロン間には交差接続があり、そして光がないときのスパークの速度を制御するドライブがあります。
直線
交差
ドライブ
したがって、ブレインの配線は、各接続の種類とドライブの強さという3つの数値に集約されます。
それでは、このスパークを解き放ちましょう。以下のスライダーを使って、移動しながらスパークのブレインを配線してください。私たちはスコアをつけます。
あなたの目標:スコアを0.5以上にすることで、スパークに光を愛させること。
スパークを光の中に時間を過ごさせることはできますか?
ニューラル
回路
スコア
目標
0.11
試行
直線
交差
ドライブ
スコアは、これらの設定で100回の試行におけるスパークが遭遇する光の平均量を示します。
適切な設定を見つけるには、多くの試行錯誤が必要です。(行き詰まった場合は、上のヒントボタンをクリックして助言を得てください。)
あなたが今行ったことを視覚化してみましょう。スパークを光に導くために、3つの数値を調整しました。これらの数値を、立方体の3つの軸として表すことができます。
この図の利点は、あなたのスパークの学習軌跡を立方体内のパスとして視覚化できることです。
スパークを導くために、おそらくスライダーを一方に動かし、それが状況を改善したか悪化させたかを見て、そのフィードバックを使って次の手を決定したでしょう。
これを学習アルゴリズム、つまり練習を通じてスパークがブレインを再配線できる手順にまで蒸留しましょう。
仕組みは以下の通りです:スパークは光に向かって操縦する多くの機会を得ます。各試行の前に、ブレインの配線はランダムに少しずつ変化します。これは、あなたがスライダーをあちこち動かしたのと同じようにです。
もし試行が以前のものよりうまくいけば、スパークは報酬を得て、その配線はそのランダムな変化の方向にシフトします。そして、試行が悪かった場合は、スパークは罰を受け、その配線は反対方向にシフトします。
これは、あなたが歩き方や自転車の乗り方を学んだ方法と、それほど違いはありません。転ぶことがあなたの罰であり、バランスを取るスリルがあなたの報酬でした。
このシンプルなアルゴリズムは、スパークが光を見つけるのを助けることができるでしょうか?
スパークは自分で学習する
最初は、スパークは初心者であり、ブレインはランダムに配線されています。驚くことではありませんが、あまり遠くまで到達できません。
学習前:行き詰まり
クリックして光を移動させてください。
光をドラッグして移動させてください。
生まれたばかりのスパークはその場で回転できますが、まだ動き回ることはできません。しかし、これから改善していきます…
50回の試行後:さまよい
クリックして光を移動させてください。
光をドラッグして移動させてください。
この学習アルゴリズムを50回試行した後、生まれたばかりのスパークは最初のステップを踏み出しました。スピード記録を更新するほどではありませんが、動き始めています…
250回の試行後:回避
クリックして光を移動させてください。
光をドラッグして移動させてください。
250回の試行後、幼いスパークはスピードを上げました。しかし、最後の瞬間に光からそれるようになります。
500回の試行後:突撃
クリックして光を移動させてください。
光をドラッグして移動させてください。
500回の試行後、思春期のスパークは大胆に光に向かって突進します。しかし、まだ減速したり停止したりする方法を理解していません。
2,000回の試行後:エキスパート
クリックして光を移動させてください。
光をドラッグして移動させてください。
2,000回の試行後、私たちのスパークは大人になり、光を探し、追跡するエキスパートになりました。光に寄り添い、その場で方向転換できます。(光を動かしてスパークがどのように追従するか見てみてください。)
以前と同様に、この学習プロセスをパスとして視覚化できます。
0回の試行後のスパークの学習パス...
これは物理的な空間のパスではありません。代わりに、可能なブレインの空間を通るパスです。学習中にスパークのブレインがどのように変化したかを示しています。
他の初心者スパークは異なる点から開始し、それぞれ独自の学習軌跡をたどるでしょう。
多くのスパークの0回の試行後の学習パス...
この絡み合った網は、異なる配線のブレインから始まった何百もの初心者スパークの学習パスを示しています。まるで魔法のように、これらの糸はすべて♥︎で示された一点に収束します。
パスは直線ではありません:学習は線形的ではありません。途中で後退、間違い、失敗があります。そして、必ずしも速いわけではありません。学習者のいくつかは、目標に到達するのに数千回の試行を要しました。
パスがすべてギザギザしていることに気づくでしょう。それは、各ステップにランダム性が含まれるためです。多くの軌跡を各時点で平均化することで、このギザギザを滑らかにし、学習の流れのマップを明らかにすることができます。
スパークは愛することを学ぶ
十分な試行回数があれば、同じ学習プロセスがすべての初心者を光を探すエキスパートに変えたというのは、驚くべきことなので、少し立ち止まって感謝する価値があります。
このスパークのブレインの無数の可能な配置のうち、私たちが望む行動を生み出すのはほんの一部にすぎません。成功する方法よりも失敗する方法の方がはるかに多いのです。
それでも、あなたは小さな奇跡を目撃しました。スパークは行き止まりの迷宮をナビゲートし、報酬と罰だけを頼りにブレインを再配線して光を見つけました。
新しいトリックを学ぶ
学習は、大人のになったからといって止まるわけではありません。私たちは生涯を通じて学び、変化する状況に適応します。
私たちのスパークもこれを行うことができます。例えば、光が食料源ではなく、有害な化学物質や危険な捕食者である場合はどうなるでしょうか?
スパークは、それを探すのではなく光を避けることで報酬を得るようになり、これは新しい行動につながります。
スパークは逃げるかフリーズすることを学ぶ
もし光が有害であれば、愛することは最悪の戦略となり、スパークは逃げる(できるだけ速く逃げる)か、フリーズする(死んだふりをする)ことを学びます。
もし代わりに、スパークが高い速度で光に近づくことで報酬を得るなら、それは光に向かって突撃すること、つまり戦うことを学びます。
スパークは戦うことを学ぶ
子供が環境から学ぶように、スパークは報酬の与え方によって、光を追うだけでなく、逃げる、フリーズする、戦うといった非常に異なる行動を学習できます。
スパークは環境によって形作られる
ニューラル
回路
・スパークは2/3の速度で移動して表示されています。
あなたは今、初心者スパークが強化学習として知られるプロセスを通じて、どのようにブレインを再配線し、新しい行動を学習できるかを見てきました。
生物のブレインも強化学習を通じて学習します。例えば、鳥の雛はさえずることで歌を学びます。彼らは歌のランダムなバリエーションを試します。もしバリエーションが成鳥の歌の記憶に近づけば、ドーパミンのバーストを得ます(そして、遠ざかればドーパミンは低下します)。これらの報酬と罰に導かれて、教師がいなくても、記憶から歌を再現することができます!
さて、正直に言うと、何かを告白しなければなりません。このスパークのブレインには4つのニューロンと、これらのニューロンの接続方法を決定する3つの数値しかありませんでした。このシンプルな構造により、ブレインが3次元で学習する様子を観察することができました。
あなたのブレインには約860億個のニューロンと100兆個以上の接続があります。したがって、配線される可能性のある空間は想像を絶するほど広大です。
しかし、詳細ははるかに複雑ですが、基本的な考えは同じです:学習は、この広大な内部空間をナビゲートする方法です。そしてフィードバックは、道を示すコンパスです。
さらに学ぶ
マインドが物質からどのように生まれるかを探索するシリーズ「Myriad」の第2章をお読みいただきありがとうございます。Myriadは、行動を研究する神経科学者であるArkarup Banerjeeと、物理学者からサイエンスジャーナリストになったAatish Bhatiaの協力によるものです。
スパークの移動方法
この記事のスパークは、神経科学者Valentino Braitenbergの研究に触発されています。彼らのニューラル回路を次のように実装しました。
vL=σ(ws bL+wc bR+d)vR=σ(wc bL+ws bR+d)\begin{aligned}v_L &= \sigma(\textcolor{#7ee081}{w_s}, b_L + \textcolor{#c49bff}{w_c}, b_R + \textcolor{#ff8fb8}{d})\ v_R &= \sigma(\textcolor{#c49bff}{w_c}, b_L + \textcolor{#7ee081}{w_s}, b_R + \textcolor{#ff8fb8}{d})\end{aligned}
ここで、vLv_L と vRv_R は左右のフリッパー速度、bLb_L と bRb_R は左右の目の明るさレベル、ws\textcolor{#7ee081}{w_s} と wc\textcolor{#c49bff}{w_c} は目とフリッパー間の直線接続と交差接続の強度、d\textcolor{#ff8fb8}{d} は光がないときのスパークの速度を設定するドライブです。σ(x)\sigma(x) はReLU活性化関数です。スパークの前進速度は2つのフリッパー速度の平均であり、回転速度はその差に比例します。
スパークの学習方法
私たちの単純化されたセットアップには、ws,\textcolor{#66b3ff}{\alpha}\textrm{,} wc\textcolor{#c49bff}{w_c} と d\textcolor{#ff8fb8}{d} の3つのパラメータがあります。スパークは、REINFORCEアルゴリズムのバージョンを使用してこれらのパラメータの値を学習します。これはRonald Williamsによって1992年に発表されたものです。
各試行で、パラメータは小さなランダムな量で揺さぶられ、スパークはランダムな位置から開始して500タイムステップ移動しました。報酬は、その経路に沿った平均輝度でした。
この報酬は、最近の報酬の移動平均と比較されました。スパークが通常よりもうまくいった場合、パラメータはそのランダムな変化の方向にわずかに調整されました。うまくいかなかった場合は、パラメータは反対方向に調整されました。調整の大きさは、どれだけうまくいったか(または悪かったか)に比例しました。
ΔW(R‾)change
=α(R‾)step
sizeε(R‾)wiggle(R−R‾)(R‾)improvement\small \underset{\mathclap{\htmlClass{sans}{\text{change}}}}{\Delta W\vphantom{(\overline{R})}}\hspace{0.3em}=\hspace{0.5em}\underset{\mathclap{\htmlClass{sans}{\color{#66b3ff}\text{step size}}}}{\textcolor{#66b3ff}{\alpha}\vphantom{(\overline{R})}}\hspace{2.1em}\underset{\mathclap{\htmlClass{sans}{\color{#ff9b32}\text{wiggle}}}}{\textcolor{#ff9b32}{\varepsilon}\vphantom{(\overline{R})}}\hspace{1.2em}\underset{\mathclap{\htmlClass{sans}{\color{#ffc832}\text{improvement}}}}{\textcolor{#ffc832}{(R - \overline{R})}\vphantom{(\overline{R})}}
ここで、ΔW\Delta W は3つのパラメータの変化量、α\textcolor{#66b3ff}{\alpha} は学習率、ε\textcolor{#ff9b32}{\varepsilon} はランダムな揺らぎ、R−R‾\textcolor{#ffc832}{R - \overline{R}} は通常よりどれだけ良かったか(または悪かったか)を示します。これを数千回繰り返しました。
Williamsの元の方法は、各ニューロンの出力にランダム性を加えます。私たちは代わりに重みとバイアスにランダム性を加えます。これは重み摂動として知られるアプローチです。同様のアイデアである進化戦略は、2017年にOpenAIによってAtariビデオゲームをプレイするAIモデルを教えるために使用されました。
神経科学に関するより厳密に調査された視覚的な説明を購読するには、以下にサインアップしてください。この記事を気に入ってくれるかもしれない他の人と共有してください。