マルコフ連鎖のエントロピー

マルコフ連鎖のエントロピーより明確な例カジュアルフィジックスエンジョイヤー2026年7月28日102シェアクラウジウス（1865）¹はエントロピーと呼ばれる量を定義しました。物理プロセスをエンジンの連鎖として分解することにより、不可逆プロセスではエントロピーは常に増加することを示しました。カルノーの理想的なエンジンなどの可逆プロセスでは、エントロピーの変化はゼロです。しかし、不可逆プロセスが発生すると、エネルギーがシステムに印加されない限り、エントロピーは決して減少しません。これが熱力学の第二法則として知られています。そして、エントロピー自体は温度計や定規で測定できるものではないかもしれませんが、それから直接測定可能な派生量を計算できるため、依然として有用な概念です。私は以前、「生命としてのエントロピー」についてかなり曖昧に書いてきました。これはシュレーディンガー（1944）²のネゲントロピーの概念に触発されたアイデアでした。ネゲントロピーを通じて、生命は周囲のエネルギーを消費し、局所的な無秩序を減らすことによって秩序を維持しているように見えます。しかし、これまでは、これが具体的に何を意味するのか混乱していました。そこで、それを理解しようとする一つの方法は、モデルを使用することです。一つのアプローチは、おもちゃのモデルを作成し、それらのシステムでエントロピーを定義するための数学的に一貫した方法を見つけることかもしれません。その後、モデルをシミュレートして、エントロピーがどのように進化するかをよりよく把握できます。直感を得るのに役立つそのようなおもちゃのモデルの1つは、ダイソンの細胞のおもちゃのモデルです。ダイソンの細胞のおもちゃのモデルは、3つの平衡状態のいずれかに落ち着くマルコフ連鎖です。そのうち2つは「生命」と「死」の状態です。しかし、「生命としてのエントロピー」という曖昧な概念を気にするなら、マルコフ連鎖に適用できるエントロピーの定義を作成できるはずです。しかし、クラウジウスが最初に定義したエントロピーの概念は、仕事と温度の関数でした dS = δQrev / T したがって、これら2つのアイデアをどのように関連付けるかは不明です。物理的な考え方と一致する、マルコフ連鎖の文脈でエントロピーを定義する別の方法はありますか？さて、この問題に取り組む一つの方法は、エントロピーとシステムの可能な状態数との関係を定量化したボルツマンの研究を見ることです。システムを取り、温度、圧力、体積などのシステムの状態変数をさまざまな機器を使用して観測するとします。おそらく、その状態にあるシステムと互換性のある物理システムの構成は多数あります。そして、エントロピーが秩序と無秩序の概念に関連しているなら、可能な状態が多いほどエントロピーは高くなるはずです。ここに曖昧な例があります。絶対零度で、位置が固定され、各分子の速度がゼロで温度がゼロの同一分子の気体があるとします。その状態にある気体について、可能性のある構成は少なくなります。一方、高温の気体があるとすると、結果として状態があり得る構成は多数あります。温度が高いほど、エントロピーは高くなります。可能な状態数も増加するのは偶然でしょうか？これらの考え方を厳密にする方法があることがわかりました。ボルツマンは、マクロ状態変数を固定した場合、エントロピーをシステムが取り得る状態数の関数として書くことができることを示しました。つまり、固定された温度、圧力、体積でシステムで可能なすべての状態を数えることができれば、エントロピーを計算できます。これは以下の伝説的な方程式で書かれていますが、驚くほどシンプルでもあります。システムの熵は、状態数の対数にボルツマン定数と呼ばれる固定定数を掛けたものです。 S = kB ln W, W = #{マクロ状態と一致するミクロ状態} 結果はシンプルですが、まったく明白ではありません。ボルツマンは、各粒子が有限の速度と位置のセットにのみ存在できる気体のモデルを作成し、極限を取ろうとします。証明は容易ではなく、数学者はボルツマンの研究を適切に厳密化する方法をまだ模索しています。しかし、とにかく！この例をさらに具体的にするために、エネルギー（マクロ状態）がわかっていると仮定して、基本的なシステムの熵を計算してみましょう。キュリーの磁石モデルを考えてみましょう。このモデルでは、私たちの物理空間は有限個の電子で構成されており、各電子はスピンアップまたはスピンダウンのいずれかになります。磁石のモデルでは、金属が置かれている磁場の方向とスピンがずれている場合にエネルギー（または仕事）が発生します。したがって、原子の集まりがあるとすると、エネルギーはスピンアップ対スピンダウンの原子数に依存します。 E = n↑ - n↓ さて、5個の原子という非常に非常に小さなシステムがあると仮定します。そして、エネルギーがE = 1であると測定されたと仮定します。まず、この構成を持つために、いくつの原子がスピンアップとスピンダウンである必要があるかを調べる必要があります。明白な答えは、3つのスピンアップと2つのスピンダウンです。 E = 3 - 2 = 1 n↑ + n↓ = 5 という制約を使用して、これを簡単に解くこともできます。 E = 2n↑ - 5 そして、可能な構成は次のとおりです。各構成は3つのアップスピンと2つのダウンスピンを持っていますが、これを10通りの方法で配置できます。下の図はすべての可能性をリストしています。これは5つのうち3つの組み合わせであり、10です。 W = C(5, 3) = 5! / (3!2!) = 10. これらの10の構成はすべて、「E = 1」というマクロ状態の全体の内容です。これは、ボルツマンがシステムの熵を次のようにラベル付けすることを意味します。 S = kB ln W = kB ln 10 = 2.3026 kB, またはlog₂ 10 = 3.32ビットです。したがって、この場合、エントロピーをエネルギーの関数として見ることができます。エネルギーの関数としてエントロピーをプロットすると、このグラフが得られます。これで、システムが取り得るミクロ状態の総数からエントロピーを計算する方法を学びました。さて、Dysonの細胞モデルのようなマルコフ連鎖プロセスのエントロピーがどのように進化するかを見てみましょう。Dysonの細胞モデルでは、N個のサイトがあり、各サイトは空、アクティブ、または非アクティブの3つの状態のいずれかになります。私の前の投稿で示したルールに従うと、これは平衡状態に収束します。平衡値は固定点の複雑な関数ですが、存在し、空、非アクティブ、またはアクティブである確率はいずれも固定値に収束します。この平衡点により、数え上げ引数を通じてマルコフ連鎖のエントロピーを定義できます。状態が空である確率が1/2、アクティブである確率が1/4、非アクティブである確率が1/4である平衡ケースがあるとしましょう。これは、8つのサイトがあった場合、4つが空、2つがアクティブ、2つが非アクティブであることを意味します。したがって、エントロピーを測定するには、この状態が発生するすべての構成を数える必要があります。これは以下に示されており、すべての配置があります。これらを数えることは多項係数です。8つのうち4つのサイトが空であるかを選択し、残りの4つのうち2つがアクティブであるかを選択し、最後の2つが非アクティブであるかを選択します。これは、存在するスペースの数の階乗を取り、各異なる状態の数をその階乗で割ることによって計算できます。したがって、この場合、4つの空、2つのアクティブ、2つの非アクティブがあるため、96で割ります。 W = 8! / (4!2!2!) = 40320 / (24・2・2) = 420. したがって、このエントロピーは、状態数の対数にボルツマン定数を掛けたものです。 S = kB ln W = kB ln 420 = 6.0403 kB. 次に自然な質問は、システムのエントロピーがどのように進化するかということです。グラフのトポロジーに基づいてエントロピーに関していくつかのクールな一般的なステートメントを作成できることがわかりました。これは次の投稿で説明し、エントロピーが増加する条件も記述します。David Pfau氏に感謝します。議論と助けをありがとう。すべての間違いは私のものです。参考文献¹ R. Clausius, Ueber verschiedene für die Anwendung bequeme Formen der Hauptgleichungen der mechanischen Wärmetheorie, Annalen der Physik 201(7), 353–4