この記事は現在、プロジェクトメンバーによる査読中のものです。草稿段階ですので、内容・表現の正確さについて責任を負いかねます。 リンクを正しく張れていないところが存在しますのでご注意ください。 正式公開まで、いましばらくお待ちください。
統計力学におけるシャノンのエントロピーの導出

この記事では，シャノンのエントロピー S ，つまり，

S = -k_B \sum_n p_n \ln p_n \tag{1}

をカノニカル集団（正準集団）の基礎から導出します．

準備

基本的なアイディアは，

分配関数 Z= \sum_n e^{- \beta E_n} からエネルギー期待値 \langle E \rangle と ヘルムホルツの自由エネルギー F を求め，公式

S = \dfrac{ \langle E \rangle - F }{T} \tag{2}

少し書き換えて [*] ，

\dfrac{S}{k_B} = \beta (\langle E \rangle - F ) \tag{3}
[*]\beta = \dfrac{1}{k_B T} です．

を用いて，エントロピーを求めます．

β<E>の書き換え

これはよく知られている公式を用います．つまり，

\beta \langle E \rangle &= - \beta \dfrac{\partial}{\partial \beta} \ln Z \\&= - \beta \dfrac{\partial}{\partial \beta} \ln \sum_n e^{-\beta E_n} \\&= - \beta \dfrac{- \sum_n E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \\&= \dfrac{\sum_n \beta E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \tag{4}

βFの書き換え

統計力学的定義に戻りますと，ヘルムホルツの自由エネルギー F は，

e^{-\beta F} &= Z \\&= \sum_{n} e^{-\beta E_n} \tag{5}

もしくは，

F &= -\dfrac{1}{\beta}\ln Z \tag{6}

です．ここで，次のボルツマン分布を確認しておきます． 縮退していてもよい，つまり， n \neq n^\prime でも， E_n = E_{n^\prime} であってよいのです． エネルギー準位 E_n をとる確率 p_n は， マクスウェル・ボルツマン分布により，

p_n = \dfrac{e^{- \beta E_n}}{\sum_{n} e^{-\beta E_n}} = \dfrac{e^{- \beta E_n}}{Z} \tag{7}

書き換えると，

Z = \dfrac{e^{- \beta E_n }}{p_n} \tag{8}

となります． 式 (6) より，

- \beta F &= \ln Z \\&= \sum_n p_n \ln Z \tag{9}

と書いておきます．ここで， \ln Z は n の依存性がないので，式 (9) の様に書けるのがポイントです． なぜなら，

\sum_n p_n = 1 \tag{10}

であるからです．

いよいよ導出

式 (8) ，式 (9) より，

- \beta F &= \sum_n p_n \ln \dfrac{e^{- \beta E_n }}{p_n} \\&= \sum_n p_n (- \ln p_n - \beta E_n ) \tag{11}

ですね？

少し戻って，式 (4) を書き直すと，

\beta \langle E \rangle = \sum_n \beta p_n E_n \tag{12}

ですから，式 (11) と式 (12) より，

\dfrac{S}{k_B} &= \beta(\langle E \rangle -F) \\&= \sum_n \beta p_n E_n + \sum_n p_n (- \ln p_n - \beta E_n ) \\&= - \sum_n p_n \ln p_n \tag{13}

つまり，

S = - k_B \sum_n p_n \ln p_n \tag{14}

が導けました．

こうしてシャノンエントロピーが導けました．

最初にこれを考えた，ボルツマンやギブスはとてもすごいと思います．

それでは，今日はこの辺で，お疲れさまでした．