正規分布とガンマ分布の視覚的理解とアーキテクチャ
第II章
記法と規約
ある密度 $${f}$$ とその分布 $${F}$$ が区間 $${I = \overline{a, b}}$$ 上に**集中している（concentrated）**とは、$${I}$$ の外側のすべての $${x}$$ に対して $${f(x) = 0}$$ となることであると言う。このとき、$${x < a}$$ に対して $${F(x) = 0}$$ であり、$${x > b}$$ に対して $${F(x) = 1}$$ である。
2つの分布 $${F}$$ と $${G}$$、およびそれらの密度 $${f}$$ と $${g}$$ は、関係
(1.1) $${G(x) = F(ax + b)}$$, $${g(x) = af(ax + b)}$$
（ここで $${a > 0}$$）を満たすとき、同じ型（same type）である、または位置パラメータ（location parameters）のみが異なると言われる。
私たちは $${b}$$ を中心化パラメータ（centering parameter）、$${a}$$ を**尺度パラメータ（scale parameter）**と呼ぶ。これらの用語は、$${F}$$ が確率変数 $${\mathbf{X}}$$ の分布関数として機能するとき、$${G}$$ が
(1.2) $${\mathbf{Y} = \frac{\mathbf{X} - b}{a}}$$
の分布関数になるという事実から容易に理解される。 分布の型だけが本当に重要であり、原則として、私たちは各型について1つの標本のみを示す。
適切な位置パラメータは任意の有限区間を $${\overline{0, 1}}$$ に縮小するため、ここでは直線全体、右半直線、または $${\overline{0, 1}}$$ に集中している密度のみを考慮する。$${0 < x < 1}$$ または $${x > 0}$$ を指定することは、他のすべての $${x}$$ に対して $${f(x) = 0}$$ であることを意味する。
$${f}$$（または $${F}$$）の期待値（expectation） $${m}$$ と分散（variance） $${\sigma^2}$$ は、積分が絶対収束するという条件のもとで、次のように定義される。
(1.3) $${m = \int_{-\infty}^{+\infty} x f(x) dx}$$, $${\sigma^2 = \int_{-\infty}^{+\infty} (x - m)^2 f(x) dx = \int_{-\infty}^{+\infty} x^2 f(x) dx - m^2}$$
この場合、(1.2) から、$${g}$$ の期待値が $${(m - b)/a}$$ であり、分散が $${\sigma^2/a^2}$$ であることは明らかである。したがって、各型について、期待値がゼロで分散が $${1}$$ である密度はせいぜい1つしか存在しないことがわかる。
2つの密度 $${f_1}$$ と $${f_2}$$ の畳み込み（convolution）
$${f = f_1 * f_2}$$ が、次のように定義される確率密度であることを思い出す。
(1.4) $${f(x) = \int_{-\infty}^{+\infty} f_1(x - y) f_2(y) dy}$$
$${f_1}$$ と $${f_2}$$ が $${\overline{0, \infty}}$$ に集中している場合、この公式は次のように簡約される。
(1.5) $${f(x) = \int_{0}^{x} f_1(x - y) f_2(y) dy}$$, $${x > 0}$$
これは、密度が $${f_1}$$ と $${f_2}$$ である2つの独立な確率変数の和の密度を表している。(1.2) から明らかなように、$${g_i(x) = f_i(x + b_i)}$$ の場合、畳み込み $${g = g_1 * g_2}$$ は
$${g(x) = f(x + b_1 + b_2)}$$ で与えられることに注意せよ。
$${\boxed{解説}}$$
ご質問いただいた数式 $${g_i(x) = f_i(x + b_i)}$$ の場合、畳み込み $${g = g_1 * g_2}$$ が $${g(x) = f(x + b_1 + b_2)}$$ で与えられるという記述について解説します。
この数式は、一言で言えば**「元の分布（確率変数）を一定量だけズラして（シフトして）足し合わせた場合、その合計の分布は、元の合計の分布をそれぞれのズレの合計分だけズラしたものになる」**という、非常に直感的な性質を表しています。
資料の内容に基づいて、順を追って数式の意味を説明します。
1. 畳み込みは「確率変数の和」の分布を表す
資料において、2つの密度 $${f_1}$$ と $${f_2}$$ の畳み込み $${f = f_1 * f_2}$$ は、「密度が $${f_1}$$ と $${f_2}$$ である2つの独立な確率変数の和の密度」を表すと説明されています。 つまり、ある確率変数を $${X_1}$$（密度関数 $${f_1}$$）、別の独立な確率変数を $${X_2}$$（密度関数 $${f_2}$$）としたとき、その和 $${X_1 + X_2}$$ の確率密度関数が $${f(x)}$$ になるということです。
2. $${g_i(x) = f_i(x + b_i)}$$ の意味（分布のシフト）
資料の冒頭で、$${g(x) = f(x + b)}$$ のように関数の中に定数 $${b}$$ を足す操作が紹介されており、この $${b}$$ は**「中心化パラメータ（centering parameter）」**と呼ばれています。 これは、元の分布のグラフの形状を変えずに、位置だけを平行移動（シフト）させる操作です。確率変数の視点から見ると、$${g_i(x) = f_i(x + b_i)}$$ という新しい密度関数は、元の確率変数 $${X_i}$$ から定数 $${b_i}$$ を引いた新しい確率変数 $${Y_i = X_i - b_i}$$ の分布を表しています。
新しい密度 $${g_1}$$ と $${g_2}$$ の畳み込み $${g = g_1 * g_2}$$ を求めるということは、上記で考えた新しい確率変数の和 $${Y_1 + Y_2}$$ の密度関数を求めることと同じです。
ここで、$${Y_1 + Y_2}$$ を元の確率変数 $${X}$$ で書き直してみます。 $${Y_1 + Y_2 = (X_1 - b_1) + (X_2 - b_2) = (X_1 + X_2) - (b_1 + b_2)}$$
先ほど確認した通り、$${X_1 + X_2}$$ の密度関数は元の畳み込みである $${f(x)}$$ でした。 したがって、$${(X_1 + X_2)}$$ から $${(b_1 + b_2)}$$ という定数を引いたものの密度関数 $${g(x)}$$ は、$${f(x)}$$ をそのまま $${b_1 + b_2}$$ だけシフトさせた $${f(x + b_1 + b_2)}$$ になる、という結論が導かれます。
数式を使った積分の計算（変数変換）でもこの性質は簡単に証明できますが、資料の著者はこの「確率変数のシフトと和」という直感的な関係性（資料内の数式 (1.2) ）から「明らかである（as is obvious from (1.2)）」として結論を記述しています。
(1.6) $${\mathfrak{n}(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^2}}$$, $${\mathfrak{N}(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-\frac{1}{2}y^2} dy}$$
とおくとき、私たちになじみ深い、**期待値 $${m}$$ と分散 $${\sigma^2}$$ を持つ正規密度（normal density）**は、次のように定義される。
$${\frac{1}{\sigma} \mathfrak{n} \left( \frac{x - m}{\sigma} \right)}$$ $${\sigma > 0}$$
中心極限定理に暗黙のうちに含まれているのは、正規密度の族は畳み込みに関して閉じているという基本的事実である。言い換えれば、期待値 $${m_1, m_2}$$ と分散 $${\sigma_1^2, \sigma_2^2}$$ を持つ2つの正規密度の畳み込みは、期待値 $${m_1 + m_2}$$ と分散 $${\sigma_1^2 + \sigma_2^2}$$ を持つ正規密度となる。前述のことに照らせば、これを $${m_1 = m_2 = 0}$$ に対して証明すれば十分である。次のように主張される。
$${\frac{1}{2\pi \sigma_1 \sigma_2} \int_{-\infty}^{+\infty} \exp \left[ -\frac{(x - y)^2}{2\sigma_1^2} - \frac{y^2}{2\sigma_2^2} \right] dy}$$
そして、この主張が真であることは、$${x}$$ を固定した際の変数変換
$${z = y \frac{\sigma}{\sigma_1 \sigma_2} - x \frac{\sigma_2}{\sigma \sigma_1}}$$ によって明らかになる。
$${\boxed{解説}}$$
資料にある数式 (1.7) について解説します。
数式 (1.7) は以下の通りです。
$${\frac{1}{\sqrt{2\pi} \sigma} \exp \left[ -\frac{x^2}{2\sigma^2} \right] = \frac{1}{2\pi \sigma_1 \sigma_2} \int_{-\infty}^{+\infty} \exp \left[ -\frac{(x - y)^2}{2\sigma_1^2} - \frac{y^2}{2\sigma_2^2} \right] dy}$$
一言で言えば、この数式は**「正規分布の族は畳み込みに関して閉じている」という重要な性質を証明するための等式です。より具体的には、「2つの正規分布に従う独立な変数を足し合わせると、その結果もまた正規分布になる」**ということを数式で示しています。
それぞれの式のパーツの意味と背景は以下の通りです。
1. 右辺と左辺の意味
右辺は、「平均が 0、分散が $${\sigma_1^2}$$ の正規分布」と「平均が 0、分散が $${\sigma_2^2}$$ の正規分布」という、2つの正規分布の確率密度関数の畳み込み積分を表しています。前回の解説の通り、畳み込みは「独立な2つの確率変数の和」の分布を求める操作です。
左辺は、「平均が 0、分散が $${\sigma^2}$$（ここで $${\sigma^2 = \sigma_1^2 + \sigma_2^2}$$）」の、1つの正規分布の確率密度関数を表しています。
つまり、この等式が成り立つということは、分散が $${\sigma_1^2}$$ と $${\sigma_2^2}$$ の2つの正規分布を足し合わせた結果が、分散がその合計（$${\sigma_1^2 + \sigma_2^2}$$）となった新しい正規分布にピタリと一致することを意味しています。
資料では、本来は「期待値 $${m_1, m_2}$$ と分散 $${\sigma_1^2, \sigma_2^2}$$ を持つ2つの正規密度の畳み込みは、期待値 $${m_1 + m_2}$$ と分散 $${\sigma_1^2 + \sigma_2^2}$$ を持つ正規密度となる」と説明されています。
しかし、前回の質問で確認した「分布のシフト（中心化パラメータ）」の性質（$${g(x) = f(x + b_1 + b_2)}$$）があるため、平均が 0 ではない一般的な正規分布であっても、平均 0 の分布を平行移動させるだけで簡単に導き出せます。そのため、証明としてはもっともシンプルな「$${m_1 = m_2 = 0}$$ に対して証明すれば十分である」と述べられており、それがこの (1.7) の式になっています。
3. この等式が成り立つ理由（証明のアプローチ）
資料では、右辺の複雑な積分を計算して左辺になることを示すために、以下の変数変換を行うことが提示されています。
$${z = y \frac{\sigma}{\sigma_1 \sigma_2} - x \frac{\sigma_2}{\sigma \sigma_1}}$$
（ここで $${x}$$ は固定された値として扱います） この置き換えを使って右辺の積分式（$${y}$$ についての積分）を $${z}$$ についての積分に整理し直すことで、最終的に左辺のシンプルな式が導き出され、この主張が真であることが明らかになります。
ガンマ分布
ガンマ関数（gamma function） $${\Gamma}$$ は次のように定義される。
(2.1) $${\Gamma(t) = \int_{0}^{\infty} x^{t-1} e^{-x} dx}$$, $${t > 0}$$
これは、次の意味で階乗を補間する。
$${\Gamma(n+1) = n!}$$ ($${n = 0, 1, \dots}$$ に対して)
部分積分により、すべての $${t > 0}$$ に対して $${\Gamma(t) = (t - 1)\Gamma(t - 1)}$$ となることが示される。
$${\overline{0, \infty}}$$ に集中している**ガンマ密度（gamma densities）**は次のように定義される。
(2.2) $${f_{\alpha, \nu}(x) = \frac{1}{\Gamma(\nu)} \alpha^\nu x^{\nu-1} e^{-\alpha x}}$$, $${x > 0}$$
ここで、$${\alpha > 0}$$ は自明な尺度パラメータであるが、$${\nu > 0}$$ は本質的である。特別なケースである $${f_{\alpha, 1}}$$ は**指数密度（exponential density）**を表し、I,(3.4) の密度 $${g_n}$$ は,指数分布をするｎ個の確率変数の和$${X_1+X_2+\cdots+X_n}$$の分布に対応する。
$${f_{\alpha, n}}$$ ($${n = 1, 2, \dots}$$) と一致する。平凡な計算により、$${f_{\alpha, \nu}}$$ の期待値は $${\nu/\alpha}$$ に等しく、分散は $${\nu/\alpha^2}$$ に等しいことが示される。 ガンマ密度の族は畳み込みに関して閉じている：
(2.3) $${f_{\alpha, \mu} * f_{\alpha, \nu} = f_{\alpha, \mu+\nu}}$$ $${\mu > 0}$$, $${\nu > 0}$$
この重要な性質は I,3 の定理を一般化したものであり、常に使用される。その証明は極めて単純である。(1.5) より、左辺は以下に等しい。
(2.4) $${\frac{\alpha^{\mu+\nu}}{\Gamma(\mu)\Gamma(\nu)} e^{-\alpha x} \int_{0}^{x} (x - y)^{\mu-1} y^{\nu-1} dy}$$
置換 $${y = xt}$$ を行った後、この式は $${f_{\alpha, \mu+\nu}}$$ と数値係数のみが異なり、$${f_{\alpha, \mu+\nu}}$$ と (2.4) はどちらも確率密度であるため、この係数は $${1}$$ に等しくなる。
$${\boxed{解説}}$$
ご質問の箇所は、資料にある**「ガンマ密度の族は畳み込みに関して閉じている（ガンマ分布に従う2つの独立な変数を足すと、またガンマ分布になる）」**という重要な性質（式 2.3）を証明する際の、非常に鮮やかな計算の工夫を説明した一文です。
具体的に数式を使って、この一文が意味する論理展開を順を追って解説します。
1. 式 (2.4) の成り立ち
まず、2つのガンマ密度 $${f_{\alpha, \mu}}$$ と $${f_{\alpha, \nu}}$$ の畳み込みは、前回の解説にもあった通り、定義から次の式 (2.4) で表されます。 $${\frac{\alpha^{\mu+\nu}}{\Gamma(\mu)\Gamma(\nu)} e^{-\alpha x} \int_{0}^{x} (x - y)^{\mu-1} y^{\nu-1} dy}$$
2. 置換 $${y = xt}$$ を行う
この式の後半にある積分部分を整理するために、$${y = xt}$$ という置き換え（変数変換）を行います。 この積分において、$${x}$$ は積分変数 $${y}$$ に対しては定数扱いなので、両辺を微分すると $${dy = x dt}$$ となります。また、積分の範囲は $${y}$$ が 0 から $${x}$$ まで動くとき、$${t}$$ は 0 から 1 まで動くことになります。
これを積分部分に代入して整理します。
$${\int_{0}^{x} (x - y)^{\mu-1} y^{\nu-1} dy}$$ $${= \int_{0}^{1} (x - xt)^{\mu-1} (xt)^{\nu-1} (x dt)}$$ $${= \int_{0}^{1} {x(1 - t)}^{\mu-1} (xt)^{\nu-1} x dt}$$ $${= x^{\mu-1} x^{\nu-1} x \int_{0}^{1} (1 - t)^{\mu-1} t^{\nu-1} dt}$$ $${= x^{\mu+\nu-1} \int_{0}^{1} (1 - t)^{\mu-1} t^{\nu-1} dt}$$
ここで重要なのは、後ろに残った定積分 $${\int_{0}^{1} (1 - t)^{\mu-1} t^{\nu-1} dt}$$ は、$${t}$$ について積分し終えると**$${x}$$ を含まない単なる定数（数値）**になるということです。
3. $${f_{\alpha, \mu+\nu}}$$ と「数値係数のみが異なる」とは
上記の結果を元の式 (2.4) に戻すと、式全体は次のように書けます。 $${\left( \text{定数} \times \int_{0}^{1} (1 - t)^{\mu-1} t^{\nu-1} dt \right) \times x^{\mu+\nu-1} e^{-\alpha x}}$$
（※変数 $${x}$$ を含む部分だけを右側にまとめました）
一方、目標である新しいガンマ密度 $${f_{\alpha, \mu+\nu}(x)}$$ の定義式（式 2.2 より）は以下の形をしています。
$${f_{\alpha, \mu+\nu}(x) = \frac{\alpha^{\mu+\nu}}{\Gamma(\mu+\nu)} \times x^{\mu+\nu-1} e^{-\alpha x}}$$
この2つを見比べると、どちらも $${x}$$ に関する部分は全く同じ $${x^{\mu+\nu-1} e^{-\alpha x}}$$ になっており、違いは先頭にくっついている定数（数値係数）の部分だけであることがわかります。 つまり、式 (2.4) は、ある定数 $${K}$$ を用いて次のように書けるということです。 $${(\text{式 2.4}) = K \cdot f_{\alpha, \mu+\nu}(x)}$$
4. なぜ「この係数は 1 に等しくなる」のか
ここで、「確率密度関数である」という強力な性質を使います。
式 (2.4) は「2つの確率変数の和の密度（畳み込み）」として作られたので、立派な確率密度関数です。確率密度関数である以上、全範囲で積分すると面積（確率の合計）は必ず 1 になります。
$${f_{\alpha, \mu+\nu}(x)}$$ もガンマ分布の確率密度関数として定義されているため、同じく全範囲で積分すると面積は 1 になります。
先ほど導いた $${(\text{式 2.4}) = K \cdot f_{\alpha, \mu+\nu}(x)}$$ の両辺を $${x}$$ について全範囲で積分してみます。
$${\int (\text{式 2.4}) dx = K \int f_{\alpha, \mu+\nu}(x) dx}$$
$${1 = K \times 1}$$
したがって、$${K = 1}$$ とならざるを得ません。
結論
まともに複雑な積分を計算して係数を合わせに行かなくても、**「どちらも $${x}$$ の関数の形（カーブの形状）が同じであり、かつ全確率の面積が 1 になるはずだ」**という論理だけで、式 (2.4) と $${f_{\alpha, \mu+\nu}(x)}$$ が完全に一致することが証明できる、という非常にエレガントな解説文です。
そして資料では、この証明の副産物として、わざわざ計算を回避した定積分 $${\int_{0}^{1} (1 - t)^{\mu-1} t^{\nu-1} dt}$$ の値が何にならなければ辻褄が合わないかを逆算することで、ベータ積分 $${B(\mu, \nu)}$$ の公式（式 2.5）が自然に導かれると続いています。
$${x = 1}$$ の場合の最後の積分の値は、いわゆるベータ積分（beta integral） $${B(\mu, \nu)}$$ であり、証明の副産物として次を発見した。
(2.5) $${B(\mu, \nu) = \int_{0}^{1} (1 - y)^{\mu-1} y^{\nu-1} dy = \frac{\Gamma(\mu)\Gamma(\nu)}{\Gamma(\mu+\nu)}}$$
（すべての $${\mu > 0}$$, $${\nu > 0}$$ に対して。）$${f_{1, \nu}}$$ のグラフに関して言えば、$${\nu \le 1}$$ の場合は明らかに単調であり、$${\nu < 1}$$ の場合は原点の近くで非有界となる。$${\nu > 1}$$ の場合、$${f_{1, \nu}}$$ のグラフは釣鐘型であり、$${x = \nu - 1}$$ で最大値 $${(\nu - 1)^{\nu-1} e^{-(\nu-1)}/\Gamma(\nu)}$$ をとる。中心極限定理から、$${\nu \to \infty}$$ のとき $${\sqrt{\nu/\alpha^2} f_{\alpha, \nu}(x\sqrt{\nu/\alpha}) \to \mathfrak{n}(x)}$$ となることが従う。
$${\boxed{解説}}$$
ガンマ分布の形状パラメータ $${ \nu }$$ を大きくしていく（$${ \nu \to \infty }$$）と正規分布に近づく理由は、確率統計における極めて重要な定理である**「中心極限定理（Central Limit Theorem）」**が働くためです。
提供された資料とこれまでの解説を踏まえ、そのメカニズムを順を追って説明します。
1. ガンマ分布は「確率変数の和」に分解できる
前回の解説で、ガンマ分布の族は畳み込みに関して閉じており、
$${ f_{\alpha, \mu} * f_{\alpha, \nu} = f_{\alpha, \mu+\nu} }$$ という性質を持つことを確認しました。畳み込みとは「独立な確率変数の和の分布」を求める操作です。
この性質を使うと、たとえば形状パラメータが $${ \nu = 10 }$$ のガンマ分布は、「$${ \nu = 1 }$$ のガンマ分布（＝指数分布）」に従う 10個の独立な確率変数をすべて足し合わせたときの分布である、と解釈することができます。
2. 中心極限定理の働き
中心極限定理とは、**「元の分布がどのような形であっても、互いに独立な確率変数を多数足し合わせると、その『和の分布』は正規分布に近づく」**という法則です。
したがって、ガンマ分布において $${ \nu \to \infty }$$ と形状パラメータを無限に大きくしていくことは、直感的には**「指数分布に従う変数を無限個足し合わせる」**ことと同じ意味になります。足し合わせる変数の数（$${ \nu }$$）が増えれば増えるほど中心極限定理が強く働き、和の分布であるガンマ分布は正規分布へと収束していくのです。
3. グラフの視覚的な変化
この数学的な性質は、グラフの形状変化として視覚的にもはっきりと現れます。
$${ \nu < 1 }$$ のときは $${x=0}$$ の原点付近で無限大に発散し、$${ \nu = 1 }$$ では右肩下がりの指数減少カーブを描きます。
$${ \nu > 1 }$$ になると単峰性（山が1つ）の形になり、$${ \nu }$$ が大きくなるにつれて右に伸びた裾の非対称性（歪度）が次第に解消されていきます。
$${ \nu }$$ を 10や 15 と引き上げていくと、左右対称に近い綺麗な釣り鐘型のカーブ（ベルカーブ）を描くようになり、正規分布の形とほぼ一致するようになります。
資料の最後でも、この中心極限定理による帰結として、適切な尺度と中心化を行ったガンマ分布が $${ \nu \to \infty }$$ において正規密度 $${ \mathfrak{n}(x) }$$ に収束することが数式で明記されています。