十分統計量と自然母数

2025年3月13日 00:54

十分統計量の定義は以下のように与えられる。
観測データ$${X}$$ の統計量 $${T(X)}$$ が、あるパラメータ$${\theta}$$ に対して十分統計量であるとは、尤度関数$${p(X \mid \theta)}$$ が $${T(X)}$$を通じて因数分解が可能である時に成立する。
$${p(X \mid \theta) = g(T(X), \theta) h(X)}$$
ここで、$${g(T(X), \theta)}$$は$${\theta}$$に依存し、$${h(X)}$$ は $${\theta}$$ に依存しない関数である。

また、$${f(X\mid{\bm \theta})}$$で与えられている確率質量関数、または確率密度関数が、以下のように表せる時、
$${f(X \mid {\bm \theta}) = h(X) c({\bm \theta}) \exp \left( \sum_i\bm \eta_i({\bm \theta})T_i(X) \right)}$$
指数型分布族に属するという。
$${{\bm \eta}({\bm \theta})}$$は自然母数（natural parameter）で、$${T_i(X)}$$はそれぞれが十分統計量となる。
　指数型分布族では、$${T(X)}$$は常に十分統計量であり、自然母数 $${\eta_i(\theta)}$$によって、分布の特性が決まり、十分統計量 $${T_i(X)}$$ を通じてデータと結びつくと考えて良い。
$${E[T_i(X)]}$$を期待値母数と呼ぶ。

二項定理に従う確率変数

$${\text{Bin}(n,p)}$$の確率質量関数は、$${f(x)={}_nC_x p^x(1-p)^x)}$$で与えられるから、
$${f(x)={}_nC_x(1-p)^n\exp\left(x\log\frac{p}{1-p}\right)}$$
よって、自然母関数は$${\log\frac{p}{1-p}}$$、期待値母数は積率母関数$${M_X(t)=(pe^t+1-p)^n}$$から、$${E[x]=np}$$。
また、$${X_1, \cdots,X_n,i.i.d. \sim \text{Bin}(n,p)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \Pi_i \exp\left(X_i\log\frac{p}{1-p}\right)＝\exp\left( \log\frac{p}{1-p}\sum_iX_i\right)}$$と与えられることから、
$${T({\bf X})=\sum_iX_i}$$である。

負の二項定理に従う確率変数

$${\text{NB}(r,p)}$$の確率質量関数は、$${f(x)=(-1)^x{}_rC_x p^r(1-p)^x)}$$で与えられるから、
$${f(x)=(-1)^xp^r{}_rC_x\exp\left(x\log(1-p)\right)}$$
よって、自然母関数は$${\log(1-p)}$$、
期待値母数は積率母関数$${M_X(t)=\displaystyle{\left(\frac{p}{1-(1-p)e^t}\right)^r}}$$から、$${E[x]=\displaystyle{\frac{(1-p)r}{p}}}$$。
また、$${X_1, \cdots,X_n,i.i.d. \sim \text{NB}(r,p)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \Pi_i \exp\left(X_i\log(1-p)\right)＝\exp\left( \log(1-p)\sum_iX_i\right)}$$と与えられることから、
$${T({\bf X})=\sum_iX_i}$$である。

正規分布に従う確率変数

$${\mathcal{N}(\mu,\sigma^2)}$$の確率密度関数は、
$${f(x)=\displaystyle{\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)}}$$
で与えられるから、
$${f(x)=\displaystyle{\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{\mu^2}{2\sigma^2}\right)\exp\left(\frac{\mu}{2\sigma^2}x-\frac{1}{2\sigma^2}x^2\right)}}$$
よって、自然母関数は$${\bm\eta=\displaystyle{\left(\frac{\mu}{2\sigma^2},-\frac{1}{2\sigma^2}\right)}}$$、期待値母数は$${\left(\mu, \sigma^2+\mu^2\right)}$$である。
また、$${X_1, \cdots,X_n,i.i.d. \sim \mathcal{N}(\mu,\sigma^2)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \Pi_i \exp\left(\frac{\mu}{2\sigma^2}X_i-\frac{1}{2\sigma^2}X_i^2\right)＝\displaystyle{\exp\left( \frac{\mu}{2\sigma^2}\sum_iX_i - \frac{1}{2\sigma^2\sum_iX_i^2} \right)}}$$と与えられることから、
$${\bm T({\bf X})=\left(\sum_iX_i, \sum_iX_i^2\right)}$$である。

ポアソン分布に従う確率変数

$${\text{Po}(\lambda)}$$の確率質量関数は、$${f(x)=\displaystyle{\frac{\lambda^x}{x!}e^{-\lambda}}}$$で与えられるから、
$${f(x)=\displaystyle{\frac{e^{-\lambda}}{x!}\exp\left(x\log\lambda\right)}}$$
よって、自然母関数は$${\log\lambda}$$、
期待値母数は積率母関数$${M_X(t)=\displaystyle{e^{\lambda(e^t-1)}}}$$から、$${E[x]=\lambda}$$。
また、$${X_1, \cdots,X_n,i.i.d. \sim \text{Po}(\lambda)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \Pi_i \exp\left(X_i\log\lambda\right)＝\exp\left( \log\lambda\sum_iX_i\right)}$$と与えられることから、
$${T({\bf X})=\sum_iX_i}$$である。

ガンマ分布に従う確率変数

$${\text{Ga}(\alpha,\beta)}$$の確率質量関数は、$${f(x)=\displaystyle{\frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-\frac{x}{\beta}}}}$$で与えられるから、
$${f(x)=\displaystyle{\frac{1}{\Gamma(\alpha)\beta^\alpha}\frac{1}{x}\exp\left(\alpha\log x - \frac{x}{\beta}\right)}}$$
よって、自然母関数は$${{\bf \eta}=\displaystyle{\left(\alpha, -\frac{1}{\beta}\right)}}$$
期待値母数は$${(E[\log X],E[X])}$$である。
$${E[\log X]}$$を求めるには、スコア関数を用いる。
スコア関数は、対数尤度関数を確率変数微分して得られる。
ここで、対数尤度関数は、
$${\log L(\alpha, \beta)=\displaystyle{\log f(X\mid\alpha, \beta)=-\log\Gamma(\alpha)-\alpha\log\beta+(\alpha-1)\log x -\frac{x}{\beta}}}$$
より、$${\alpha}$$に関するスコア関数は、
$${S(\alpha, \beta\mid x)=\displaystyle{\frac{\partial}{\partial\alpha}\log L(\alpha, \beta)}}$$
で与えられ、確率分布関数に関わらず、確率変数に関する$${E[S]=0}$$である。
よって、ガウス分布に従う確率変数の$${\alpha}$$に関するスコア関数は、
$${S(\alpha, \beta\mid x)=\displaystyle{-\frac{\partial}{\partial\alpha}\log\Gamma(\alpha)-\log\beta +\log x }}$$。
この期待値がゼロであることから、$${E[\log x]=\displaystyle{\frac{\partial}{\partial\alpha}\log\Gamma(\alpha)+\log\beta}}$$が得られる。
$${E[x]}$$は積率母関数が$${M_X(t)=\displaystyle{\frac{1}{(1-\beta)^\alpha}}}$$より、$${E[x]=\alpha\beta}$$
よって、期待値母数$${(E[\log X],E[X])=\displaystyle{\left(\frac{\partial}{\partial\alpha}\log\Gamma(\alpha)+\log\beta,\alpha\beta\right)}}$$
また、$${X_1, \cdots,X_n,i.i.d. \sim \text{Ga}(\alpha, \beta)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \displaystyle{ \exp\left((\alpha-1)\sum_i \log X_i - \frac{\sum_i X_i}{\beta}\right)}}$$と与えられることから、
$${T({\bf X})=\left(\sum_iX_i,\sum_i \log X_i\right)}$$である。

Beta分布に従う確率変数

$${\text{Beta}(\alpha,\beta)}$$の確率質量関数は、$${f(x)=\displaystyle{\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}}}$$で与えられるから、
$${f(x)=\displaystyle{\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\frac{1}{x(1-x)}\exp\left(\alpha\log x +\beta\log(1-x)\right)}}$$
よって、自然母関数は$${{\bf \eta}=\displaystyle{\left(\alpha, \beta\right)}}$$
期待値母数は$${(E[\log X],E[\log (1-X)])}$$である。
$${E[\log X],E[\log (1-X)]}$$を求めるには、スコア関数を用いる。
スコア関数は、対数尤度関数を確率変数微分して得られる。
ここで、対数尤度関数は、
$${\log L(\alpha, \beta)=\log f(X\mid\alpha, \beta)}$$
$${=\displaystyle{\log\Gamma(\alpha+\beta)-\log\Gamma(\alpha)-\log\Gamma(\beta) +(\alpha-1)\log x+(\beta-1)\log (1-x) }}$$
より、$${\alpha}$$に関するガウス分布に従う確率変数のスコア関数は、
$${S(\alpha, \beta\mid x)=\displaystyle{\frac{\partial}{\partial\alpha}\log\Gamma(\alpha+\beta)- \frac{\partial}{\partial\alpha}\log\Gamma(\alpha)+\log x }}$$。
この期待値がゼロであることから、
$${E[\log x]=\displaystyle{-\frac{\partial}{\partial\alpha}\log\Gamma(\alpha+\beta)+\frac{\partial}{\partial\alpha}\log\Gamma(\alpha)}}$$が得られる。
同様に、
$${E[\log (1-x)]=\displaystyle{-\frac{\partial}{\partial\beta}\log\Gamma(\alpha+\beta)+\frac{\partial}{\partial\beta}\log\Gamma(\beta)}}$$
よって、期待値母数$${(E[\log X],E[\log(1-X)])}$$が得られる。
また、$${X_1, \cdots,X_n,i.i.d. \sim \text{Beta}(\alpha, \beta)}$$の十分統計量は、尤度関数$${L}$$が、
$${L=\Pi_i f(X_i)\sim \displaystyle{ \exp\left((\alpha-1)\sum_i \log X_i + (\beta-1)\sum_i \log (1-X_i)\right) }}$$と与えられることから、
$${T({\bf X})=\left(\sum_i\log X_i,\sum_i \log (1-X_i)\right)}$$である。

多項分布に従う確率変数

$${\text{Multi}(n,p_1, \cdots, p_k)}$$に従う確率質量関数は、
$${f({\bf x})=\displaystyle{\frac{n!}{x_1!\cdots x_k!} p_1^{x_1}\cdots p_k^{x_k}, \quad \sum_i^k x_i=n, \quad \sum_i^k p_i = 1}}$$
で与えられる。
よって、$${\log p_i = \displaystyle{\log \frac{p_i}{p_k} + \log p_k}}$$を用いて
$${f({\bf x})=\displaystyle{\frac{n!}{x_1!\cdots x_k!} \exp\left(x_1 \log p_1 + \cdots x_k\log p_k \right) }}$$
$${\displaystyle{ \sim \exp\left(\sum_{i=1}^{k-1}x_i \log \frac{p_i}{p_k} +\sum^{k-1}_{i=1} x_i \log p_k + x_k \log p_k \right)}}$$
$${\displaystyle{ = \exp\left(\sum_{i=1}^{k-1}x_i \log \frac{p_i}{p_k} +(n-x_k)\log p_k + x_k \log p_k \right) }}$$
$${\displaystyle{= \exp(n\log p_k)\cdot \exp\left(\sum_{i=1}^{k-1}x_i \log \frac{p_i}{p_k}\right) }}$$
したがって、自然母数$${{\bm \eta}=\displaystyle{(\log \frac{p_1}{p_k},\cdots,\log \frac{p_{k-1}}{p_k} )}}$$。
多項分布の確率母関数は、
$${G(t_1,\cdots,t_k)=\displaystyle{\sum_{x_1+\cdots+x_k=n}\frac{n!}{x_1!\cdots x_k!}(p_1t_1)^{x_1}\cdots(p_kt_k)^{xk} }}$$
$${=(p_1t_1\cdots+p_kt_k)^n }$$
よって、期待値母数は、$${E[X_i]=\displaystyle{\frac{p_i}{n}}, \quad i=1\cdots k-1}$$で与えられる。
$${X_1, \cdots,X_m,i.i.d. \sim \text{Multi}(n, p_1, \cdots, p_k)}$$の十分統計量は、尤度関数$${L}$$が、
$${L(p_1, \cdots, p_k)=\displaystyle{\prod_{j=1}^{m}\frac{n!}{X_1^{(j)}!\cdots X_k^{(j)}!}p_1^{X_1^{(j)}}\cdots…p_k^{X_k^{(j)}} }}$$
$${\sim\displaystyle{\prod_{j=1}^{m} p_1^{X_1^{(j)}}\cdots…p_k^{X_k^{(j)}} =p_1^{\sum_{j=1}^{m} X_1^{(j)}} p_2^{\sum_{j=1}^{m} X_2^{(j)}} \dots p_k^{\sum_{j=1}^{m} X_k^{(j)}} }}$$
$${=\displaystyle{\exp\left( \sum_{i=1}^{k} \left( \sum_{j=1}^{m} X_i^{(j)} \right) \log p_i \right) }}$$
よって、十分統計量は
$${T(\mathbf{X}) = \left( \sum_{j=1}^{m} X_1^{(j)}, \sum_{j=1}^{m} X_2^{(j)}, \dots, \sum_{j=1}^{m} X_k^{(j)} \right)}$$
となり、各カテゴリの総カウント数$${\sum_{j=1}^{m} X_i^{(j)}}$$で与えられる。