【確率統計】よく使われるもの

正規分布の最尤推定

1次元データにおける正規分布を当てはめたときの最尤推定の計算

尤度関数

$\begin{aligned} p(\boldsymbol{x}; \mu, \sigma^2) &= \prod_{n=1}^{N}N(x_{n}; \mu, \sigma^2) \end{aligned}$

対数尤度関数

$\begin{aligned} \ln p(\boldsymbol{x}; \mu, \sigma^2) &= \ln \prod_{n=1}^{N}N(x_{n}; \mu, \sigma^2)\\ &= \ln \prod_{n=1}^{N} \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}\\ &= \ln \left[ \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^N \exp\left\{-\sum_{n=1}^{N}\frac{(x-\mu)^2}{2\sigma^2}\right\} \right]\\ &= -\frac{N}{2}\ln{2\pi}-\frac{N}{2}\ln{\sigma^2}-\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_{n}-\mu)^2\\ \end{aligned}$

$\mu$ で偏微分

$\begin{aligned} \frac{\partial}{\partial\mu}\ln{p(\boldsymbol{x}; \mu, \sigma^2)} =-\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_{n}-\mu) &=0\\ \sum_{n=1}^{N}(x_n-\mu)&=0\\ \sum_{n=1}^{N}x_n &= \sum_{n=1}^{N}\mu \\ \sum_{n=1}^{N}x_n &= \mu \sum_{n=1}^{N} \\ \sum_{n=1}^{N}x_n &= \mu N \\ \mu_{ML} &= \frac{1}{N} \sum_{n=1}^{N}x_n \end{aligned}$

$\sigma^2$ で偏微分

$\begin{aligned} \frac{\partial}{\partial \sigma^2}\ln{p(\boldsymbol{x}; \mu, \sigma^2)} = \frac{1}{2(\sigma^2)^2}\sum_{n=1}^{N}(x_{n}-\mu)^2-\frac{N}{2\sigma^2}&=0\\ \sum_{n=1}^{N}(x_n-\mu)^2&=N\sigma^2\\ \sigma^2_{ML} &= \frac{1}{N}\sum_{n=1}^{N}(x_{n}-\mu)^2 \end{aligned}$

Chebyshev不等式

$Pr(|X-\mu|\geq k) \leq \frac{\sigma^2}{k^2}$ を示す.

$\begin{aligned} \sigma^2 &= \int_{-\infty}^{\infty}(x-\mu)^2f(x)dx\\ &=\int_{-\infty}^{\mu-k}(x-\mu)^2f(x)dx + \int_{\mu-k}^{\mu+k}(x-\mu)^2f(x)dx + \int_{\mu-k}^{\infty}(x-\mu)^2f(x)dx\\ &\geq \int_{-\infty}^{\mu-k}(x-\mu)^2f(x)dx + \int_{\mu-k}^{\infty}(x-\mu)^2f(x)dx\\ \end{aligned}$

$\begin{aligned} X \leq \mu - k , \mu+k\leq X & \Leftrightarrow X-\mu \leq -k, k \leq X -\mu\\ & \Leftrightarrow -(X-\mu)\geq k, k \leq (X-\mu) \\ & \Leftrightarrow |X-\mu|\geq k \end{aligned}$
したがって,
$(X-\mu)^2 \geq k^2$

これより,
$\begin{aligned} \sigma^2 &\geq \int^{\mu-k}_{-\infty}(x-\mu)^2f(x)dx + \int_{\mu+k}^{\infty}(x-\mu)^2f(x)dx\\ &\geq \int^{\mu-k}_{-\infty}k^2f(x)dx + \int_{\mu+k}^{\infty}k^2f(x)dx\\ &= k^2 \int_{|X-\mu|\geq k}f(x)dx\\ &= k^2 Pr(|X-\mu|>k)\\ \end{aligned}$

$\therefore Pr(|X-k|\geq k)\leq \frac{\sigma^2}{k^2}$

大数の法則

Chebyshevの不等式から証明できる.
Chebyshevの不等式の証明は次のリンクへ.
http://umashika5555.hatenablog.com/entry/2020/02/27/213325umashika5555.hatenablog.com

確率変数 $\frac{X_1 + \cdots X_n}{n}$ の期待値と分散を計算する.
$\begin{aligned} E\left( \frac{X_1 + \cdots X_n}{n} \right) &= \frac{1}{n}E(X_1 + \cdots + X_n)\\ &= \frac{1}{n}\left(E(X_1)+ \cdots + E(X_n)\right)\\ &= \frac{1}{n} (\mu + \cdots + \mu)\\ &= \frac{n\mu}{n}\\ &= \mu \end{aligned}$
$\begin{aligned} V\left( \frac{X_1 + \cdots X_n}{n} \right) &= \frac{1}{n^2} \left(V(X_1) + \cdots V(X_n)\right)\\ &= \frac{1}{n^2}(\sigma^2 + \cdots + \sigma^2)\\ &= \frac{1}{n^2} n\sigma^2\\ &= \frac{\sigma^2}{n} \end{aligned}$

次にChebyshevの不等式より
$\begin{aligned} P\left\{|\frac{X_1 + \cdots + X_n}{n} - \mu | \geq \epsilon \right\} \leq \frac{\frac{\sigma^2}{n}}{k^2} = \frac{\sigma^2}{nk^2} \end{aligned}$
$n \rightarrow \infty$ のとき,
$P\left\{|\frac{X_1 + \cdots + X_n}{n} - \mu | \geq \epsilon \right\} \rightarrow 0$

これはすなわち, $\frac{X_1 + \cdots + X_n}{n} \rightarrow \mu$ を表している.

中心極限定理

中心極限定理
$\begin{aligned} p\left\{\frac{X_1 + \cdots + X_n -n\mu}{\sqrt{n}\sigma} \leq x \right\} \rightarrow \int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx \end{aligned}$
を示す.

中心極限定理は, 母平均とのズレがGauss分布に近づくという意味である.
左辺は母平均とのズレの分布関数, 右辺は, N(0,1)のGauss分布を表している.
証明は, 左辺の確率変数の積率母関数が右辺の分布関数の積率母関数と同じになることを示す.

まず右辺について,
$\begin{aligned} \int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx =\int_{-\infty}^{x} N(x; 0, 1) dx \end{aligned}$
$X\sim N(x; 0,1)$ の積率母関数は, $e^{\frac{1\cdot \theta^2}{2} + 0\cdot \theta} = e^{\frac{\theta^2}{2}}$
※Gauss分布の積率母関数は次のリンクへ.
http://umashika5555.hatenablog.com/entry/2020/02/22/030913umashika5555.hatenablog.com

次に, 左辺についてみていく.
$p\left\{\frac{X_1 + \cdots + X_n -n\mu}{\sqrt{n}\sigma} \leq x \right\} = p\left\{\frac{(X_1-\mu) + \cdots + (X_n-\mu) }{\sqrt{n}\sigma} \leq x \right\}$ より,
$Y_k = X_k -\mu$ と置くと考えやすい. (と言うか, コレが本質)
$E(Y_k) = E(X_k - \mu) = E(X_k) - \mu = \mu - \mu = 0$
$\begin{aligned} E(Y_k^2) &= E((X_k - \mu)^2) \\ &= E(X_k^2 - 2\mu X_k + \mu^2)\\ &= E(X_k^2) - 2\mu E(X_k) + \mu^2\\ &= V(X_k) + E(X_k)^2 -2\mu E(X_k) + \mu^2 \\ &= \sigma^2 + \mu^2 -2\mu^2 + \mu^2 \\ &= \sigma^2\\ \end{aligned}$
$Y_k$ の積率母関数は,
$\begin{aligned} \phi(\theta) &= 1 + \frac{1}{1!}\cdot E(Y_k) \cdot \theta + \frac{1}{2!}\cdot E(Y_k^2) \cdot \theta^2 + O(\theta^3)\\ &= 1 + \frac{1}{1!}\cdot 0 \cdot \theta + \frac{1}{2!}\cdot \sigma^2 \cdot \theta^2 + O(\theta^3)\\ &= 1 + \frac{\sigma^2}{2}\theta^2 + O(\theta^3) \end{aligned}$
確率変数 $\frac{X_1 + \cdots + X_n -n\mu}{\sqrt{n}\sigma} = \frac{Y_1 + \cdots + Y_{n}}{\sqrt{n}\sigma} = \frac{Y_1}{\sqrt{n}\sigma} + \cdots + \frac{Y_n}{\sqrt{n}\sigma}$ の積率母関数を考える.
互いに独立な確率変数 $X, Y$ について, $X+Y$ の積率母関数は各々の積率母関数の積で表されることを証明する.
$\begin{aligned} \Psi(\theta) &= E(e^{\theta (X+Y)})\\ &= E(e^{\theta X + \theta Y} )\\ &= E(e^{\theta X} \cdot e^{\theta Y})\\ &= E(e^{\theta X}) \cdot E(e^{\theta Y})\\ &= \phi_1(\theta)\phi_2(\theta) \end{aligned}$
これはn個に拡張できることは自明なので,
$\frac{Y_1 + \cdots + Y_n}{\sqrt{n}\sigma} =\frac{Y_1}{\sqrt{n}\sigma} + \cdots + \frac{Y_n}{\sqrt{n}\sigma}$ の積率母関数 $\phi_n(\theta)$ は $Y_k$ の積率母関数 $\phi(\theta)$ を用いて次のように表現できる.
$\begin{aligned} \phi_n(\theta) &= \left\{\phi(\frac{\theta}{\sqrt{n}\sigma})\right\}^n \\ &= \left\{1+\frac{\sigma^2}{2}(\frac{\theta}{\sqrt{n}\sigma})^2 + O(n^{-\frac{3}{2}})\right\}^n\\ &= \left\{1+\frac{\theta^2}{2n} + O(n^{-\frac{3}{2}})\right\}^n\\ \end{aligned}$
ここで, $x = \frac{\theta^2}{2n} + O(n^{-\frac{3}{2}})$ と置くと, $n = \frac{1}{x}\left\{\frac{\theta^2}{2} + O(n^{-\frac{1}{2}})\right\}$ となる.
$n\rightarrow \infty$ のとき, $x\rightarrow 0$ より,
$\begin{aligned} \phi_n(\theta) &= \left\{1+\frac{\theta^2}{2n} + O(n^{-\frac{3}{2}})\right\}^n\\ &= (1 +x)^{\frac{1}{x}\{\frac{\theta^2}{2}+O(n^{-\frac{1}{2}})\}} \\ &= \left( (1 +x)^\frac{1}{x}\right)^{\frac{\theta^2}{2}+O(n^{-\frac{1}{2}})} \\ &\rightarrow e^{\frac{\theta^2}{2}} \end{aligned}$

正規分布のエントロピー

$\begin{aligned} H(X) &= E(-\ln f(x))\\ &= \int_{-\infty}^{\infty}(-\ln f(x))f(x)dx\\ &= \int_{-\infty}^{\infty}\left(-\ln \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}\right)\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx\\ &= \frac{\ln (2\pi\sigma^2)}{2\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx + \frac{1}{2\sigma^2\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}(x-\mu)^2 e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ \end{aligned}$

前項はガウス積分で
$\frac{\ln (2\pi\sigma^2)}{2\sqrt{2\pi\sigma^2}}\sqrt{\frac{\pi}{\frac{1}{2\sigma^2}}} = \frac{\ln (2\pi\sigma^2)}{2}$

後項は $\frac{x-\mu}{\sqrt{2\sigma^2}} = t$ とおいて, $e^{-t^2} = -\frac{(e^{-t^2})'}{2t}$ として部分積分して,
$\frac{1}{2\sigma^2\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}(x-\mu)^2 e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx = \frac{1}{2}$

よって,
$H(X) = \frac{1}{2}\left\{\ln (2\pi\sigma^2) + 1\right\} = \frac{1}{2}\ln (2\pi\sigma^2e)$

エントロピーは分散によって比例する関数であることが分かり, 分散が大きくなるほどエントロピーが大きくなることがわかる.