代表的な分布の期待値と分散の証明

Section: Mathematics

July 10, 2022

Tags: Probability Distribution

まずはじめに期待値と分散についておさらいします。

期待値と分散

確率空間 $( \Omega ,\mathcal{F} ,P)$ 上で定義された確率変数を $X$ とし、次のように定義する。

この記事の定義では、厳密に極限などの範囲を扱っていないので注意してください。

離散型の定義

高々加算個の確率変数 $X$ （離散型確率変数）をとるとき、

$X$ の期待値と分散は

\begin{aligned} E[X] &= \sum\limits_{i=1}^{\infty} x_i P(X = x_i) \\ Var[X] &= \sum\limits_{i=1}^{\infty} (x_i - E[X])^2 P(X = x_i) \end{aligned}

連続型の定義

確率密度関数が $f(x)$ をとるとき、

\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ Var[X] &= \int_{-\infty}^{\infty} (x - E[X])^2 f(x)dx \end{aligned}

分散の定義

分散は期待値の定義を用いて、以下のように表すこともできる。

Var[X]=E\big[(X-E[X])^2 \big] = E[X^2]-(E[X])^2

代表的な分布

期待値と分散が与えられたので、代表的な分布の期待値と分散の証明を行う。

それぞれポイントとなる部分があるので、その部分をしっかりと理解しておこう。

今回は確率母関数や特性関数を使用せず、定義から素直に導出する。

ベルヌーイ分布

$x_1=0$ で確率 $p$ 、 $x_2=1$ で確率 $q=1-p$ をとる離散確率分布である。

母数は、

0 \le p \le 1

確率関数は、

P(X=k)=p^k (1-p)^{1-k} \qquad k = 0,1

ベルヌーイ分布の期待値

E[X] = 0 P(X=0) + 1 P(X=1) = 0 q + 1 p = \textcolor{red}{p}

ベルヌーイ分布の分散

\begin{aligned} Var[X]&=(0 - E[X])^2 P(X=0) + (1 - E[X])^2 P(X=1) \\ &=(0-p)^2q + (1-p)^2p = p^2q+pq^2 = pq(p+q) \end{aligned}

$P(\Omega)=p+q=1$ であるため、

Var[X]=\textcolor{red}{pq}

二項分布

母数は、

n \in \{0,1,2,\cdots \} \\ 0 \le p \le 1

確率関数は、

P(X=k)={n\choose k}p^k(1-p)^{n-k} \qquad k=0,1,2,\cdots ,n

二項分布の期待値

\begin{aligned} E[X] &= \sum\limits_{k=0}^{n} k P(X = k) \\ &= \sum\limits_{k=0}^{n} k {n\choose k}p^k(1-p)^{n-k} \end{aligned}

$k=0$ の項は $0$ 、 $n-k=(n-1)-(k-1)$ 、 ${n\choose k}=\frac{n!}{(n-k)!k!}$ より、

\begin{aligned} &= \sum\limits_{k=1}^{n} k \frac{n!}{(n-k)!k!}p^k(1-p)^{n-k} \\ &= \sum\limits_{k=1}^{n} k \frac{n(n-1)!}{((n-1)-(k-1))!k(k-1)!}p^k(1-p)^{n-k} \\ &= n \sum\limits_{k=1}^{n} {n-1\choose k-1}p^k(1-p)^{n-k} \\ \end{aligned}

$i=k-1$ とすると、

\begin{aligned} &= np \sum\limits_{i=0}^{n-1} {n-1\choose i}p^i(1-p)^{n-1-i} \\ \end{aligned}

二項定理 $(a+b)^n=\sum\limits_{k=0}^{n} {n\choose k}a^{n-k}b^k$ より、

\begin{aligned} &= np (p + (1-p))^{n-1} = \textcolor{red}{np} \\ \end{aligned}

二項分布の分散

$Var[X] = E[X^2]-(E[X])^2$ を用いて証明を行う。

$k^2=k(k-1)+k$ 、 $k=0,1$ の項は $0$ より、

\begin{aligned} E[X^2] &= \sum\limits_{k=0}^{n} k^2 P(X = k) \\ &= \sum\limits_{k=2}^{n} k(k-1) {n\choose k}p^k(1-p)^{n-k} + E[X] \\ &= \sum\limits_{k=2}^{n} k(k-1) \frac{n(n-1)(n-2)!}{((n-2)-(k-2))!k(k-1)(k-2)!} p^k(1-p)^{n-k} + E[X] \\ &= n(n-1) \sum\limits_{k=2}^{n} {n-2\choose k-2}p^k(1-p)^{n-k} + E[X] \\ \end{aligned}

$i=k-2$ とすると、

\begin{aligned} &= n(n-1) p^2 \sum\limits_{i=0}^{n-2} {n-2\choose i}p^i(1-p)^{n-2-i} + E[X] \\ &= n(n-1) p^2 (p+(1-p))^{n-2} + np \\ &= n(n-1) p^2 + np \end{aligned}

よって

\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=n(n-1) p^2 + np - (np)^2 \\ &= -np^2 +np = np(-p+1) = \textcolor{red}{npq} \end{aligned}

ポアソン分布

母数は、

0 < \lambda

確率関数は、

P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!} \qquad k=0,1,2,\cdots

ポアソン分布の期待値

\begin{aligned} E[X] &= \sum\limits_{k=0}^{\infty} k P(X = k) \\ &= \sum\limits_{k=1}^{\infty} k \frac{\lambda^k e^{-\lambda}}{k!} \\ &= \lambda e^{-\lambda} \sum\limits_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} \\ \end{aligned}

$e^x$ のマクローリン展開 $\sum\limits_{i=0}^{\infty} \frac{x^i}{i!} = 1+x+\frac{x^2}{2!} + \cdots$ 、 $i=k-1$ より、

\begin{aligned} &= \lambda e^{-\lambda} \sum\limits_{i=0}^{\infty} \frac{\lambda^{i}}{i!} \\ &= \lambda e^{\lambda-\lambda} \\ &= \textcolor{red}{\lambda} \end{aligned}

ポアソン分布の分散

$Var[X] = E[X^2]-(E[X])^2$ を用いて証明を行う。

$k^2=k(k-1)+k$ 、 $k=0,1$ の項は $0$ より、

\begin{aligned} E[X^2] &= \sum\limits_{k=0}^{\infty} k^2 P(X = k) \\ &= \sum\limits_{k=2}^{\infty} k(k-1) \frac{\lambda^k e^{-\lambda}}{k!} + E[X] \\ &= \lambda^2 e^{-\lambda} \sum\limits_{k=2}^{\infty} \frac{\lambda^{k-2}}{(k-2)!} + E[X] \\ &= \lambda^2 e^{\lambda-\lambda} + E[X] = \lambda^2 + \lambda \\ \end{aligned}

よって

\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=\lambda^2 + \lambda - (\lambda)^2 \\ &= \textcolor{red}{\lambda} \end{aligned}

連続一様分布

母数は、

-\infty < a < b < \infty

確率密度関数は、

f(x)= \frac{1}{b-a} \qquad a \le x \le b

連続一様分布の期待値

\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ &= \int_{a}^{b} x \frac{1}{b-a} dx \\ &= \left[\frac{1}{2} \frac{1}{b-a} x^2\right]_a^b \\ &= \frac{b^2-a^2}{2(b-a)}\\ &= \textcolor{red}{\frac{a+b}{2}} \end{aligned}

連続一様分布の分散

$Var[X] = E[X^2]-(E[X])^2$ を用いて証明を行う。

連続一様分布では $f(x)$ は定数であるため、

\begin{aligned} E[X^2] &= \int_{a}^{b} x^2f(x)dx \\ &= f(x) \left[\frac{1}{3} x^3\right]_a^b \\ &= \frac{b^3-a^3}{3(b-a)} \end{aligned}

$a^3+b^3=(a+b)(a^2-ab+b^2)$ より、

\begin{aligned} &= \frac{b^2+ab+a^2}{3} \end{aligned}

よって

\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=\frac{b^2+ab+a^2}{3}-(\frac{a+b}{2})^2 \\ &= \frac{4(b^2+ab+a^2) - 3(a^2+2ab+b^2)}{12} \\ &= \frac{b^2-2ab+a^2}{12} \\ &= \textcolor{red}{\frac{(b-a)^2}{12}} \end{aligned}

指数分布

母数は、

0 < \lambda

確率密度関数は、

f(x) = \lambda e^{-\lambda x} \qquad 0 \le x

指数分布の期待値

\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ &= \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \\ &= \left[x \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - \int_{0}^{\infty} - e^{-\lambda x} dx \\ \end{aligned}

$\lim\limits_{x\to\infty}xe^{-x}=0$ より、（はさみうちの原理を用いて導出できる）

\begin{aligned} &= 0 - \left[ \frac{1}{\lambda}e^{-\lambda x}\right]_0^\infty \\ &= \textcolor{red}{\frac{1}{\lambda}} \end{aligned}

指数分布の分散

$Var[X] = E[X^2]-(E[X])^2$ を用いて証明を行う。

\begin{aligned} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x)dx \\ &= \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx \\ &= \left[x^2 \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - (-\frac{2}{\lambda}) \int_{0}^{\infty} \lambda x e^{-\lambda x} dx \\ &= \left[x^2 \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - (-\frac{2}{\lambda}) E[X] \\ &= \frac{2}{\lambda^2} \end{aligned}

よって

\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &= \frac{2}{\lambda^2} - (\frac{1}{\lambda})^2 \\ &= \textcolor{red}{\frac{1}{\lambda^2}} \end{aligned}