ガンマ関数からガンマ分布を経由して、カイ二乗分布を導出する。
ガンマ関数は以下のように定義される。
$$
\begin{align}
\Gamma(\alpha)
= \int_0^\infty x^{\alpha -1}\exp(-x)dx
\end{align}
$$
ただし、$\alpha>0$ である。
ガンマ分布は次のようになる。ガンマ関数の積分の内の関数を使って、自然なガンマ分布は次のように書ける。$X$が次の分布に従うとする。
$$
\begin{align}
f_X(x)
= \frac{1}{\Gamma(\alpha)}x^{\alpha -1}\exp(-x)
\end{align}
$$
$\Gamma(\alpha)$ で除されているのは、分布関数の総和が$1$ という、確率であることの条件を満たすためである。実際、計算すると、次のようになる。
$$
\begin{align}
&\int_{-\infty}^{\infty} \frac{1}{\Gamma(\alpha)}x^{\alpha -1}\exp(-x)dx\\
&= \frac{1}{\Gamma(\alpha)}
\int_{-\infty}^{\infty}
x^{\alpha -1}\exp(-x)dx\\
&= \frac{1}{\Gamma(\alpha)}\Gamma(\alpha)\\
&= 1
\end{align}
$$
以降この分布を自然なガンマ分布と呼ぶことにする。一般的なガンマ分布は二つのパラメータを持つ。一般的なガンマ分布へは自然なガンマ分布の変数変換によって、導出することができる。
$Y = \beta X$ とする。ただし、$\beta > 0$ である。
$\frac{dx}{dy} = \frac{1}{\beta}$ であるから、$Y$ の密度関数は次のようになる。
$$
\begin{align}
f_Y(y)
= \frac{1}{\Gamma(\alpha)}
\left(
\frac{1}{\beta}
\right)
\left(
\frac{y}{\beta}
\right)
^{\alpha -1}
\exp\left(
-\frac{y}{\beta}
\right)
\end{align}
$$
この分布を$Gamma\left(\alpha, \beta\right)$ として表記する。
次にガンマ分布の特徴を調べる。一般的なガンマ分布へは自然なガンマ分布から導出できることが分かったので、自然なガンマ分布の特徴をまず調べる。以下では、$X$が自然なガンマ分布、$Y$が一般的なガンマ関数にそれぞれ従うとする。
$X$ の積率母関数は次のようになる。
$$
\begin{align}
\varphi_X(t)
&= E\left[\exp
\left(
tX
\right)
\right]\\
&= \int_0^\infty x^{\alpha -1}
\exp\left(
-\left(
1-t
\right)x
\right)dx
\end{align}
$$
ここで、$w = (1-t)x$ と置く。
$$
\begin{align}
\varphi_X(t)
&= \int_0^\infty
\frac{1}{\Gamma(\alpha)}
\frac{1}{\left(1-t\right)^{\alpha -1}}
\left(
\left(
1-t
\right)
x\right)^{\alpha -1}
\exp\left(
-\left(
1-t
\right)x
\right)
\frac{1}{1-t}dw\\
&= \frac{1}
{\Gamma(\alpha)\left(1-t\right)
^{\alpha}}
\int_0^\infty
w^{\alpha-1}
exp\left(
-w
\right)
dw\\
&= \frac{1}{\left(1-t \right)^\alpha}
\end{align}
$$
以上より、$X$ の積率母関数が得られた。次に、期待値と分散を求める。積率母関数の一階微分、二階微分を取る。
$$
\begin{align}
\varphi_X'(t)
&= E\left[X\exp
\left(
tX
\right)
\right]\\
&= \frac{\alpha}{\left(1-t \right)^{\alpha+1}}
\end{align}
$$
$$
\begin{align}
\varphi_X''(t)
&= E\left[X^2\exp
\left(
tX
\right)
\right]\\
&= \frac{
\alpha\left(
\alpha + 1
\right)
}{\left(1-t \right)^{\alpha+2}}
\end{align}
$$
それぞれ、$t = 0$ として、$E[X] = \alpha, E[X^2] = \alpha^2 + \alpha$ である。 また、$V[X] = E[X^2] - \left(E[X]\right)^2 = \alpha$ である。
したがって、自然なガンマ関数の期待値、分散は$\alpha$ である。
次に、一般的なガンマ関数の特性を求める。積率母関数は次のようになる。
$$
\begin{align}
\varphi_Y(t)
&= E\left[\exp
\left(
tY
\right)
\right]\\
&= E\left[\exp
\left(
\beta tX
\right)
\right]\\
&= \frac{1}{\left(1-\beta t \right)^\alpha}
\end{align}
$$
一階微分、二階微分を取る。
$$
\begin{align}
\varphi_Y'(t)
&= E\left[Y\exp
\left(
tY
\right)
\right]\\
&= \frac{\alpha\beta}{\left(1-\beta t \right)^{\alpha+1}}
\end{align}
$$
$$
\begin{align}
\varphi_Y''(t)
&= E\left[Y^2\exp
\left(
tY
\right)
\right]\\
&= \frac{
\alpha
\left(
\alpha + 1
\right)
\beta^2
}{\left(1-\beta t \right)^{\alpha+2}}
\end{align}
$$
よって、期待値、分散は次のようになる。
$$
\begin{align}
E[Y] &= \alpha\beta\\
E[Y^2] &= \alpha\left(\alpha+1 \right)\beta^2\\
V[Y] &= E[Y^2] - \left(E[Y]\right)^2\\
&= \alpha\left(\alpha+1 \right)\beta^2
- \alpha^2\beta^2\\
&= \alpha\beta^2
\end{align}
$$
よって、一般的なガンマ分布の平均は$\alpha\beta$、分散は$\alpha\beta^2$ である。
次に、カイ二乗分布を考える。$\chi^2_2(n) = Gamma(\frac{n}{2}, 2)$ が成り立つ。ここで、$\chi^2_2(n)$ は自由度$n$ のカイ二乗分布である。
確率変数$X$ がカイ二乗分布に従うとすると、以下の分布がカイ二乗分布である。
$$
f_X(x) = \frac{1}{\Gamma(\frac{n}{2})}\frac{1}{2}
\left(
\frac{x}{2}
\right)
^{\frac{n}{2} -1}
\exp\left(
-\frac{x}{2}
\right)
$$
以上より、ガンマ関数からカイ二乗分布を導出することができた。カイ二乗分布はガンマ分布の一種なので、積率母関数、期待値と分散はガンマ分布から流用することができる。それぞれ、以下のようになる。
$$
\begin{align}
\varphi_X(t)
&= E\left[\exp
\left(
tX
\right)
\right]\\
&= \frac{1}{\left(
1-2t
\right)
^{\left(
\frac{n}{2}
\right)}
}
\end{align}
$$
$$
\begin{align}
E[X] &= \frac{n}{2}2 =n\\
V[X] &= \frac{n}{2}4 =2n
\end{align}
$$
したがって、自由度nのカイ二乗分布の期待値は$n$ 、分散は$2n$ である。
カイ二乗分布はやや複雑な構造を持っていて、形を忘れてしまうことがしばしばある。しかし、以上のように
ガンマ関数の定義と$\chi^2_2(n) = Gamma(\frac{n}{2}, 2)$の二点を覚えていれば、カイ二乗分布を復元することができる。
問1 $ h(t) = E[\{(X-\mu_x)-t(Y-\mu_y)\}^2] $ を考えることにより，コーシー・シュバルツの不等式(4.10) を示せ。また等号が成り立つための必要十分条件を求めよ。
$$
\begin{align}
h(t) &= E[\{(X-\mu_x )-t(Y-\mu_y)\}^2]\\ &= E[(X-\mu_x)^2] + t^2E[(Y-\mu_y)^2] - 2tCov(X,Y)\\
&= \sigma_x^2 + t^2\sigma_y^2-2tCov(X,Y)\\
&= \sigma_y^2t^2 -2Cov(X,Y)t + \sigma_x^2
\end{align}
$$
$h(t)$は上記のように展開できる。$\sigma_y^2$が必ず正の値を取るため、$h(t)$は上に凸である。したがって、判別式より、$D = Cov(X,Y)^2 - \sigma_x^2\sigma_y^2\leq0$が成り立つ。よって、コーシーシュバルツの不等式$Cov(X,Y)^2 \leq \sigma_x^2\sigma_y^2$が成り立つ。
等号成立条件は、
\(\begin{align}
Cov(X,Y)^2 = \frac{\sigma_x^2\sigma_y^2}{\rho}
\end{align}\)
より、$\rho = 1$である。つまり、$X$と$Y$の相関計数が$1$のとき等号成立である。
問2 ２つの確率変数$X$, $Y$はそれぞれ密度関数$f(x)$, $g(y)$ を持つ分布に従い，平均$E[X] = E[Y ] = \mu$, 分散$Var[X] = Var[Y ] = \sigma^2$, 相関係数$Corr(X, Y) = \rho$をもつとする。
(1) $W$ は平均$p$ のベルヌーイ分布に従う確率変数とし，$X$, $Y$ と独立に分布すると仮定する。確率変数$Z$を$Z = WX + (1 -W)Y$ と定義するとき，Z の確率密度関数を求めよ。また平均と分散を求めよ。
(2) $w$ を$0\leq w\leq 1$ なる定数とし$U = wX + (1 - w)Y$ を考える。$U$ の分散を最小にする$w$ を与えよ。
(1)$Z$の分布関数は以下のように展開できる。3行目で独立性を使った。
$$
\begin{align}
P(Z\leq z) &= P(WX+(1-W)Y\leq z) \\
&= P(X\leq z \land W=1) + P(Y\leq z \land W=0)\\
&= P(X\leq z)p + P(Y\leq z)(1-p)
\end{align}
$$
$z$で微分することで、$Z$の確率密度関数を得る。
$$
\begin{align}
f_Z(z) = pf_X(z) + (1-p)f_Y(z)
\end{align}
$$
平均分散は以下のように求められる。
$$
\begin{align}
E[Z] &= \int_{-\infty}^\infty z(pf_X(z)+(1-P)f_Y(z))dz
\\&= pE[X] + (1-p)E[Y]
\\&=\mu
\end{align}
$$
分散の定義から
\(\begin{equation}
E[X^2] = E[Y^2] = \sigma^2 - \mu^2
\end{equation}\) が成り立つから、
$$
\begin{align}
E[Z^2] &= pE[X^2]+(1-p)E[Y^2]\\
&= \sigma^2 + \mu^2\\
V[Z] &= \sigma^2
\end{align}
$$
(2)
$$
\begin{align}
V[U] &= w^2\sigma^2 + (1-w)^2\sigma^2 +w(1-w)Cov(X,Y)\\
&= (1-2w+2w^2)\sigma^2 =: \phi(w)
\end{align}
$$
$U$の分散は上記のように計算できる。ただし、一行目の共分散は$X$と$Y$の独立性による$0$である。分散を$w$による式と考えると、求める$w$は$\phi(w)$を最小化させる値である。$\phi(w)$は下に凸であるから、一階条件より、$w=\frac{1}{2}$が解である。
問3 $2$つの確率変数$X$, $Y$ に対して次の事柄を示せ。
(1) $X$と$Y-E[Y|X]$が無相関になる。
(2) $Var(Y - E[Y|X]) = E[Var(Y|X)]$
(1)
$$
\begin{align}
Cov(X,Y-E[Y|X]) &= Cov(X,Y) - Cov(X,E[Y|X])\\
\end{align}
$$
ここで右辺の第二項は次のように展開できる。
$$
\begin{align}
Cov(X,E[Y|X]) &= E[(X-E[X])(E[Y|X] - E[E[Y|X]])]\\
&= E[(X-E[X])(E[Y|X] - E[Y])]\\
\end{align}
$$
よって、
$$
\begin{align}
Cov(X,Y-E[Y|X]) &= Cov(X,Y) - Cov(X,E[Y|X])\\
&= E[(X-E[X])(Y-E[Y])] - E[(X-E[X])(E[Y|X] - E[Y])]\\
&= E[(X-E[X])(Y-E[Y] - E[Y|X] + E[Y])] \\
&= E[(X-E[X])(Y - E[Y|X])] \\
&= E[(X-E[X])E(Y-E[Y|X]|Y)]\\
&= 0
\end{align}
$$
三行目が成り立つのは一行目の二つの項がどちらも$X$と$Y$の期待値計算とみなせるからである。
(2)
$$
\begin{align}
V[Y-E[Y|X]] &= E[{(Y-E[Y|X])-(E[Y] - E[E[Y|X]])}^2]\\
&= E[(Y-E[Y|X])^2]\\
&= E[E[(Y-E[Y|X])^2|X]]\\
&= E[V[Y|X]]
\end{align}
$$
問4 $2$次元の確率変数 $(X_1, X_2)^⊤$ が $(4.24)$ で与えられる $2$変量正規分布に従っているとする。このとき $X_2 = x_2$ を与えたときの $X_1$ の条件付き分布は
$$X_1|X_2 = x_2 ∼ \mathcal{N}\bigl(\mu_1 + \frac{\rho\sigma_1}{\sigma_2}(x_2 − \mu_2),\mbox{ }(1 − \rho^2)σ_1^2\bigr)$$
で与えられることを示せ。また $X_1$ と $X_2$ が無相関であることと独立であることとが同値になることを示せ。
$f_{X_1,X_2}$ の指数部を$X_1$について平方完成する。
$$
\begin{align}
\mbox{(指数部)} &= \frac{1}{1-\rho^2}\bigl\{(\frac{x_1-\mu_1}{\sigma_1})^2 - 2\rho\frac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2} +(\frac{x_2-\mu_2}{\sigma_2})^2 \bigr\}\\
&= \frac{1}{(1-\rho^2)\sigma_1^2}\biggl\{
x_1^2 -2 \bigl(
\mu_1 + \frac{\rho\sigma_1}{\sigma_2}(x_2-\mu_2)
\bigr)x_1 + \mu_1^2 + \frac{2\rho\sigma_1}{\sigma_2}\mu_1(x_2-\mu_2) + \bigl(\frac{\sigma_1(x_2-\mu_2)}{\sigma_2}\bigr)^2
\biggr\} \\
&= \frac{1}{(1-\rho^2)\sigma_1^2}\left\{
\left(x_1-\left(\mu_1 + \rho\frac{\sigma_1}{\sigma_2}\left(x_2-\mu_2\right)\right)\right)^2
+ \left(\frac{\sigma_1}{\sigma_2}\right)^2\left(1-\rho^2\right)
\right\}\\
\end{align}
$$
よって、同時密度分布は以下のように書ける。
$$
\begin{align}
f_{X1,X2}(x_1,x_2) &=
\frac{1}{2\pi\sqrt{1-\rho^2}\sigma_1\sigma_2}
exp
\left(
-\frac{
\left\{x_1-\left(
\mu_1+\rho\frac{\sigma_1}{\sigma_2}
\left(x_2-\mu_2\right)
\right)^2\right\}}
{2\left(1-\rho^2\right)\sigma_1^2}
- \frac{\left(x_2-\mu_2\right)^2}{2\sigma_2^2}
\right)
\end{align}
$$
一方で、条件付き密度分布は以下のように求められる。
\begin{align}
f_{X_1|X_2}(x_1,x_2) = \frac{f_{X1,X2}(x_1,x_2)}{f_{X2}(x_2)}
\end{align}
したがって、
$$
\begin{align}
f_{X_1|X_2}(x_1,x_2) &= \frac
{f_{X1,X2}(x_1,x_2)}
{\frac{1}{\sqrt{2\pi\sigma_2}}
exp\left(-\frac{\left(x_2-\mu_2\right)^2}{2\sigma_2^2}
\right)
}\\
&= \frac
{1}{\sqrt{2\pi\left(1-\rho^2\right)}\sigma_1}
exp\left(
-\frac{
\left\{x_1-\left(
\mu_1+\rho\frac{\sigma_1}{\sigma_2}
\left(x_2-\mu_2\right)
\right)^2\right\}
}
{2\left(1-\rho^2\right)\sigma_1^2
}
\right)
\end{align}
$$
よって、条件付き分布が問のものと一致することが示せた。
次に$2$変量正規分布において、独立性と無相関が同値であることを示す。一般に多変量分布において独立ならば無相関であることが成り立つ。したがって、与えられた分布において、無相関であれば独立であることを示す。
$X_1,X_2$の同時密度分布(4.24)において$\rho=0$と置くと以下の式が得られる。
$$
\begin{align}
f_{X1,X2}(x_1,x_2) &=
\frac{1}{2\pi\sigma_1\sigma_2}
exp
\left(
\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 +\left(\frac{x_2-\mu_2}{\sigma_2}\right)^2
\right)\\
&=
\frac{1}{\sqrt{2\pi}\sigma_1}
exp\left(
\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2
\right)
\frac{1}{\sqrt{2\pi}\sigma_2}
exp\left(
\left(\frac{x_2-\mu_2}{\sigma_2}\right)^2
\right)\\
&=
f_{X1}(x_1)\mbox{ }f_{X2}(x_2)
\end{align}
$$
よって、二次元正規分布において、無相関であれば独立であることが示せた。この結果は一般には成り立たないことに注意したい。
問5 $X$ と $Y$ が独立は確率変数で$X ∼ N \left(\mu_1, \sigma_1^2\right), Y ∼ N \left(\mu_2, \sigma_2^2\right)$に従うとする。畳み込みと積率母関数の $2$つ方法で $X + Y$ の分布を導け。
畳み込みによって、分布を導出する。
$Z=X+Y$と置く。
$$
\begin{align}
f_Z(z)
&= \int_{-\infty}^{\infty} f_X(z-t)f_Y(t)dt\\
&= \int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}
exp\left(-\frac{\left(z-t-\mu_1\right)^2}{2\sigma_1^2}
-\frac{\left(t-\mu_2\right)^2}{2\sigma_2^2}
\right)
dt\\
&= \int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp
\left(
-\frac{1}{2\sigma_1^2\sigma_2^2}
\left\{
\left(\sigma_1^2+ \sigma_2^2
\right)t^2
-2 \left(z\sigma_2^2 + -\mu_1\sigma_2^2+\sigma_1^2\mu_2
\right)t
+ \left(
\sigma_2^2z^2+ \sigma_2^2\mu_1^2
-2\mu_1\sigma_2^2z + \sigma_1^2\mu_2^2
\right)
\right\}
\right)
dt
\end{align}
$$
指数部のみ取り出して計算する。
$$
\begin{align}
\mbox{(指数部)}
&= -\frac{\sigma_1^2+\sigma_2^2} {2\sigma_1^2\sigma_2^2}
\left\{
\underline{
t^2
-2\left(
\frac{\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{\sigma_1^2+\sigma_2^2}
\right)t
+\frac{
\sigma_2^2\left(
z-\mu_1
\right)
+\sigma_1^2\mu_2
}
{\sigma_1^2+\sigma_2^2}
}
\right\}
\end{align}
$$
ここで、$K$を下記のように置き、下線部を$t$について平方完成する。
$$
\begin{align}
K :=
\frac{\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{\sigma_1^2+\sigma_2^2}
\end{align}
$$
$$
\begin{align}
\mbox{(下線部)}
&= \left(
t
- K
\right)^2
+\frac{
\sigma_1^2\sigma_2^2
\left(
z-\mu_1-\mu_2
\right)^2
}
{\left(
\sigma_1^2+\sigma_2^2
\right)^2
}
\end{align}
$$
以上より、$Z$の確率密度関数を得る。
\begin{align}
f_Z(z)
&= \frac{1}{2\pi\sigma_1\sigma_2}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}
{
2\left(
\sigma_1^2+\sigma_2^2
\right)
}
\right)
\int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}
exp\left(
-\frac{\sigma_1^2 + \sigma_2^2}{2\sigma_1^2\sigma_2^2}
\left(
t - \frac{
\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu2
}{
\sigma_1^2 + \sigma_2^2
}
\right)
\right)
dt\\
&= \frac{1}{\sqrt{
2\pi
}\frac{
\sigma_1\sigma_2
}{
\sqrt{\sigma_1^2 + \sigma_2^2}
}
}
\int_{-\infty}^{\infty}
exp\left(
-\frac{
1
}{
2\frac{
\sigma_1^2 \sigma_2^2
}{
\sigma_1^2 + \sigma_2^2
}
}
\left(
t - \frac{
\sigma_2^2 \left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{
\sigma_1^2 + \sigma_2^2
}
\right)^2
\right)dt \\
&\mbox{ }\times
\frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)\\
&= \frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)
\end{align}
ただし、二行目の第一項目においては、正規分布の全確率が$1$であることを利用した。
次に、積率母関数により$Z$の確率密度関数を計算する。正規分布の積率母関数$S ∼ \mathcal{N}\left(\mu, \sigma^2\right)$は
\begin{align}
\varphi_S(t) = exp\left(
\mu t +\frac{1}{2}\sigma^2 t^2
\right)
\end{align}
と書ける。よって、$Z$の積率母関数は下記のようになる。
$$
\begin{align}
\varphi_Z(t)
&= E\left[
exp\left(
t\left(
X+Y
\right)
\right)
\right]\\
&= E\left[
exp\left(
tX
\right)
exp\left(
tY
\right)
\right]\\
&= E\left[
exp\left(
tX
\right)
\right]
E\left[
exp\left(
tY
\right)
\right]\\
&= exp\left(
\left(
\mu_1 +\mu_2
\right)t
+\frac{1}{2}\left(
\sigma_1^2 + \sigma_2^2
\right)t^2
\right)
\end{align}
$$
ただし、三行目は$X,Y$の独立性を利用した。以上より、$Z$の確率密度関数を得る。
$$
\begin{align}
f_Z(z) = \frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)
\end{align}
$$
したがって、二通りの導出方法の結果は一致することが分かった。
また、平方完成が面倒くさいということも分かる。分布の再生性が成り立つとき、もしくは導出したい分布が既知の積率母関数を持つことが言えるときには積率母関数によって導出したい。