現代数理統計学の基礎第4章 解答 part1
問1 $ h(t) = E[\{(X-\mu_x)-t(Y-\mu_y)\}^2] $ を考えることにより，コーシー・シュバルツの不等式(4.10) を示せ。また等号が成り立つための必要十分条件を求めよ。
$$
\begin{align}
h(t) &= E[\{(X-\mu_x )-t(Y-\mu_y)\}^2]\\ &= E[(X-\mu_x)^2] + t^2E[(Y-\mu_y)^2] - 2tCov(X,Y)\\
&= \sigma_x^2 + t^2\sigma_y^2-2tCov(X,Y)\\
&= \sigma_y^2t^2 -2Cov(X,Y)t + \sigma_x^2
\end{align}
$$
$h(t)$は上記のように展開できる。$\sigma_y^2$が必ず正の値を取るため、$h(t)$は上に凸である。したがって、判別式より、$D = Cov(X,Y)^2 - \sigma_x^2\sigma_y^2\leq0$が成り立つ。よって、コーシーシュバルツの不等式$Cov(X,Y)^2 \leq \sigma_x^2\sigma_y^2$が成り立つ。 等号成立条件は、 \(\begin{align} Cov(X,Y)^2 = \frac{\sigma_x^2\sigma_y^2}{\rho} \end{align}\) より、$\rho = 1$である。つまり、$X$と$Y$の相関計数が$1$のとき等号成立である。
問2 ２つの確率変数$X$, $Y$はそれぞれ密度関数$f(x)$, $g(y)$ を持つ分布に従い，平均$E[X] = E[Y ] = \mu$, 分散$Var[X] = Var[Y ] = \sigma^2$, 相関係数$Corr(X, Y) = \rho$をもつとする。
(1) $W$ は平均$p$ のベルヌーイ分布に従う確率変数とし，$X$, $Y$ と独立に分布すると仮定する。確率変数$Z$を$Z = WX + (1 -W)Y$ と定義するとき，Z の確率密度関数を求めよ。また平均と分散を求めよ。
(2) $w$ を$0\leq w\leq 1$ なる定数とし$U = wX + (1 - w)Y$ を考える。$U$ の分散を最小にする$w$ を与えよ。
(1)$Z$の分布関数は以下のように展開できる。3行目で独立性を使った。
$$
\begin{align}
P(Z\leq z) &= P(WX+(1-W)Y\leq z) \\
&= P(X\leq z \land W=1) + P(Y\leq z \land W=0)\\
&= P(X\leq z)p + P(Y\leq z)(1-p)
\end{align}
$$
$z$で微分することで、$Z$の確率密度関数を得る。
$$
\begin{align}
f_Z(z) = pf_X(z) + (1-p)f_Y(z)
\end{align}
$$
平均分散は以下のように求められる。
$$
\begin{align}
E[Z] &= \int_{-\infty}^\infty z(pf_X(z)+(1-P)f_Y(z))dz
\\&= pE[X] + (1-p)E[Y]
\\&=\mu
\end{align}
$$
分散の定義から \(\begin{equation} E[X^2] = E[Y^2] = \sigma^2 - \mu^2 \end{equation}\) が成り立つから、
$$
\begin{align}
E[Z^2] &= pE[X^2]+(1-p)E[Y^2]\\
&= \sigma^2 + \mu^2\\
V[Z] &= \sigma^2
\end{align}
$$
(2)
$$
\begin{align}
V[U] &= w^2\sigma^2 + (1-w)^2\sigma^2 +w(1-w)Cov(X,Y)\\
&= (1-2w+2w^2)\sigma^2 =: \phi(w)
\end{align}
$$
$U$の分散は上記のように計算できる。ただし、一行目の共分散は$X$と$Y$の独立性による$0$である。分散を$w$による式と考えると、求める$w$は$\phi(w)$を最小化させる値である。$\phi(w)$は下に凸であるから、一階条件より、$w=\frac{1}{2}$が解である。
問3 $2$つの確率変数$X$, $Y$ に対して次の事柄を示せ。
(1) $X$と$Y-E[Y|X]$が無相関になる。
(2) $Var(Y - E[Y|X]) = E[Var(Y|X)]$
(1)
$$
\begin{align}
Cov(X,Y-E[Y|X]) &= Cov(X,Y) - Cov(X,E[Y|X])\\
\end{align}
$$
ここで右辺の第二項は次のように展開できる。
$$
\begin{align}
Cov(X,E[Y|X]) &= E[(X-E[X])(E[Y|X] - E[E[Y|X]])]\\
&= E[(X-E[X])(E[Y|X] - E[Y])]\\
\end{align}
$$
よって、
$$
\begin{align}
Cov(X,Y-E[Y|X]) &= Cov(X,Y) - Cov(X,E[Y|X])\\
&= E[(X-E[X])(Y-E[Y])] - E[(X-E[X])(E[Y|X] - E[Y])]\\
&= E[(X-E[X])(Y-E[Y] - E[Y|X] + E[Y])] \\
&= E[(X-E[X])(Y - E[Y|X])] \\
&= E[(X-E[X])E(Y-E[Y|X]|Y)]\\
&= 0
\end{align}
$$
三行目が成り立つのは一行目の二つの項がどちらも$X$と$Y$の期待値計算とみなせるからである。
(2)
$$
\begin{align}
V[Y-E[Y|X]] &= E[{(Y-E[Y|X])-(E[Y] - E[E[Y|X]])}^2]\\
&= E[(Y-E[Y|X])^2]\\
&= E[E[(Y-E[Y|X])^2|X]]\\
&= E[V[Y|X]]
\end{align}
$$
問4 $2$次元の確率変数 $(X_1, X_2)^⊤$ が $(4.24)$ で与えられる $2$変量正規分布に従っているとする。このとき $X_2 = x_2$ を与えたときの $X_1$ の条件付き分布は
$$X_1|X_2 = x_2 ∼ \mathcal{N}\bigl(\mu_1 + \frac{\rho\sigma_1}{\sigma_2}(x_2 − \mu_2),\mbox{ }(1 − \rho^2)σ_1^2\bigr)$$
で与えられることを示せ。また $X_1$ と $X_2$ が無相関であることと独立であることとが同値になることを示せ。
$f_{X_1,X_2}$ の指数部を$X_1$について平方完成する。
$$
\begin{align}
\mbox{(指数部)} &= \frac{1}{1-\rho^2}\bigl\{(\frac{x_1-\mu_1}{\sigma_1})^2 - 2\rho\frac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2} +(\frac{x_2-\mu_2}{\sigma_2})^2 \bigr\}\\
&= \frac{1}{(1-\rho^2)\sigma_1^2}\biggl\{
x_1^2 -2 \bigl(
\mu_1 + \frac{\rho\sigma_1}{\sigma_2}(x_2-\mu_2)
\bigr)x_1 + \mu_1^2 + \frac{2\rho\sigma_1}{\sigma_2}\mu_1(x_2-\mu_2) + \bigl(\frac{\sigma_1(x_2-\mu_2)}{\sigma_2}\bigr)^2
\biggr\} \\
&= \frac{1}{(1-\rho^2)\sigma_1^2}\left\{
\left(x_1-\left(\mu_1 + \rho\frac{\sigma_1}{\sigma_2}\left(x_2-\mu_2\right)\right)\right)^2
+ \left(\frac{\sigma_1}{\sigma_2}\right)^2\left(1-\rho^2\right)
\right\}\\
\end{align}
$$
よって、同時密度分布は以下のように書ける。
$$
\begin{align}
f_{X1,X2}(x_1,x_2) &=
\frac{1}{2\pi\sqrt{1-\rho^2}\sigma_1\sigma_2}
exp
\left(
-\frac{
\left\{x_1-\left(
\mu_1+\rho\frac{\sigma_1}{\sigma_2}
\left(x_2-\mu_2\right)
\right)^2\right\}}
{2\left(1-\rho^2\right)\sigma_1^2}
- \frac{\left(x_2-\mu_2\right)^2}{2\sigma_2^2}
\right)
\end{align}
$$
一方で、条件付き密度分布は以下のように求められる。
\begin{align}
f_{X_1|X_2}(x_1,x_2) = \frac{f_{X1,X2}(x_1,x_2)}{f_{X2}(x_2)}
\end{align}
したがって、
$$
\begin{align}
f_{X_1|X_2}(x_1,x_2) &= \frac
{f_{X1,X2}(x_1,x_2)}
{\frac{1}{\sqrt{2\pi\sigma_2}}
exp\left(-\frac{\left(x_2-\mu_2\right)^2}{2\sigma_2^2}
\right)
}\\
&= \frac
{1}{\sqrt{2\pi\left(1-\rho^2\right)}\sigma_1}
exp\left(
-\frac{
\left\{x_1-\left(
\mu_1+\rho\frac{\sigma_1}{\sigma_2}
\left(x_2-\mu_2\right)
\right)^2\right\}
}
{2\left(1-\rho^2\right)\sigma_1^2
}
\right)
\end{align}
$$
よって、条件付き分布が問のものと一致することが示せた。
次に$2$変量正規分布において、独立性と無相関が同値であることを示す。一般に多変量分布において独立ならば無相関であることが成り立つ。したがって、与えられた分布において、無相関であれば独立であることを示す。
$X_1,X_2$の同時密度分布(4.24)において$\rho=0$と置くと以下の式が得られる。
$$
\begin{align}
f_{X1,X2}(x_1,x_2) &=
\frac{1}{2\pi\sigma_1\sigma_2}
exp
\left(
\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 +\left(\frac{x_2-\mu_2}{\sigma_2}\right)^2
\right)\\
&=
\frac{1}{\sqrt{2\pi}\sigma_1}
exp\left(
\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2
\right)
\frac{1}{\sqrt{2\pi}\sigma_2}
exp\left(
\left(\frac{x_2-\mu_2}{\sigma_2}\right)^2
\right)\\
&=
f_{X1}(x_1)\mbox{ }f_{X2}(x_2)
\end{align}
$$
よって、二次元正規分布において、無相関であれば独立であることが示せた。この結果は一般には成り立たないことに注意したい。
問5 $X$ と $Y$ が独立は確率変数で$X ∼ N \left(\mu_1, \sigma_1^2\right), Y ∼ N \left(\mu_2, \sigma_2^2\right)$に従うとする。畳み込みと積率母関数の $2$つ方法で $X + Y$ の分布を導け。
畳み込みによって、分布を導出する。
$Z=X+Y$と置く。
$$
\begin{align}
f_Z(z)
&= \int_{-\infty}^{\infty} f_X(z-t)f_Y(t)dt\\
&= \int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}
exp\left(-\frac{\left(z-t-\mu_1\right)^2}{2\sigma_1^2}
-\frac{\left(t-\mu_2\right)^2}{2\sigma_2^2}
\right)
dt\\
&= \int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp
\left(
-\frac{1}{2\sigma_1^2\sigma_2^2}
\left\{
\left(\sigma_1^2+ \sigma_2^2
\right)t^2
-2 \left(z\sigma_2^2 + -\mu_1\sigma_2^2+\sigma_1^2\mu_2
\right)t
+ \left(
\sigma_2^2z^2+ \sigma_2^2\mu_1^2
-2\mu_1\sigma_2^2z + \sigma_1^2\mu_2^2
\right)
\right\}
\right)
dt
\end{align}
$$
指数部のみ取り出して計算する。
$$
\begin{align}
\mbox{(指数部)}
&= -\frac{\sigma_1^2+\sigma_2^2} {2\sigma_1^2\sigma_2^2}
\left\{
\underline{
t^2
-2\left(
\frac{\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{\sigma_1^2+\sigma_2^2}
\right)t
+\frac{
\sigma_2^2\left(
z-\mu_1
\right)
+\sigma_1^2\mu_2
}
{\sigma_1^2+\sigma_2^2}
}
\right\}
\end{align}
$$
ここで、$K$を下記のように置き、下線部を$t$について平方完成する。
$$
\begin{align}
K :=
\frac{\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{\sigma_1^2+\sigma_2^2}
\end{align}
$$
$$
\begin{align}
\mbox{(下線部)}
&= \left(
t
- K
\right)^2
+\frac{
\sigma_1^2\sigma_2^2
\left(
z-\mu_1-\mu_2
\right)^2
}
{\left(
\sigma_1^2+\sigma_2^2
\right)^2
}
\end{align}
$$
以上より、$Z$の確率密度関数を得る。
\begin{align}
f_Z(z)
&= \frac{1}{2\pi\sigma_1\sigma_2}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}
{
2\left(
\sigma_1^2+\sigma_2^2
\right)
}
\right)
\int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2}
exp\left(
-\frac{\sigma_1^2 + \sigma_2^2}{2\sigma_1^2\sigma_2^2}
\left(
t - \frac{
\sigma_2^2\left(
z-\mu_1
\right)
+ \sigma_1^2\mu2
}{
\sigma_1^2 + \sigma_2^2
}
\right)
\right)
dt\\
&= \frac{1}{\sqrt{
2\pi
}\frac{
\sigma_1\sigma_2
}{
\sqrt{\sigma_1^2 + \sigma_2^2}
}
}
\int_{-\infty}^{\infty}
exp\left(
-\frac{
1
}{
2\frac{
\sigma_1^2 \sigma_2^2
}{
\sigma_1^2 + \sigma_2^2
}
}
\left(
t - \frac{
\sigma_2^2 \left(
z-\mu_1
\right)
+ \sigma_1^2\mu_2
}{
\sigma_1^2 + \sigma_2^2
}
\right)^2
\right)dt \\
&\mbox{ }\times
\frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)\\
&= \frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)
\end{align}
ただし、二行目の第一項目においては、正規分布の全確率が$1$であることを利用した。
次に、積率母関数により$Z$の確率密度関数を計算する。正規分布の積率母関数$S ∼ \mathcal{N}\left(\mu, \sigma^2\right)$は
\begin{align}
\varphi_S(t) = exp\left(
\mu t +\frac{1}{2}\sigma^2 t^2
\right)
\end{align}
と書ける。よって、$Z$の積率母関数は下記のようになる。
$$
\begin{align}
\varphi_Z(t)
&= E\left[
exp\left(
t\left(
X+Y
\right)
\right)
\right]\\
&= E\left[
exp\left(
tX
\right)
exp\left(
tY
\right)
\right]\\
&= E\left[
exp\left(
tX
\right)
\right]
E\left[
exp\left(
tY
\right)
\right]\\
&= exp\left(
\left(
\mu_1 +\mu_2
\right)t
+\frac{1}{2}\left(
\sigma_1^2 + \sigma_2^2
\right)t^2
\right)
\end{align}
$$
ただし、三行目は$X,Y$の独立性を利用した。以上より、$Z$の確率密度関数を得る。
$$
\begin{align}
f_Z(z) = \frac{1}{\sqrt{
2\pi
}\sqrt{
\sigma_1^2 + \sigma_2^2
}
}
exp\left(
-\frac{
\left(
z-\mu_1-\mu_2
\right)^2
}{
2\left(
\sigma_1^2 + \sigma_2^2
\right)
}
\right)
\end{align}
$$
したがって、二通りの導出方法の結果は一致することが分かった。 また、平方完成が面倒くさいということも分かる。分布の再生性が成り立つとき、もしくは導出したい分布が既知の積率母関数を持つことが言えるときには積率母関数によって導出したい。