Jensenの不等式など
花粉が猛威を振るう時期になった。私は外出をほとんどしていないので、今のところ被害を最小限に抑えることができている（外出したらやばいかもしれない）。
さて数学の話題について書こうと思う。友人から送られてきた数学の問題で少々興味深いものがあったので、少しだけ書いてみようかなといった次第である。
Jensenの不等式
確率統計で使ったりするんだとか。東工大の2次試験でもたまに出るらしい。凸関数の不等式なんだとか。
このJensenの不等式に関する問題を解いていく。
凸関数の性質(1)
実数値関数$ f(x) $は任意の実数$ x $に対して2階導関数$ \frac{d^2 f(x)}{dx^2} $が存在し、$ \frac{d^2 f(x)}{dx^2} \geq 0 $となる。
$ x_1 < y < x_2 $を満たす$ x_1 $、$ x_2 $、$ y $に対して、$ \frac{f(x_2)-f(y)}{x_2 - y} \geq \frac{f(y)-f(x_1)}{y - x_1} $
が成立することを示せ。
$ x_1 < y < x_2 $を満たす$ x_1 $、$ x_2 $、$ y $に対して、$ \frac{f(x_2)-f(y)}{x_2 - y} \geq \frac{f(y)-f(x_1)}{y - x_1} $
が成立することを示せ。
これはJensenの不等式を使わない*1。凸関数の定義そのものである。
$ \frac{d^2 f(x)}{dx^2} \geq 0$であるから下に凸だとただちにわかる。また$ \frac{f(x_2)-f(y)}{x_2 - y} \geq \frac{f(y)-f(x_1)}{y - x_1} $の形が平均値の定理だな～とわかる。このことからLagrangeの平均値の定理を用いて示す。
$ x_1 <\alpha < y < \beta < x_2 $となる$ \alpha $、$ \beta $を考える。Lagrangeの平均値の定理より、
$$ \frac{f(y)-f(x_1)}{y - x_1} = \frac{df(x)}{dx}|_{x= \alpha} $$ $$ \frac{f(x_2)-f(y)}{x_2 - y} = \frac{df(x)}{dx}|_{x= \beta} $$
が成立する。
また$ \alpha < y < \beta $の区間においても
$$ \frac{f(\beta)-f(\alpha)}{\beta - \alpha} = \frac{df(x)}{dx}|_{x=y} $$
となる。
ところで$ g(x)=\frac{df(x)}{dx} $とすると
$$ \frac{dg(x)}{dx}= \frac{d^2 f(x)}{dx^2}$$
と書ける。
条件$ \frac{d^2 f(x)}{dx^2} \geq 0$より$ \frac{dg(x)}{dx} \geq 0 $となる。つまり$ g(x) $が単調増加する。
ここで$ g(\alpha) = \frac{df(x)}{dx}|_{x= \alpha}$、$ g(\beta)= \frac{df(x)}{dx}|_{x= \beta} $とすると、
$$ \frac{g(\beta)-g(\alpha)}{\beta - \alpha} = \frac{dg(x)}{dx}|_{x=y} \geq 0 $$
と書ける。この不等式を変形すると
$$ g(\beta) \geq g(\alpha) $$
$$ \frac{df(x)}{dx}|_{x= \beta} \geq \frac{df(x)}{dx}|_{x= \alpha} $$
$$ \frac{f(x_2)-f(y)}{x_2 - y} \geq \frac{f(y)-f(x_1)}{y - x_1} $$
となる。以上より$ \frac{f(x_2)-f(y)}{x_2 - y} \geq \frac{f(y)-f(x_1)}{y - x_1} $の不等式が成立することを示せた。
実数値関数$ f(x) $は任意の実数$ x $に対して2階導関数$ \frac{d^2 f(x)}{dx^2} $が存在し、$ \frac{d^2 f(x)}{dx^2} \geq 0 $となる。
任意の実数$ x_1 $、$ x_2 $と$ 0\leq \alpha \leq 1 $を満たす任意の$ \alpha $に対して、$ \alpha f(x_1) + (1-\alpha)f(x_2) \geq f(\alpha x_1 + (1-\alpha)x_2 )$ が成立することを示せ。
任意の実数$ x_1 $、$ x_2 $と$ 0\leq \alpha \leq 1 $を満たす任意の$ \alpha $に対して、$ \alpha f(x_1) + (1-\alpha)f(x_2) \geq f(\alpha x_1 + (1-\alpha)x_2 )$ が成立することを示せ。
これは凸関数の性質(1)と同様の方法で解くことが可能。
$ x_1 < x_2 $とすると$ x_1 < \alpha x_1 + (1-\alpha)x_2 < x_2 $となる。
今、$ \alpha x_1 + (1-\alpha)x_2 = A $とすると、
$$ \frac{f(x_2)-f(A)}{x_2 - A} \geq \frac{f(A)-f(x_1)}{A - x_1} $$
となる。*2
この不等式を変形すると、
$$ (A - x_1)\Bigl(f(x_2)-f(A)\Bigr) \geq (x_2 - A)\Bigl(f(A) - f(x_1)\Bigr) $$
$$ (A - x_1)f(x_2) + (x_2 - A)f(x_1) \geq (x_2 - x_1)f(A) $$
$$ \frac{A - x_1}{x_2 - x_1} f(x_2) + \frac{x_2 - A}{x_2 - x_1} f(x_1) \geq f(A) $$
となる。
$ f(x_2) $の係数は、
$$ \frac{A - x_1}{x_2 -x_1} = \frac{(\alpha -1)x_1 + (1- \alpha)x_2}{x_2 - x_1}=1-\alpha $$
となる。
$ f(x_1) $の係数は、
$$ \frac{x_2 - A}{x_2 -x_1} = \frac{x_2 - \alpha x_1 -(1- \alpha )x_2}{x_2 - x_1}=\alpha $$
となる。
以上より$ \alpha f(x_1) + (1-\alpha)f(x_2) \geq f(\alpha x_1 + (1-\alpha)x_2 )$ が成立する。
凸関数の性質(3)
凸関数の性質(1) と(2)を満たす関数$ f(x) $は任意の$ n $個の実数$ x_1, ......,x_n $と$\alpha _i \geq 0 , $ $ \sum\limits _{i=1} ^n \alpha _i =1 $を満たす任意の$ \alpha _1, ......,\alpha _n $に対して、$ \sum \limits _{i=1} ^n {\alpha _i f(x_i)} \geq f( \sum \limits _{i=1} ^n {\alpha _i x_i}) $ が成立することを示せ。
Jensenの不等式を証明する問題だ。数学的帰納法により示すことにする。
$$ \alpha_1 f(x_1)+\alpha_2 f(x_2) \geq f(\alpha _1 x_1 + \alpha _2 x_2) $$
が成立する。
今、$ \lambda = 1 - \alpha _n$、$ \gamma = \sum\limits _{i=1} ^{n-1} \frac{\alpha _i x_i}{\lambda} $ となる$ \lambda $と$ \gamma $を考える。
もちろん$ \alpha_n + \lambda =1 $、$ \lambda > 0 $、$ \alpha_n > 0 $ であるから、
\begin{align} f(\sum \limits _{i=1} ^n {\alpha _i x_i})& =f(\lambda \sum \limits _{i=1} ^{n-1}\frac{\alpha _i x_i}{\lambda}+ \alpha_n x_n) \\\ & =f(\lambda \gamma + \alpha_n x_n) \\\ & \leq \lambda f(\gamma) +\alpha_n f(x_n) \end{align}
が成立する。
ここで$ \lambda_i = \frac{\alpha_i}{\lambda} $とすると、$ \gamma = \sum \limits _{i=1} ^{n-1} \lambda_i x_i $ 、$ \sum \limits _{i=1} ^{n-1} \lambda_i =1 $ 、$ \lambda > 0 $ である。
帰納法の仮定より
\begin{align} f(\gamma) = f( \sum \limits _{i=1} ^{n-1} \lambda_i x_i ) & \leq \sum \limits _{i=1} ^{n-1} \lambda_i f(x_i) \\\ & = \frac{1}{\lambda}\sum \limits _{i=1} ^{n-1} \alpha_i f(x_i) \end{align}
となる。
したがって
\begin{align} f(\sum \limits _{i=1} ^{n} \alpha_i x_i) & \leq \sum \limits _{i=1} ^{n-1} \alpha_i f(x_i) + \alpha_n f(x_n) \\\ & = \sum \limits _{i=1} ^{n} \alpha_i f(x_i) \end{align}
となり$ n $の時も成立することがわかった。以上より任意の自然数$ n $においてJensenの不等式が成立する。
