Never Stop Questioning

SandBox

最終更新:

t-style

- view
メンバー限定 登録/ログイン
  • このページはまだ途中です。
  • このページはPRMLを参考にしています。

問題設定

変数定義

観測変数をX、潜在変数をZとする。XZ変数は、事前分布\thetaに従う。

なお、Zは離散変数として扱う。

目標

XからZ\thetaを推測したい。そのために、次式で表される尤度関数を最大化したい。
そして、最大化した際のZ\thetaを使って、予測分布p(X)を得たい。


\begin{flushleft} \begin{eqnarray*} 
p(X|\theta) & = & \sum_{Z} p(X,Z|\theta)
\end{flushleft} \end{eqnarray*}

準備

イェンゼンの不等式(Jensen's inequality)

凸関数fに対して以下の不等式が成り立つ。
凹関数の場合は、不等式が逆転する(つまり対数関数なら逆転する)。
 
\begin{flushleft} \begin{eqnarray*} 
E[f(y)] & \le & f(E[y])
\end{flushleft} \end{eqnarray*}























添付ファイル
記事メニュー
目安箱バナー