ディリクレ過程の定義

確率空間〜確率過程〜ディリクレ過程(とディリクレ混合分布との関連)までの現状の雑な理解をメモしておく。なお当方は集合論、測度論未履修でありかなりいい加減である。

確率空間

確率空間とは集合$\Omega$、集合族$\mathscr{F}$($\Omega$の部分集合を要素とする集合)、確率測度$P$($\mathscr{F}$から$[0,1]$への写像)の3つを集めたものである、$(\Omega, \mathscr{F}, P)$を指す。ただし$\mathscr{F}$はσ集合体であるという制約、$P$にも確率として振る舞うためのいくつか制約がある。
($(\Omega,F)$だけだと可測空間、$(\Omega, F, P)$で$P$が確率の条件を満たさない測度の場合は測度空間という。)

具体例：サイコロを一つ投げる場合、
$\Omega=\{1,2,3,4,5,6\}$、$\mathscr{F}=\{\{\phi\},\{1\},\{2\},\{3\},\{4\},\{5\},\{6\},\{1,2\},\ldots,\{1,2,3,4,5,6\}\}$、
$P$は$P(\{n\})=1/6, P(\{n,m\}=1/3), P(\{1,2,3,4,5,6\})=1$などと定義できる。

確率変数$X$は確率空間$(\Omega, \mathscr{F}, P)$、可測空間$(E, \mathscr{G})$があったとき、$\Omega$から$E$への写像で全ての$A\in \mathscr{G}$に対してと定義される。$\mu=P\circ X^{-1}$とすると$\mu$は確率測度になる。

具体例：サイコロを振ったときに3の倍数なら1、そうでないなら0などとすると、$E=\{0,1\}, \mathscr{G}=\{\{\phi\},\{0\}, \{1\}, \{0,1\}\}$となり、例えば$X(\omega)=1$なら$P(X^{-1}(\{1\})=P(\{3,6\}))=1/3$となる。(上の定義では$X(\mathscr{G})=\mathscr{F}$までは要求していないので、例えば3の倍数なら0、3で割って余り1なら1、3で割って余り2は無視して$E=\{0,1\}$と定義しても問題ないことになる...? → Xの定義域が$\Omega$なのでそういうことはない)

$\mu$と$P$を区別せず$P$とひとまとめに書いてしまうのはプログラミングで言うところの関数オーバーロードっぽい感じがする。

• 参考文献:
  • http://www2.math.kyushu-u.ac.jp/~hara/lectures/02/pr-grad-all.pdf

確率過程

一番簡単な定義は時間tに沿って複数回事象を観測したものを確率過程という定義。精密な記述は確率過程の定義についてすこし考える - エンジニアを目指す浪人のブログが分かりやすかっった。確率空間$(\Omega, \mathscr{F}, P)$と可測空間$(E, \mathscr{G})$と合わせて(たぶん順序集合である)集合Tを用意して、$\Omega$から$E$への写像の集合$\{X_{t}\}_{t\in T}$を確率過程という。

ディリクレ過程

• ディリクレ過程の定義 - Speaker Deck
• ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ
• ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはなにか) - エンジニアを目指す浪人のブログ

(3つ目のリンク先から引用) 注: この説明中の$P_{A}^{-1}(\cdot)$は$Dir_{A}(\cdot|(\alpha(B_{1}), \ldots, \alpha(B_{A}))) \times \text{Volume\_of}(\cdot)$のことを指している。

結局ディリクレ過程が過程と言われる所以は任意の$\mathscr{A}$次元のディリクレ分布を確率過程は生成してくれるということで、$\mathscr{A}$をTとみなせるという話であり、決まった次元のディリクレ分布サイコロを複数回振る、つまりディリクレ分布に従う確率変数の列が出てくるということではない(自分は勘違いしていた)。また、標本空間$\Omega$は任意の数、任意の形(?)に分割できることが、次元$A$を任意に設定できたりパラメータを自由に変化させられる理由である。測度$\alpha$はパラメータにかかる係数としての効果がある。

ところで、ディリクレ混合分布で中華料理店過程を使ってコンピュータ上で任意次元を作れるようにするという話があるが、それはディリクレ過程の定義には含まれない、ということになりそう。(例えば「続・わかりやすいパターン認識」では中華料理集合店過程が自然にディリクレ分布から導出されるように書いてあるが、別のページでは中華料理店過程とピットマン・ヨー過程を並列して書いてあり、ピットマン・ヨー過程については冪乗則に従う異なるものだと書いてある。)

c.f. wikipediaでは関数測度の定義域のことを台と書いている。台の定義は関数fがあったとき、$\{x| f(x) \neq 0\}$とのことで確かに確率0なだけで定義域を非0に絞る必要はないという感想になった。