ベイズの定理

\[ p(h_{i}|d) = \dfrac{p(d|h_{i})}{p(d)}p(h_{i}) \]

である。ここで各項にそれぞれ
事後確率: \(p(h_{i}|d)\)
事前確率: \(p(h_{i})\)
尤度: \(p(d|h_{i})\)
と名前が付いている。

解釈

関心のある事象について知識がない状態で個人的な思い込みなどで勝手に決めていいのが事前確率。事後確率はそこに新しい知識Dが加わって変更された確率である。この変更のことを「更新」という。

参考：
ベイズ統計学入門
 待ち合わせに遅れる彼女、ベイズの定理、そして例題
 ベイズ推定と最尤推定の違い

以下は上の説明を読んだ後で理解できたもの。
事後確率と尤度: 事前確率を設定しなければ最尤推定とベイズ推定は同じ。
最尤法: 最尤法の基本的な使い方が分かる。