SVD（特異値分解）解説 - QiitaとPCAとSVDの関係性を示す - Qiitaの要旨だけかいつまんでメモしておく。
- $AA^{T}$を$AA^{T}U = U \Lambda$と分解する
- ここで$A^{T}A$についても考えると、$A^{T}A (A^{T}u) = A^{T}(AA^{T}u) = A^{T}(\lambda u) = \lambda (A^{T}u)$より$AA^{T}$と$A^{T}A$は固有値を共有する
- 固有ベクトルは同じとは限らない
- $||v_{i}||=||u_{i}||=1$なのでスケールを調整して$V = A^{T}U\Theta$とおく
- $A=U\Theta^{-1}V^{T}$が得られる
- 特異値分解できた
- $AA^{T} = U\Theta^{-2}U^{T}$より、$AA^{T}U = U\Theta^{-2}$なので、$\lambda = 1/\theta^{2}$
- $\sigma=\theta^{-1}$とおくと、$A = U \Sigma V^{T}$
- $\Sigma$のうち成分が大きいものだけ選ぶと次元削減になる
$X=U\Sigma V^{T}$と特異値分解して$U^{T}X = \Sigma V^{T}$とすると、$u_{i}$へ$x_{j}$を正射影した内積は、$\sigma_{i} V^{T}_{i,j}$になることが分かる。
- PCA自体の立式はLagrangeの未定乗数法で導出できる
あとで読む: 特異値分解 - 初級Mathマニアの寝言
