tak0kadaの何でもノート

発声練習、生存確認用。

医学関連は 医学ノート

Wasserstein距離

https://twitter.com/yoriyuki/status/1126423987444015104を見かけた。Wassersteinとは何か調べると、Wasserstein GAN と Kantorovich-Rubinstein 双対性という記事を見つけた。DeepLearningは理解していないが、線形代数的な話題として捉えられるらしい。

  • 距離関数を適切に(どうやって?)定められたとすると、
    • 離散確率分布の距離をEMDとして定義できる
    • 極限を取ったものがWasserstein距離になる
  • EMDを計算するためには輸送にかかるコストを計算することになる
    • 双対問題を考えると、全コストの計算をせずにEMDを計算できる
    • 双対問題を解くので十分な理論的な根拠はFarkasの補題というものが保証している
  • 後半の議論は疲れたのでフォローできていない

次元によらず確率分布の距離を測る方法としてOptimal transportが使われるという話は聞いていたが、Earth mover's distanceと直接関係があるとは知らなかった。EMDはかなりプリミティブな概念だが、プリミティブなものを軽視してはいけないという反省が生じた。この手法だと、確率分布の比較は出来るが、時系列のような確率分布を並べたものを生成する規則があるとして、その規則そのものの距離はそのままでは測れないという制限がありそう。