KLダイバージェンス、JSダイバージェンス

# Kallback-Leiblerダイバージェンス
def kld(p, q):
    p = np.array(p)
    q = np.array(q)
    return np.sum(p * np.log(p/q))

# Jensen-Shannonダイバージェンス
def jsd(p, q):
    p = np.array(p)
    q = np.array(q)
    m = 0.5 * (p + q)
    return 0.5 * (kld(p, m) + kld(q, m))

• 参考
  • エントロピーの1種?なのでscipy.stats.entropyで実装できるらしい
  • http://nzw.hatenablog.jp/entry/2015/09/28/010244