確率分布間の距離尺度のまとめページ

[ktrmnm]

確率分布間距離の比較についてのエントリが複数あるため (Le Camの不等式，Pinskerの不等式)，距離尺度の定義の一覧と，それらの強弱関係をまとめたページがあると良いかもと思いました．

距離尺度の例

• Total variation distance
• Hellinger distance
• Wasserstein distance
• Kullback--Leibler divergence
• chi^2-divergence
• Renyi divergence
• Levy metric, Prokhorov metric
• Ky Fan metric

強弱関係の例

• Le Camの不等式
• Pinskerの不等式
• Wasserstein距離とKLの比較
• Weighted Pinsker (Villani 2009, Theorem 22.10)
• どの位相の距離付けになっているか

Gibbs and Su (2002) Figure 1が有益

参考文献

• Tsybakov. Introduction to Nonparametric Estimation. (2009) Section 2.4.1
• Villani. Optimal Transport: Old and New. (2009)
• Gibbs and Su. On choosing and bounding probability metrics. (2002)
• A summary on “On choosing and bounding probability metrics” AIP松井さんのスライド

[delta2323]

いいですね．KLの亜種ですが，JS距離などもでしょうか？

[delta2323]

まとめページとは別に，これらの不等式はまとめて「確率分布間の比較」として1つのカテゴリに入れてもいいかなと思います

[ktrmnm]

JS距離という呼び方はGANの文脈でしか見たことがないんですが、もしご存知でしたら他の出典があると嬉しいです

[chijan-nh]

JS距離という呼び方はGANの文脈でしか見たことがないんですが、もしご存知でしたら他の出典があると嬉しいです

KLの亜種ということなのでKL(q||p)とKL(p||q)の混合であるJensen-Shannonと推測しますが、
JS情報量・JSダイバージェンスだと何か不都合があるのでしょうか？
原典ではダイバージェンスですが……。
Fuglede B, and Topsøe F., 2004, Jensen-Shannon Divergence and Hilbert Space Embedding, IEEE Int Sym Information Theory.

[delta2323]

はい，JSはJensen--Shannonを意図していました．KLダイバージェンスに関しては「KL距離」と呼ぶことも多いので（参考1, 参考2），それの類推でJS距離という風に表現しました．前の自分のコメントは，何かの出典から取ってきて使ったわけではありません（混乱させてすみません）．この呼び方に強いこだわりを持っているわけではないのですし，数学の意味での距離と区別するために，JSダイバージェンスという言い方の採用するほうが良いと思います．