13
2024/09

反向 KL 散度与正向 KL 散度

给定两个分布 ,它们可能在相同的变量 上定义,但其分布形状各异。两者之间的距离可以通过 相对熵 (Relative Entropy) 来度量,其定义如下: 或者在连续情形下为: 其中: 1. 该指标 ...