KL 散度

http://joschu.net/blog/kl-approx.html

• KL 散度定义
  

• 标准的 k1 估计KL 散度， 方差大， 应为k1 有正有负
  

• k3 也是KL 散度的无偏估计， 但是元素都是正的， 方差小很多