mutual information vs cross-entropy

最大化互信息：
$I(X;Z)=H(X)-H(X|Y)$
$argmax_\theta I(X;Y)=argmax_\theta (-H(X|Y))=argmax_\theta E_{q(X,Y)}log(q(X|Y))$

最小化KL散度
$KL(q||p)=\sum q(x)log \frac{q(x)}{p(x)}=\sum q(x)log q(x)-\sum q(x)log p(x)$
因为，KL散度≥0，最小化KL散度即相当于最大化互信息的下界，即是
$argmax_\theta =E_{q(x)}log (p(x))$这就是交叉熵

q是输入样本的分布，p是输出的分布