分享：互信息在对比学习中的应用

一次组内的技术分享，没有什么涉密内容，记录下来方便以后回顾，也可以分享给有需要的朋友一起讨论。

Warning

1. 很多内容是自己总结出来的，不保证正确性。
2. heavy math！
3. 对于大家日常工作应用作用可能不是特别大。

内容安排

1. 问题引出：5～10分钟
2. 数学推导：20分钟（能力有限，这段可能讲不清楚，不需要的同学可以关注问题与最后的结论）
3. 回到目标问题：5～10分钟
4. 推广到其他问题：10分钟
5. 总结：5分钟

互信息

从对比学习 loss 形态开始谈起

概念与问题定义

对比学习常见的loss，但是为什么是这样？

比如softmax或者lr这样的模型，其问题假设与目标存在清晰的推导关系。即，为什么使用这样的激活，这样的loss函数，最终我们都能在GLM理论中找到依据。

正例比较近，负例比较远，那这个呢（refer DGI;2019 ICLR）？

$L=\frac{1}{m}{\Sigma }_{i=0}^m[logT(x_i,y_i)-{\Sigma }_{j=0}^{K}log(1-T(x_i,y_j))]$