微软多兴趣召回：Octopus

Octopus: Comprehensive and Elastic User Representation for the Generation of Recommendation Candidates

背景：

多兴趣通道(channel)结构的多兴趣召回模型在兴趣通道数量上面存在两个问题

1. 兴趣通道较少，不能充分学习到用户的多个兴趣。
2. 兴趣通道较多，很多兴趣通道可能和用户兴趣不相关，这样会引入很多不相关的候选集，带来噪声；固定的 topK 策略会导致有噪声的兴趣也会召回到对应的候选集，从而挤占整体相关兴趣的候选数量，造成整体相关候选集数量下降；而且线上耗时和兴趣通道数据是线性相关，兴趣通道越多造成的耗时越大。

其实说的更简单点，2 个问题：就是多兴趣召回里面，不同用户产出的多个兴趣数量是固定的，没有个性化；每个兴趣向量召回的 topK 个候选，没有考虑不同兴趣的重要度

即如何实现个性化的兴趣数量、如何实现根据兴趣重要度去个性化选择候选数量。

解决方案：

预设多个兴趣通道，但是根据用户历史行为来激活部分兴趣通道，对激活的兴趣通道计算用户的兴趣向量。同时根据兴趣重要度来决定每个兴趣拉取候选集的 quota。

方案详情：

整体结构图如下：

以上面的结果图为例，预设 M(图中M=8) 个全局的相互正交的兴趣通道，设兴趣向量的维度为 d，

解决第一个问题：如何实现不同用户的兴趣数量个性化

兴趣通道正交

怎么保证各个兴趣向量之间的正交性呢，即怎么保障 M 个兴趣通道对应的兴趣向量矩阵$\mathbf{H}\in R^{M\times d}$为正交矩阵，可以通过迭代的方式来，用户行为序列矩阵为$\mathbf{\Theta }\in R^{N\times d}$，
通过求兴趣向量矩阵正交基得到
$$argmin\sum _{\Theta }||\theta -\theta {\mathbf{H}}^T\mathbf{H}|{|}_2$$
另外通过正则项约束来进一步保证兴趣通道向量矩阵的正交性，其中$\mathbf{I}\in R^{M\times M}$是单位矩阵