【王树森推荐系统】特征交叉03：LHUC (PPNet)

原创 已于 2025-07-12 09:30:00 修改 · 895 阅读 · 8
于 2025-07-12 09:28:35 首次发布

概述

  • 上节课介绍的 DCN 既可以用于召回也可以用于排序
  • 这节课介绍的 LHUC 和 DCN 的想法有点类似，LHUC 在工业界确实有效，但是只用于精排

多目标排序模型回顾

  • 中间这部分是 shared bottom，被多个任务共享，它用什么样的神经网络都可以，包括全连接网络，深度交叉网络或这节课介绍的 LHUC
    在这里插入图片描述

Learning Hidden Unit Contributions(LUHC)

  • LHUC起源于语音识别
  • 快手将 LHUC 应用在推荐精排，称作 PPNet
    在这里插入图片描述

语音识别中的 LHUC

  • 输入是一段语音信号，我们希望用神经网络对输入的信号做变换，得到更有效的表征，然后识别出语音中的文字
  • 语音是人说的，不同的人声音有所区别，所以最好加入个性化，即说话者的特征。
  • 最简单的特征就是说话者的ID，对ID做 embedding 得到一个向量，作为这个说话者的表征
    在这里插入图片描述
  • 把语音信号输入全连接层，输出一个向量
  • 把说话者特征输入另一个神
标签
#推荐系统 #推荐算法 #人工智能
最低0.47元/天 解锁文章
推荐系统实战：如何用LHUC（PPNet）提升个性化排序效果？
最新发布
swift5iosmith的博客
02-16 264
本文从工程实战角度，深入解析了如何利用LHUC（PPNet）技术提升推荐系统的个性化排序效果。针对模型复杂化后效果瓶颈问题，LHUC通过轻量级门控网络，让用户特征动态调制模型中间层，实现精细化个性化。文章重点阐述了其核心思想、与DCN的差异、快手PPNet的实现代码，并强调了阻断用户ID梯度这一关键避坑点，为推荐算法工程师提供了实用的落地指南。
Cartographer全局重定位优化：无初始位姿约束的2万平工厂秒级定位实践
rose2的博客
02-11 930
本文深入解析了Cartographer在2万平工业场景中的全局重定位优化实践，通过分支定界优化、子图动态加载和多传感器融合等关键技术，实现了无初始位姿约束下的秒级重定位。特别针对大场景下的快速重定位需求，优化后的系统在RK3588平台上表现出色，定位耗时从47秒降至1.8秒，成功率提升至91%，为工业自动化提供了高效解决方案。
【推荐系统】wss课程-特征交叉
littlemichelle
08-07 1131
总结：工业界推荐的精排模型全都是pointwise
Zabbix Trigger actions访问出现500
格子的博客
12-26 538
本篇博客详细介绍了Zabbix访问'Trigger actions'出现的错误状况，访问界面出现500，并提供了解决方案。
LHUC 模型内部差异化
心之所向
08-08 1万+
对于一个混合多种数据源的训练模型，不同数据源肯定存在着差异性，如果将这种差异性反映到模型中。LHUC试图利用将这些差异性插入对模型的NN中，从而对NN进行调整。 Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation 超越Google 快手落地业界首个万亿参数推荐精排模型 ...
小红书推荐系统
weixin_44901348的博客
09-17 3352
FM是线性模型的替代物，线性回归、逻辑回归都可以用FMFM使用二阶交叉特征，表达能力比线性更强矩阵自相乘代替二阶交叉权重数量，从O(dd) 将为O(dk)目前推荐系统中不太常用日活用户数（DAU）和留存是最核心的指标工业最常用LT7和LT30衡量留存某用户今天(t0)登录了app，蔚来7天（t0-t6）中有4天登录app，那么用户今天（t0）的LT7等于4LT增长通常译为用户体验提升（除非lLT增长且DAU下降）其他核心指标：用户使用时长、总阅读数、总曝光数。
推荐系统学习8
qq_45443108的博客
03-10 823
特征交叉，在召回和排序中都会用到如果d比较小，二阶交叉没有问题，但如果d很大，计算代价太大，而且容易出现overfiting。
特征交叉03 LHUC (PPNet)
DEVIL_hym的博客
10-22 1265
LHUC 只能用于精排。多目标模型中的神经网络可以用全连接网络 、深度交叉网络 或者LHUC等。
（9）工业界推荐系统-小红书推荐场景及内部实践【排序模型】
Pain is inevitable but suffering is optional.
07-11 1362
（1）工业界推荐系统-小红书推荐场景及内部实践【业务指标、链路、ItemCF】 （2）工业界推荐系统-小红书推荐场景及内部实践【UserCF、离线特征处理】 （3）工业界推荐系统-小红书推荐场景及内部实践【矩阵补充、双塔模型】 （4）工业界推荐系统-小红书推荐场景及内部实践【正负样本选择】 （5）工业界推荐系统-小红书推荐场景及内部实践【线上召回和模型更新】 （6）工业界推荐系统-小红书推荐场景及内部实践【其他召回通道】 （7）工业界推荐系统-小红书推荐场景及内部实践【冷启动问题1】 （8）工业界推荐系统-
特征交叉DCN与LHUC
别说话写代码的博客
05-02 3303
推荐算法特征交叉，DCN是一种特征交叉方法，从网络结构改变，召回双塔，粗排，精排都能用到。LHUC只能用于精排
多任务建模之PPNet
weixin_38381682的博客
10-11 1万+
多任务ppnet网络结构
推荐系统学习笔记（十六）LHUC（PPNet）
weixin_44880995的博客
09-08 447
ppnet
LHUC与PEPNET
糖葫芦君的博客
01-15 210
优点：成本很低，能直接应用到全连接网络以及卷积层中，对于效果提升明显。LHUC 最核心的思想，是为每一个 speaker 定制一个振幅函数 (amplitude function)，作用于的隐层之上。
特征交叉方法解析：DCN、LHUC、SENet与Bilinear
Mike的博客
08-28 1069
LHUC（Learning Hidden Unit Contribution）起源于语音识别，后由快手团队引入推荐系统并称为。双塔模型是推荐系统的通用架构框架，其用户塔和物品塔可由任意神经网络结构构建，并非特指某种具体实现。SENet源自计算机视觉，可用于对特征进行动态加权。用于高效地进行Field间特征交叉，存在多种形式。的加权，重要性低的Field权重会自动降低。（双线性特征交叉）的模型。，目前已得到广泛应用。（动态特征重要性）和。：SENet实现的是。
【推荐系统】王树森推荐系统公开课自学笔记4-交叉结构
qq_51676593的博客
10-11 1331
线性模型：p=b+∑i=1dwixip=b+\sum_{i=1}^dw_ix_ip=b+∑i=1d​wi​xi​二阶交叉特征：p=b+∑i=1dwixi+∑i=1d∑j=i+1duijxixjp=b+\sum_{i=1}^dw_ix_i+\sum_{i=1}^d\sum_{j=i+1}^du_{ij}x_ix_jp=b+∑i=1d​wi​xi​+∑i=1d​∑j=i+1d​uij​xi​xj​Factorized Machine（FM）：p=b+∑i=1dwixi+∑i=1d∑j=i+1d（viTvj）xi
第四章 特征交叉（王树森学习笔记）
weixin_64420349的博客
01-11 1520
我们用一个现实的例子来理解，比如我们要预估一个二手房的价格，单用面积和地理位置都不能很好的预测结果，将两个特征交叉之后会有较准确的预测。不论是内积or哈达玛积，都要求每个特征的embedding向量形状一样，都是k维向量；因此在实践中，最好人工指定一部分特征做交叉，这样既可以减少参数数量，也可以让concatenation之后的向量变小。，对m^2个向量做concatenation，得到的向量维度太大，且其中大多数都是无意义的特征。用特征交叉的话，两个特征不仅能相加，还能相乘，这样可以提升模型的表达能力。
1.9万亿参数量，快手落地业界首个万亿参数推荐精排模型
Paper weekly
02-04 1460
作者｜机器之心编辑部来源｜机器之心来，走近快手业界首个万亿参数推荐精排模型的内部构造。个性化推荐系统旨在根据用户的行为数据提供「定制化」的产品体验，精准的推荐系统模型也是很多互联网产品的...
一文看懂推荐系统：概要01：推荐系统的基本概念
热门推荐
weixin_46838716的博客
08-02 1万+
（1）找工作投简历的话，你要将招聘单位的岗位需求和你的研究方向和工作内容对应起来，这样才能契合公司招聘需求，否则它直接把简历给你挂了 （2）你到底是要进公司做推荐系统方向？还是纯cv方向？还是NLP方向？还是语音方向？还是深度学习机器学习技术中台？还是硬件？还是前端开发？后端开发？测试开发？产品？人力？行政？这些你不可能啥都会，你需要找准一个方向，自己有积累，才能去投递，否则面试官跟你聊什么呢？ （3）今日推荐系统学习经验：算法工程师的工作就是对模型、特征、策略系统和改进，提升各种指标，推进系统能否最终上线
【上】王树森《小红书推荐系统公开课》- 课程笔记（推荐系统基础、召回、排序）
qq_43629945的博客
05-22 1万+
推荐系统基础（基本概念、链路、AB测试）；召回（ItemCF、Swing、UserCF、离散特征处理、矩阵补充、双塔模型、双塔模型+自监督学习、Deep Retrieval召回、其他召回通道、曝光过滤+Bloom Filter）；排序（多目标排序模型、MMoE、预估分数融合公式、视频播放时长和完播率建模、特征及处理、粗排三塔模型）
【trick】推荐算法中的调参技巧总结
发现问题，并解决问题，批判性思维
11-30 2673
1. 做新模型的时候，最开始不要加激活函数，不要加batchnorm，不要加dropout，先就纯模型。然后再一步一步的实验，不要过于信赖经典的模型结构(除非它是预训练的)，比如加了dropout一定会有效果，或者加了batchnorm一定会有提升所以先加上，首先你要确定你的模型处于什么阶段，到底是欠拟合还是过拟合，然后再确定解决手段。
工业界真实的推荐系统(小红书)-物品冷启动的AB测试
qq_17065591的博客
03-14 1079
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。课程特点：系统、清晰、实用，原理和落地经验兼具。
秘密潜入1修改器 F10 F11
进入游戏后切出，打开修改器按F10和F11就OK
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值