读书笔记：推荐系统实践-第八章-评分预测问题

在训练集中共有7400个样本，每个样本有23个特征，利用ascore,category，description，……，program_exp，fund_exp，admin_exp等23个特征，预测出score值。

个人认为ctr预估是用在推荐系统中精排这一部分的。 CTR 预估和推荐系统的区别 @BruceSun 召回的种类大概可以分为几类：一大类是基于用户兴趣的召回，包括长期兴趣、实时兴趣等等，第二类是协同类召回，比如基于用户session 链的协同、基于用户社交关系应用于内容的协同等等，还有一类是 nn 学习的 embedding 相似召回。 排序是将各路召回数据整合之后基于一个或者多个特定目标的模型排序部分，最常见的就是以点击率作为目标来进行预测，而还有其他一些目标比如说：停留时长、点赞评论等等。这.

在之前我也看了很多人写的推荐系统的博客，理论的、算法的都有，多是个人的理解和感悟，虽然很深刻，但是对于自己而言还是不成系统，于是我参考大牛项亮编著的《推荐系统实践》将该领域知识系统整理一遍，与大家一起学习。 本系列对应的代码请查看https://github.com/wangyuyunmu/Recommended-system-practice 前面总结推荐系统常用的数据、算法、架构，但是都是在讨...

基于邻域的协同过滤算法主要分为基于用户的协同过滤和基于项目的协同过滤。基于用户的协同过滤的基本原理是找到与目标用户兴趣相似的其他用户，然后根据这些相似用户的评分来预测目标用户对未评分的项目的评分。

本书到目前为止都是在讨论TopN推荐，即给定一个用户，如何给他生成一个长度为N的推荐列表，使该推荐列表能够尽量满足用户的兴趣和需求。 本书之所以如此重视TopN推荐，是因为它非常接近于满足实际系统的需求，实际系统绝大多数情况下就是给用户提供一个包括N个物品的个性化推荐列表。 评分预测问题最基本的数据集就是用户评分数据集。该数据集由用户评分记录组成，每一条评分记录是一个三元组(u,i,...

评分预测问题最基本的数据集就是用户评分数据集。该数据集由用户评分记录组成，每一条评分记录是一个三元组(u,i, r)，表示用户u给物品i赋予了评分r，本章用r表示用户u对物品i的评分。因为用户不可能对所有物品都评分,因此评分预测问题就是如何通过已知的用户历史评分记录预测未知的用户评分记录。 离线实验方法 评分预测问题基本都通过离线实验进行研究。在给定用户评分数据集后，研究人员会将数据集按照一定的方式分成训练集和测试集,然后根据测试集建立用户兴趣模型来预测测试集中的用 预测的目的就是找到最好的模型最小化测试

《推荐系统实战》这本书的下载地址：《推荐系统实战》 第一章 好的推荐系统 第二章 利用用户行为数据 第三章 推荐系统冷启动问题 第四章 利用用户标签数据 第五章 利用上下文信息 第六章 利用社交网络数据 第七章 推荐系统 前面介绍的推荐系统都是TOPN推荐问题，其实推荐系统在理论研究中比较重要的话题是评分预测问题。 8.1 离线实验方法 首先将给定的数据集划分为训练集和测试集，然后根据训练集建立用...

更多1.书籍信息书名：推荐系统实践作者：项亮出版社：人民邮电出版社ISBN：9787115281586页数：1972.纸张、印刷与排版小16开本，纸张白色正常偏厚。字偏小，行间距正常。没有给做笔记留出左/右侧空白。3.勘误4.笔记与评价阅读级别：细读。推荐级别：细读。这本书是去年买的，一直没有时间看。最近因为要用到所以抓出时间看。大概花了两天的时间，比较仔细的读了一遍，不过看见公式还是头疼，Pyt...

最近大概复习了一下这本书，了解了较早的推荐系统的一些方法，记录如下，以便大家对本书内容有个快速地了解。略去了第一张，详细的代码和细节可以参考其他博客。需要关注的地方直接标出了页码。 书里面的代码不是很完整，用来学习还可以。第八章介绍了一些svd等机器学习的算法，在2020年的今天可以回顾一下。 推荐系统实践 第二章：利用用户行为数据 常见数据集： Book-Crossing(有评分、年龄、书籍的简...

最近读完了项亮的这本推荐系统实践，把笔记共享出来 第一章：好的推荐系统 http://app.yinxiang.com/shard/s6/sh/ad42c426-b790-4a44-9af4-76e84fed7078/a00ce7f57833aefe6f086bf03b4be083 第二章：利用用户行为数据 http://app.yinxiang.com/shard/s6/sh

1、长尾理论是指，只要产品的存储和流通的渠道足够大，需求不旺或销量不佳的产品所共同占据的市场份额可以和那些少数热销产品所占据的市场份额相匹敌甚至更大，即众多小市场汇聚成可产生与主流相匹敌的市场能量。 2、几乎所有的推荐系统应用都是由前台的展示页面、后台的日志系统以及推荐算法系统3部分构成。 3、电子商务——>亚马逊 最主要的应用有个性化商品推荐列表和相关商品的推荐列表。 推荐结果的标题、缩...

本人将《推荐系统实战》放在了资源里，如有需要请前往下载。 3.1 冷启动问题简介 冷启动问题的解决方案： 提供非个性化的推荐。为新注册用户推荐热门的商品，等用户数据搜集到一定程度后，切换到个性化推荐； 利用用户注册时提供的年龄性别等数据做粗粒度的个性化； 要求用户在登录时对一些商品进行反馈，然后给用户推荐那些与反馈结果好的商品相似的商品； 利用用户的社交网络登录，导入用户在社交网络的好友信息...

在实际系统中，数据结构不一样，需要根据不同的数据设计推荐算法，并将这些算法融合到一个系统中。本章将首先介绍推荐系统的外围架构（推荐系统要与网站的其他系统进行对接），然后介绍推荐系统的架构，并对架构中的每个模块的设计进行深入讨论。 7.1 推荐系统外围的架构 主要组成部分：一般来说，每个网站都有一个UI系统，负责给用户展示并与用户进行交互。网站会通过日志系统将用户在UI的各种各样的行为记录到用...

一、目录组织图（单击图方法）二、补充笔记1、因为推荐系统的算法多种多样，为了评估算法对数据的是影响，可以采取离线实验，用户调查、在线实验的方式进行。2、离线实验的目的是过滤掉不恰当的方法，减轻用户调查和在线实验的成本。3、对于得到的实验数据和统计结果，可以采取统计分析工具，比如t检验，置信度，置信区间等方法。4、下面的一些指标有些只能在在线实验和用户调查环节得到。5、预测准确度一般可以使用均方根误...

美国著名的第三方调查机构尼尔森调查了影响用户相信某个推荐结果的因素，90%的用户相信朋友对他们的推荐。基于社交网络的推荐可以很好的模拟现实社会。所以利用社交网络数据进行推荐可以增加用户对系统的信任度。另外利用用户在社交网络的数据可以解决冷启动问题。 6.1 获取社交网络数据的途径 主要方式：电子邮件（联系人）；用户的注册信息（居住地和工作地）；用户的位置信息（网页的IP和手机的GPS）；论坛...

2 利用用户行为数据 为了给用户进行物品推荐，首先必须得了解用户的兴趣爱好，一般用户会在注册时给自己打标签。但是利用用户注册信息为用户进行推荐是不合理的：现有的自然语言处理技术不能很好的对用户的自我描述进行准确的理解；用户的兴趣会发生变化，但是却不会动态的更新自我描述；用户自己也知道怎么用语言去表达自己的兴趣爱好，或者不知道自己的爱好；所以我们要根据用户的历史行为对用户进行建模。 2.1 用户行为...

无论是基于用户动作行为数据还是用户标签行为数据，都忽略了一个很重要的内容：用户当时所处的上下文。用户访问系统所处的时间、地点、心情等，对推荐结果影响很大。心情的获取，可以让用户登录系统的时候，让其选择，根据选择的心情为其进行推荐。本章主要考虑时间和地点上下文。 5.1 时间上下文信息 时间信息对用户兴趣的影响：用户兴趣是变化的（年龄段、职业等）；物品也是有生命周期的（电影，新闻等）；季节效应...

前面介绍的CF算法，利用的是用户的行为数据，就是用户对商品的动作，为了区别本章内容，称之为用户动作行为数据。 在介绍商品冷启动时，提到了利用商品的内容信息计算商品间的相似度。 本章介绍另外一种数据：用户标签行为数据。就是人为的添加的标签，比如用户对看的一部电影打标签，写博客时作者给博客打的标签。标签分两种：一种是作者或者专家给商品打标签，一种是普通用户对商品打标签。后者被称为UGC。 商品的内容...

第八章 联邦学习与计算机视觉、自然语言处理及推荐系统 联邦学习与计算机视觉 联邦计算机视觉 以资源为中心的深度学习开发模式，一方面确实促进了AI的研究和发展，但另一方面也阻碍了大量小公司对AI技术的使用。由于数据隐私、监管风险、缺乏激励等原因，许多企业并不愿意与其他企业直接共享数据。 联邦目标检测模型的步骤如下： 各参与公司从服务器下载现有的共享目标检测模型。 各公司使用本地标记数据对模型进行训练。 各公司通过安全协议，将训练后的模型参数上传至服务器。 服务器聚合所有参与方的模型参数，并更新