大数据技术原理与应用 第四篇 大数据应用 推荐系统

第十五章 大数据在互联网领域的应用

一、 推荐系统

1.1 推荐系统介绍

推荐系统是大数据在互联网领域的典型应用，它可以通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求

推荐系统是自动联系用户和物品的一种工具，和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，进行个性化计算。推荐系统可发现用户的兴趣点，帮助用户从海量信息中去发掘自己潜在的需求

作用：推荐系统可以创造全新的商业和经济模式，帮助实现长尾商品的销售。可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。这需要通过个性化推荐来实现

1.2 推荐方法

推荐系统的本质是建立用户与物品的联系，推荐方法包括如下几类：

专家推荐：人工推荐，由资深专业人士进行物品筛选和推荐，需较多人力成本

基于统计的推荐：基于统计信息的推荐（如热门推荐），易于实现，但对用户个性化偏好的描述能力较弱

基于内容的推荐：通过机器学习的方法去描述内容的特征，并基于内容的特征来发现与之相似的内容

协同过滤推荐：最早和最成功的推荐方法之一，利用与目标用户相似的用户已有的商品评价信息，来预测目标用户对特定商品的喜好程度

混合推荐：结合多种推荐算法来提升推荐效果

1.3 推荐系统模型

完整推荐系统通常包括：用户建模模块、推荐对象建模模块、推荐算法模块

用户建模模块：根据用户行为和属性数据分析用户兴趣和需求

推荐对象建模模块：根据对象数据对推荐对象进行建模

推荐算法模块：基于用户特征和物品特征，计算用户可能感兴趣的对象，并根据场景对推荐结果进行一定调整，将推荐结果展示给用户

二、协同过滤

协同过滤作为最早、最知名的推荐算法，不仅在学术界得到了深入研究，而且至今在业界仍有广泛的应用。协同过滤可分为基于用户的协同过滤和基于物品的协同过滤

2.1 基于用户的协同过滤

UserCF算法（“趣味相投”），即兴趣相似的用户往往有相同的物品喜好：当目标用户需要个性化推荐时，可以先找到和目标用户有相似兴趣的用户群体，然后将这个用户群体喜欢的、而目标用户没有听说过的物品推荐给目标用户

UserCF算法的实现主要包括两个步骤：

第一步：找到和目标用户兴趣相似的用户集合

第二步：找到该集合中的用户所喜欢的、且目标用户没有听说过的物品推荐给目标用户

关键：实现UserCF算法的关键步骤是计算用户与用户之间的兴趣相似度。

2.2 基于物品的协同过滤

基于物品的协同过滤算法（简称 ItemCF 算法）是目前业界应用最多的算法

ItemCF算法是给目标用户推荐那些和他们之前喜欢的物品相似的物品。ItemCF算法主要通过分析用户的行为记录来计算物品之间的相似度

ItemCF算法与UserCF算法类似，计算也分为两步：

第一步：计算物品之间的相似度；

第二步：根据物品的相似度和用户的历史行为，给用户生成推荐列表。

关键：ItemCF算法通过建立用户到物品倒排表（每个用户喜欢的物品列表）来计算物品相似度

2.3 UserCF算法和ItemCF算法的对比

1. UserCF 的推荐更偏向社会化，而 ItemCF 的推荐更偏向于个性化
2. UserCF 随着用户效目的增大，用户相似度计算复杂度越来越高。而且UserCF推荐结果相关性较弱，难以对推荐结果作出解释容易受大众影响而推荐热门物品
3. ItemCF 倾向于推荐与用户已购买商品相似的商品，往往会出现多样性不足、推荐新颖度较低的问题