人工智能项目——推荐系统实战（一）

推荐系统

• 概念

  • 信息过滤系统 解决信息过载 用户需求不明确的问题
  • 利用一定的规则给物品推序 展示给需求不明确的用户

• 推荐 搜索区别

  • 推荐个性化较强，用户被动接受，希望能够提供持续服务
  • 搜索个性化弱，用户主动搜索，快速满足用户需求

• 推荐和web项目区别

  • web 构建稳定的信息流通通道
  • 推荐 信息过滤系统
  • 推荐 结果是概率问题
  • web 对结果有明确预期

推荐系统的架构

• 系统要素

  • UI与UE（前端界面）
  • 数据（Lambda架构）
  • 业务知识
  • 算法

• 整体架构

  

  • 大数据Lanbda架构

    • 解决实时计算（数据相对比较小，可以快速反应）和离线计算（数据量太多需要一定时间才能完成）共同提供服务的问题
    • 离线/实时计算优劣
      • 离线：处理数据量大，延迟大
      • 实时：响应快，处理的数据量小
    • 涉及技术
      • 分层架构
        • 批处理层（离线）
          • data不可变，可进行任何运算，可水平扩展
          • 高延迟（计算量数据量不同so延迟不同）
          • 日志收集Flume
          • 分布式存储Handoop（数据量太大一个地方存不下要分布在多个地方存储）（数据分布式处理分布在n台电脑上so也可以在n台电脑上一起处理数据加快数据处理）
          • 分布式计算Hadoop MapReduce & spark
          • 视图存储数据库
            • nosql
            • Redis/memcache
            • MySQL
        • 实时处理层（在线）
          • 流式处理，持续计算