大数据开发（日志离线分析项目）

一、项目需求

1、使用jquery+echarts的方式调用程序后台提供的rest api接口，获取json数据，然后通过jquery+css的方式进行数据展示。工作流程如下：

2、七大角度

1、用户基本信息分析模块

1、用户分析
分析新增用户、活跃用户以及总用户的相关信息。
2、会员分析
分析新增会员、活跃会员以及总会员的相关信息。
3、会话分析
分析会话个数、会话长度和平均会话长度相关的信息。
4、Hourly分析
分析每天每小时的用户、会话个数以及会话长度的相关信息。

2、浏览器信息分析模块

1、用户分析
2、会员分析
3、会话分析
4、浏览器pv分析
pv：访问页面的数量pageview

3、地域信息分析模块

1、活跃访客地域分析
分析各个不同地域的活跃访客数量
2、跳出率分析
分析各个不同地域的跳出率情况。（没有进行二次浏览行为，直接退出网站）

4、用户浏览深度分析模块

用户在一次会话中访问页面的数量。pv/uv（uv：cookie中的uuid数量）

5、外链数据分析模块

1、外链偏好分析
分析各个外链带来的活跃访客数量
2、外链会话（跳出率）分析

6、订单分析模块

7、事件分析模块

二、系统架构

1、数据流程设计

2、如何确定集群规模？

1、考虑自己单台服务器的配置
2、其次要考虑的是每日的数据规模：每日活跃用户、用户平均每日数据量
3、副本策略：一般2~3个副本
4、扩容周期：半年不扩容
5、预留空间：一般20%~30%

3、测试服务器规划

三、JS SDK

1、概述

不采用ip来标识用户的唯一性，通过在cookie中填充一个uuid来标识用户的唯一性。
埋点：在页面（jsp或html）中植入js代码。

2、执行工作流

3、数据参数说明

在各个不同事件中收集不同的数据发送到nginx服务器。

4、事件分析

4.1 概述

用户基本信息：pageview事件+launch事件
浏览器信息分析：在用户基本信息分析的基础上添加浏览器这个维度信息，pageview事件
地域信息：通过nginx服务器来收集用户的ip地址来进行分析，pageview事件
外链数据分析、用户浏览深度分析：在pageview事件中添加访问页面的当前url和前一个页面的url，pageview事件
订单信息分析：chargeRequest
自定义事件分析：需要一个pc端发送一个新的事件数据，定义为event。还需要设置一个launch事件来记录新用户的访问。ev