大数据可视化课程笔记 2

第二章 数据可视化基础

2.1 视觉感知

2.1.1 视觉感知和视觉认知

• 视觉感知是指客观事物通过人的视觉器官在人脑中形成的直接反映.
• 视觉高级感知层次包括对物体的识别和分类,属于人类的认知能力的重要组成部分.

2.1.2 视觉感知的处理过程

1. 视觉寻找: 指在视线所能达到的范围内搜寻目标
2. 寻找: 当发现视线探测到的对象与预期所需目标相符合时,则排除其他对象,锁定目标
3. 分辨: 指对多个相似的对象的信息进行深入探测
4. 识别: 指根据是绝特征信息和细节信息的差异,识别目标的含义
5. 确定: 指锁定的对象与记忆中的存储信息相吻合,确认目标
6. 记忆搜索: 以上步骤获得的信息与记忆信息对比,作出判断

2.1.3 格式塔原则

1. Law of Proximity: 接近原则:
   人类在视觉感知是会把距离上相互靠近的元素视作一个整体
2. Law of Similarity: 相似原则:
   人们的视觉感知会把明显具有共同特征的元素当成一个争议或归为一类
3. Law of Closure: 闭合原则:
   人们潜意识中会把不连贯的图形补充完整
4. Law of Continuity: 连续原则:
   实物形象上的不连续使用户产生心理上的连续知觉

2.1.4 颜色理论

1. 光的特性
   人眼能区分各种颜色是因为不同光的波长和强度有区别.
2. 三基色原理
   三基色: 红、绿、蓝

• 三基色不是光的物理性质,是基于人眼的独特生理特征确定下来的
• 三基色按照不同比例相加合成的混色称为相加混色

3. 不同颜色对人心理的影响

• 暖色系是以橘黄色为中心的色群, 适用于积极, 健康, 努力等方面
• 冷色系是以蓝色为中心的色群, 适用于表现商业, 科技, 学习等方面

4. 色彩的三要素

1. 色相, 即色彩的相貌和特征, 指颜色的种类和名称
2. 明度, 又称亮度, 指颜色的深浅, 明暗变化
3. 饱和度, 又称纯度, 指色彩的鲜艳程度

5. 数据可视化色彩搭配技巧

• 色调与明度上的变化要大
• 学习大自然的色彩过渡
• 尽量使用渐变来替换静态的单一颜色

2.1.5 视觉编码

1. 视觉编码的定义

• 描述数据与可视化结果的映射关系

2. 视觉通道
   1. 可视化编码
      • 标记, 指图形元素, 如点, 线, 面, 体
      • 视觉通道, 用于控制图形元素的展示特性, 包括元素的颜色, 位置, 尺寸, 形状, 方向, 色调, 饱和度, 亮度, 纹理等
   2. 视觉通道的类型
      • 定性或分类的视觉通道, 适合用于编码分类的数据信息, 如形状, 颜色的色调, 空间位置
      • 定量或定序的视觉通道, 适合用于编码有序的或连续型数据信息,如直线的长度, 区域面积, 空间的体积, 斜度, 角度, 颜色的饱和度和亮度等
      • 分组的数据通道, 通过多个或多种标记的组合来进行描述,包括接近性,相似性和包括性.(表现数据内在的关联性)
   3. 视觉通道的表现力和有效性

   精确性
   可辨性
   可分离性
   视觉突出

   4. 数据和视觉通道的映射

   一对一
   一对多
   多对一

   5. 数据编码设计的两大原则

   表达性,一致性,充分表达数据想要表达的信息,且不会产生歧义
   有效性,理解性,比之前更容易理解

2.2 数据准备

2.2.1 数据类型

1. 类别型数据(类别, 模式, 列联相关)
2. 有序型数据(中值, 百分位数)
3. 区间型数据(平均值, 标准方差, 等级相关, 积差相关)
4. 比值型数据(变异系数)

2.2.2 数据预处理

数据质量体现在:
1. 有效性
2. 准确性
3. 完整性
4. 一致性
5. 时效性
6. 可信性

数据预处理步骤:

1. 数据清理: 修正数据中的错误,识别脏数据,更正不一致数据
2. 数据集成: 把来自不同的数据源的同类数据进行合并, 减少数据冲突, 降低数据冗余程度
3. 数据规约: 保证数据挖掘结果准确性的前提下,最大限度的精简数据量,得到简化的数据集
4. 数据转换: 对数据规范化处理

2.2.3 数据组织与管理

1. 分布式文件系统
2. 文档存储
3. 列式存储
4. 键值存储
5. 图形数据库
6. 关系数据库
7. 内存数据库
8. 数据仓库

2.2.4 数据分析与数据挖掘

数据分析:

1. 统计分析: 对数据进行统计和统计推断的过程
2. 探索性数据分析: 对调查, 观测所得到的一些初步的杂乱无章的数据,在尽量少的先验假设下进行处理,通过作图, 制表等形式和方程拟合, 计算某些特征量等手段, 探索数据的结构和规律的一种数据分析方法
3. 验证性数据分析: 在已经有实现假设的关系模型情况下,通过数据分析来验证已提出的架设
4. 在线分析与处理: 交互式探索大规模多维数据集的方法

数据挖掘:

1. 分类与预测
2. 聚类分析
3. 关联分析
4. 异常分析

数据挖掘步骤:

	1. 确定业务对象
	2. 数据准备
	3. 数据挖掘
	4. 结果分析
	5. 知识的同化

2.3 数据可视化的基本框架

2.3.1 数据可视化的流程

1. 数据采集
2. 数据处理与变换
3. 可视化映射: 将数据的数值, 空间坐标, 不同位置数据间的联系等映射为可视化视觉通道的不同元素
4. 用户感知

2.3.2 数据可视化的设计标准及框架

1. 数据可视化的设计标准
   1.1 表达力强
   1.2 有效性强
   1.3 能简洁的传达信息
   1.4 易用
   1.5 美观
2. 数据可视化的设计框架
   第一层: 问题刻画层, 描述现实生活中用户遇到的实际问题
   第二层: 抽象层, 将任务和数据转换为信息可视化术语
   第三层: 编码层, 设计视觉编码和交互方式
   第四层: 算法层, 具体实现与前三个层次匹配的数据可视化展示盒交互算法

2.4 数据可视化的基本原则

设计一个可视化视图主要三个步骤:

1. 确定数据到标记
2. 视图的选择与用户交互控制的设计
3. 数据的有效筛选

2.4.1 数据筛选

• 展示适量的信息内容
• 保证用户获取数据信息的效率

2.4.2 数据到可视化的直接映射

• 使用正确的数据通道去编码数据信息

2.4.3 视图选择与交互设计

1. 视图的滚动与缩放
2. 颜色映射的控制
3. 数据映射方式的控制
4. 数据选择工具
5. 细节控制

2.4.4 美学因素

1. 简单原则
2. 平衡原则
3. 聚焦原则

2.4.5-2.4.6 可视化的隐喻、颜色与透明度

2.5 数据可视化的基本图表

2.5.1 原始数据绘图

1. 数据轨迹,可直观呈现数据分布,离群值, 均值的偏移
2. 柱形图, 适用于二维数据集中只有一个维度需要比较
3. 条形图, 柱状图数据过多时,更适合条形图
4. 折线图, 数据趋势
5. 直方图, 对数据集中某个数据属性的频率统计
6. 饼图, 呈现各分量在整体中的比例
7. 等值线图, 等温,等高图
8. 走势图, 高度密集折线图
9. 散点图, 二维数据集, 三维数据集只有两维需要比较
10. 气泡图, 散点图变形,点的面积代表第三维大小
11. 维恩图, 数据集合之间的关系
12. 热力图, 使用颜色表达为之相关的二维数值数据大小
13. 雷达图, 适用于多维且每个纬度必须可以排序

2.5.2 简单统计值标绘

2.5.3 多视图协调关联

2.6 数据可视化工具

2.6.1 入门级工具

Excel

2.6.2 信息图表工具

1. D3
2. Flot
3. ECharts
4. Visual.ly
5. Tableau

2.6.3 地图工具

1. PolyMaps
2. Modest Maps
3. Leaflet
4. OPenLayers

2.6.4 高级分析工具

1. Processing
2. R
3. Python
4. Gephi