信息安全体系建设☞流量可视化（一）

背景介绍

	我们通常会说想要防住威胁，首先就要看到威胁。这里面的看不只是用眼睛看，更重要的是要感知到威胁的存在。无论是以图形化展示，还是根据规则生成告警，这都是感知威胁的一种有效手段。在进行流量可视化或者威胁可视化系统建设的时候，我们需要考虑一个问题是要看见所有的流量，还是把焦点放在有价值的流量，或者潜在的威胁上。如果把所有的流量都以报表形式展现在电脑屏幕上，看起来会比较美观，但是在处理具体威胁的时候，可能会适得其反。

我们在进行流量可视化或者威胁可视化体系建设的时候，要围绕公司网络体系中的核心资产，重点体现最有可能包含攻击者的流量。比如对数据库进行访问的流量，的应用程序管理后台访问的流量，以及一些对系统平台进行管理的数据流量。眉毛胡子一把抓的结果会导致资源的大量浪费，这里面最宝贵的资源就是信息安全分析人员的时间和精力的资源。如果信息安全人员把大量的时间和精力都用在分析一些不太可能造成威胁的流量上，就有可能消磨信息安全人员的意志，从而降低信息安全人员防范网络威胁的意识。随着各个企业数字化转型的进行，大量的业务都从传统的纸质文档转换到了信息技术平台。当我们在监控这些内部或者外部的流量的时候，生成的数据是巨大的。很多时候我们信息安全人员需要使用大数据平台或者数据湖的方式来管理这些日常网络活动当中的流量数据，大数据平台或者siem平台，或者一些自己开发的脚本都能够有效地帮助我们分析这些网络流量，从中筛选出我们认为最有可能包含攻击者痕迹的流量。简单来说就是让计算机或者服务器帮助我们从数据的海洋当中筛选出少量有价值的几滴水，然后我们的信息安全人员利用自己的经验来判断这几滴水是否是来自内部或者外部的威胁。安全大数据平台的出现，不会替代信息安全人员同样新鲜，安全人员也不能够替代安全大数据平台。这两个角色各有各的优势，只有组合起来，发挥各自的长处，才能够有效的防范网络威胁。大数据平台的优势是分析能力，信息安全人员的优势是进行决策的能力。

流量可视化的主要目的是为了决策

1， 为了能够直观的看到隐藏在网络中的异常流量，即可以做为SOC的展示板， 实时展示分析。也可以用来做事件的后续调查追踪使用。
2，为了能够汇总来自于或者去往一个确定地址或者某几个地址的数据流量，通过对比这些流量和平均值的异常情况， 来判断是否存在网络攻击。
3，一个好的可视化解决方案， 可以提升信息安全人员进行分析的效率，减少分析时间，增加判断的准确性。
4，可视化解决方案，可以减少对信息安全人员经验的依赖。把对可视化流量的监控交给监控组的员工，从而优化人员配置。

流量可视化的手段：

流量在我们通常会用traffic flow来表示，所以我们选择的流量可视化方案基本都和flow有关系。在进行数据可视化系统搭建的过程中，主要分成这样几个阶段。
a）网络设备或者终端流量的抽样采集。
b）网络流量的集中收集端。
c）数据流量的展示模块。
d）异常数据的告警模块。
在很多时候B和C我们会放在同一个平台上， 如果网络流量足够大，我们需要做业务上的深入挖掘，我们也会把网络流量存储到数据湖或者池中，通过大数据平台的集中分析处理之后再发送到C端的数据展示模块进行展示。

那么接下来我们按照流量可视化的几个阶段来分别看看都有哪些开源的方案可以用来做数据流量展示。

网络设备或者终端流量的抽样采集。

在网络安全领域始终存在着开源和商业化解决方案这样两种选择。至于具体选择哪一个就完全要看你的具体需求和口袋里面的铜板，由于我的这个系列都是在讲开源的信息安全体系建设，那么我这里也会着重选择开源的解决方案来介绍。
1）XFlow是目前主流的网络设备上都支持的协议，包括华为，Juniper，fortigate等厂商的设备。
在使用SFlow方案来收集网络数据流的时候， 其实包含两部分，一个是agent，通常大部分的网络设备都已经集成了sflow的功能，只要通过简单的配置，就可以完成数据的抽样采集。另外一部分是collector，也就是上面提及的B或者C端。关于数据采集的agent我们分两部分来说明，一个是已经集成了sflow模块的网络设备或者平台， 一个是主机层面的需要安装agent。我们可以通过下面的动图来了解sflow的工作原理

摘自：https://sflow.org/process/process_full.htm

1. 如何在网络设备中配置sflow，下面以华为设备为例进行说明。Sflow的默认端口是UDP 6343。

 >配置交换机的sflow流发送
sflow agen ip  x.x.x.x                 设置sflow输出源
sflow collector 1 ip x.x.x.x           设置sflow分析器组1并关联到IP x.x.x.x
sflow collector 1 port 6343            设置sflow分析器组1输出端口
>应用slow，配置交换机某个端口的slow功能
int g0/0/14  需进入接口视图
GigabitEthernet0/0/11]sflow flow-sampling inbound     开启接收方向flow采集
GigabitEthernet0/0/11]sflow flow-sampling outbound    开启发送方向flow采集
GigabitEthernet0/0/11]sflow flow-sampling collector 1  设置采集数据输出至分析器组1
GigabitEthernet0/0/11] sflow flow-sampling rate 256    设置采样率
配置完成后就可以把有sflow功能的接口的数据转成sflow流发送到指定sflow数据采集器设备的指定端口

2.如何在主机层面安装sflow的agent，转发特定端口的流量到collector。
sflow本身并不提供软件来支撑主机层面对数据流的监控，这个时候我们可以采用hsflow这个软件， 在操作系统中安装agent，进行数据流量的采样。这个软件目前支持下面列出来的平台，由于大部分的网络设备都已经支持xflow协议，有了下面host层面的支持会让我们流量可视化的方案更加灵活。其中支持windows，linux，hyper-v，有了这些基本上也就够用了。


有hsflow也是基于sflow协议开发出来的，所以同样可以参考下年的架构图进行设计。由于篇幅有限， 我准在再开一篇博文来介绍hsflow的安装和配置。

2）如何在不采用sflow方案的方式下进行流量可视化操作
我在开源杀毒软件的章节里面提到了， 要尽可能少的在终端安装软件。过多不同厂家的软件会造成兼容问题， 还会拖累服务器的性能，甚至增加系统变更的频率。基于这个考虑， 我们可能不喜欢，或者绝不增加服务器上的软件，尤其是那些找不到技术支持的软件。我们也可以采用我之前提到的NIDS的方案。如果我们在系统建设之初已经决定采用NIDS方案了，它也可以帮助我们拿到主机的通信流量。目前的vmware，hyper-v或者openswitch都支持端口镜像的功能， 我们可以把主机的流量直镜像到某台SNORT的服务器，让snort帮我们监控流量，转发流量日志到安全平台， 比如siem或者数据池。
3）针对cisco设备的网络流量收集
cisco设备有自己的专有协议Netflow，剩下的我就废话少说。 大家都懂的怎么操作了，这个不是我们开源安全软件讨论的范畴了。

流量数据的集中收集和处理

我们已经在网络或者主机层面安插了探针，那么我们接下来就看看如何把这些探针获得的数据收集起来进行分析。
1）ELK 方案收集和分析数据
关于流量数据的收集， 我们在上面阶段已经介绍完了。接下来我们看看如何进行流量数据的收集。大名鼎鼎的ELK相信大家都听说过吧，我们需要使用ELK的logstash来收集sflow抛过来的流量数据， 然后转给身后Elasticsearch进行存储，最后通过kibana进行展示。由于这块需要解释的比较多， 我也会新开一篇博文进行详细的介绍。
2）采用sflow配套的软件， flow-rt。这个流量监控平台集成了很多的组件， 这些组件都很有用， 可以实时的展示流量信息。
下面的图片来自sflow-rt的网站，左侧的网络设备模型展示了数据流可以使用sflow的方式来进行收集，然后通过flow-rt做为数据流的收集方案。最后通过flow-rt的API可以和最右侧的一些设备进行整合分析。

3）如果我们的网络环境已经实施了SIEM的解决方案，那一切就都变的简单了。 SIEM本身有flow monitor模块， 可以收集，存储， 分析和展示。

关于流量可视化包含的内容比较多， 为了能相对详细的介绍一下流量可视化的解决方案， 我会采用几篇博文的方式分别来介绍。