助力“新基建” | 基于StreamWorks构建实时大数据处理平台

2020年春节期间，一场突如其来的疫情在全国蔓延开来，打破了大家原有的工作生活节奏。疫情期间，大家宅在家就能随时看到实时的大数据疫情地图，可以随时刷到自己当前感兴趣的抖音视频，这一切背后依赖的最重要的技术，就是实时大数据处理技术。

现在疫情即将过去，国家提出要加快大数据中心等新型基础设施建设，实时大数据处理平台建设成为企业数智化转型过程中越来越重要的部分。

| 什么是实时计算

在大数据处理领域，通常根据数据的不同性质，将任务划分为实时计算与离线计算，以温度传感器的场景举例：假设某城市安装了大量的温度传感器，每个传感器每隔1min上传一次采集到的温度信息，由气象中心统一汇总，每隔5分钟更新一次各个地区的温度，这些数据是一直源源不断的产生的，且不会停止。实时计算就主要用于“数据源源不断的产生，而且不会停止，需要以最小的延迟获得计算结果”的场景，这种最小的延迟通常为秒级或分钟级。

为了满足这种数据量很大，而且实时性要求又非常高的场景，通常会采用实时计算技术，实时计算的“数据源源不断”的特定决定了其数据处理方式与离线是截然不同的。

与离线计算的批量、高延时、主动发起的计算特点不同，实时计算是一种持续、低延时、事件触发的计算任务。离线计算需要先装载数据，然后提交离线任务，最后任务计算返回结果；实时计算首先要提交流式任务，然后等实时流数据接入，然后计算出实时结果流。

形象点可以理解为离线计算是开着船去湖里（数据库）打渔，实时计算为在河流（数据流）上建立大坝发电。进一步发散，湖泊的形成依赖河流，河流确定上下边界就是湖泊；其实，离线计算可以理解为实时计算的一种特例。

| 实时计算能解决的