本文对比了多种实时计算引擎，如Flink、SparkStreaming、Storm等，针对不同场景提供了选型建议。对于需要低延迟的场景推荐使用Storm，已使用Spark的项目可考虑SparkStreaming，而高吞吐低延迟及ExactlyOnce语义则推荐Flink。
一.基本介绍
实时计算引擎相对于批处理计算引擎领域选择技术方案有很多，主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCompute、Hadoop等等。
二.对比
三.如何选择
- 需要关注流数据是否需要进行状态管理
- At-least-once或者Exectly-once消息投递模式是否有特殊要求
- 对于小型独立的项目，并且需要低延迟的场景，建议使用storm
- 如果你的项目已经使用了spark，并且秒级别的实时处理可以满足需求的话，建议使用sparkStreaming
- 要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或窗口统计的场景，建议使用Flink
参考博客 https://blog.csdn.net/qq_32447301/article/details/104729011
扫一扫
794
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
