本文探讨了如何处理客户端埋点数据接入Kafka的需求，重点在于如何从总topic中筛选event_name=x的数据并评估其对下游Kafka表的影响。首先，通过分析离线表计算特定event每天的数据量级及每秒生产速率。接着，查询Kafka平台的峰值流量，确保新数据加入后，单partition不超过5M/s且单条数据不超过2KB，以满足下游表的插入条件。
接到一个客户端埋点接入kafka的需求，数仓需要从总topic里过滤出某个具体的event_name=x，传入下游某个kafka表供业务方使用。
需要根据下游具体的kafka表来评估是否能直接放入下游某个具体的kafka表，如果不能，需要创建单独的kafka表
-
首先要根据离线表里客户端埋点event_detail表计算出event_name=x的每天数据量级，再计算每秒生产多少条数据
-
在kafka管理平台上查询kafka的峰值，
nM/s、m条数据/s -
评估加入新数据之后，kafka单partition不超过5M/s、单条数据不超过2KB，即可插入当前表
扫一扫
7万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
