关注
Spark广播变量及GC调优
最新在工作中，需要在广告中过滤黑名单，具体业务鉴于保密，暂不详细阐述，本文想要说的是本次应用过程中使用Spark广播变量及使用GC调优解决该问题的要点，有用到的伙伴可以参考
正常spark日志解析中加入黑名单解析
根据前期调研查看，黑名单一类25万+，3.86MB，黑名单二类106万+，46.3MB，理论上完全可以将其封装，采用spark广播变量的方式广播到每一个节点处理
但是实际在测试中，遇到...
TA的专栏
-
linux_curl 1篇 -
大数据 1篇
TA关注的专栏 0
TA关注的收藏夹 0
TA关注的社区 0
TA参与的活动 0
创作活动更多
「谁说嵌入式只是调包和焊板子？」—— 2026嵌入式全栈技术征锋令
谁说嵌入式只会“Ctrl+C 调包”和“拿电烙铁焊板子”？2026嵌入式全栈技术征锋令正式启幕！ 本次活动专为硬核硬件/软件开发者打造，无论你是刚玩转裸机外设的萌新，还是精通RTOS调度、死磕底层驱动的行业老手，亦或是执掌系统架构的大神，这里都是你证明实力的舞台！ 拒绝表面功夫，每一行代码，都有撬动硬件的力量！晒出你的硬核工程实战，为嵌入式开发者的全栈硬实力正名！
210人参与 去参加
- 最近
- 文章
- 专栏
- 代码仓
- 资源
- 收藏
- 关注/订阅/互动
