22【在线日志分析】之项目第二阶段概述

主要对HDFS服务和Tomcat服务进行实时计算预警,故要做以下加强功能:
1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)
2. 改造 Tomcat的日志支持log4j,其为json格式输出
3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理
4. 改造 spark streaming+spark sql,支持读取json解析
5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词
6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算
7. 改造grafana dashboard可视化
8. 整个架构高可靠设计和优化
9. 扩展其他应用、DB的日志等等

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30089851/viewspace-2136419/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/30089851/viewspace-2136419/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值