这几天项目要求用LOGSTASH和kafka配环境
发现每次启动LOGSTASH都是正常KAFKA却无法获取到数据,发现LOGSTASH是没有日志而CONSOLE也没任何报错信息
奇怪的是刚安装的时候是正常传输数据的, 可过了段时间,重启LOGSTASH就没任何数据发送
思路:
1,版本问题
2,日志查看
3,权限问题
4,文件问题
去LOGSTASH查看版本,的确有兼容问题,按官方修改
参阅:https://www.elastic.co/guide/en/logstash/2.4/plugins-outputs-kafka.html

kafka参阅:http://kafka.apache.org/downloads

logstash2.4.1和kafka2.10-0.8.2.2(官方称2.10的会更好)
二、日志查看
kafka无任何报错都是正常
logstash

也找不到其他报错日志,无语
三、权限问题
已经是755,正常,用ROOT的权限
四、文件问题
是可以正常打开也可以修改
解决:
最好把扫描文件重新上传,更改扫描文件名和配置文件名,把ZK和KAFKA LOGS都清了,重新启动后,再启动LOGSTASH就正常了
估计LOGSTASH会有个文件记录扫描的文件,可是找了很多地方都找不到。如果有遇到过类似或更好的解决方法,欢迎留言,互相交流,谢谢!
项目中使用LOGSTASH和Kafka配环境,启动LOGSTASH正常但Kafka无法获取数据,且无报错信息。排查思路包括版本、日志、权限和文件问题。发现版本有兼容问题,按官方修改。最终通过重新上传扫描文件、更改文件名、清除ZK和Kafka日志后重启解决问题。

5074

被折叠的 条评论
为什么被折叠?



