通过logstash将数据导入mysql

最新推荐文章于 2024-08-25 03:14:53 发布

原创最新推荐文章于 2024-08-25 03:14:53 发布 · 4.8k 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

数据库

当前文章被收录于：

数据库

31 篇文章 3 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文详细介绍了如何使用Logstash收集并解析JSON数据，通过安装logstash-output-jdbc插件及mysql-connector-java实现数据导入MySQL数据库的过程。同时，提供了配置logstash.conf文件的示例，包括设置输入源、JDBC驱动路径、连接字符串和SQL语句。

1.确保已经安装logstash
其实解压安装包就行

2.安装logstash-output-jdbc插件
在线安装:
bin/logstash-plugin install logstash-output-jdbc
离线安装:
logstash离线安装logstash-output-jdbc

3.再装JDBC插件依赖，mysql-connector-java-5.1.47.zip
解压mysql-connector-java-5.1.47.zip
在logstash目录中创建必要目录
mkdir ./vender/jar/jdbc
然后将mysql-connector-java-5.1.47-bin.jar文件放入该目录

4.创建logstash.conf

input 
{
	stdin
	{
		codec => json
	}
}

output
{
	jdbc
	{
		driver_jar_path => "/home/logstash-6.5.4/vendor/jar/jdbc/mysql-connector-java-5.1.47-bin.jar"
		driver_class => "com.mysql.jdbc.Driver"
		connection_string => "jdbc:mysql://10.43.212.46:3306/logstash?user=root&password=root"
		statement => [ "INSERT INTO test (name,age) VALUES(?,?)", "name","age"]
	}
}

小贴士:
1.有可能你的输入数据json嵌套好多层，不能直接导入mysql,需要对json进行解析，可以参考
logstash解析嵌套json格式数据
2.对配置文件conf敏感信息进行隐藏加密
logstash 对配置文件conf敏感信息，密码等加密