使用logstash-jdbc-input插件实现mongodb数据实时同步到elasticsearch

最新推荐文章于 2026-08-20 10:51:17 发布

原创

最新推荐文章于 2026-08-20 10:51:17 发布 · 3.5k 阅读

收录于

当前文章被以下社区和专栏收录：

一、实验介绍

logstash-jdbc-input 是Logstash提供的官方插件之一，该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用logstash-jdbc-input 插件从数据库中导出数据到es上，大部分是关于mysql数据库的导入。本篇文章是关于如何使用logstash-jdbc-input 插件对mongodb的数据进行实时导入。

二、版本说明

本实验使用的ELK版本是7.6.2。
（这里想要补充一下，关于mongodb数据库的数据导入，另外一种常使用的插件是mongo-connector，但该插件仅支持到elasticsearch5.x，因此对于更高版本的elasticsearch更推荐使用本篇文章使用的方法。）

三、具体实现

1. 下载相关的jdbc-driver文件并解压

下载地址： https://dbschema.com/jdbc-drivers/MongoDbJdbcDriver.zip
解压安装包： unzip MongoDbJdbcDriver.zip
(安装包里面包括三个jar包文件：gson-2.8.6.jar、mongo-java-driver-3.12.4.jar、mongojdbc2.1.jar)
将所有文件（即三个jar包）复制到(~/logstash-7.6.2/logsta

标签

#elasticsearch #mongodb

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

FannieCream

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
9
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

W5500以太网模块官方驱动移植

weixin_42621095的博客

08-02

4006

W5500驱动移植

9 条评论您还未登录，请先登录后发表或查看评论

【信息科学与工程学】计算机科学与自动化——第三百零四篇高性能系统开发指南01

weixin_49199313的博客

07-24

209

高并发：限流、熔断、降级高性能：红包拆分、多级缓存、大Key/热Key拆分、Pipeline、线程池、RocketMQ零丢失、幂等、分布式锁、集群缩容、分批入库海量数据处理：日志分表分片、跨表查询、冷热分层、大数据引擎服务器选型系统安全：网关安全、服务器安全、云存储安全、风控、监控、测试数据一致性：缓存与数据库一致性、大厂方案、蓝绿回滚、流量一致性、流程一致性项目与团队管理：流程问题、管理问题（风险、成本、人员、文档、培训）稳定性建设：上线三板斧、线上五步闭环、混沌工程、容量规划。

sqlite sql 异常 near “with“: syntax error

jiangshanwe

06-30

1160

sqlite sql异常 near "with": syntax error

98DX3236内核编译过程小结

snaking616

10-11

1780

0.条件（1）Marvell技术支持提供的压缩文件：GNU EABI：arm-mv5sft-linux-gnueabi_SW3.2.tar.bz2.tar.bz2armebv7-marvell-linux-gnueabi-softfp_i686_201201.tar.bz2CPSS代码：Cpss-PP-DxCh-4.2_012.zipLinux内核文件：lsp-4.2_012.zipLSP-Uni...

Elastic实战：通过logstash-input-jdbc实现mysql8.0全量/增量同步至ES7.x

55555的博客

01-14

4867

0. 引言上一期我们讲解了如何通过canal实现增量/全量同步，但因为canal本身基于binlog。所以在binlog开启之前的历史数据是不会同步的。因此要实现真正的全量同步，还需要针对binlog开启之前的历史数据进行全量同步。而实现这种全量同步的常用方案有： 1、业务代码实现 2、logstash-input-jdbc实现 3、其他同步组件实现，如datax 本期我们就来讲讲如何通过logstash来同步mysql数据到es 1. 环境 mysql 8.0 ES 7.13.0 kibana 7.

mongodb同步到es配置文件（logstash-jdbc-input）

王花花程序猿进化论

08-09

997

input { jdbc { jdbc_driver_class => "com.dbschema.MongoJdbcDriver" # jar包的目录 jdbc_driver_library => "../lib/jar/mongojdbc3.1.jar" # mongo数据库对应的uri jdbc_connection_string => "jdbc:mongodb://127.0.0.1:27017/aptshd" # 这个不填 ...

Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

aifeier1982的博客

08-25

500

今天在使用Logstash的jdbc_input插件同步Mysql数据时，本来应该能搜索出10条数据，结果在Elasticsearch中只看到了4条，终端中只给出了如下信息 [2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”> 看不出...

Logstash详解之——input模块

weixin_34256074的博客

07-31

1481

Logstash由三个组件构造成，分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为：input收集数据，filter处理数据，output输出数据。至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生以及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。我们今天先讨论input组件的功能和基本插件。...

windowsDocker下用Logstash的logstash-input-jdbc插件实现mongodb与elasticsearch的同步

grgrgrr的博客

07-27

506

1.docker环境下下载logstash： docker pull logstash:7.5.2 （logstash版本要和elasticsearch和kibana版本一致） 2.下载logstash-input-jdbc插件。拉取：先进入logstash的docker容器，在logstash容器中进行 /usr/share/logstash/bin/logstash-plugin install logstash-input-jdbc 3.编写配置文件：在容器中进入/...

mysql数据同步elasticsearch-lagstash

SuperChen12356的博客

05-10

558

1.安装elasticsearch-head插件第一种：谷歌浏览器中，通过“扩展程序”添加 elasticsearch head,这个方式无需开启es的跨域访问链接：谷歌双核浏览器 http://extb.cqttech.com/search/elasticsearch%2520head 第二种是插件安装，在这里就不详细介绍了。下载logstash 官网下载：https://www.elastic.co/cn/downloads/logstash 通过CRT工作，放到usr/local/新建一个

Logstash核心配置详解: 面对繁杂的Logstash配置，这份文档一定能让您少走弯路

AI天才研究院

09-19

8077

本文将详细解读并逐步配置Logstash核心组件，从而保障日志数据采集、清洗、加工、分析的完整链路。由于业务需求的不断变化和复杂性的增加，日志采集、清洗、处理成为企业运维效率中最耗时的环节之一。很多企业为了解决这个痛点，都选择了开源日志收集工具如Elastic Stack，其灵活高效的架构可以满足各个公司不同场景下的日志采集、存储、查询需求。在配置Logstash时，要注意它的核心组件配置，其中的pipeline模块非常重要，其次还有input、filter、output三部分构成。

ELK 9.2.0 安装部署手册

12年Java研发经验，从码农到架构师/项目经理。专注技术分享，热爱Linux与开源生态，2023年起扎根长沙。

11-13

1190

本文档详细介绍了ELK 9.2.0在CentOS 7.9系统上的安装部署流程，主要包括环境准备、系统优化、组件安装和集成配置等内容。首先对系统参数进行了优化调整，包括资源限制、内核参数和防火墙配置。然后分步骤安装Elasticsearch、Kibana和Logstash三大组件，重点说明了Elasticsearch的SSL证书签发、安全配置和账户密码管理。文档提供了详细的配置示例和命令说明，并特别指出由于CentOS 7.9的GLIBC版本限制需要禁用机器学习模块。最后给出了验证安装的方法和后续项目集成指南

在CentOS中使用Docker安装Java开发环境

qq_41583556的博客

09-01

2800

文章摘要：本文详细介绍了在CentOS系统上使用Docker安装常用中间件的完整流程。首先更换腾讯云YUM源以提高下载速度，然后依次安装配置Docker、MySQL 8.0、Redis、Nginx、RabbitMQ、Elasticsearch 7.17.5和Logstash。每个服务都包含详细的挂载目录创建、容器启动命令以及必要的配置步骤，如MySQL密码设置、Redis密码配置、Nginx静态文件挂载、RabbitMQ管理插件启用、Elasticsearch中文分词器安装等。所有安装均采用Docker容器

技术文章系列整理（持续更新）

最新发布

weixin_30325971的博客

08-20

301

企业级应用开发中，前后端分离架构已成为主流技术选型，其中SpringBoot作为Java生态的微服务框架，与Vue.js前端框架的组合能够显著提升开发效率。这种架构模式通过RESTful API实现前后端解耦，结合JWT认证确保系统安全性，特别适合人力资源管理系统等复杂业务场景。以招聘系统为例，采用SpringBoot 2.7后端与Vue 3前端的组合，配合MyBatis-Plus和MySQL 8.0数据库，可高效处理简历筛选、面试安排等核心业务流程。系统设计中运用策略模式实现招聘流程的动态扩展，通过虚拟滚

[Logstash-input-jdbc] 使用详解

weixin_34327223的博客

05-05

555

2019独角兽企业重金招聘Python工程师标准>>> ...

Logstash使用jdbc同步MySQL中的数据

weixin_33743248的博客

02-26

452

[2018-02-26T20:50:05,305][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::OutOfMemoryError: Java heap space>} ...

elastic安装问题

qq_33471278的博客

11-09

548

1 将postgres中的数据同步到elasticsearch中报错 [2020-11-09T14:36:00,843][WARN ][logstash.inputs.jdbc ][main][3b5759545895c327fb1016d53ace1f3a3c6395d573a7ce0c7b3a898c94474587] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::Or..

Error querying database. Cause: java.sql.SQLException: Unexpected exception encountered during query

qq_36923648的博客

02-18

1万+

org.apache.ibatis.exceptions.PersistenceException: Error querying database. Cause: java.sql.SQLException: Unexpected exception encountered during query. The error may exist in com/imooc/config/sqlxml...

windows下logstash-output-mongodb实现Mysql到Mongodb数据同步

renhe96421的博客

05-19

833

一、前提 1）已经安装好源数据库：Mysql; 2）已经安装好目的数据库：Mongodb; 3）已经安装好logstash及相关插件logstash-output-mongodb 3.1. logstash 安装，下载最新版本的logstash:点击打开链接 3.2 查看当前logstash安装了哪些插件: 进入logstash的bin目录执行 logstash-plugin list 默认的logstash不安装 logstash_output_m...

logstash 同步mongo 数据到 mysql

枫林客

03-12

1136

以前使用过mongo-connector 同步mongo 数据到es，但无法同步到mysql。一、软件版本 mysql：5.7 mongo：3.2 logstash：5.4.0 （同ES版本）二、相关依赖输入插件: logstash-jdbc-input 是Logstash提供的官方插件之一，该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用logstash-jdbc-input 插件从数据库中导出数据到es上，大部分是关于mysql数据库的导入下载地址：h.

IE11离线安装包（亲测可用）

亲测可用版本的IE11离线安装包，无需安装其他补丁，解压后一键安装。