我的日常一错----使用logstash将mysql数据库同步到es报错

最新推荐文章于 2023-09-16 14:45:50 发布
原创 最新推荐文章于 2023-09-16 14:45:50 发布 · 860 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#es #mysql #同步
本文记录了在MySQL数据同步至Elasticsearch过程中遇到的invalidbytesequenceinUS-ASCII(ArgumentError)错误及其解决方法。问题源于Logstash配置文件路径包含中文字符，更改路径为全英文后，同步成功。

数据库同步es报错(ArgumentError) invalid byte sequence in US-ASCII

今天在做mysql同步到es的时候出现了一个戏剧性的错误，配置文件，mysql版本万无一失，可还是同步失败，报错信息如下：
invalid byte sequence in US-ASCII (ArgumentError)
后面经过一番折腾，发现是我 logstash 文件存放的地址含有中文，随即我把路径改成了全英文。至此，问题迎刃而解！
在将logstash路径改为英文以后，再次执行 logstash -f ./mysql_info.conf，就成功同步了
以上就是我对这个问题的个人解决方案，欢迎各位大佬补充和指点！

记录下 invalid byte sequence in US-ASCII (ArgumentError) 解决办法
f1024042400的专栏
03-01 5641
原因是字符集不正确，在脚本执行前先执行这2句：export LC_ALL=en_US.UTF-8 export LANG=en_US.UTF-8
LogStash启动过程中出错
不知道你是通过何种途径访问到这里，总之欢迎来到red velet的博客
03-12 2386
logstash启动过程中中出错：java.lang.IllegalStateException: Logstash stopped processing because of an error: (ArgumentError) invalid byte sequence in US-ASCII
invalid byte sequence in US-ASCII (ArgumentError)
feigeswjtu的专栏
04-28 4528
最近想在在工作之余,单独搭建一个rails+bootstrap的项目,并发布,后续会陆续更新遇到的问题.   今天遇到一个错误,是在执行rake db:migrate的时候遇到的,错误内容是:invalid byte sequence in US-ASCII (ArgumentError),截图如下: 感觉应该是编码的问题,就在migrate文件头部加上了#encoding: utf-
Logstash - java.lang.IllegalStateException:....sequence in US-ASCII
new Girl的博客
04-28 4612
Logstash 启动报错 [main] Logstash - java.lang.IllegalStateException: Logstash stopped processing because of an error: (ArgumentError) invalid byte sequence in US-ASCII 原因是 文件路径上有中文， 把中文文件夹名字改英文就好了 ...
logstash 中报错 ArgumentError invalid byte sequence in UTF-8
浪里渔夫
12-19 2180
logstash 中报错 ArgumentError invalid byte sequence in UTF-8
部署服务的时候报错 ArgumentError: invalid byte sequence in US-ASCII
weixin_34122548的博客
08-13 329
== 测试服务器是： test132 == 正式服务器是： 133, 134 == which server do you want to deploy to? (test132/133/134/83)? 134 == password for 10.xxx.xx.134 is: triggering start callbacks for `deploy' ...
安装logstash7.3.2遇到的坑及解决方案
热门推荐
小蜜蜂1010的博客
10-02 2万+
一、安装logstash 1.1安装logstash7.3.2版本 国庆节的前几天下载了elasticsearch和kibana，当时elastic stack系列最新版本还是7.3.2，当时只下载了elasticsearch和kibana的最新版7.3.2练习，今天，项目中需要用到logstash收集数据信息，进入官网，发现就在今天10月2日，官网发布了新版本7.4版本，我们知道...
logstash使用时遇见的报错
fighting
10-29 1925
1.logstash将文件数据传输到es主机时遇见报错 因为传输中不小心关掉终端 这个报错意思是说我之前已经启动了一个logstash实例了，使用的是nohup方式以后台启动的，虽然没有启动成功，但是却占用进程不放，因此我们找出来把他kill掉即可。 2.java.lang.OutOfMemoryError: Java heap space 问题的解决方法 内存溢出java.lang.OutOfMemoryErrory后面一般会跟上内存溢出的区域westoswestosPermGen space（方法
Logstash学习14_Logstash中文乱码问题
wang_zhenwei的博客
04-19 1万+
使用Logstash读取日志的时候，常常会遇到中文乱码问题。不同文件字符集的对应logstash配置文件中的字符集。此处以linux系统下环境为例。 工具/原料 Vi编辑器 Linux基本命令 方法/步骤    如果要用logstash去读取某日志，首先查看该文件的字符编码。
Invalid Byte Sequence in US-ASCII (Argument Error) 问题修复
技术小黑屋
05-04 1859
在使用Octopress（rake命令时报错）invalid byte sequence in US-ASCII (Argument Error) when I run rake 修复方法 终端执行 1 export RUBYOPT="-KU -E utf-8:utf-8" 或者将上面的代码内容放到.bashrc中。 ...
【FAQ】Jenkins上，xcpretty编译报错：invalid byte sequence in US-ASCII (ArgumentError)
Christine Blog
01-18 1万+
在使用xcodebuild和xcpretty编译的时候，报错： /Library/Ruby/Gems/2.0.0/gems/xcpretty-0.2.2/lib/xcpretty/parser.rb:383:in `===': invalid byte sequence in US-ASCII (ArgumentError) 打印编码格式才发现问题出处： $ locale
sql报错，明明写得都对却一直报错
java_Trainees的博客
10-23 1298
报错如上，明明写得都对，还是报错，原因是：我们的属性名起的不对，比如我的show属性在sql中show代表一个关键字，改名就好了。
踩坑日记：Logstash同步数据库有type字段导致同步失败
qq_28834355的博客
09-27 2034
通常情况下，我们都会在Logstash为pipeline指定type，用来区分不同管道的同步处理。举个配置的例子： input { stdin { } jdbc { type => "petition" jdbc_driver_library => "/usr/share/logstash/ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" jdbc_conn
在linux服务器上使用Logstash将MySQL数据库数据同步到elasticsearch出现错误
what_FFFF的博客
09-16 437
Linux下有个内核参数overcommit_memory，是内存分配策略，程序在启动的时候会先去申请内存，尽管不一定都会用的到那么多。overcommit_memory此参数决定是否接受超大内存请求的条件。
【ES】Elastricsearch + LogStash + Kibana收集日志
心生的小鱼专栏
08-27 2638
为什么要用ELK？ ELK实际上是三个工具，Elastricsearch + LogStash + Kibana。一般情况下我们可以把日志保存在日志文件当中，也可以把日志存入数据库当中。但随着业务量的增加，日志数据量也会不断增加。我们通过ELK可以更好的收集、管理、分析日志。 收集过程架构图 1、ElasticSearch Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。它能很方便的使大量数据具有搜索、分析
使用Logstash将数据从MySQL同步至Elasticsearch（有坑）
秃了也弱了
08-16 1232
logstash就是一个具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；在容器里面的/usr/share/logstash/路径下的隐藏文件.logstash_jdbc_last_run中记录了全量同步的UTC时间。这样就导致我们自己定义的映射无法使用，而有数据的是es自动生成的那个小写。logstash_jdbc_last_run默认是没有的，执行增量后创建。全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。数据库插入一条数据之后，会自动同步至es。
logstash 采集到mysql的数据但无法同步到es的问题
一勺菠萝丶的博客
04-11 2376
问题描述 logstash 终端显示采集到mysql的数据,但es中并没有插入数据 问题原因 我的json映射文件中id不是主键而是document_id, 但我logstash中的select语句中却查了id json文件: mysql.conf中的select 解决办法: 去掉id, 查询其它的, 问题解决(具体原因还不明, 以后知道了再更新) ...
【已解决】Logstash安装失败提示 (TypeError) no implicit conversion from nil to integer
老陈聊架构
06-10 2359
[main] Logstash - java.lang.IllegalStateException: Logstash stopped processing because of an error: (TypeError) no implicit conversion from nil to integer 原因是Logstash安装路径不能含有中文，大家注意排查一下看看是否在中文目录下 ...
ArgumentError：invalid byte sequence in UTF-8 错误原因及分析
MichaelAn的博客
07-15 1万+
在使用coala软件进行sass或者less进行编译，发生上面的报错 ArgumentError：invalid byte sequence in UTF-8：直接翻译的结果是，在UTF-8中无效字节序列。什么是无效字节序列呢？可能是部分文件（需要编译的文件）路径中存在中文。 解决方法：将文件路径全部设置为英文。 PS：为了开发的规范性和统一性，避免部分软件报错，需要将文件名和文件夹名全...
logstash同步mysql数据失败
weixin_34226182的博客
03-20 772
问题描述 前提： 项目采用Elasticsearch提供搜索服务，Mysql提供存储服务，通过Logstash将Mysql中数据同步到Elasticsearch。 问题： 使用logstash-jdbc-input插件同步Mysql中的两张表时，一张表的数据完整的存到了ES中，而另一张表没有任何数据插入 原因分析 1、查询语句错误，将语句放入命令行中查询，查询成功，排除 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值