key too large to index, failing 3346解决

最新推荐文章于 2022-09-09 11:49:10 发布

原创最新推荐文章于 2022-09-09 11:49:10 发布 · 1.4k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

博客记录了一个报错信息，即Spark任务因阶段失败中止，MongoDB写入时出现键太大无法索引的问题。给出的解决办法是在mongo客户端studio 3T上，对指定表执行创建哈希索引的命令，并提供了参考文献。

报错如下：
diagnostics: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 17 in stage 15.0 failed 4 times, most recent failure: Lost task 17.3 in stage 15.0 (TID 27368, ip-10-19-204-241.ec2.internal, executor 10): com.mongodb.MongoWriteException: WiredTigerIndex::insert: key too large to index, failing 3346 { : “{“trackHostHttps”:“http://gateway_budget.iymedia.me”,“macros”:”",“alisaName”:“samsung”,“level”:2,“chargeType”:“nurlimpressions”,“trafficType”:1,“tim…” }
解决办法：
在mongo客户端studio 3T上，
在这里插入图片描述

执行如下命令：
db.yd_app_adx_traffic_data_offline.ensureIndex({“Module”:“hashed”})
ps.yd_app_adx_traffic_data_offline为你的表名称
参考文献：
https://www.cnblogs.com/timelesszhuang/p/6501847.html