cdh安装kafka 重装问题

最新推荐文章于 2022-11-09 17:35:01 发布
原创 最新推荐文章于 2022-11-09 17:35:01 发布 · 1.8k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#kafka
本文详细介绍了在CDH界面删除Kafka数据的具体步骤，指出仅通过界面操作无法完全清除数据，需手动清理Kafka集群节点的数据目录及Zookeeper中对应的主题记录。

cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉

CDH卸载kafka重新安装出现的问题
01-08
一个不爽就把kafka暴力删除了，但是因为没有删除干净，导致在CDH内重新安装的时候出现错误，记录一下，估计很少有人遇到 卸载重新安装kafka出现分配失败，缺少json文件的错误，重启电脑，切换cloudera-scm用户，执行删除命令rm -rf KAFKA-3.1.0-1.3.1.0.p0.35，每个节点都执行一次， 然后发现报的错误在一个一个小时，然后可以重新激活 另外： 如果一直处于激活状态无法回退，可以通过CDH的restful命令去回退 http://${cloudera-managerIP}/api/v16/clusters/{clusterName}/parcels /pro
CDH中重装kafka——清空之前产生的数据（data文件数据与Zookeeper中的数据）
01-20
如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。 一、删除Kafka产生的data 重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除  /var/local/kafka/data   下的数据文件，可以看这个路径下的文件： 二、删除 Kafka 在 Zookeeper 中产生的主题数据 首先先连接 Zookeeper： zookeeper-client 然后因为我们CDH中配置 ZooKeeper Root 时候填写过 “/” 与下图的 “/kafja” 两个路径，所以需要分别对应删除掉 zookeepe
CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题...
weixin_34007906的博客
01-16 571
cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉 转载于:https://www.cnblogs.com/RzCong/p/10276256.html...
Kafka topic删除后，提示为- marked for deletion
weixin_38846022的博客
10-25 8466
查看topic信息 ./kafka-topics.sh --list --zookeeper 192.169.2.103:2181 topic后面为marked for deletion，则表示topic没有真正被删除 首先查看kafka配置文件有没有添加 delete.topic.enable=true 没有的话，加上，重启kafka再次查看topic列表是否有删除 如果topic还是为m...
Kafka彻底删除topic
愤怒的小兵
06-10 3741
kafka默认仅做删除标记，并没有真实删除，若要真实删除topic 方法一：修改配置文件server.properties并进行重启 server.properties添加：delete.topic.enable=true，然后重启 删除测试 # 创建topic > ./bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2180 --replication-factor 1 --partitions 1 --topic test Created
CDH6 kafka如何彻底删除topic及数据
80工龄程序员
06-30 905
标题CDH6 kafka如何彻底删除topic及数据 删除kafka topic及其数据，发现都会偶然出现无法彻底删除kafka的情况。本人亲测并总结了以下流程。 第一步： 设置 auto.create.topics.enable = false，默认设置为true。如果设置为true，则produce或者fetch不存在的topic也会自动创建这个topi。同时需要认真把生产和消费程序彻底全部停止。 第二步： 在CDH界面，找到kafka的配置，或者server.properties设置delete.to
CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结
Without_1113的博客
12-28 1422
进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续，运行完成后安装成功（如果是首次安装） 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们
在centos7离线安装CDH5.15
Michael Wing's workspace
05-17 555
一、配置hostname和hosts 1. 三台机器分别设置hostname为（需要重启ECS）： master.bd.cn slave1.bd.cn slave2.bd.cn 2. 然后三台的/etc/hosts统一配置如下映射： <master.bd.cn的内网IP>master.bd.cn <slave1.bd.cn的内网IP>slave1.bd.cn &...
CentOS7安装CDH（九）：CDH中安装Kafka
yang_shibiao的博客
10-21 1307
目录 0. 相关文章链接 1.CDH官网Kafka的安装教程网址 2.下载对应的Kafka版本 3.安装Kafka服务 4.将Kafka服务添加到CDH中 0. 相关文章链接 CentOS7安装CDH（一）：CentOS7系统安装 CentOS7安装CDH（二）：CentOS7各个软件安装和启动 CentOS7安装CDH（三）：CDH中的问题和解决方法 CentOS7安...
cdh删除kafka topic
liuwei0376的专栏
05-14 1009
在删除kafka topic时，有时候会发现无法彻底删除的情况，这里以cdh这个版本的 kafka 作为实验版本。 环境说明： 环境 & 软件 版本 LinuxOS CentOS 7 CDH cdh5.16.2 kafka 0.11.0 ， 基于ClouderaManager 以 parcel方式安装 核心配置： 1、topic自动删除开关置为true delete.topic.enable=true 也可以在这里配置： 2、自动创建topic设置为false aut
Kafka如何彻底删除topic及数据
热门推荐
chenxi5404的专栏
07-06 1万+
我的kafka是CDH安装的默认目录 /opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4 1、停止生产和消费程序。否则topic的offset信息会一直在broker更新。调用kafka delete命令则无法删除该topic。取消自动闯将topic，设置 auto.create.topics.enable = false。 2、server.properties 设置 delete.topic.enable=true，否则调用kafka 的delete命令无.
kafka集群部署及仍然存在的问题
luohandsome的专栏
09-15 4147
一、kafka使用心得： 1.实际上chroot是在kafka/config/server.properties中设置。 2.在kafka进程启动之前，要先在zookeeper上创建好chroot对应的目录 3.kafk进程启动后，会在chroot下面创建以下的目录 consumers : 用来记录消费者的信息，下面的目录是对应consumer指定的group.id config : 用
kafka安装及删除Topic
小强签名设计 的博客
08-04 4057
安装Kafka： 我们使用3台机器搭建Kafka集群： 192.168.4.142 h40 192.168.4.143 h41 192.168.4.144 h42 kafka_2.10-0.8.2.0下载地址：http://mirror.bit.edu.cn/apache/kafka/0.8.2.0/kafka_2.10-0.8.2.0.tgz 我安装的这个版本
CDH6.2.1安装Kafka出现的问题
SunnyRivers
12-12 1817
前言 之前用的CDH 5.6.X版本，默认是没有Kafka的，刚刚搭建了一个新的集群，用的CDH6.2.1，自带了kafka不需要我们下载parcels包 根据以往在CDH安装组件的经验，应该是非常easy的，没想到… 问题一 这里我选择了五台Broker，其他的不需要填写，在启动的时候报错： 在网上搜了一圈，大概说是因为集群中broker默认都为0！！！我们必须得手动改为唯一的。 于是我把...
CDH5.15.1常见问题及解决
稍扰电话的博客
07-29 724
问题1：之前CDH集群安装过kafka，版本问题需要重新安装，导致现在的brokerid和之前的不一致。 Fatal error during KafkaServer startup. Prepare to shutdown kafka.common.InconsistentBrokerIdException: Configured broker.id 477 doesn't match stored broker.id 472 in meta.properties. If you moved your
CDH安装kafka组件启动失败
weixin_43171988的博客
11-09 980
Configured broker.id 465 doesn't match stored broker.id 274 in meta.properties
卸载并且重装Kafka
qq_42009405的博客
03-10 6543
卸载Kafka 连接Zookeeper客户端 sh zkCli.sh -server 127.0.0.1:2181 删除Kafka在ZK上的节点，如图所示，有consumers，admin，config，controller，brokers，controller_epoch等节点 rmr /path 安装Kafka 去官网下载对应版本的压缩包 https://kafka.apache.org/downloads 解压缩对应文件 tar -zxvf kafka_2.12-2.6.0.tg
CDH 完全卸载脚本
justlpf的专栏
02-07 1084
参考文章：CDH 完全卸载脚本 CDH集群的安装部署对系统环境的影响非常大，在不重装操作系统的前提下，完全卸载干净是比较困难的。 难点在于需要删除的东西太多，不删干净了非常容易造成安装失败。通过反复尝试，终于写了一个一键式删除CDH脚本，经过测试是可行的。 删除脚本文件remove_cloudera.sh内容如下： #!/bin/bash # 停止CM服务 service cloudera-scm-server stop service cloudera-scm-agent stop #
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值