CDH大数据平台优化---操作系统优化

最新推荐文章于 2026-03-31 11:41:14 发布
原创 最新推荐文章于 2026-03-31 11:41:14 发布 · 1.1k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
在安装CDH大数据平台前，进行系统层面的优化可以显著提升平台运行效率。本文详细介绍禁用tuned服务、透明大页(Transparent Hugepages)及调整文件系统属性的具体操作步骤。

在安装cdh大数据平台之前，为了得到更高的效率，需要从操作系统层面做一些简单的优化。优化主要有以下几点：

1.Disable the tuned Service

 systemctl stop tuned
 systemctl disable tuned

2.Disabling Transparent Hugepages

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

3. disable noatime  and  nodiratime

CDH参数优化.doc
03-01
CDH参数优化
2024年最新CDH6(1)，【性能优化实战
2301_82244122的博客
05-14 1638
CDH 小版本#CDH大版本CDH_MIN=5CDH_MAX=6。
大数据平台HDP、CDH、CDP的区别
最新发布
qq_37771475的博客
03-31 569
大数据平台HDP、CDH、CDP的区别
企业经验---参数调优---尚硅谷
weixin_52996387的博客
05-21 901
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。XOR-2-1-1024k：使用XOR编码（速度比RS编码快），每2个数据单元，生成1个校验单元，共3个单元，也就是说：这三个单元中，只要有任意的2个单元存在（不管是数据单元还是校验单元，只要总数是2）就可以得到原始数据。RS-10-4-1024k：使用RS编码，每10个数据单元生成4个校验单元，共14个单元，也就是说：这14个单元中，只要有任意的10个单元存在（不管是数据单元还是校验单元，只要总数=10）就可以得到原始数据。
CDH集群的配置优化须知
aet62619251的博客
09-04 1144
通过改善IFile阅读器的性能 IFile Reader，进而可改善随机处理程序并减少储备空间，达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能，请...
CDH详解（史上最全）
weixin_45424111的博客
06-12 1万+
CDH详解，从小白到精通
大数据开发之CDH使用搭建大数据平台
y_wang_的博客
04-09 6373
介绍CDH，并介绍使用其搭建大数据平台的详细步骤
CDH大数据平台入门篇之搭建与部署
予挚之的博客
03-06 5936
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
TDH与CDH简介
热门推荐
不负青春、不负卿
02-01 4万+
TDH：Transwarp Data Hub TDH是国内落地案例最多的一站式hadoop大数据平台，性能比开源hadoop2还快数十倍，通过内存计算、高效索引、执行优化和高度容错等技术，TDH一个平台即能处理10GB到100PB的数据，企业不再需要MPP或混合架构。 CDH：Cloudera Data Hub CDH是由cloudera进行开发的大数据一站式平台管理解决方案,基于Hadoop生态...
spark配置速查
dinl_vin的博客
09-02 1293
配置项五花八门?那就整理一下! * CPU相关 1. spark.cores.max 集群分配给spark的最大CPU数 2. spark.executor.cores Executor内划分的CPU- Core，一般是2~4个比较合适 3.spark.task.cpus 执行每个Task的CPU数量，一般都是1不用动 4. spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数
大数据平台CDH的介绍和5.16/6.3版本的搭建
大宇进阶之路的博客
05-12 1万+
CDH介绍 Hadoop主流三大发行版本： 1. Apache hadoop 官方社区开源版本 2. CDH Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 3. HDP 现在cdh已经将hdp收购。Cdh公司在2...
大数据中的CDH是什么
大连赵哥的博客
08-28 1269
大数据中的CDH是什么
安装CDH平台的服务器磁盘满了，磁盘清理过程记录
小晨同学的博客
03-11 731
网上查到/tmp文件是临时文件，由于hiveserver2任务运行异常导致缓存未删除，正常情况下是会自动删除的。2.我的服务器上显示/tmp/hive/hive文件夹下的，一串字符串命名的文件特别大几乎把磁盘占满了。1.使用hdfs命令查看哪个文件占用最大。
大数据之CDH（web页面部署Hadoop）
leon.yan的博客
09-09 1万+
一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apache 2.0许可协议 官方版本称为社区版Hadoop 1.2 比较流行Hadoop版本 Apache Hadoop 维护人员比较多，更新频率比较快，稳定性相对比较差 Cloudera Hadoop（CDH） C
大数据平台CDH、HDP、CDP的区别
hxsln11的博客
07-24 7403
部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。
大数据平台选型与建设全流程指南
.
02-01 8641
本文系统介绍了企业大数据平台建设的关键要素，从平台选型到可视化方案提供全面指导。在平台选型方面，分析了CDH、HDP、CDP等主流平台的特点及适用场景；调度工具推荐了DolphinScheduler、Airflow等5类方案；数仓架构提出离线、实时和Lambda三种模式；数据采集对比了DataX、Canal等工具；可视化方案介绍了FineBI、Superset等商业和开源工具。针对不同规模企业，给出了从中小型企业到大型政企的完整建设路径建议，强调应根据业务需求和技术能力选择最适合的解决方案。
CDH6.3.2 组件优化
Seeking007的博客
12-16 831
CDH安装之后，很多人不知道怎么取优化CDH集群，这里简单介绍了怎么对CDH中的一些组件服务进行优化，希望对大家能有帮助
CDH优化大全
MDZ_1122333322的博客
07-31 886
写数据时，在场景允许的情况下，最好使用Put List的方式，可以极大的提升写性能。设置参数的路径如下：在CDH Manager页面中，选择“服务管理 > HDFS > 服务配置”，将“参数类别”设置为“全部配置”，并在搜索框中输入参数名称。在CDH Manager系统中，选择“服务管理 > HDFS > 服务配置”，“参数类别”类型设置为“全部配置”。在CDH Manager页面中，选择“服务管理 > HDFS > 服务配置”，将“参数类别”设置为“全部配置”，并在搜索框中输入参数名称。
CDH 的介绍、安装与使用详解：一篇文章搞定大数据集群部署
m0_51350088的博客
06-24 1919
是由Cloudera公司提供的一个集成了Apache Hadoop以及相关生态系统的发行版本。CDH是一个功能强大的大数据平台，简化和加速了大数据处理分析的部署和管理。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值