Hadoop环境搭配（伪分布）

最新推荐文章于 2026-06-23 19:05:09 发布
原创 最新推荐文章于 2026-06-23 19:05:09 发布 · 1.2k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hadoop #hdfs
本文档指导在Hadoop 3.1.3环境下进行环境配置，涉及core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml四个关键配置文件的修改。接着介绍如何首次格式化namenode，以及启动namenode、datanode、resourcemanager和nodemanager等服务。通过jps检查启动状态，并提供了解决启动失败的方法。

1.我们接下来在hadoop下面etc部署环境配置

命令：cd /opt/module/hadoop-3.1.3/etc/hadoop/

cd /opt/module/hadoop-3.1.3/etc/hadoop/

可以用ll查看一下将要配置的文件

2.开始配这四个文件

①配置core-site.xml

 命令：vi core-site.xml

vi core-site.xml

把configuration里的内容改正下面这样

②配置hafs-site.xml

命令：vi hafs-site.xml

vi hafs-site.xml

 把configuration里的内容改正下面这样

③配置yarn-sixe.xml

命令：vi yarn-sixe.xml

vi yarn-sixe.xml

 把configuration里的内容改正下面这样

 ④配置mapred-site.xml

命令：vi mapren-site.xml

vi mapren-site.xml

 把configuration里的内容改正下面这样

 3.启动

①第一次格式化namenode

格式化命令：

hdfs namenode -format

 启动namenode

命令：

hdfs --daemon start namenode

 启动datanode

命令：

hdfs --daemon start datanode

 启动resourcemanager

命令：

hdfs --daemon start resourcemanager

启动nodemanager

命令：

hdfs --daemon start nodemanager

 jps查看是否启动成功

如果那个没启动起来可能上面配置出错了

4.杀掉进程

 命令：kill+进程号

xcfku
关注
hadoop伪分布模式搭建(详细步骤）
热门推荐
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
hadoop配置文件core-site.xml
cts618
08-13 2198
hadoop配置文件core-site.xml
hadoop伪分布式环境搭配
silence3710的博客
04-05 195
hadoop伪分布式环境搭配 0.前置操作（获得管理员权利） 1）切换到管理员用户 $ su 2）打开文件/etc/sudoers # vim /etc/sudoers 3）复制 root ALL=(ALL) ALL 4）在其下一行添加host ALL=(ALL) ALLhost是你的用户名 5）保存退出 6）在使用特权命令时命令前加上sudo 1.网络环境配置 先配置网络联通 命令输入sudo...
Unbuntu下Hadoop伪分布式环境搭配
WRM的博客
04-21 1004
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。H
ubuntu虚拟机中hadoop伪分布式环境搭配
d__yz的博客
03-20 532
我在编写过程中废话有点多 = =，不要介意 一、需要资源 Vmware WorkStation ubuntu hadoop jdk 二、我默认以上都存在了 hadoop和jdk可在官网上下载（访问官网一致都有点慢） 2.hadoop官网： https://hadoop.apache.org/releases.html 3.jdk官网：https://www.oracle.com/java/tec...
Hadoop伪分布式环境搭建
a639735331的博客
05-11 459
一、所需软件 VMware +SUSE Linux10(32/64) +hadoop2.6.5(64) +ssh+jdk1.6.45 二、安装步棸 虚拟机的安装本文省略    1.首先通过ssh连接虚拟机安装JDK  并配置环境变量   exportJAVA_HOME=/usr/java/jdk1.6.0_45 exportPATH=$PATH:$JAVA_HOME/bin ex
SciChart-WPF导出图片遇到VerticalSliceModifier索引越界怎么办?
励志做最业余的专业博主，控件产品可以私我~
06-23 374
SciChart WPF 图表在正常显示时运行稳定，却可能在导出图片时出现索引越界、重复 Annotation 或事件状态异常。问题通常不只是一行导出代码，而是运行时交互状态进入了图表克隆流程。本文从生命周期和状态所有权出发，重新设计自定义 `VerticalSliceModifier`：将业务状态移出 Modifier、保证附加逻辑幂等、隔离临时交互状态，并用重复导出测试验证稳定性。
【大数据处理与分析】Hadoop再探讨：01 Hadoop的优化
Morse_Chen的博客
06-17 265
Hadoop 1.0存在抽象层次低、迭代效率差、实时性弱等问题。Hadoop 2.0通过HDFS HA/联邦和YARN框架改进核心组件，同时Pig、Oozie、Tez、Kafka等生态组件分别解决了编码繁琐、依赖管理、重复操作和数据交换等短板，使Hadoop成为完善的大数据平台。
hadoop杂记
Zhang_ing的博客
06-22 206
Flume 写入 HDFS 时，通过将 hdfs.rollInterval 设为 3600 秒、hdfs.rollSize 设为 128MB、hdfs.rollCount 设为 0，使文件在达到 128MB 或写入满 1 小时时才滚动，从而有效减少 HDFS 小文件数量，保护 NameNode 内存并提升计算性能。完整流程：日志文件是实时滚动写入的，Flume 的 TaildirSource 会实时监控这些日志文件，读取新增的日志行，经过拦截器的处理后通过KafkaChannel 写入 Kafka。
大数据内存计算引擎Spark万字入门｜从Hadoop痛点到Spark核心原理全梳理
2301_79652681的博客
06-21 368
本文系统介绍了大数据内存计算引擎Spark的核心原理与技术架构。首先从Hadoop生态的痛点切入，分析了MapReduce因磁盘IO导致的性能瓶颈，引出Spark诞生的背景。随后详细解析了Spark的四大特点（快速、易用、通用、兼容）、五大核心组件（Core、SQL、Streaming、MLlib、GraphX）以及四种运行模式（Local、Standalone、YARN、K8s）。文章重点阐述了Spark底层RDD的三大特性（不可变、分区、并行计算）和集群架构中的四大角色（Driver、Master、Wo
Hadoop学习教程，从入门到精通，Sqoop数据迁移 — 完整知识点与案例代码(10）
qq_45746668的博客
06-17 338
Apache Sqoop是一款用于在Hadoop生态（HDFS/Hive/HBase）与关系型数据库（MySQL/Oracle等）间批量迁移数据的工具。核心功能包括数据导入（RDBMS→Hadoop）和导出（Hadoop→RDBMS），基于MapReduce实现并行传输。安装需配置环境变量、JDBC驱动及Hadoop组件路径。常用命令：list-databases（查看数据库）、import（导入）、export（导出）等，支持通过--num-mappers控制并行度，--split-by指定分片列。
Dockerfile 一键构建 Hadoop 镜像
全网同名，欢迎关注。
06-17 413
读完这篇，你会用 Dockerfile + 外部配置文件的方式，从零构建一个 Hadoop 3.3.6 镜像。所有 XML 和启动脚本都放在宿主机目录里，修改方便，排错清晰。
Hadoop学习教程，从入门到精通，Apache Flink 全面知识点详解(15）
qq_45746668的博客
06-22 208
Apache Flink 是一个分布式流处理框架，支持有状态计算和无界/有界数据流处理。核心特点包括分布式执行、毫秒级低延迟、高吞吐量、Exactly-Once 语义保证，以及支持事件时间、处理时间和摄入时间三种时间语义。
Hadoop 3.3.6 开发实战：从 JDK 版本到集群启动的常见坑与解决方案
2402_87868480的博客
06-21 613
本文总结了在Windows+Linux混合环境下使用Hadoop 3.3.6开发时遇到的常见问题及解决方案。主要问题包括：JDK版本不兼容（推荐使用JDK8/11）、服务启动/停止权限问题、集群节点通信失败、DataNode异常掉线等。文章提供了详细的排查步骤和解决方法，如配置环境变量、设置SSH免密登录、检查主机名解析、调整副本数等。同时针对开发环境中的路径解析、IDEA插件兼容性等问题给出了实用建议。最后强调JDK版本一致性、日志分析和配置细节检查的重要性，帮助开发者快速定位和解决Hadoop部署问题。
CentOS 7 安装单机 Hadoop HDFS 为什么总出问题
寒水馨 · 轻量级技术文档 · hanshuixin.org
06-21 237
CentOS 7 安装单机 Hadoop（HDFS）看似简单，实际涉及 JDK 兼容性、环境变量、SSH 通信、HDFS 初始化等多个隐藏坑点。本文从原理、选择困境和真实踩坑角度分析 Hadoop 部署过程中最容易忽略的问题。
Hadoop学习教程，从入门到精通， Spark 完整知识点详解(14）
qq_45746668的博客
06-21 264
Apache Spark是一个快速、通用的大数据分析引擎，核心特点包括内存计算(比MapReduce快10-100倍)、多语言支持和一站式解决方案(SQL/流处理/机器学习/图计算)。Spark架构包含Driver程序(主控节点)、Cluster Manager(资源调度)和Worker节点(执行器Executor)。与MapReduce相比，Spark通过内存计算和DAG优化显著提升性能。
Hadoop学习教程，从入门到精通， Scala语言 — 完整知识点详解(13）
qq_45746668的博客
06-20 334
Scala是一门多范式编程语言，结合了面向对象和函数式编程特性。它运行在JVM上，与Java完全兼容，具有静态类型系统和强大的类型推断能力。 安装Scala需先安装JDK8+，Windows下通过.msi安装并配置环境变量，CentOS下可使用RPM或压缩包安装。验证安装使用scala -version命令。
Hadoop 生态链技术演进与组件依赖关系（Web UI：本质上是“服务进程自带的管理面板”），Dataworks 一站式开发平台 VS 华为云“全家桶”
最新发布
Irene1991的博客
06-23 316
Hadoop生态链技术演进与组件依赖关系
620:.csproj问题：SDK 自动包含、手动 Include、修改后配置；封装类型，概念问题；gitee仓库新建,合并模式vs变基模式
czhc1140075663的博客
06-20 263
怎么理解 SDK 自动包含了Resources.resx + Resources.Designer.cs，这里又手动 Include → 重复；先 Remove 掉自动包含的，再手动带 Generator 配置 Include 回来 → 不重复好问题！用生活类比来理解：类比：公司门禁卡想象你的项目是一个办公楼，.csproj 就是门禁规则。旧式 .csproj（你原来的）所以手动 Include 不会重复，因为根本没人自动进来。SDK 风格 .csproj（迁移后）
【入门】Hadoop 生态圈技术栈入门：9 大组件全解析
程序星空实验室
06-21 309
Hadoop 生态圈不是单一软件，而是一套分布式数据处理工具集，围绕 HDFS（分布式文件系统）和 YARN（资源调度器）两大基石，衍生出采集、传输、计算、存储、查询等一系列组件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值