hadoop学习笔记

原创 已于 2024-09-14 11:01:12 修改 · 1.3k 阅读 · 19
标签
#hadoop #大数据 #分布式
于 2024-07-26 17:20:59 首次发布

https://hadoop.apache.org/
2888、3888、2181、8020、50070、8088、8485、60010、69020

1、环境配置

  • ip(/etc/sysconfig/network-scripts)
# 网卡1
DEVICE=eht0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.59.11
GATEWAY=192.168.59.1
NETMASK= 255.255.255.0
# 网卡2
DEVICE=eht0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp
  • hostname(vim /etc/sysconfig/network)
HOSTNAME = hadoop1.keane.com
  • 映射（ vim /etc/hosts）
192.168.59.11 hadoop.keane.com
  • (vim /etc/selinux/config)
SELINUX=disabled
  • 重启

2、安装jdk

  • 1.安装
rpm -ivh jdk-7u80-linux-x64.rpm
  • 2、配置环境变量
# vim  ~.bash_profile
JAVA_HOME=/usr/java/jdk1.7.0_80
CLASSPATH=.
PATH=$JAVA_HOME/bin:
export JAVA_HOME
export CLASSPATH
# 重新加载配置文件
source .bash_profile
# 验证是否配置成功
echo $JAVA_HOME
# 输出配置地址

3、安装hadoop

  • 1、解压
tar -zxvf hadoop-2.5.2.tar.gz -C /opt/install/
  • 2、使用notebook插件NppFTP对配置文件进行修改(注意关闭防火墙systemctl stop firewalld)
  • 3、hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_80
  • 4、core-site.xml(解决总入口和临时目录的问题)
	<property>		
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop1.keane.com:8020</value>
	</property>
 	<property>
           <name>hadoop.tmp.dir</name>
		   <value>/opt/install/hadoop-2.5.2/data/tmp</value>
	</property>
  • 5、hdfs-site.xml
 <property>
	      <name>dfs.replication</name>
		  <value>1</value>
</property>
# 控制程序代码访问权限
<property>
	      <name>dfs.permissions.enabled</name>
		  <value>false</value>
   </property>
  • 6、yarn-site.xml
<property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
</property>
  • 7、mapred-site.xml
<property>	 	        		
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
</property>
  • 8、slaves
hadoop1.keane.com
  • 9、格式化
bin/hdfs namenode -format

在这里插入图片描述

  • 10、启动
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

在这里插入图片描述
在这里插入图片描述

4、hdfs命令

ls、put、get、mkdir、rm
bin/hdfs dfs -mkdir /keane
# 查看命令
bin/hdfs dfs# 新版
bin/hdfs fs# 老版

5、python访问HDFS

pip install hdfs
  • 注意：
    程序访问hdfs默认执行读操作，没有写的权限，如果需要写入，需要加入配置-hdfs-site.xml
  • 下载
  • 上传
res = self.client.upload(hdfs_path="",local_path="")
print(res)
  • 删除
  • 创建目录

6、HDFS集群搭建

  • 1、集群中机器的选择
    DataNode:存储数据，硬盘大
    NameNode:入口、树状目录结构、文件基本信息（都存放在内存中），内存比较大
  • 2、2个问题
    1. namenode上启动所有的datanode -->配置文件slaves
    2. 登录DataNode(ip,登录提供的密码)–>shell脚本
      ssh免密码登录–>解决登录需要密码的问题
  • 3、ssh免密登录
    1. ssh协议： 一台主机到另一台主机
    2. 用户端：
      通过加密算法生成公私钥对，公钥发给远程主机，私钥自己保存。
    3. 登录
      登录时，用户使用私钥+随机字符串进行登录
    4. 远程主机
      远程主机接受公钥后返回主机随机字符串，用户端使用私钥+随机字符串发给远程主机，然后远程主机解密，正确可以登录
  • 4、生成公私钥对
ssh ip  登录本机回自动生成一个.ssh文件夹
# 进入文件夹  ~/.ssh
ssh-keygen -t rsa # 生成公私钥对
# 将公钥发给远程主机
ssh-copy-id  root@ip

在这里插入图片描述

  • 5、如何将公钥发给远程主机
ssh-copy-id  root@ip
  • 6、HDFS集群搭建
    1、克隆三台节点
    2、每个节点设置ip地址、主机名、映射、防火墙、selinux、jdk ssh 免密登录
     # 将host文件复制到其他主机
scp /etc/hosts root@ip:/etc
    3、解压hadoop安装包
    因为copy的已完成的节点，需要删除data/tmp中的数据
rm -rf *
    4、修改6个配置文件，并同步集群的每个节点
    #	hsfs-site.xml -->节点换为3个或直接删除
<property>
      <name>dfs.replication</name>
	  <value>3</value>
</property>
#	slaves
hadoop1.keane.com
hadoop2.keane.com
hadoop3.keane.com
    5、格式化
    bin/hdfs namenode -format
    6、启动、关闭集群
    sbin/start-dfs.sh
sbin/stop-dfs.sh
统一启动namenode/datanode/secondarynamenode
    在这里插入图片描述

7、NameNode的持久化

  • 1、NameNode定期的存储到硬盘中
FSImage-->NameNode某一时刻的数据镜像
	1、搭建HDFS集群时，进行格式化操作（bin/hdfs namenode -format）,生成一个空的FSImage（data/tmp）,后面会写入EditsLog
	2、每一次重启NameNode时，把EditsLog和FSImage的数据在内存中合并，并生成一个新的EditsLog（如果没到指定的时间不会合并，到了指定的时间才会合并）
	3、NameNode会定时的将Edits的数据和FSImage的数据进行合并（checkpoint机制）
EditsLog-->某一时刻后的，写操作信息
  • 2、FSImage和Editslog的存储位置
hdfs-site.xml
<property>
   <name>dfs.namenode.name.dir </name>
   <value>/opt/suns/fsimage</value>
</property>
<property>
   <name>dfs.namenode.edits.dir </name>
   <value>/opt/suns/editslog</value>
</property>
  • 3、安全模式
    namenode从新启动时，通过安全模式保证EditsLog的和FSImage的合并，在这个过程中，只允许client（客户端）进行读操作，而不能进行写操作
# 启动安全模式
bin/hdfs dfsadmin -safemode enter(进入)|leave(离开)|get(状态)
  • 4、secondaryNameNode
    • 1、工作原理
      因为FSImage和EditsLog的合并周期有点长，所有出现了secondaryNameNode(祥见7)
      工作原理：当时间打到checkpoint设置的值或者事务达到设置的100万，会将FSImage和EditsLog合并生成新的FSImage
    • 2、nameNode出现问题后，secondaryNameNode部分还原namenode数据
      secondaryNameNode，获得上一次的FSImage和EditsLog的数据合并，所以namenode如果内存出现故障，或硬盘出现故障，secondaryNameNode会有历史数据，可以基于secondaryNameNode部分还原数据
  • 5、hadoop相关的配置文件
    1、*-default.xml：最完整的配置信息
     	core-default.xml：整个集群相关的配置信息。1、总入口；2、临时目录
	hdfs-default.xml：hdfs相关的参数，与文件系统相关的。（权限、FSImagEditsLog文件存储位置、块相关，数据节点目录）
	mapred-default.xml:mapreduce相关信息
	yarn-default.xml:yarn相关信息
    2、*-site.xml :优先级高于deault文件
    	core-site.
最低0.47元/天 解锁文章
Hadoop学习笔记
weixin_45906989的博客
08-13 1818
Handoop学习笔记
Hadoop权威指南学习笔记整理
hiee467的专栏
05-29 760
Hadoop权威指南学习笔记整理
hadoop学习笔记.rar
11-18 110
hadoop学习笔记.rar
基于 Hadoop 的二手房数据分析与可视化平台项目展示
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
06-15 429
本项目是一个完整的二手房交易数据分析与预测平台，集成了数据采集、清洗、存储、可视化和智能预测功能。系统采用分层架构，通过Flask后端和ECharts前端实现房源数据的多维度分析展示，包括价格趋势、区域对比、户型分布等可视化图表，并集成CatBoost回归模型进行房价预测。项目亮点在于构建了端到端的数据处理链路，从原始数据清洗到MySQL存储，再到Web系统交互展示，形成了"数据-分析-应用"闭环。系统提供后台管理、单页分析、组合大屏和预测表单等功能模块，既适合作为大数据课程设计案例，也
Hadoop学习教程，从入门到精通，Flume日志采集系统 — 完整知识点与案例代码(9）
qq_45746668的博客
06-16 279
Flume是Apache开源的分布式日志采集系统，具有高可靠、高可用特点，支持从多种数据源采集数据并传输到HDFS、HBase等存储系统。其核心组件包括Source（数据采集）、Channel（数据缓存）和Sink（数据输出），通过Event作为数据传输单元。 Flume支持单Agent和多Agent级联部署架构，可配置多路复用数据流。部署需JDK环境，配置包括环境变量和Agent参数设置。典型应用如Netcat Source监听端口数据并输出到日志。
620:.csproj问题：SDK 自动包含、手动 Include、修改后配置；封装类型，概念问题；gitee仓库新建,合并模式vs变基模式
最新发布
czhc1140075663的博客
06-20 68
怎么理解 SDK 自动包含了Resources.resx + Resources.Designer.cs，这里又手动 Include → 重复；先 Remove 掉自动包含的，再手动带 Generator 配置 Include 回来 → 不重复好问题！用生活类比来理解：类比：公司门禁卡想象你的项目是一个办公楼，.csproj 就是门禁规则。旧式 .csproj（你原来的）所以手动 Include 不会重复，因为根本没人自动进来。SDK 风格 .csproj（迁移后）
Hadoop学习教程，从入门到精通，Sqoop数据迁移 — 完整知识点与案例代码(10）
qq_45746668的博客
06-17 308
Apache Sqoop是一款用于在Hadoop生态（HDFS/Hive/HBase）与关系型数据库（MySQL/Oracle等）间批量迁移数据的工具。核心功能包括数据导入（RDBMS→Hadoop）和导出（Hadoop→RDBMS），基于MapReduce实现并行传输。安装需配置环境变量、JDBC驱动及Hadoop组件路径。常用命令：list-databases（查看数据库）、import（导入）、export（导出）等，支持通过--num-mappers控制并行度，--split-by指定分片列。
Hadoop学习教程，从入门到精通， HBase 分布式数据库 — 完整知识点与案例代码(8）
qq_45746668的博客
06-15 312
HBase 是一个分布式、面向列的 NoSQL 数据库，基于 Google Bigtable 设计，具有海量存储、高可靠性和线性扩展能力。与传统关系数据库相比，HBase 采用列式存储，仅有行键索引，适合处理稀疏数据和大规模数据集。其架构包含 Master、RegionServer、ZooKeeper 等组件，数据通过预写日志和 MemStore 机制保证可靠性。HBase 表由行键、列族、列限定符、时间戳和值五维组成，支持多版本数据，物理存储上按列族分开。本文系统介绍了 HBase 的核心特点、架构原理、
Dockerfile 一键构建 Hadoop 镜像
全网同名，欢迎关注。
06-17 360
读完这篇，你会用 Dockerfile + 外部配置文件的方式，从零构建一个 Hadoop 3.3.6 镜像。所有 XML 和启动脚本都放在宿主机目录里，修改方便，排错清晰。
Hadoop学习教程，从入门到精通， Scala语言 — 完整知识点详解(13）
qq_45746668的博客
06-20 214
Scala是一门多范式编程语言，结合了面向对象和函数式编程特性。它运行在JVM上，与Java完全兼容，具有静态类型系统和强大的类型推断能力。 安装Scala需先安装JDK8+，Windows下通过.msi安装并配置环境变量，CentOS下可使用RPM或压缩包安装。验证安装使用scala -version命令。
基于 Hadoop 的心脏病分析可视化与风险预测系统
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
06-15 199
本文介绍了一个基于大数据和机器学习的健康数据分析系统，重点围绕心脏病风险预测展开。系统整合了数据采集、清洗、分布式分析、可视化展示和机器学习预测全流程，采用Hadoop生态进行数据处理，Hive进行统计分析，MySQL存储结果，并通过Flask框架构建Web应用。系统功能包括数据可视化分析、在线风险预测、用户管理等功能模块，支持用户根据个人健康信息进行风险评估。项目亮点在于将大数据处理、机器学习与Web应用完整串联，形成一个可交互的健康数据分析平台，适合作为大数据和机器学习应用的实践案例。
【Hadoop01-完全分布式运行模式】
awd15771131554的博客
06-16 365
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。差异：scp全量拷贝，rsync增量拷贝。
大数据专业课外实习，大几开始找最合适？
2601_94993696的博客
06-19 428
数据科学与大数据技术专业的实习规划应遵循"基础期不冒进、关联期找感觉、核心期冲转正、补救期抓补录"的时序逻辑。大三暑期实习的转正价值远高于其他任何窗口，是整条路径的"胜负手"。在能力佐证层面，除 GPA、项目、实习外，行业认证（如 CDA）可作为学历信号的补充，尤其在金融、电信、咨询等对标准化能力要求高的行业具备实际招聘价值。但需明确：证书是"放大器"而非"替代品"，其实习经历与工程能力仍是核心竞争力。
[RabbitMQ高级特性] 消息可靠投递：从消息丢失问题到持久化与发送方确认解决方案
2503_91154453的博客
06-17 356
RabbitMQ持久化, 发送方确认机制
kafka深度讲解
Bug制造者
06-15 365
文章摘要： Kafka核心架构与分区路由机制解析。Kafka集群由多个Broker节点组成，Topic作为逻辑消息主题被划分为多个Partition实现并行处理。分区副本(Replica)确保数据高可用，消费者组实现消息的独占或广播消费。文章详细讲解了Kafka的三种分区路由方式：1)直接指定Partition；2)自定义Partitioner；3)默认的Key-based Hash策略（hash(key)%partitions）。重点分析了Key对消息路由的影响，相同Key的消息会进入同一分区保证顺序性，
数据科学与大数据技术和大数据管理与应用怎么抉择？
gentleing的博客
06-14 241
数据科学与大数据技术和大数据管理与应用怎么选？结论：偏数学、编程和模型开发，优先选数据科学与大数据技术；偏业务、管理和数据治理，优先选大数据管理与应用。2026 年看这两个方向，不能只问“哪个更热门”，更该问“自己适合在哪个环节创造价值”。数据科学与大数据技术更靠近算法、开发、数据平台和模型应用，课程通常覆盖 Python、数据库、机器学习、数据挖掘、分布式计算等内容；大数据管理与应用更靠近企业经营、数据资产管理、数据分析决策、信息系统和业务场景落地。
为什么大厂都在用Kafka？因为高并发系统根本离不开它
zhuyh17362264093的博客
06-19 583
Kafka作为高并发系统核心组件，其安装与基础使用步骤如下： 环境准备：需Linux系统（如CentOS 7）和JDK 8+环境，通过wget下载OpenJDK并配置环境变量。 安装Kafka： 下载Kafka 3.9.1二进制包并解压 创建专用目录存放数据和日志（/opt/kafka_data） 配置server.properties（设置broker.id、端口、日志目录等） 配置zookeeper.properties（指定数据目录和端口） 启动服务： 先启动Zookeeper（后台运行） 再启动Ka
短信平台性能优化模型
weixin_72286264的博客
06-18 214
短信平台高并发场景下的性能优化是一个系统性问题，需要通过三层架构模型实现：流量整形层（分类调度、削峰填谷）、弹性调度层（动态路由、实时权重调整）和资源扩展层（弹性扩容）。核心在于建立统一的指标体系（时延、吞吐、成功率、稳定性）和动态约束模型，避免单纯扩容、忽视通道质量等常见误区。优化的本质是形成"削峰-自适应-扩展"的闭环，推动系统从规则驱动向数据/模型驱动演进，实现稳定、高效、低成本的通信能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颜大哦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值