hadoop单机部署 伪分布

最新推荐文章于 2024-05-04 05:05:29 发布
转载 最新推荐文章于 2024-05-04 05:05:29 发布 · 709 阅读 · 0
本文详细介绍了如何在 Ubuntu Server 12.04 系统上部署 Hadoop 1.0.2 版本，包括创建用户、SSH 密钥生成、安装 JDK、配置 Hadoop 相关文件等步骤。
安装环境 ubuntu server 12.04
              hadoop-1.0.2

1）创建hadoop用户和ssh-key

点击(此处)折叠或打开

  1. #创建hadoop用户
  2. leslie@Notebook:~$ sudo useradd -m -s /bin/bash -G sudo hadoop 
  3. leslie@Notebook:~$ sudo su - hadoop
  4. #生成key
  5. hadoop@Notebook:~$ ssh-keygen -t rsa
  6. #本地ssh 认证。
  7. hadoop@Notebook:~$ ssh-copy-id -i .ssh/id_rsa.pub localhost
  8. hadoop@Notebook:~$ ssh localhost
2）安装jdk

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ sudo apt-get install default-jdk
3) 安装hadoop
下载hadoop解压到/home/hadoop/目录下

点击(此处)折叠或打开

  1. #下载hadoop-1.0.2
  2. hadoop@Notebook:~$ wget -c http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.2.tar.gz
  3. #解压到/home/hadoop目录下
  4. hadoop@Notebook:~$ tar xvzf http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.2.tar.gz
  5. #建立软链接
  6. hadoop@Notebook:~$ ln -s hadoop-1.0.2 hadoop
  7. #添加/etc/profile

  9. export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
    export HADOOP_HOME=/home/hadoop/hadoop-1.0.2
    export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
    export HADOOP_HOME_WARN_SUPPRESS=1   #忽略hadoop的警告。
4）配置hadoop

1.修改conf/hadoop-env.sh，添加jdk支持

点击(此处)折叠或打开

  1. export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：

点击(此处)折叠或打开

  1. export HADOOP_SSH_OPTS="-p 1234"
2 修改conf/core-site.xml，增加下面内容

点击(此处)折叠或打开

  1. <property>
  2.         <name>fs.default.name</name>
  3.         <value>hdfs://localhost:9000</value> //决定namenode
  4. </property>
  5. <property>
  6.         <name>hadoop.tmp.dir</name>
  7.         <value>/home/hadoop/tmp</value> //临时文件，有问题的时候，可以删除
  8.         <description>A base for other temporary directories.</description>
  9. </property>

3.修改conf/hdfs-site.xml，增加下面内容

点击(此处)折叠或打开

  1. <property>
  2.         <name>dfs.name.dir</name>
  3.         <value>/home/hadoop/name</value> //namenode持久存储名字空间，事务日志的本地路径
  4. </property>
  5. <property>
  6.         <name>dfs.data.dir</name>
  7.         <value>/home/hadoop/data</value> //datanode存放数据的路径
  8. </property>
  9. <property>
  10.         <name>dfs.datanode.max.xcievers</name>
  11.         <value>4096</value>
  12. </property>
  13. <property>
  14.         <name>dfs.replication</name>
  15.         <value>1</value> //数据备份的个数，默认是3
  16. </property>

4.修改conf/mapred-site.xml，增加下面内容

点击(此处)折叠或打开

  1. <property>
  2.         <name>mapred.job.tracker</name> //jobTracker的主机
  3.         <value>localhost:9001</value>
  4. </property>
5修改conf/masters，这个决定那个是secondarynamenode

点击(此处)折叠或打开

  1. localhost

6 .修改conf/slaves，这个是所有datanode的机器

点击(此处)折叠或打开

  1. localhost

5) 格式化hdfs文件系统的namenode

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ hadoop namenode -format

6 ) 启动hadoop集群

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ hadoop/bin/start-all.sh

7) Hdfs操作 
建立目录

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ hadoop dfs -mkdir zed

查看现有文件

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ hadoop dfs -ls

8) 关闭Hdfs

点击(此处)折叠或打开

  1. hadoop@Notebook:~$ hadoop/bin/stop-all.sh

Hadoop：单机伪分布式部署
m0_37559973的博客
10-29 929
Hadoop：单机伪分布式部署
Hadoop 单机伪分布式部署
weixin_44264300的博客
12-20 207
Hadoop 单机伪分布式部署 1、安装软件（如果没有） apt update apt -y install vim openssh-server 2、免密 修改ssh配置文件 vim /etc/ssh/sshd_config ... PasswordAuthentication yes .... PermitRootLogin yes ... 重启ssh服务 service ssh restart 生成秘钥对（根据提示回车） ssh-keygen 将公钥拷贝到免密节点 ssh-c
Centos7 部署伪分布式 hadoop 单机版
爱摄影的小章同学的博客
04-02 2742
Centos7 部署伪分布式 hadoop 单机版 1、准备工作 1、下载hadoop tar 包， 各个版本对应的下载地址 https://archive.apache.org/dist/hadoop/ 选在自己对应的版本，我这里使用的是 hadoop-2.8.2.tar.gz 2、安装好对应的JDK 可以参考 https://blog.csdn.net/zhangli_li520/article/details/123913328 3、关闭防火墙 可以参考 https://blog.csdn.net
Ubuntu上搭建Hadoop单机环境和伪分布模式部署。
qinglp的博客
05-04 1131
JAVAHOMElibJAVAH​OMElibJAVAHOMEbinJAVAH​OMEbinPATH保存退出后，执行##让上面修改的文件生效，和重启电脑起到相同效果。##接下来测试一下你的java环境变量是否配置好了把$ java$ javac上面的四个都可以试试，配置好了是有的。
Hadoop单机伪分布式部署
u011894507的专栏
12-15 308
环境 阿里云ECS CentOS 7.4 1.创建用户并添加sudo权限 # 新增用户 useradd admin # 为用户设置密码 passwd admin # 加入sudo visudo ## 找到下面这两行，并在下面新增红色部分 ## Allow root to run any commands anywhere root ALL=(ALL) ALL admin ALL=(ALL) ALL...
为Typecho博客生成AI摘要吧！.zip
最新发布
06-22
为Typecho博客生成AI摘要吧！.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值