基于大数据学习在Linux上环境的搭建（持续更新中）

最新推荐文章于 2026-01-18 02:12:56 发布
原创 最新推荐文章于 2026-01-18 02:12:56 发布 · 775 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Linux

当前文章被收录于：

Linux
4 篇文章 0 人学习
订阅专栏 查看详情
hadoop

当前文章被收录于：

hadoop
3 篇文章 0 人学习
订阅专栏 查看详情
本文详细介绍了如何在Linux环境下搭建大数据基础环境，包括虚拟机配置、远程工具连接、Java安装、MySql、免密登录设置、Hadoop、HBase、Flume、Kafka和Spark的环境配置。此外，还讲解了NTP的搭建和计划任务的配置。

 

 

1.准备阶段

虚拟机、CRT/Xshell（终端模拟软件）、WinSCP（两个不同系统之间传输文件）

2. 基础环境搭建

  1. 创建新的虚拟机
  2. 自定义
  3. 安装程序光盘映像文件（iso）（需要网上下载）
  4. 一直下一步，等待
  5. 选英文，日期shanghai，系统的网络与主机名，点开查看配置环境需要的信息，在关闭，开始安装
  6. 安装完成后，重启，输入账号密码

Linux配置网卡
    命令：
        vi /etc/sysconfig/network-scripts/ifcfg-e按下tab不全命令
        如果进入的是一个空文件，命令写错了，直接:q退出
    1.刚进入，是一般模式，不能编辑内容
    2.按下i进入编辑模式
    3.把配置都补充完整
        修改：
        BOOTPROTO=static
        ONBOOT=yes
        添加：
        IPADDR=192.168.1.xx
        NETMASK=255.255.255.0
        GATEWAY=192.168.1.1
        DNS1=202.103.24.68
        DNS2=202.103.44.150
    4.按Esc，重新回到一般模式
    5.按:进入底部命令行，输入wq，按下回车
    6.重启网卡，让配置生效
        systemctl restart network
    7.ip a
    8.ping www.baidu.com
    9.ctrl+c停止ping

2.2远程工具链接Linux（CRT/Xshell）

这里选择的是CRT

  1. 修改主机名为hadoop1。  
     hostnamectl --static set-hostname hadoop1 
      断开连接重连后，@后面的名字改变。作用：当主机名和ip进行映射的时候就体现了。
  2. 修改主机名和ip地址的映射：修改/etc/hosts文件，在文件后面添加一行192.168.1.xx hadoop1， 
    echo /etc/hosts >> 192.168.1.xx hadoop1
    作用：在Linux中，当需要输入ip地址的时候可以用名字代替，当需要修改的时候，只用改一个ip地址就行了（类似于java多态）；ex：ssh
  3. windows上也可以配置主机名和ip的映射  C:\Windows\System32\drivers\etc\hosts文件，作用：在Window到Linux过程中，当需要输入ip地址的时候可以用名字代替；ex：使用CRT时
  4. 做这些都作用都是为了ssh免密登录，ssh可以远程登录到linux节点，公钥和私钥来配对，验证用户的身份，每个节点都会有一对公钥和私钥
  5. 每个节点使用命令
            ssh-keygen 四下enter，生成自己的公钥和私钥
  6. 每个节点使用三次命令，对三个节点进行免密登录的配置
            ssh-copy-id hadoop1/hadoop2/hadoop3(前提是/etc/hosts文件配置完成)

2.3Linux中java的安装

# 所有主机
# 首先将jdk包上传到/root目录下
cd  /root
mkdir /usr/lib/java/
tar zxvf /root/jdk-8u25-linux-x64.tar.gz  -C /usr/lib/java/
echo "export JAVA_HOME=/usr/lib/java/jdk1.8.0_25/" >>/etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin/' >>/etc/profile
source /etc/profile
java -version
rm -rf /root/jdk-8u25-linux-x64.tar.gz

如果java -version 显示为openjdk，那就卸载掉openjdk

2.4安装MySql

# 在hadoop1上
# 安装mysql
yum -y install  mariadb-server   mariadb
# 启动并设置开机自启
systemctl start mariadb.service
systemctl enable mariadb.service
# 进入mysql 并设置密码，默认为空
mysql -u root -p

2.5安装免密登录

    ssh可以远程登录到linux节点
    ssh： secure shell
    
    公钥和私钥来配对，验证用户的身份
    
    每个节点都会有一对公钥和私钥
    1.每个节点使用命令
        ssh-keygen 四下enter，生成自己的公钥和私钥
    2.每个节点使用三次命令，对三个节点进行免密登录的配置
        ssh-copy-id hadoop1/hadoop2/hadoop3(前提是/etc/hosts文件配置完成)

    若是以后又要新加免密登录，只要在新的上面重复上面的步骤

     查看免密登录的ip：/root/.ssh/konwn_hosts

2.6安装Hadoop

参考官网http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/SingleCluster.html（但是我觉得对于新手还是很难看懂。。。还是对着官网流程总结一下）

  1. 三种运行模式
    1. 本地模式 standalone
                      不需要启动任何服务，直接使用命令去运行任务
    2. 伪分布式模式
                      运行规则和分布式一样，但是只运行在一个节点上
    3. 分布式模式
                      Hadoop的分布式运行规则完全执行，运行在多个节点上，每个节点交互
  2. 本地模式 standalone  
    不需要启动任何服务，直接使用命令去运行任务 
        mkdir input
    cp etc/hadoop/*.xml input
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'
    cat output/*

    在hadoop-2.6.0下进行，作用是：分析单词出现的次数

  3. 伪分布式模式
    运行规则和分布式一样，但是只运行在一个节点上
    第一个要在配置文件core-site.xml里面加上下面的<name><value>

    [root@hadoop1 hadoop]# pwd
/opt/programs/hadoop-2.6.0/etc/hadoop
[root@hadoop1 hadoop]# vi core-site.xml 


<!--
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
</configuration>

--!>

    第二个要在配置文件hdfs-site.xml加上下面的代码

    [root@hadoop1 hadoop]# vi hdfs-site.xml 



<!--
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>
    </property>
</configuration>
--!>

     在格式化文件系统：

     bin / hdfs namenode -format
启动服务
       namenode：组长，hdfs的主节点
       datanode：小弟，提供保存数据服务的节点
       sbin/hadoop-daemon.sh start namenode
       sbin/hadoop-daemon.sh start datanode
jps看一下守护进程
       namenode
       datanode
使用webUI查看服务状态
       直接用浏览器访问地址
       hadoop1:50070

     

分布式模式
 Hadoop的分布式运行规则完全执行，运行在多个节点上，每个节点交互
以3个为例；hadoop1、hadoop2、hadoop3

上图就是分布式的思路
把主节点的
[root@hadoop1 hadoop]# pwd
/opt/programs/hadoop-2.6.0/etc/hadoop/slaves加上2个从节点（DataNode）的ip就可以了，从节点加上自己的ip,一般在运用中是把所有的ip都写上去

[root@hadoop1 hadoop]# cat slaves 
hadoop1
hadoop2
hadoop3

hdfs-site.xml中的配置


<configuration>
    <!--副本个数-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--副本存放路径-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>
    </property>
    <!--设置secondary-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:50090</value>
    </property>
</configuration>

core-site.xml中的配置

<configuration>
    <!--定义了Hadoop文件系统的默认文件系统类别为“hdfs”-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
</configuration>

yarn-site.xml中的配置

<configuration>
<!--开启附属服务，因为运行yarn时，这个服务可能会用到，不开启运行不了-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定resourcemanager节点 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop2</value>
    </property>
<!-- 日志聚集功能开启 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>ture</value>
    </property>
<!-- 日志文件保存的时间，以秒为单位 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
<!-- Site specific YARN configuration properties -->
</configuration>

mapred-site.xml中的配置
    因为这个配置项系统只自带一个mapred-site.xml.template，里面写东西是无效的，所以要复制一个mapred-site.xml

 <configuration>
<!-- 配置为YARN的主节点的端口 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!-- 配置historyserver -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop3:19888</value>
    </property>
</configuration

2.7配置Hadoop-HA

2.7.1.hdfs-site.xml

<property>
	<!--对整个文件系统需要一个统称-->
	<name>dfs.nameservices</name>
	<value>ns1</value>
</property>
<property>
	<!--指明这个文件系统的namenode有哪些-->
	<name>dfs.ha.namenodes.ns1</name>
	<value>nn1,nn2</value>
</property>
<property>
	<!--指明nn1是哪个-->
	<name>dfs.namenode.rpc-address.ns1.nn1</name>
	<value>hadoop1:9000</value>
</property>
<property>
	<!--指明nn2是那个-->
	<name>dfs.namenode.rpc-address.ns1.nn2</name>
	<value>hadoop3:9000</value>
</property>

<property>
	<!--指明nn1访问地址端口-->
	<name>dfs.namenode.http-address.ns1.nn1</name>
	<value>hadoop1:50070</value>
</property>
<property>
	<!--指明nn2访问地址端口-->
	<name>dfs.namenode.http-address.ns1.nn2</name>
	<value>hadoop3:50070</value>
</property>
<property>
	<!--共享日志在journalnode上的共享端口-->
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/ns1</value>
</property>
    <!--配置edits在journalnode上的保存地址-->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/programs/hadoop-2.6.0/data/tmp/dfs/jn</value>
</property>
<property>
	<!--配置proxy代理客户端-->
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

2.7.2.core-site.xml

<!--# 配置两个namenode的隔离策略
    # sshfence方式
    # 使用这种方式，必须实现ssh无密码登陆-->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://ns1</value>
</property>

2.7.3.安装必要的组件

yum -y install psmisc
	psmisc包含fuser，killall，pstree三个程序，且出现上述问题是由于我们在安装centos7的时候选择了最小化安装，默认是不安装psmics。
	fuser 显示使用指定文件或者文件系统的进程的PID。
	killall 杀死某个名字的进程，它向运行指定命令的所有进程发出信号。
	pstree 树型显示当前运行的进程。

2.7.4.启动集群的方式

1.启动所有的journalnode
    sbin/hadoop-daemon.sh start journalnode
2.nn1格式化并启动
    bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode
3.在nn2上，同步nn1的元数据信息
    bin/hdfs namenode -bootstrapStandby
4.启动nn2
    sbin/hadoop-daemon.sh start namenode
5.启动datanode节点
    sbin/hadoop-daemon.sh start datanode
6.把节点设置为active
    bin/hdfs haadmin -transitionToActive nn1

2.7.5自动故障转移

hdfs-site.xml:
打开自动故障转移
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

core-site.xml:
添加zookeeper的服务
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

2.7.6zookeeper安装

单机模式：
	修改conf/zoo.cfg下的datadir即可，表示的是存放数据的路径。
		datadir=/opt/programs/zookeeper-3.4.12/data/zkData
	启动
		bin/zkServer.sh start
	出现进程名为QuorumPeerMain即启动成功
		bin/zkServer.sh status，此时查看状态为standalone
	停止服务：bin/zkServer.sh stop
	
集群模式：
	1.配置文件需要自己增加集群选项
		表明集群有几台机器，并且指定和leader的端口号和参与投票的端口号
		server.1=hadoop1:2888:3888
		server.2=hadoop2:2888:3888
		server.3=hadoop3:2888:3888
	2.在每个节点上创建文件，表明本节点的编号，要和配置文件里面对应
		在data/zkData下创建文件myid，里面表明自己是哪个编号即可
		touch myid
	3.传输到别的节点上，并修改myid为对应的编号
	启动:
		只能每个节点单独启动脚本
		bin/zkServer.sh start
		每个节点启动了之后，可以查看各节点的角色
		bin/zkServer.sh status

2.7.7启动集群

1.关闭所有hdfs服务，同步修改的文件
2.启动zookeeper集群
3.初始化HA在zookeeper中的状态
	bin/hdfs zkfc -formatZK -force
4.启动hdfs服务
	如果直接一起启动出现通信错误，造成namenode停止，则需要先启动journalnode，再启动其他

//启动zkfc，先在哪台节点启动zkfc，那么哪台就是active
	sbin/hadoop-daemon.sh start zkfc

2.8HBase环境配置

1.前提：zookeeper配置完成

2.正常解压

3.环境配置

    hbase-site.xml 文件

 <property>
     <name>hbase.rootdir</name>
     <value>hdfs://hadoop1:9000/hbase</value>
 </property>
       <!--启用分布式集群-->
 <property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
 </property>
       <!--默认HMaster HTTP访问端口-->
 <property>
     <name>hbase.master.info.port</name>
     <value>16010</value>
 </property>
       <!--默认HRegionServer HTTP访问端口-->
 <property>
     <name>hbase.regionserver.info.port</name>
     <value>16030</value>
 </property>
 <property>
     <name>hbase.zookeeper.quorum</name>
     <value>hadoop1,hadoop2,hadoop3</value>
 </property>
 <property>
     <name>hbase.coprocessor.abortonerror</name>
     <value>false</value>
 </property>

      

   配置hbase-env.sh

export JAVA_HOME=/usr/lib/java/jdk1.8.0_25

export HBASE_CLASSPATH=/opt/programs/hadoop-2.6.0/etc/hadoop

export HBASE_MANAGES_ZK=false

export TZ="Asia/Shanghai"

配置regionservers

salve的ip

hadoop2
hadoop3

4.启动

start-hbase.sh

hbase shell进入

2.9Flume的环境配置

1.下载Flume的tar包下载地址，上传解压

2.环境配置
进入conf，复制flume-env.sh.template为flume-env.sh，进入flume-env.sh，添加JAVA_HOME的地址

3.添加环境变量
vi /etc/profile
根据安装目录添加，添加完成后source
可以通过flume-ng version查看flume的版本信息
4.Flume的使用
conf目录下创建.conf文件

启动命令：flume-ng agent --conf conf --name a1 --conf-file avro.conf &（最好写绝对路径）

2.10.KAFKA的环境配置

1.下载tar包，上传解压
2.环境变量配置
vi /etc/profile
3.环境配置
config下的server.properties
 


//（1）、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推
//（2）、打开监听端口
listeners=PLAINTEXT://192.168.195.132:9092 //尽量写ip地址，以免造成错误
//（3）、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/usr/local/kafka/logs
//（4）、修改 zookeeper.connect
尽量写ip地址，以免造成错误
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
//（5）、网络线程数量
num.network.threads=3
//（6）Zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000  //（默认）

4.执行的命令

启动：kafka-server-start.sh $KAFKA_HOME/config/server.properties &

创建topic：kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看topic：kafka-topics.sh --list -zookeeper hadoop1:2181
生产者身份进行广播：kafka-console-producer.sh --broker-list 192.168.195.132:9092 --topic test
顾客身份进行访问：/kafka-console-consumer.sh --zookeeper 192.168.2.11:2181 --from-beginning --topic test  

2.11Spark的环境配置

1、下载安装包，tar安装

2、进入spark-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export SCALA_HOME=/usr/local/scala/scala-2.13.1
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
#单点
#export SPARK_MASTER_HOST=master
#高可用
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=master,slave1,slave2
-Dspark.deploy.zookeeper.dir=/spark"

export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/spark/spark-2.4.4-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

3、slaves配置

hadoop1
hadoop2
hadoop3
4、/etc/profile配置

5、集群启动
 spark-shell --master spark://hadoop1:7077,hadoop2:7077,hadoop3:7077 --executor-memory 1g --total-executor-cores 4

 

3.基础环境以外的一些重要的配置

3.1NTP的搭建

3.1.1什么是NTP？

NTP是网络时间协议，它是用来同步网络中各个计算机的时间的协议。采用C/S架构。

3.1.2NTP的搭建

  1. yum -y install ntp
    直接yum下载
  2. 修改主机配置 
    vi /etc/ntp.conf

    把如下四行代码注释掉

                server 0.centos.pool.ntp.org iburst
                server 1.centos.pool.ntp.org iburst
                server 2.centos.pool.ntp.org iburst
                server 3.centos.pool.ntp.org iburst

            在下面再添加一行

            server 127.127.1.0 iburst
            
            启动ntp服务
            systemctl start ntpd
            开机自启
            systemctl enable ntpd

  3. 配置其他主机
     

    vi /etc/ntp.conf

        #注释掉其他上游时间服务器
        #server 0.centos.pool.ntp.org iburst
        #server 1.centos.pool.ntp.org iburst
        #server 2.centos.pool.ntp.org iburst
        #server 3.centos.pool.ntp.org iburst
        #配置上游时间服务器为本地的ntpd Server服务器
        server 192.168.1.80
        #配置允许上游时间服务器主动修改本机的时间
        restrict 192.168.1.80 nomodify notrap noquery

  4.     与本地ntpd Server同步一下
        ntpdate -u 192.168.0.163
        systemctl start ntpd

3.2计划任务

3.2.1计划任务安装

yum -y install crontabs

3.2.2配置

vi /etc/crontab

    systemctl enable crond （设为开机启动）
    systemctl start crond（启动crond服务）
    systemctl status crond （查看状态）

    crontab /etc/crontab 使的配置文件生效

标签
#基础环境配置
大数据环境脚本一键安装单机版 （持续更新中）
欢迎大神交流讨论
12-10 1749
#!/bin/bash #安装必要的软件，持续填充 setup_software(){ yum -y install vim yum -y install tree yum -y install lrzsz } #修改系统名称 同时修改hosts文件 modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容如果没发现对应的内容才能添加这个地址 cfg=`cat /etc/hosts | grep $2 | grep .
【持续更新】学习框架图plan
weixin_43885654的博客
06-13 524
框架图我的all学习任务&计划1.Markdown2.SQL3.行测4.机器学习5.每天一个业务小常识6.大数据分布式Hadoop7.数据结构算法题8.深度学习9.算法岗位：nlp、推荐系统、cv 1.Markdown 解释：首先要学会markdown，可以在博客中记录学习过程。 用时：1day 状态：done Markdown学习链接：记录学习每一天 markdown操作指南 2.SQL 基础+进阶 解释：基础部分比较简单，也学习了很长时间，实习过程也在用。主要是进阶部分，将各种用法和实际案例
大数据开发Linux环境搭建
11-12
大数据开发环境搭建--centOS在VMWare下安装--jdk1.8安装，内附完整步骤的安装文档
Linux 下 Go 环境搭建以及 Gin 安装，Linux运维面试
m0_60635001的博客
04-05 474
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?3、现在给你三百台服务器，你怎么对他们进行管理?15、讲述一下LVS三种模式的工作过程?
小白入门篇：从零到一搭建大数据开发平台（三）使用SecureCRT连接工具连接服务器配置服务器，为搭建Hadoop做准备
01-20
环境： Linux CentOS6.9 点击查看下载安装教程 一：使用SecureCRT连接服务器 点击文件 选择快速连接 输入连接服务器的ip 用户名  点击连接  输入服务器登陆密码 点击确定  连接成功 二：配置服务器主机名 vim /etc/sysconfig/network  重启后主机名生效（重启命令  reboot） 三：配置主机名与IP对应关系  四：关闭seLinux   命令：  vim  /etc/selinux/config 五：关闭防火墙  永久关闭防火墙  命令：临时关闭防火墙：service iptables stop  永久关闭防火墙：chkcon
一、Linux：开源传奇在大数据领域的璀璨绽放
DarrylDen的博客
10-20 1125
Linux 作为一款开源操作系统，在过去的几十年中取得了巨大的成功。它的历史渊源深厚，发展历程充满了传奇色彩。在当今的大数据时代，Linux 更是发挥着不可替代的作用。无论是在数据存储、处理还是分析方面，Linux 都提供了强大的支持。随着大数据技术的不断发展，Linux 在未来的应用前景也将更加广阔。相信在开源社区的共同努力下，Linux 将继续为大数据领域的发展做出更大的贡献。
Linux CentOS下大数据环境搭建（zookeeper+hadoop+hbase+spark+scala）
qq_52836012的博客
03-22 2284
本篇文章是结合我个人学习经历所写，如果遇到什么问题或者我有什么错误，欢迎讨论。
linux搭建大数据环境
m0_63845988的博客
11-08 1374
本文主要包括如何搭建集群、安装mysql、安装hadoop、安装hive、安装zookeeper、配置Hadoop高可用环境搭建及如何配置相应的文件。
Linux虚拟机环境搭建spark
2401_83816794的博客
04-07 4349
大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
spark集群搭建_大数据学习环境搭建系列（一）大数据集群平台介绍
weixin_39610085的博客
11-29 141
作者 | CDA数据分析师掌握搭建大数据集群的方法是学习大数据技术的人需要具备的基础技能，因此我会通过接下来的三十余篇文章介绍大数据平台的搭建方法。在本文中我将向小伙伴们介绍一下搭建大数据集群需要哪些知识以及我们接下来搭建的大数据集群平台架构，让大家对平台有个总体的认识并普及一些概念。首先我们接触的是虚拟机，及在虚拟机中安装Linux操作系统集群搭建完成后我们总共会有四个虚拟机，其中伪分布集群有一...
大数据学习环境搭建系列（一）大数据集群平台介绍
CDA数据分析师
03-05 1002
作者 | CDA数据分析师 掌握搭建大数据集群的方法是学习大数据技术的人需要具备的基础技能，因此我会通过接下来的三十余篇文章介绍大数据平台的搭建方法。在本文中我将向小伙伴们介绍一下搭建大数据集群需要哪些知识以及我们接下来搭建的大数据集群平台架构，让大家对平台有个总体的认识并普及一些概念。 首先我们接触的是虚拟机，及在虚拟机中安装Linux操作系统 集群搭建完成后我们总共会有四个虚拟机，其...
学习路线图awesome-bigdata：大数据工程师的终极成长指南
最新发布
gitblog_00231的博客
01-18 590
想要在大数据领域快速成长？awesome-bigdata项目为你提供了最全面的学习路线图！这个开源项目汇集了大数据领域的各种框架、工具和资源，是每个大数据工程师必备的宝藏库。无论你是刚入门的初学者还是想要进阶的资深开发者，都能在这里找到适合自己的成长路径。🚀 ## 大数据技术栈全景图 大数据技术生态极其丰富，awesome-bigdata项目将其系统性地分为多个类别： **分布式计算框架*
长路个人博客详细文章目录索引(持续更新)
热门推荐
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
01-26 1万+
本索引目录会一直不断进行更新…最近更新时间：2022.6.7 16:38物联网：2020后半段时间学习的javaweb学习笔记可见语雀(当时记录在那里就不搬过来了)：语雀-Javaweb对应尚硅谷的Spring5学习笔记：语雀-框架/Spring5对应黑马SpringMVC教程学习笔记：语雀-框架/SpringMVC对应黑马SpringMVC教程学习笔记：语雀-框架/MybatisMyBatis插件：...................................................
大数据学习路线图， (持续更新中.)
congcangnuo6739的博客
06-19 417
在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加...
vmware安装linux_大数据学习环境搭建系列（二）虚拟机软件Vmware的安装
weixin_39946500的博客
10-20 177
作者 | CDA数据分析师概述在进行分布式架构的学习前，首先需进行基础环境准备。众所周知，在单机运算能力无法满足处理海量数据的运算能力时，人们普遍开始考虑使用分布式运算来代替单机运算，这也成为了大数据分析和小数据分析最显著的区别之一，即使用的工具不同。当前大数据行业标准是使用Hadoop及其生态组件来执行分布式处理，这也是我们后续文章的主要内容。分布式集群的主要目的在于连接多台的物理机，以达到整合...
Linux背景介绍与环境搭建
V5Jackeylove的博客
11-04 574
Linux背景介绍、环境搭建，使用xshell远程登陆到Linux
大数据学习之路（持续更新中...）
weixin_45732629的博客
10-15 315
大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据根据就业方向可以分为大数据工程师和大数据分析师。 大数据工程师主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员，熟练Hadoop大数据平台的核心框架，能够使用Hadoop提供的通用算法，...
2019年最全的大数据学习大纲总结，持续更新.....
jiawoxuexiqq30294961的博客
04-13 440
一，题记 要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。 二，大数据里面的角色 角色一：大数据工程 大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值