大数据all_in环境搭建

最新推荐文章于 2026-02-26 14:42:36 发布
原创 最新推荐文章于 2026-02-26 14:42:36 发布 · 438 阅读 · 0
标签
#大数据 #hadoop #spark on hive
本文详述了一步一步在阿里云ECS上搭建大数据环境的过程，包括免密登录、JDK、Scala、Zookeeper、MySQL、Hadoop、Hive、Hue、DataX、Kafka、Flink、HBase、Phoenix、SQuirrel SQL Client、Spark的安装配置，以及Spark与Hive的整合。还涉及到Elasticsearch、Kibana和Canal的安装，涵盖了大数据处理的多个关键组件。

大数据环境搭建

环境介绍

使用阿里云ecs环境，2核8G。

  1. jdk版本 jdk-8u211-linux-x64.tar.gz
  2. scala版本 scala-2.11.8.tgz
  3. zookeeper版本 apache-zookeeper-3.5.7-bin.tar.gz
  4. kafka版本 kafka_2.11-2.4.0.tgz
  5. hadoop版本 hadoop-3.1.3.tar.gz
  6. hive版本 apache-hive-3.1.2-bin.tar.gz
  7. hue版本 hue-master VERSION=“4.6.0”
  8. datax
  9. hbase版本 hbase-2.2.4-bin.tar.gz
  10. flink版本 flink-1.10.0-bin-scala_2.11.tgz
  11. flink-hadoop版本 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
  12. spark版本 spark-2.1.1-bin-hadoop2.7.tgz
  13. elasticsearch版本 elasticsearch-6.3.1.tar.gz
  14. Kibana版本 kibana-6.3.1-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 278813748 Sep 25 16:26 apache-hive
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python&aconda系列：史上最全最详细的Anaconda安装教程（win7版本）
weixin_54626591的博客
12-26 8791
史上最全最详细的Anaconda安装教程
Anconda安装（超详细 3
m0_60721649的博客
05-15 1574
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
Anaconda安装教程（超详细版）
m0_61607990的博客
03-14 22万+
目录 一、Anaconda简介 二、运行环境 三、安装Anaconda 四、手动配置环境变量（重点） 五、测试Anaconda环境是否配置成功 一、Anaconda简介 Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。 二、运行环境 Windows11 （Window10用户亦可参考，仅环境变量打开位置不同）。 三、安装Anaconda （1）百度“Anaconda”或者输入网址
Aconda教程
weixin_45321331的博客
04-13 833
Conda使用教程
Anaconda安装和入门(超级简单详细的安装步骤)
qq_57171795的博客
02-07 6万+
简介 Anaconda是为独立从业者开发的工具包，可让您使用数以千计的开源包和库，它是一种开源、灵活的解决方案，它提供了以跨平台方式构建、分发、安装、更新和管理软件的实用程序。Conda 可以轻松管理多个数据环境，这些环境可以单独维护和运行而不会相互干扰。 安装Anaconda 去Anaconda官网获取安装包 下载个人版--个人版是免费的 根据各人需要安装不同操作系统的Anaconda 不同操作系统的Anaconda安装过程大同小异，由于是installers安装程序的相对自动安装..
【笔记】记一次mysql IN 大量ID优化方案
欢迎光临
10-31 4万+
背景 基于某些业务开发过程中，会遇到这样的查询语句：SELECT * FROM table where id in(1, 2, 3)， 但是当IN里面的数据量非常大的时候，有些数据库会对IN 的数据量有大小限制，比如Oracel大小限制是1000，因此如果能有一种替代IN 大量数据，并且性能还不错的方案就好了。 实战 1、使用IN方案查询结果，查询时间为：0.078s，总数据量60多万。 select * from designmaterial ds where ds.materialid in( “00
[OPEN SQL] FOR ALL ENTRIES IN
Hudas的博客
10-28 798
本文主要讲解SAP OPEN SQL中的FOR ALL ENTRIES IN 语句相关知识点
FOR ALL ENTRIES IN的用法
昊宇的笔记本
06-05 4638
Select语句中使用FOR ALL ENTRIES IN需要注意的问题 在ABAP编程中，使用for all entries in 是必不可少的语句，相信大家都使用过，例如： data: begin of ig_bseg occurs 0, werks like bseg-werks, belnrlike bseg-belnr, gjahrlike bseg-gjahr, dmbtr like bseg-dmb...
SQL 优化IN 思考
最新发布
yqsy123123的博客
02-26 1269
本文对比了SQL Server中IN操作符的几种替代方法及性能表现。通过测试不同数据集和索引条件下的执行效率，发现UNION ALL和JOIN方法在多数情况下表现最优。文章详细展示了IN、OR、EXISTS、JOIN和UNION ALL的具体实现方式，并提供了存储过程优化实例。测试发现当IN参数为单个值时，JOIN方式比IN快一倍。最终结论指出：在有索引时各方法差异不大，但JOIN结合临时表是最推荐的优化方案，其效率层级为UNION ALL≈JOIN>EXISTS>IN>OR。优化选择需综
还是搞不懂Anaconda是什么?读这一篇文章就够了
2301_76161259的博客
08-28 3万+
概述Anaconda，中文大蟒蛇，是一个开源的Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。Anaconda就是可以便捷获取包且对包能够进行管理，包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易，同时对环境可以统一管理的发行版本特点开源安装过程简单高性能使用Python和R语言免费的社区支持。
用conda创建python虚拟环境
lyy14011305的博客
03-02 38万+
1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。 2、conda常用的命令。     1）conda list 查看安装了哪些包。     2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境     3）conda update conda 检查更新当前conda 3、创建pyt
Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解
weixin_54626591的博客
12-18 3777
Anacond、Miniconda的下载安装配置教程详解
aconda+python安装
weixin_44380362的博客
10-26 7513
个人笔记使用，勿喷
Anaconda下载与安装详解
上善若泪
05-13 7141
Anaconda指的是一个开源的Python发行版本，其包含了condaPython等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 477MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和 Python）。而Conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换，Anaconda里面已经包含Conda了，Anaconda。
超详细Anaconda安装教程
热门推荐
qq_45344586的博客
04-07 55万+
超详细最新Anaconda安装教程
安装Anaconda（详细）
x15034496695的博客
01-10 2万+
帮助新手学会安装Anaconda
Anaconda教程（持续更新ing...）
诸神缄默不语的博客
06-15 5347
本文介绍使用Anaconda相关使用教程。
2023年最新版Anaconda3的安装配置及使用教程(非常详细)，从零基础入门到精通，看完这一篇就够了（附安装包）
m0_59598029的博客
08-12 3万+
网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
Anaconda的安装和使用
老王的博客
06-08 1万+
Anaconda是什么，它有什么用，为什么用它而不是其他同类工具，如何使用它。使用它的过程遇到了哪些问题？带着这几个问题，我们开始Anaconda之旅。
Anaconda介绍、安装及使用教程
weixin_52735037的博客
12-07 1万+
如果使用Anaconda，则通过打开Anaconda Navigator或者在开始菜单中的“Anaconda Prompt”（类似macOS中的“终端”）中进行使用。有两个版本可供选择：Python 3.6 和 Python 2.7，选择版之后根据自己操作系统的情况点击“64-Bit Graphical Installer”或“32-Bit Graphical Installer”进行下载。② 如果在安装时选择了“为所有用户安装”，则卸载Anaconda然后重新安装，只为“我这个用户”安装。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IDONTCARE8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值