Apache Hadoop生态圈新贵——Kudu

Hadoop生态圈Kudu(一) Apache KuduApache Kudu 是由 Cloudera 开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。它是一个融合 HDFS 和 HBase 的功能的新组件,具备介于两者之间的新存储组件。 ​ Kudu 支持水平扩展,并且与 Cloudera Impala 和 Apache Spark 等当前流行的大数据查询和分析工具结合紧密... 阅读详情

哈哈哈标题党了!

今天终于肝完了高级数据管理研讨课的PPT,我的PPT主题就是讲Kudu,文章后面我会把PPT贴上来(虽然我也只是www资料搬运工罢了)~整个过程下来有点想法,这不好久没水文了所以来冒个泡(bushi)


关于安装kudu

首先我特别有信心,所以在仅剩四天的情况下我选择先花了两天来搭建kudu集群环境,虽然我最后还是没搭起来,原因如下:

  • 第一天:
    • 我前阵子装了个Linux双系统,最后因为yoga系列芯片还是驱动啥的原因,键盘失效用不了,一直说卸了来着然后就一直下次(双系统这个问题我下次卸了一定再出一篇blog!一定一定一定!)。于是我C盘还剩60来g,D盘还剩50来g,我就前怕狼后怕虎就是怕磁盘空间不够,虚拟机不敢装、docker也不敢装、Linux系统更不敢卸,然后开了几十个CSDN企图证实自己的不敢动手是对的,于是一天没了:)
      我的纠结belike(我的内心希望这个答案是“不可以”==)
  • 第二天
    • 我决定不能这样,于是想在所里的服务器搞一波,但是猛然发现自己没有root权限==,pass。
    • 然后我发现课程群有个兄弟白嫖了阿里ECS服务器,于是我去借来了,想着装个单机的也行啊,但是这一天,我的xshell和xftp挂掉了(听我说谢谢你,于是我花了半个上午处理了这个问题,然后成功用上了兄弟的ECS服务器!但是,kudu仅支持在Ubuntu16上面装,这兄弟的服务器是Ubuntu20==,pass(在此谢谢兄弟)。
    • 于是我想起我亲爱的舍友前阵子装了虚拟机并且有Ubuntu,于是我去问了一下:太棒了!Ubuntu16!于是我顺利在Ubuntu上安装了kudu,但是Ubuntu启动失败了,8051页面没成功,具体原因我都没时间细究了,因为我已经占用我舍友电脑三个小时了,人家也要学习的!
    • 于是我想到老师说了他们和阿里云也有合作,于是我去问老师,老师的回复belike:
    • 阿苗告诉我可以租服务器,但是我觉得很麻烦(主要是没钱
    • 然后我去问了同小组的同学,因为她讲过kafka也有虚拟机还安装了好几个centOS!小姐姐人美心善借我电脑时间还是凌晨一点半,第二天我信心满满准备kudu集群开干,但是!小姐姐给我的三个系统没有图形界面——就是那个冷冰冰的BIOS界面呜呜,虽然咱也会一些命令行,但是因为kudu的安装需要从本地上传一些文件,所以真的搞得我眼睛快瞎了,太难受了!小姐姐的另外三个系统倒是有图形界面,但是因为里面装了Hadoop生态圈的一系列东西所以磁盘空间不够我装kudu了呜。当我快要窒息的时候,小姐姐说可以用xftp将本地文件传输给虚拟机(即使没有图形界面),是个好主意但是,那天她的xftp也挂了(听我再说谢谢你),所以,累了,直接做PPT吧——

“那就先介绍一下kudu吧”:)

  • 第三天和第四天我很认真地做了PPT,就在今天,我终于交上了!

一点感想

  • 不要拖延不要拖延不要拖延!
    • 你就说我Linux卸载地早、早点开始搞这个课程PPT,都不至于经历这极限四天(还包括两天周末==)
  • 怕这怕那不如直接就做,找个差不多的方案就执行,错了就错了,反正你不做,最后也是错:)
  • 年轻人,偶尔要听劝
    • 你就说我听了阿苗的劝先做kudu介绍PPT再搞集群环境,都不至于经历这极限四天(还包括两天周末==)

贴个PPT大纲哈哈哈


祝我明天汇报顺利~~~ 


【保姆级教程】不到一元32位芯片 DIY迷你时钟 基于不到一元的CH32V003F4P9芯片制作的迷你多功能时钟。 阅读详情

相关推荐

kudu NoSQL数据库详解

Hadoop生态系统发展到现在,存储层主要由HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统,能结合两个系统优点,同时支持高吞吐率和低延迟呢?有人尝试修改HBase内核构造这样的系统,即保留HBase的数据模型,而将其底层存储部分改为纯列式存储(目前HBase只能算是列簇式存储引擎),但这种修改难度较大。

悦分享 1971

徐培成大白话学完Kudu教程

扫码进入学习群,领取学习资料+讲师答疑本课程由十八掌教育创始人徐培成老师亲自操刀,从kudu安装、应用、原理、集群规划与部署、API编程访问以及kudu的分区设计等众多领域详细讲解,全程实操演练,就有极强的实战性,希望通过本课程,能够为大家深入掌握kudu、并能够灵活运用贡献微薄的力量。

手把手教你学Simulink——基于智能电网与AI融合的场景实例:强化学习在并网逆变器控制中的应用

本文介绍了如何利用Simulink和强化学习工具包实现并网逆变器的智能控制。针对传统PI控制方法的局限性,提出采用强化学习(RL)构建自适应控制系统。通过详细步骤展示了从建立主电路模型、设计强化学习环境、选择训练智能体(如PPO算法)到仿真对比测试的全过程。实验结果表明,RL控制器在动态响应、THD指标和参数鲁棒性等方面优于传统PI控制器,突显了数据驱动控制在复杂电力系统中的优势。文章还探讨了该技术在微电网协同控制、在线学习等场景的拓展应用,为智能电网控制提供了新思路。

MHD0815的博客 299

Hadoop、Hive、HDFS、Hbase、KUDU、Spark之间关系

Hadoop 是一个分布式计算的开源框架,包含三大核心组件:HDFS(Hadoop Distributed System分布式文件系统)、HIVE(数据仓库工具)、HBASE HDFS HDFS是Hadoop生态圈最基础的存储引擎,请注意HDFS的设计主要为大文件存储,为高吞吐量的读取和写入服务,HDFS不适合存储小文件,也不支持大量的随机读写。 Hive 专门处理存储在HDFS数据仓库工具,通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被

灵豸 4094

在已有的Hadoop集群中安装Kudu

目录背景安装前准备查看集群环境并确定服务安装位置查看centos系统版本安装依赖包配置cloudera-kudu.repo源安装kudu-master修改配置启动安装kudu-tserver修改配置启动界面结论 背景 1、网上找了很多资料,所有的安装Kudu的教程都是从cloudera-kudu(即CDH-kudu),而我们公司及身边的朋友基本也没用CDH版的,而且是用的apache hadoop...

汐 朔 1082

Kudu:支持快速分析的新型Hadoop存储系统

Kudu 是 Cloudera 开源的新型列式存储系统,是 Apache Hadoop 生态圈的新成员之一( incubating ),专门为了对快速变化的数据进行快速的分析,填补了以往 Hadoop 存储层的空缺。本文主要对 Kudu 的动机、背景,以及架构进行简单介绍。 背景——功能上的空白 Hadoop 生态系统有很多组件,每一个组件有不同的功能。在现实场景中,...

dianzhouyu2189的博客 332

Apache Kudu概述

数据模型 kudu集群所存储的表,看起来就像是关系型数据库中的表。这个表可以简单的像一个键值对,也可以复制的像上百个不同类型的属性。 像关系表一样,每张表有一个主键,这个主键可以由一个或者多个列组成。比如可以用用户ID作为单个列的主键,或者(host, metric, timestamp)作为一个组合主键。通过主键,表中的行记录可以被高效的读,更新,删除。 kudu简单的数据模型使其能够轻易的移植...

qqqq0199181的博客 768

Apache Kudu 从源码开始构建并部署 Kudu 集群

主要介绍了Apache Kudu 最新版 1.15.0 版本的编译及部署。为了对整个部署有一个更加明确的过程,前面又对 Kudu 进行了简要的介绍。编译中需要注意的事项,部署中的配置等,以及部署完成后,对集群的读写进行测试校验。最后是整理的一个常用命令。

Yore - Home 4393

我是如何成为Apache Kudu committer & PMC的?

小米从2012年开始正式涉足开源,不光积极参与开源社区,修复bug,提交代码,同时逐渐将自研的系统或框架进行开源,先后开源了企业级、高可用、可扩展的监控系统Open-Fa...

小米云技术 4478

Apache Kudu是什么?

特性基于 HDFS 的表 (如 Parquet)基于 Kudu 的表核心优势超高的批量读取吞吐量,适合海量数据分析混合工作负载,兼顾分析查询与随机读写数据更新效率低,需要重写文件效率极高,支持行级更新和删除插入模式适合大批量、追加式插入适合实时、逐条或小批量插入典型延迟分钟到小时级秒级到毫秒级主键无必须有主键SQL 操作SELECTINSERT(批量佳)SELECTINSERTUPDATEDELETEUPSERT适用场景数据仓库、历史日志分析、ETL 后的离线查询。

ITHomeZSL的博客 479

Kudu简介

参考文章:KUDU 介绍 前言 近两年,KUDU大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中,KUDU 都有着不可替代的地位。本文通过分析 KUDU 的设计, 试图解释为什么 KUDU 会被广泛应用于大数据领域,因为还没有研究过 KUDU 的代码,下面的介绍是根据 KUDU 的论文和网上的一些资料学习自己理解所得,如有不实之处,劳请指正。 背景 在 KUDU 之前...

justlpf的专栏 2748

Hadoop/Spark生态圈里的新气象

 令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。   Hadoop/Spark生态圈里面的新气象对于Hadoop你需要了解的最重要的事情就是,它不再是原来的Hadoop。   这边厢,Cloudera有时换掉HDFS改用Kudu,同时宣布Spark是其圈子的核心(因而一概取代发现的MapReduce);那边厢,...

大数据学习博客 605

Kudu简介4

传统大数据应用场景分析 在真实的场景中,边界可能没有那么清晰,面对既需要随机读写,又需要批量分析的大数据场景,该如何选择呢?这个场景中,单种存储引擎无法满足业务需求,大部分公司经常通过多种大数据工具组合来满足这一需求,一个常见的方案是: 该方案可以满足数据更新+随机查询+批量分析的业务需求。 如上图所示,数据实时写入 HBase,实时的数据更新也在 HBase 完成,为了应对 OL...

justlpf的专栏 907

Kudu+Impala介绍

转自:http://www.360doc.com/content/18/0913/16/59691344_786386910.shtml Kudu+Impala介绍 概述 Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储,在支持高并发低延迟kv查询的同时,还保持良好的Scan性能,该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的...

zhijun666 692

[Kudu基础]--Kudu+Impala介绍

Kudu+Impala介绍 概述 Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储,在支持高并发低延迟kv查询的同时,还保持良好的Scan性能,该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎,其面对即席查询(Ad-Hoc Query)类请求的稳定性和速度在工业界得到过广泛的验证,Impala并没有...

houbin0912的博客 984

Apache Kudu 简介

Introducing Apache KuduKudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性,运行在一般的商用硬件上,支持水平扩展,高可用,目前是Apache Hadoop生态圈的新成员之一(incubating)。Kudu的设计与众不同,它定位于应对快速变化数据的快速分析型数据仓库,希望靠系统自身能力,支撑起同时需要高吞吐率的顺序

Gavin博客专栏 1787

[Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客

感谢原文作者:https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储,在支持高并发低延迟kv查询的同时,还保持良好的Scan性能,该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎,其面...

欢迎来到我的博客,一起探索代码里的世界! 1万+

CodeCompare 代码比对工具[附破解工具]

这就是一款专门用于代码比较的工具,具有独立版的界面,也可以集成到VisualStudio以及TFS、SVN等源码管理客户端中。相比较WinMerge、BeyondCompare等比较软件,它的特点是专注代码类型的比较,因此针对源码文件会有更多易用的功能,如结构级比较等

上一篇: vscode:no module named xxx,no such file or directory xxx
下一篇: Windows+Linux 双系统安装历程,超多bug
_ccccyl_
博客等级 码龄4年 9粉丝 · 5原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值