HBase读书笔记之API高级特性－4

原文地址如下:点击打开链接

第四章 客户端API:高级特性4.1过滤器所有过滤器都在服务器端生效，叫 谓词下推（predicate push down）继承自compareFilter的Filter比较特殊，多了一个 compare() 方法HBase内置比较器comparator比较器描述BinaryComparator使用Bytes.compareTo() 比较当前值与阀值BinaryPrefixComparator与上

基于hbase mapreduce和coprocessor实现hbase二级索引创建与自动维护 设计思路： 每个索引建立一个索引表（表名由用户自定义相当于oracle中的索引名，）索引表一个列族“IDX”，一个字段“IDX：V”，rowkey有索引列值拼装而成，“IDX：V”由索引行的rowkey拼装而成。 例子： “Rowkey”：2013-04-014982332782

ZooKeeper： 被视为分布式系统中的基础设施. ZooKeeper集群是一个服务高可用的集群，通常由奇数个节点组成，集群确保不会因为小于一半的节点宕机而受影响。 ZooKeeper集群实现了数据分区和数据复制（副本），并采用ZAB（ZooKeeper Atomic Broadcast）协议作为数据一致性的算法，ZAB由Paxos改进而来。 ZooKeeper服务： 提供极低延迟、超高可用的内存KV数据库服务。 提供中心化的服务故障发现服务。 提供分布式场景下的锁、Counter、Queue等协调服务。

前面提到的scan操作支持设置过滤器，筛选需要返回的结果。下面看一个简单的例子：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoo

B+树先说红黑树。红黑树是平衡二叉查找树。它通常用于Map结构的实现，可以根据Key快速找到Value。Java中的TreeMap就是通过红黑树实现的。它是一种二叉树，一个节点最多只能有两个子节点。当BST的存储结构放在硬盘上时，就出现问题了。因为二叉树的高度比较大，寻找一个叶子节点需要较多次数访问硬盘。我们知道访问硬盘的速度是非常慢的，所以BST不太适合用在硬盘上。然而B+树可以解决这个问题。B+

一、概念 协处理器分两种类型，系统协处理器可以全局导入region server上的所有数据表，表协处理器即是用户可以指定一张表使用协处理器。 HBase的coprocessor分为两类，Observer和EndPoint。其中Observer相当于触发器，EndPoint相当于存储过程。其中Observer的代码部署在服务端，相当于对API调用的代理。 另一个是终端(endpoint)，动

MapReduce方式创建二级索引 使用整合MapReduce的方式创建hbase索引。主要的流程如下： 1.1扫描输入表，使用hbase继承类TableMapper 1.2获取rowkey和指定字段名称和字段值 1.3创建Put实例， value=rowkey, rowkey=columnName +"_" +columnValue 1.4使用IdentityTableReducer将

读写首先根据rowid定位到reginserver：Zookeeper→-ROOT-→-META-→ReginServer -META-表中存储了Regionserver的region分区信息，如果某台Regionserver挂掉（通过Zookeeper感知），那么master可以把托管在这台RegionServer上的regin分区分配到其他RegionServer上。 存储的最小单位是bl

HBase只针对行键索引，访问HBase表中的行只用三种方式；（原生产品中）行键访问；行键区间访问；全表扫描；其他产品：Hindex二级索引HBase+RedisHBase+solrCoprocessor构建二级索引；Coprocessor提供了两个实现：endpoint和observer，endpoint相当于关系型数据库的存储过程，而observer则相当于触发器observer允许我们在记录...

本项目是一个完整的二手房交易数据分析与预测平台，集成了数据采集、清洗、存储、可视化和智能预测功能。系统采用分层架构，通过Flask后端和ECharts前端实现房源数据的多维度分析展示，包括价格趋势、区域对比、户型分布等可视化图表，并集成CatBoost回归模型进行房价预测。项目亮点在于构建了端到端的数据处理链路，从原始数据清洗到MySQL存储，再到Web系统交互展示，形成了"数据-分析-应用"闭环。系统提供后台管理、单页分析、组合大屏和预测表单等功能模块，既适合作为大数据课程设计案例，也

Flume是Apache开源的分布式日志采集系统，具有高可靠、高可用特点，支持从多种数据源采集数据并传输到HDFS、HBase等存储系统。其核心组件包括Source（数据采集）、Channel（数据缓存）和Sink（数据输出），通过Event作为数据传输单元。 Flume支持单Agent和多Agent级联部署架构，可配置多路复用数据流。部署需JDK环境，配置包括环境变量和Agent参数设置。典型应用如Netcat Source监听端口数据并输出到日志。

Apache Sqoop是一款用于在Hadoop生态（HDFS/Hive/HBase）与关系型数据库（MySQL/Oracle等）间批量迁移数据的工具。核心功能包括数据导入（RDBMS→Hadoop）和导出（Hadoop→RDBMS），基于MapReduce实现并行传输。安装需配置环境变量、JDBC驱动及Hadoop组件路径。常用命令：list-databases（查看数据库）、import（导入）、export（导出）等，支持通过--num-mappers控制并行度，--split-by指定分片列。

HBase 是一个分布式、面向列的 NoSQL 数据库，基于 Google Bigtable 设计，具有海量存储、高可靠性和线性扩展能力。与传统关系数据库相比，HBase 采用列式存储，仅有行键索引，适合处理稀疏数据和大规模数据集。其架构包含 Master、RegionServer、ZooKeeper 等组件，数据通过预写日志和 MemStore 机制保证可靠性。HBase 表由行键、列族、列限定符、时间戳和值五维组成，支持多版本数据，物理存储上按列族分开。本文系统介绍了 HBase 的核心特点、架构原理、

读完这篇，你会用 Dockerfile + 外部配置文件的方式，从零构建一个 Hadoop 3.3.6 镜像。所有 XML 和启动脚本都放在宿主机目录里，修改方便，排错清晰。

一个基于的 PLC 监控面板雏形，通过批量生成轴控制行（Label + TextBox + Button），为后续写入 PLC 做准备。

本文介绍了一个基于大数据和机器学习的健康数据分析系统，重点围绕心脏病风险预测展开。系统整合了数据采集、清洗、分布式分析、可视化展示和机器学习预测全流程，采用Hadoop生态进行数据处理，Hive进行统计分析，MySQL存储结果，并通过Flask框架构建Web应用。系统功能包括数据可视化分析、在线风险预测、用户管理等功能模块，支持用户根据个人健康信息进行风险评估。项目亮点在于将大数据处理、机器学习与Web应用完整串联，形成一个可交互的健康数据分析平台，适合作为大数据和机器学习应用的实践案例。

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。差异：scp全量拷贝，rsync增量拷贝。