GBase 8a 哈希索引介绍

南大通用数据库--GBase 8a中建立Hash Index 通常可以用来解决等值查询的定位效率，特别是对以单表精确查询为主的应用场景尤为适合，如电信业务中的并发话单查询等（特别是内存基本充足的场景）。默认创建GLOBAL的哈希索引。创建全局哈希索引，全局创建索引针对整列，数据按页存储，每个数据块占用多少个页可以在创建索引时指定。当使用GLOBAL关键字时，可以配合使用key_dc_size，这个参数表示指定创建分段Hash Index。分段hash是在用户指定的DC窗口内创建Hash Index，每个分段

GBase 8a目前支持2种索引：hash索引和智能索引；其中智能索引是自动创建和维护的。 --HASH索引： HASH索引分为global hash索引、分段hash索引；通过如下sql语句创建： Create index idx_name on [dbname.]tabname(ColName) [using hash global] Hash索引适用于等值查询类场景， Hash索引的索引文件是不压缩的，与gnode的元数据文件存放在一起； --智能索引： 在GBase 8a数据库，数据类

GBase 8a MPP Cluster 数据库支持全文检索

不支持范围查询 不支持索引完成排序 不支持联合索引的最左前缀匹配规则

本地HASH索引只是在一个DC包中建立索引，而全局HASH索引则是该列的DC包全部展开后建立的索引。两个HASH索引的使用范围不同，重复值少的场景使用Global全局HASH索引性能更好，反之使用Local本地HASH索引的性能更好。 ...

散列表（Hash Table，也叫哈希表），是根据关键码值（key value）而进行直接访问的数据结构。它通过关键码值映射到表中的一个位置来访问记录，以加快访问的速度。这个映射函数叫做散列函数，存放的数组叫做散列表。 例如，关键字为k，则把k放在f(k)的存储位置上。由此，不需要比较便可直接获取所查的记录。f()就是这个散列函数，按这个思想建立的表叫做散列表。 对于不同的关键字

南大通用GBase 8a数据库通过索引对象，可以快速查询到数据库对象表中的特定记录，是一种提高性能的常用方式。数据库对象索引其实与书的目录非常类似，主要是为了提高从表中检索数据的速度。同一表上不能创建相同名称的哈希索引，同一表的同一列上能且只能创建一个哈希索引，任何 GBase 8a MPP Cluster 支持的数据类型的列上都可以创建哈希索引。创建哈希索引后，基于索引列的等值查询的性能会提高，尤其是表中的数据量非常大的情况，在小数据量的情况下，哈希索引对性能的提升效果不明显。

摘要：智能索引是一种每65536行数据自动建立的粗粒度索引，包含过滤和统计信息，查询时无需解包即可获取统计值，显著降低I/O并优化复杂查询。相比传统索引，智能索引空间占用仅约1%，建立速度快且扩展性好。哈希索引适用于等值查询，但二进制类型或低区分度列不适用。查询类型包括等值、范围、模糊、不等和集合查询，其中等值查询使用"="运算符，可显著提升大数据量下的性能。

集群环境下，如果某一 gnode 节点不在线，之后依次执行了 dml（如 delete 操作）、 shrink space 操作，当该节点上线后触发集群同步操作会导致该节点的 seg 文件可能 出现 A、B 版本都存在的情况，属正常现象；因为集群先处理 ddl（shrink space，由 于没有 delete 数据此时不做任何处理），再处理 dml 触发同步。某一个节点异常后，执行 delete 与 shrink space 操作，查看数据文件有残留（存在 两份数据）。

在大数据环境下，有的业务场景需要释放磁盘空间，最有效的手段是释放被删除的数据文件所占的磁盘空间。 语法格式 ALTER TABLE [vc_name.][database_name.]table_nameSHRINK SPACE [FULL] | [FULLBLOCK_REUSE_RATIO= num] FULL：行级回收，按行级原始顺序对 DC 内有效数据进行整理，重新落盘写seg文件。只要有删除的数据，删除数据的空间就会被回收。有效行的顺序跟回收前保持一致，效率较低。 FULL BLOC..

在使用上，南大通用数据库 GBase 8a一定是首先进行智能索引过滤的，之后，如果发现查询条件中的等值查询条件列上建立了Hash Index，则使用Hash Index，否则进行全DC扫描。GBase 8a中建立Hash Index 通常可以用来解决等值查询的定位效率，特别是对以单表精确查询为主的应用场景尤为适合，如电信业务中的并发话单查询等（特别是内存基本充足的场景）。对有实时数据加载的场景，可以先建立无索引的临时表加载数据，再将临时表内数据插入到带索引的同结构目标表中或在临时表上创建索引。

GBase 8s 索引技术

HASH分布表上创建的hash索引与随机分布表上创建的HASH索引是没有区别的。 Hash分布列是一种数据存放规则，HASH索引只是记录了索引列每条记录的物理位置，与表的类型及数据的存放规则没有关系，索引是单独的文件，不会影响到表和表中的源数据。 ...

四个方面 1，从业务逻辑上处理，设计避免数据倾斜的问题，想办法把数据分配的更加均匀，分散一点。 比如 ：统计商家容易数据倾斜，我可以统计不同种类商品，比如生鲜，母婴，因为我只是知道整个平台的销售情况，商家维度不好找，我换成商品维度去统计，也省了很多人力资源。 2，从技术方案解决 统计一年的数据搞不定，可以统计每个月，如果每个月的数据量不大，就不会产生数据倾斜问题。 3，以上都考虑锅了，可以在细节问题解决，比如对数据预处理，过滤少数导致的key，使用随机前缀等等。 4，条件可以的话，可以从硬件上去解决，比如.

Hash Index 通常可以用来解决等值查询的定位效率，特别是对以单表精确查询为主的应用场景尤为适合，如电信业务中的并发话单查询等（特别是内存基本充足的场景）。8a中的hash索引分为 Global Hash与Local Hash，两者主要的区别是应对的场景不同和计算Hash值的范围不同。在应对的场景上，Global Hash Index用于列中数据较分散的情况，而Local Hash Index则用于列中数据较集中的情况，因此，如果一个列中的数值的重复度较高，则应该使用Local Hash Index，

B-tree索引适合比较查询和范围查询，当查询条件使用(>,=,=,

GBase 8s拥有完善的数据类型管理体系，且内置了日常应用所能涉及的所有数据类型，完全可以满足企业数据管理的需求。支持的内置数据类型包括： 数字类型：SMALLINT、INTEGER、INT8、BIGINT、DECIMAL、NUMERIC、FLOAT、SMALLFLOAT、REAL、DOUBLE、LONG、SERIAL、SERIAL8、BIGSERIAL、MONEY。 字符类型：CHAR、VARCHAR、LVARCHAR、NCHAR、NVARCHAR、CHARACTER VARYING。 日期类型：

create table tmp(a int,b varchar(20),KEY "idx" ("b") USING HASH GLOBAL);

mysql支持的存储引擎与索引结构对照表如下： 数据库类型 索引结构 innodb myiasm memory|heap