HyperLogLog设计和实战

最新推荐文章于 2026-04-18 05:11:40 发布
原创 最新推荐文章于 2026-04-18 05:11:40 发布 · 618 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
博客提供了两篇参考资料，一篇是论文，链接为http://algo.inria.fr/flajolet/Publications/FlFuGaMe07.pdf ；另一篇是简书文章，链接为https://www.jianshu.com/p/55defda6dcd2 。
hive-probabilistic-utils:hive 的概率数据结构和算法
06-05
概率蜂巢 (Alpha) hive 中的概率数据结构和算法。 目前只实现了 hyperloglog。 概要 -- estimate the cardinality of SELECT * FROM src GROUP BY col1, col2; SELECT hll(col1, col2).cardinality from src; -- create hyperloglog cache per hour FROM input_table src INSERT OVERWRITE TABLE hll_cache PARTITION (d = ' 2015-03-01 ' ,h = ' 00 ' ) SELECT hll(col1,col2) WHERE d = ' 2015-03-01 ' AND h = ' 00 ' INSERT OVERWRITE TABLE hll
Redis之位图和HyperLogLog实战详解
代码时光
06-15 720
节衣缩食——位图 在我们平时开发过程中，会有一些bool 型数据需要存取，比如用户一年的签到记录，签了是1，没签是0，要记录365天。如果使用普通的key/value, 每个用户要记录365个，当用户上亿的时候，需要的存储空间是惊人的。 为了解决这个问题，Redis 提供了位图数据结构，这样每天的签到记录只占据一一个位，365天就是365个位，46个字节(一个稍长一点的字符串)就可以完全容纳下，这就大大节约了存储空间。 位图不是特殊的数据结构，它的内容其实就是普通的字符串，也就是 byte 数组。我们 .
Hive之set参数大全-19
m0_49620121的博客
01-28 1539
在 Hive 中，是一个配置参数，用于指定用于计算列的唯一值数（NDV，即基数）的算法。该参数用于控制在收集表或列的统计信息时，Hive 使用的算法来估计列的唯一值数。默认情况下，的值通常是hll，表示使用 HyperLogLog 算法进行唯一值数的估计。你可以通过 Hive 的配置文件或者在 Hive 命令行中使用SET命令来配置这个参数。hllnosamplingauto使用不同的算法可能会影响唯一值数的估计精度和计算性能。HyperLogLog 算法通常用于大型数据集，以更高效地估计唯一值数。
Redis bitmap、hyperlog、布隆过滤器、RoaringBitmap原理应用场景与日活的统计的具体应用
S_ZaiJiangHu的博客
07-07 4534
缺点： 1.空间占用大2.统计逻辑复杂，比如统计最近 30 天用户的累计活跃天(每个用户在 30 天里有 N 天使用 app，N 为 1-30，然后将月活跃用户的 N 天加总)？统计最近 7 天的用户累计使用时长？统计最近 30 天有播放的累计用户数？统计最近 30 天活跃用户有多少在最近 30 天里有连续 3 天及以上活跃？统计 28 天前活跃用户的 1、3、7、14、28 天留存率？3、mysql性能消耗大， 4、以上统计逻辑可扩展性差，由于数据分析经常进行探索性分析，上面传统方案能解决上面几个问题，但
Log4j2插件（Plugins）加载顺序全解析：从Classpath冲突到Maven打包避坑指南
最新发布
weixin_33725515的博客
04-18 444
本文深入解析Log4j2插件（Plugins）加载机制，从Classpath冲突诊断到Maven打包避坑指南，详细介绍了插件加载的多层优先级、冲突解决方案及企业级管理实践。特别针对LOG4J2插件在复杂项目中的常见问题，提供了实用的调试工具和构建配置建议，帮助开发者优化日志系统性能与稳定性。
压缩列表 《Redis 5 设计与源码分析》
haima95的博客
06-17 377
1 压缩列表ziplist本质上就是一个字节数组。是一种线性数据结构，可以包含多个元素，每个元素可以是一个字节数组或一个整数 2 Redis的有序集合，散列和列表都直接或间接使用了压缩列表。 当有序集合zset或散列表hash的元素个数比较少，且元素都是短字符串时，Redis便使用压缩列表作为其底层数据存储结构。 列表list使用快速链表（quicklist）数据结构存储，而快速链表就是双向链表与压缩列表的组合 127.0.0.1:6379[1]> hmset person name zhan
hyperloglog实战 - 你的过滤器选对了吗？
taishanduba的专栏
08-11 381
一、业务背景 最近接到一个统计需求，为了监控视频效果，我们每次浏览视频都要记录uv。当量小的时候，没有问题，随着用户量的的增长，占用空间大的问题开始暴露。假如有1000万用户，采用set结构记录UV，我们只存储int类型的用户id，1000万*4byte/1024kb/1024mb=38.14G，这是一个视频一天的数据，很明显存储成本太高，必须找到一种既能满足需求，又很少占用空间的方案。 二、技术选型 经过调研，找到了以下几种技术方案，下面一一分析。 1、flink的state去重 MapState 是 F
redis——HyperLogLog
少说，多做。
10-14 3808
HyperLogLog 是一种概率数据结构，用来估算数据的基数。数据集可以是网站访客的 IP 地址，E-mail 邮箱或者用户 ID。 基数就是指一个集合中不同值的数目，比如 a, b, c, d 的基数就是 4，a, b, c, d, a 的基数还是 4。虽然 a 出现两次，只会被计算一次。 使用 Redis 统计集合的基数一般有三种方法，分别是使用 Redis 的 HashMap，BitM...
TDengine 聚合函数 HYPERLOGLOG 用户手册
TDengine(老段）专注时序数据库领域
09-25 1734
是 TDengine 的聚合函数，用于估算数据集中不重复（去重）元素的数量。该函数基于 HyperLogLog 算法实现，是一种概率性基数估计算法，能够在使用很少内存的情况下，对超大数据集的基数进行估算。重要说明： 参数说明 ：需要进行去重计数的字段，支持数值类型、字符串类型和时间戳类型 只接受一个参数，不支持多参数 不支持 DISTINCT： 是错误语法 返回值说明 返回类型：BIGINT 返回值意义：估算的不重复元素数量 空值处理： 当输入全为 NULL 时，返回 0 NULL 值不参与计数，但
HyperLogLog 使用及其算法原理详细讲解
热门推荐
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
08-18 2万+
目录 一、简介 二、命令 2.1 PFADD key element [element …] 2.2 PFCOUNT key [key …] 2.3 PFMERGE destkey sourcekey [sourcekey …] 三、原理 3.1 伯努利试验 3.2 估值优化 3.3 HyperLogLog的实现 3.4 代码实现-BernoulliExperiment（伯努利试验） 3.5 代码实现-HyperLogLog 一、简介 首先抛出一个业务问题： 假设产品经理让你设计一
阿里资深专家整理的Redis5设计与源码分析宝典终于横空出世
公众号：该用户快成仙了
07-20 434
本书讲了什么?Redis架构与源码设计Redis数据结构与命令实现业务所需关键实现解读你能得到什么?吸收设计精髓，提升技术素养理解设计，获得更好的性能掌握源码，更好、更快排障更远一点，设计自己的分布式缓存数据库本文从底层源码的角度，对Redis的数据结构以及持久化、主从复制、哨兵和集群等特性的实现原理进行了详尽的剖析，图文并茂。行文中也能看出作者团队在源码分析和系统编程方面的功力，我相信本文对于所有想要了解Redis及其内部实现的人来说都会有所帮助。
Redis 5设计与源码分析！
程序员高级码农的博客
05-18 296
Redis 5设计与源码分析！
Hyperloglog与大数据统计
半日闲的博客
03-16 6517
转自：https://chenjiehua.me/database/hyperloglog-bigdata.html 这几天在做一些数据统计相关的工作，涉及的东西挺多的，在此顺便做一下笔记以备忘。 大数据统计 大数据应用场景中最常见的一个问题便是基数估算，而在进行基数估算时遇到的问题主要是内存需求以及后期数据合并处理等。 举个例子，假设我们的网站对每一次请求都做如下简单的日志记
在presto中使用hyperloglog计算uv（设定精确度）
weixin_43953546的博客
10-29 1795
HyperLogLog利用基数估计算法，通过概率，在不追求绝对精确的情况下，可以有效的在大数据场景中统计uv值，同时消耗更少内存，并且大大减少计算时间。 对于HLL的算法详解，大部分博客都记录的很详细，随意贴上个链接就很够用——HyperLogLog算法详解 presto中也兼容了对HLL的使用，下面将介绍一下，如果在presto中使用HLL计算uv 1.建表。对于要计算uv的字段，需要用p...
高压缩空间占用的 Hyper LogLog 算法
小海的专栏
11-27 1107
高压缩空间占用的 Hyper LogLog 算法
大数据分析常用去重算法分析『HyperLogLog 篇』
数据之路
05-09 2307
大数据分析常用去重算法分析『HyperLogLog 篇』 在上篇推送中，Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销，但是随着数据量的增大，它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogLog（下称 HLL）是一种非精确的去重算法，它的特点是具有非常优异的空间复杂度（几乎可以达到常数级别）...
Hive专题-distinct优化
we.think
07-02 1166
目录一、问题描述二、分治优化一三、分治优化二 一、问题描述 在hive中count(distinct)很容易造成数据倾斜。但有时，“数据倾斜”又几乎是必然的。 我们来举个栗子：假设表sdk_session_details中记录了访问网站客户端会话信息，即：如果用户打开App客户端，则会产生一条会话信息记录在该表中，该表的粒度为“一次”会话，其中每次会话都记录了用户的唯一标示uuid，uuid是一个很长的字符串，假定其长度为64位。现在的需求是：每天统计当月的活用用户数——“月活跃用户数”（当月访问过app就
BloomFilter & Hyperloglog 去重 & 统计
u011250186的博客
09-12 852
去重小结 最近在做爬虫的时候，遇到了去重的问题，关于去重，有很多地方可以做，比如 内存级别，利用 hashmap，准确，性能好但是内存有限 数据库，利用唯一键，准确，存储量大但是性能差 内存级别 BloomFilter，利用 bitmap，性能好，存储量比 hashmap 大得多，但是有误差 实际使用的时候要根据场景去 tradeoff，没有最好的办法，只有最合适的办法 基数统计 ...
hive内置函数大全
frostbite_Sword的博客
07-03 2946
一、查看函数        show functions 显示hive下内置所有函数        desc function extended add_months 显示add_months 函数用法二、按首字母排序    hive版本1.1.0-cdh5.7.0.函数Usage举例!! a - Logical notNo example for !.%a % b - Returns the r...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值