redis——BigKey、MoreKey之理解

引入:经典面试题

1.阿里广告平台，如何在海量数据里查询某一个固定前缀的key?

2.小红书，你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据？

3.美团，memory usage命令你用过吗？

4.BigKey问题，多大算big？你如何发现？如何删除？如何处理？

5.BigKey你做过调优吗？惰性释放lazyfree了解过吗？

6.morekey问题，生产上redis数据库有1000W记录，你如何遍历数据？ keys *可以吗？

MoreKey案例

key*会造成严重服务卡顿、影响业务

第一步:大批量往redis里面插入2000W测试数据key

1)Linux Bash下面执行，插入100W数据

生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

	for((i=1;i<=100*10000;i++)); do echo "set ksi v$i" >> /tmp/redisTest.txt ;done;

2)通过redis提供的管道-pipe命令插入100W大批量数据

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379-a 111111 --pipe

3)keys * 试试100W花费多少秒遍历查询

 大量的数据使用key*查看或者删除会导致严重的时间消耗,这个指令没有offset、limit 参数，是要一次性吐出所有满足条件的key，由于redis,是单线程的，其所有操作都是原子的，而keys算法是遍历算法，复杂度是O(n)，如果实例中有千万级以上的 key，这个指令就会导致Redis服务卡顿，所有读写Redis 的其它的指令都会被延后甚至会超时报错，可能会引起缓存雪崩甚至数据库宕机。

生产上一般会屏蔽keys*、flushdb、flushall等命令

不用keys *避免卡顿，那该用什么

scan命令登场了

特点

SCAN命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为SCAN命令的游标参数，以此来延续之前的迭代过程。 SCAN返回一个包含两个元素的数组，

第一个元素是用于进行下一次迭代的新游标， 第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。 SCAN的遍历顺序 非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

 总结:使用scan命令代替keys*,要素:游标(偏移量),模式串(匹配),count(查询记录数)

BigKey-多大算BigKey?

通常我们说的BigKey，不是在值的Key很大，而是指的Key对应的value很大

阿里规范:

string和二级结构

• string是value，最大512MB但是≥10KB就是bigkey

• list、hash、set和zset，value个数超过5000就是bigkey

  list：一个列表最多可以包含2^32-1个元素(4294967295，每个列表超过40亿个元素)。

  hash：Redis中每个hash可以存储2^32-1个键值对(40多亿)

  set：集合中最大的成员数为2^32-1(4294967295，每个集合可存储40多亿个成员)

Bigkey危害、产生与发现

bigkey的危害

内存不均，集群迁移困难

超时删除，大key删除作梗

网络流量阻塞

如何产生

• 社交类

  明星粉丝列表，典型案例粉丝逐步递增

• 汇总统计

  某个报表，日月年经年累计

如何发现

• redis-cli --bigkey

  好处，见最下面总结 给出每种数据结构Top 1 bigkey。同时给出每种数据类型的键值个数＋平均大小

  不足 想查询大于10kb的所有key，--bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

redis-cli --bigkeys -a 111111
redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkey

 memory usage 键

BigKey如何删除

普通命令

• String

  一般用del，如果过于庞大使用unlink key 删除

• list:  使用ltrim渐进式逐步删除，直到全部删除完成

• set: 使用sscan每次获取部分元素，在使用srem命令删除每个元素

• zset: 使用zscan每次获取部分元素，在使用zremrangebyrank命令删除每个元素

• hash

  • 使用hscan每次获取少量field-value，再使用hdel删除每个field

  • 命令

思想:大key逐步拆解,一点一点删,直到没有

BigKey生产调优

1.redis.conf配置文件 LAZY FREEING相关说明 

优化(开启懒删除):