python redis stream

最新推荐文章于 2025-09-25 15:36:16 发布

原创最新推荐文章于 2025-09-25 15:36:16 发布 · 468 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#redis #python

收录于

Python 专栏收录该内容

6 篇文章

订阅专栏

这段代码展示了如何利用Python的redis库实现批量记录的处理。程序每收集到100个记录，就会将它们以pickle序列化的方式存入Redis的stream中，用于模拟实时数据流的存储，同时限制stream的最大长度为50条记录。

#!/usr/bin/env python
# encoding: utf-8

import redis
import socket
import pickle
import time

r = redis.Redis(socket.gethostname(), port=6379, password="123456")

i = 0
record_list = []
while i < 100000:
    time.sleep(0.005)  # 模拟从kvd中读record的耗时
    i += 1  # i用来模拟record
    record_list.append(i)
    if i % 100 == 0:
        # 凑够100个record将其推入redis stream
        r.xadd("mirror_flow", {"http_mirror_flow": pickle.dumps(record_list)}, maxlen=50)
        record_list = []