实现自己的AI视频监控系统-第一章-视频拉流与解码4（重点）

说明

使用本章节代码请引用此CSDN链接，尊重知识、尊重他人劳动。

前言

这一小节将正式进入代码实现部分。我们会结合实际业务需要和拉流解码流程实现一个灵活、轻便、易用的视频拉流解码模块，支持多路视频拉流解码且可以动态更新更新内部参数。

实验平台基本配置

• 本次测试的平台硬件如下：
  • CPU：i5-12490f
  • CPG:RTX 3080 10G
  • RAM:16G GDDR4 3200Hz
  • 显示分辨率:4K

一、为什么舍弃opencv进行拉流解码？

在开始设计之初，我们首先考虑的是使用大家所熟知的 **OpenCV（cv2.VideoCapture）**来实现拉流和解码功能。它的 API 简单直接，几行代码就能实现从网络流中读取帧，对于快速原型验证来说非常方便。

然而，在经过深入的调研和测试后，我们发现 OpenCV 在处理多路视频流、追求低延迟和高性能的生产环境时，存在一些无法忽视的瓶颈：

1. 性能和资源消耗：OpenCV 的 VideoCapture 对于网络流的处理不够高效。在多路同时拉流时，其线程模型和缓冲区管理可能成为性能瓶颈，容易导致延迟累积（Buffer Accumulation），CPU 占用率也相对较高。这对于需要同时处理数十路甚至上百路流媒体的应用来说是难以接受的。

2. 控制力不足：OpenCV 提供了一个高级的、封装好的抽象接口，这牺牲了底层的灵活性。我们很难精细地控制网络参数（如超时时间、缓冲区大小、重连逻辑）、解码参数（如硬件加速选择）以及音视频流的处理策略。例如，它自动管理缓冲区，我们无法有效地“清空”陈旧的、积压的视频帧来获取最新的实时帧，这在监控等低延迟场景中是致命缺陷。

3. 对复杂流格式的支持和稳定性：OpenCV 底层通常依赖于 FFmpeg，但其封装可能不是最新的，或者编译时未包含所有所需的协议和格式支持。在处理某些特定的流媒体协议（如 HLS、RTMP）或编码格式时，可能会遇到无法解析、卡顿或崩溃等稳定性和兼容性问题。

4. 音频流的缺失：cv2.VideoCapture 专注于视频流，会完全忽略媒体流中的音频数据。如果我们的业务后续需要音画同步处理或音频分析，OpenCV 无法满足需求，虽然在当前阶段，我们暂不考虑音频的问题。

因此，我们决定舍弃 OpenCV，转而使用更底层、更专业的多媒体库 PyAV。

PyAV 是 FFmpeg 的 Python 绑定，它提供了对 FFmpeg 库近乎完整的访问能力。这一选择带来了显著的优势：

• 高效与精准控制：PyAV 允许我们直接操作底层的网络和解码模块。我们可以精细设置超时、缓冲、解码线程数、硬件加速（如 CUDA, VAAPI, DXVA2）等参数，从而优化多路流的资源占用和延迟。

• 强大的多路处理能力：基于 FFmpeg 的强大生态和 PyAV 的灵活 API，我们可以轻松构建高效的多路流处理管道，并有效地管理各路的生命周期。

• 完整的媒体支持：PyAV 可以同时处理视频和音频流，为未来的功能扩展奠定了基础。它支持几乎所有 FFmpeg 支持的容器格式和编解码器，保证了最佳的兼容性。

• 避免冗余缓冲：PyAV 提供了更“原始”的数据包（Packet）和帧（Frame）对象，允许我们以更低的开销获取数据，便于直接送入像 NumPy 数组或深度学习框架中进行后续处理。

综上所述，为了实现一个灵活、轻便、易用且能满足多路流低延迟、高性能解码的模块，PyAV 是我们的不二之选（当然，gstreamer也是一个很好的选择，但是对于初学者而言，基于ffmpeg的pyav库是很好的选择，也是工程化很好的工具）。

二、核心模块设计

在上一节中，我们阐述了选择 PyAV 的原因。本节将详细介绍视频拉流解码模块的核心设计，包括单路视频流的解码实现（支持关键帧解码策略）和多路流管理器。

2.1 模块接口定义 (VideoStreamDecoder)

我们首先定义一个核心类 VideoStreamDecoder，它负责一路视频流的生命周期管理，包括连接、解码、参数更新和销毁。

核心属性：

• stream_url: 输入流地址（RTSP, HTTP, etc.）

• buffer_size: 网络操作缓冲区大小

• hw_accel: 硬件加速类型（例如 “cuda”, “cpu”，本例依旧为软解码，并不提供cuda实现）

• timeout: 网络操作超时时间

• reconnect_delay: 连接失败后的重连延迟

• max_retries: 最大重试次数

• keyframe_only: 是否只解码关键帧

• _container: PyAV 的输入容器对象

• _video_stream: 视频流对象

• _current_iterator: 当前解复用器迭代器

• _last_frame: 最后解码出的视频帧（numpy array）

• _running: 运行状态标志

核心方法：

• init(): 初始化解码器，配置参数。

• connect(): 建立到流媒体的连接，查找视频流。

• start(): 开始解码循环（通常在独立线程中运行）。

• decode_frame(): 从流中读取并解码一帧视频。

• get_frame(): 获取当前最新的一帧视频（供外部调用）。

• update_settings(): 动态更新内部参数（如超时时间、缓冲区大小）。

• stop(): 安全地停止拉流和解码，释放资源。

• _reconnect(): 内部重连逻辑。

2.2 单路拉流解码实现（支持关键帧策略）

在开始之前，我们需要准备网络视频流资源，我们在前面已经提供了使用liveNVR准备网络视频流的素材，详细参考。我们下面是支持关键帧解码策略的 VideoStreamDecoder 类的实现：

• 实现的逻辑示意图如下所示：

• 运行结果展示（注意pyav推荐11.0.0版本！）

  • 单路展示
    

  • 4路展示
    

  • 8路展示
    

• 注意，随着分辨率的提高，软解码对cpu的依赖会越来越高

2.3 资源消耗对比

1. pyav拉流解码资源消耗

• 在极端情况下pyav可以只解码关键帧！

2. opencv拉流解码资源消耗

2.3 代码汇总

2.3.1 pyav代码实现汇总

import av
import cv2
import time
import logging
import threading
import numpy as np
from typing import Optional, Any, Dict, List, Tuple
import datetime
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("StreamDecoder")


def add_timestamp(frame_array):
    # 获取当前时间
    current_time = datetime.datetime.now()

    # 格式化时间字符串
    time_str = current_time.strftime("%Y-%m-%d %H:%M:%S")

    # 设置文本参数
    font = cv2.FONT_HERSHEY_SIMPLEX
    font_scale = 0.7
    font_color = (255, 255, 255)  # 白色文本
    font_thickness = 2
    background_color = (0, 0, 0)  # 黑色背景

    # 获取文本尺寸
    (text_width, text_height), baseline = cv2.getTextSize(time_str, font, font_scale, font_thickness)

    # 设置文本位置（右上角）
    margin = 10
    text_x = frame_array.shape[1] - text_width - margin
    text_y = text_height + margin

    # 添加半透明背景矩形以提高文本可读性
    bg_rect = np.zeros((text_height + 2 * margin, text_width + 2 * margin, 3), dtype=np.uint8)
    bg_rect[:, :] = background_color

    # 将背景矩形放置在帧上
    alpha = 0.6  # 背景透明度
    y1, y2 = text_y - text_height - margin, text_y + margin
    x1, x2 = text_x - margin, text_x + text_width + margin

    # 确保坐标不超出范围
    y1, y2 = max(0, y1), min(frame_array.shape[0], y2)
    x1, x2 = max(0, x1), min(frame_array.shape[1], x2)

    # 混合背景矩形和帧
    if y2 > y1 and x2 > x1:
        roi = frame_array[y1:y2, x1:x2]
        bg_resized = cv2.resize(bg_rect, (x2 - x1, y2 - y1))
        blended = cv2.addWeighted(roi, 1 - alpha, bg_resized, alpha, 0)
        frame_array[y1:y2, x1:x2] = blended

    # 添加时间文本
    cv2.putText(
        frame_array,
        time_str,
        (text_x, text_y),
        font,
        font_scale,
        font_color,
        font_thickness,
        cv2.LINE_AA
    )

    return frame_array


class VideoStreamDecoder:
    def __init__(self, stream_url: str, buffer_size: int = 102400,
                 hw_accel: