1. 项目概述:ToTMNet的创新与价值
远程光电容积描记技术(rPPG)正在彻底改变我们获取生命体征的方式。这项技术仅通过普通摄像头捕捉的面部视频,就能提取出血容量脉冲(BVP)波形和心率等关键生理指标。想象一下,未来我们只需用手机自拍就能完成基础健康检查——这正是rPPG技术带来的可能性。然而,这项技术面临的核心挑战是如何从微弱的皮肤颜色变化中(通常只有0.2%的信号强度)准确分离出脉搏信号。
传统信号处理方法(如POS、CHROM等)依赖精心设计的颜色空间投影和滤波,但在复杂光照或运动场景下表现受限。深度学习模型虽然提升了鲁棒性,但主流时序建模方法(如注意力机制)存在明显的效率瓶颈:计算复杂度随视频长度呈二次方增长,导致模型参数量庞大,难以部署在资源受限的边缘设备上。
ToTMNet的突破在于用数学上优雅的Toeplitz矩阵结构重构了时序建模方式。这种具有恒定对角线的特殊矩阵,天然适合表示生理信号的周期性特征。通过FFT加速,模型仅需线性参数就能实现全序列时序感受野,计算复杂度降至近线性(O(TlogT))。更巧妙的是,团队设计了门控机制动态调节局部卷积与全局Toeplitz混合的贡献,使模型能智能应对运动干扰等非平稳噪声。
2. 核心架构解析:当Toeplitz遇见rPPG
2.1 空间特征提取:轻量而高效的起点
模型输入是72×72像素的面部ROI视频片段(T=180帧)。空间特征提取采用金字塔式CNN结构,每帧独立处理:
- 3层深度可分离卷积(kernel=3×3,stride=2)逐步下采样
- 全局平均池化将每帧压缩为32维特征向量
- 输出张量Z∈ℝ^(B×T×d),其中d=32为嵌入维度
这种设计将计算重心放在后续时序处理,符合rPPG信号弱但时序结构强的特性。实验显示,相比直接处理原始分辨率,该预处理使FLOPs降低78%而不影响精度。
2.2 时序混合块:局部与全局的协同
核心创新在于门控局部-全局时序混合块(图1)。每个块包含:


402


被折叠的 条评论
为什么被折叠?



