MediaPipe手势识别模型训练：从视频采集到Colab部署的全流程指南

MediaPipe手势识别模型训练：从视频采集到Colab部署的全流程指南

最近在做一个智能交互项目，需要识别几个特定的手势指令，比如“确认”、“取消”、“翻页”这类动作。市面上通用的手势识别模型虽然强大，但对我这几个自定义手势却无能为力。于是，我决定自己动手，用MediaPipe Model Maker训练一个专属的识别模型。整个过程从用手机拍视频开始，到最终在Colab上跑通训练、导出模型并集成到本地应用里，踩了不少坑，也总结出一套比较顺畅的流程。如果你也面临类似需求——手头没有现成数据集，但又想快速得到一个能识别特定手势的轻量级模型，那么这篇结合了实操细节和避坑指南的内容，或许能帮你省下不少摸索的时间。我们不仅会走过数据准备、模型训练、评估优化的标准路径，还会深入一些影响模型实际表现的关键细节。

1. 从零构建手势数据集：策略与自动化工具

训练一个鲁棒的手势识别模型，数据集的质量和多样性是基石。对于自定义手势，我们往往需要从零开始创建数据集。最直接的方法就是录制视频，但这其中有很多技巧可以显著提升后续模型的泛化能力。

首先，在录制视频前，你需要明确手势的定义。 这不仅仅是手势的静态姿势，还包括其动态变化范围。例如，定义一个“OK”手势，你需要考虑手指弯曲的程度、手掌的朝向（正对摄像头、侧对、有一定倾斜）、以及手势在画面中的大小和位置。理想情况下，你的训练数据应该覆盖这些所有可能的变体。

我的建议是，为每个手势准备一个录制清单：

• 参与者多样性：如果条件允许，让不同性别、不同手型大小的人参与录制，这能极大地帮助模型学习到与个体特征无关的手势本质。
• 环境与背景：在几种不同的光照条件（自然光、室内暖光、偏暗环境）和简洁背景下进行录制。复杂的背景会增加模型的学习难度，初期建议使用纯色背景。
• 手势表现：在录制时，让表演者缓慢地移动手部，改变手势相对于摄像头的角度（上下左右倾斜约30度），并轻微调整手指的张开程度。一段10-15秒的视频，往往就能通过抽帧得到上百张富有变化的图片。

录制完成后，你会得到一系列.mp4或.mov文件。接下来的核心任务是将视频转换为按手势分类的图片集。手动截帧效率太低，我们需要一个自动化的脚本。这个脚本不仅要能抽帧，最好还能进行一些简单的预处理，比如统一图片尺寸，这能为后续训练减少不必要的麻烦。

下面是一个增强版的视频抽帧脚本，它增加了图片缩放和限制最大抽帧数量的功能，防止单个视频产生过多相似图片：

import cv2
import os
import argparse

def video_to_frames(video_path, output_dir, target_width=640, max_frames=200, frame_interval=1):
    """
    将视频转换为帧图片，并可调整尺寸。

    参数:
        video_path: 输入视频文件路径。
        output_dir: 输出图片的文件夹路径。
        target_width: 目标图片宽度，高度按比例自动调整。
        max_frames: 最大抽帧数量，避免数据过多。
        frame_interval: 抽帧间隔（每隔几帧抽一张），1表示每帧都抽。
    """
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    cap = cv2.VideoCapture(video_path)
    if not cap.isOpened():
        print(f"错误：无法打开视频文件 {video_path}")
        return 0

    frame_count = 0
    saved_count = 0

    while saved_count < max_frames:
        ret, frame = cap.read()
        if not ret:
            break

        # 按间隔抽帧
        if frame_count % frame_interval == 0:
            # 调整图像尺寸
            height, width = frame.shape[:2]
            ratio = target_width / width
            target_height = int(height * ratio)
            resized_frame = cv2.resize(frame, (target_width, target_height), interpolation=cv2.INTER_AREA)

            # 保存图片
            output_filename = os.path.join(output_dir, f'frame_{saved_count:04d}.jpg')
            cv2.imwrite(output_filename, resized_frame)
            saved_count += 1

        frame_count += 1

    cap.release()
    print(f'视频 {os.path.basename(video_path)} 处理完成，共保存了 {saved_count} 张图片至 {output_dir}。')
    return saved_count

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='视频抽帧工具')
    parser.add_argument('--video', type=str, required=True, help='视频文件路径')
    parser.add_argument('--out