人脸检测+人体检测C++ Android项目

原创 已于 2023-03-11 11:55:19 修改 · 1w 阅读 · 46 ·
本内容遵循CC 4.0 BY-SA版权协议
本文为博主原创文章，未经博主允许不得转载（AI吃大瓜）
标签
#人脸检测 #人体检测 #Android人体检测 #人脸人体检测 #行人检测
于 2021-10-10 18:04:58 首次发布
本文介绍了一个基于C++的人脸检测、关键点检测及人体检测项目，利用TNN框架在Android平台上实现实时运行。项目包括模型训练、端上部署、依赖库配置，并提供了人脸检测、人体检测和人脸关键点Demo的代码示例。此外，还提供了AndroidDemo的下载链接和解决常见问题的建议。

人脸检测+人体检测C++ Android项目

目录

人脸检测+人体检测C++ Android项目

1.项目说明

（1）训练

（2）端上部署

（3）依赖库

2. 人脸人体检测Demo

3. Android Demo效果

4.Demo源码下载

5.人体关键点Demo（Android版本）

本博客将实现C++版本的人脸检测，人脸关键点检测，人体检测，人脸+人体检测，推理框架采用TNN，在普通Android手机，CPU和GPU都可以达到实时检测的效果

【尊重原创，转载请注明出处】 https://panjinquan.blog.csdn.net/article/details/120688804

1.项目说明

（1）训练

训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB ，一个基于SSD简化的人脸检测模型，很轻量化，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。

原始代码使用WiderFace人脸数据集进行训练，仅支持了人脸检测，后经鄙人优化后，提高了人脸检测效果，并支持人脸关键点检测，人体检测。数据集是WiderFace,VOC和COCO。

（2）端上部署

原始代码已经支持MNN和NCNN

（3）依赖库

# pull 3rdparty(TNN,base-utils) submodule
git submodule init
git submodule update
  • 配置OpenCV

推荐opencv-4.3.0

mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make install
  • 配置OpenCL（可选）

Android系统一般都支持OpenCL，Linux系统可参考如下配置：

# 参考安装OpenCL： https://blog.csdn.net/qq_28483731/article/details/68235383，作为测试，安装`intel cpu版本的OpenCL`即可
# 安装clinfo，clinfo是一个显示OpenCL平台和设备的软件
sudo apt-get install clinfo
# 安装依赖
sudo apt install dkms xz-utils openssl libnuma1 libpciaccess0 bc curl libssl-dev lsb-core libicu-dev
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 3FA7E0328081BFF6A14DA29AA6A19B38D3D831EF
echo "deb http://download.mono-project.com/repo/debian wheezy main" | sudo tee /etc/apt/sources.list.d/mono-xamarin.list
sudo apt-get update
sudo apt-get install mono-complete
# 在intel官网上下载了intel SDK的tgz文件，并且解压
sudo sh install.sh
  • CMake配置说明

Linux OR Windows测试，CMakeLists.txt

# TNN set
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_LINUX)
    # add_definitions(-DPLATFORM_WINDOWS)

2. 人脸人体检测Demo

推理框架使用TNN进行部署，手撸Python转C++实现人脸人体检测推理过程，

下面是测试代码demo部分代码

void test_face_person_detector() {
    const int num_thread = 1;
    DeviceType device = CPU;
    // 人脸和关键点检测
    // const char *model_file = (char *) "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnmodel";
    // const char *proto_file = (char *) "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnproto";
    // ObjectDetectiobParam model_param = FACE_LANDMARK_MODEL;

    // 人脸+人体检测
    // const char *model_file = (char *) "../data/tnn/face_person/rfb1.0_face_person_300_300_sim.opt.tnnmodel";
    // const char *proto_file = (char *) "../data/tnn/face_person/rfb1.0_face_person_300_300_sim.opt.tnnproto";
    // ObjectDetectiobParam model_param = FACE_PERSON_MODEL;//模型参数
    // 人脸检测
    const char *model_file = (char *) "../data/tnn/face/rfb1.0_face_320_320.opt.tnnmodel";
    const char *proto_file = (char *) "../data/tnn/face/rfb1.0_face_320_320.opt.tnnproto";
    ObjectDetectiobParam model_param = FACE_MODEL;//模型参数


    // 设置检测阈值
    const float scoreThresh = 0.5;
    const float iouThresh = 0.3;
    ObjectDetection *detector = new ObjectDetection(model_file,
                                                    proto_file,
                                                    model_param,
                                                    num_thread,
                                                    device);

    string image_dir = "../data/test_image/person";
    std::vector<string> image_list = get_files_list(image_dir);
    for (string image_path:image_list) {
        cv::Mat bgr_image = cv::imread(image_path);
        if (bgr_image.empty()) continue;
        FrameInfo resultInfo;
        printf("init frame\n");
        // 开始检测
        detector->detect(bgr_image, &resultInfo, scoreThresh, iouThresh);
        // 可视化代码
        detector->visualizeResult(bgr_image, &resultInfo);
    }
    delete detector;
    detector = nullptr;
    printf("FINISHED.\n");
}

3. Android Demo效果

可以轻松移植到Android系统，在普通手机，CPU和GPU都可以达到实时检测

 这是APP的检测效果：

APP模型选择人脸检测
人脸关键点检测人体检测人脸+人体检测

4.Demo源码下载

Android Demo Android源码支持的内容主要有：

  1. 支持人脸检测算法模型
  2. 支持人脸检测和人脸关键点检测(5个人脸关键点)算法模型
  3. 支持人体检测(行人检测)算法模型
  4. 支持人脸和人体同时检测算法模型
  • 运行APP闪退：dlopen failed: library "libomp.so" not found

参考解决方法：解决dlopen failed: library “libomp.so“ not found_PKing666666的博客-CSDN博客_dlopen failed

 

5.人体关键点Demo（Android版本）

人体关键点检测需要用到人体检测，请查看鄙人另一篇博客：2D Pose人体关键点实时检测(Python/Android /C++ Demo)_pan_jinquan的博客-CSDN博客

Android实现人体检测APP Demo（可实时运行）.zip
02-12
这是Android实现人体检测APP Demo（可实时运行）；更多内容请查看： 行人检测(人体检测)1：人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763 行人检测(人体检测)2：YOLOv5实现人体检测(含人体检测数据集和训练代码)：https://blog.csdn.net/guyuealian/article/details/128954588 行人检测(人体检测)3：Android实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954615 行人检测(人体检测)4：C++实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954638
人体关键点检测评价指标oks/Precision/AP/mAP/Recall/AR/IoU
lyx_323的博客
07-20 1万+
1、OKS（Object Keypoint Similarity） 主要指标就是OKS（Object Keypoint Similarity），这个指标启发于目标检测中的IoU指标，目的就是为了计算真值和预测人体关键点的相似度。 2、OKS矩阵 OKS是计算两个人之间的骨骼点相似度的，那一张图片中有很多的人时，该怎么计算呢？这时候就是构造一个OKS矩阵了。 假设一张图中，一共有M个人（groudtruth中），现在算法预测出了N个人，那么我们就构造一个M×N的矩阵，矩阵中的位置（i,j）代表grou
OpenCV中的人脸关键点检测和人脸特征提取如何实现？
m0_74693860的博客
07-04 4033
在OpenCV中，人脸关键点检测和人脸特征提取是常见的计算机视觉任务。OpenCV提供了一些用于实现这些任务的函数和算法。下面将介绍如何在OpenCV中实现人脸关键点检测和人脸特征提取。
人体姿态识别OpenPose相关资料
耶律大石的博客
04-24 6776
OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，人们更加熟悉的应用就是抖音尬舞...
人体姿态估计(人体关键点检测)2D Pose训练代码和Android源码
AI吃大瓜的博客
08-12 2万+
目录目录人体姿态估计(人体关键点检测)2D Pose训练代码和Android源码1.人体姿态估计2D Pose方法2.人体姿态估计数据集（1）COCO数据集（2）MPII数据集（3）关键点示意图（ID序号）3.人体(行人)检测4.人体姿态估计训练Pipeline（1）Environment（2）数据准备：COCO和MPII数据集（3）模型训练（4） 测试Demo（5） 检测效果展示5.人体姿态估计模型Android部署（1） 将Pytorch模型转换ONNX模型（2） 将ONNX模型转换为TNN模型（3）
人工智能项目集合推荐(数据集 模型训练 C++和Android部署)
AI吃大瓜的博客
08-25 3685
人工智能项目集合推荐(数据集 模型训练 C++和Android部署)
人脸检测和人体检测(行人检测)1：人脸检测和人体检测数据集(含下载链接)
热门推荐
AI吃大瓜的博客
02-12 2万+
这是项目《行人检测(人体检测)》系列之《人体检测数据集》；我们将介绍几个常见的人体检测数据集：VOC，COCO和MPII数据集，总数据量约10W左右，可用于人体(行人)检测模型算法开发。行人检测，人体检测，人体数据集，行人数据集，YOLOv5
行人检测(人体检测)3：Android实现人体检测(含源码，可实时人体检测)
AI吃大瓜的博客
02-13 2万+
这是项目《行人检测(人体检测)》系列之《Android实现人体检测(含源码，可实时人体检测)》；本篇主要分享将Python训练后的YOLOv5的人体检测模型移植到Android平台。我们将开发一个简易的、可实时运行的人体检测Android Demo。
行人检测和人脸检测和人脸关键点检测（C++/Android源码）
AI吃大瓜的博客
06-18 7396
考虑到人脸人体检测的需求，本人开发了一套轻量化的，高精度的，可实时的人脸/人体检测Android Demo，主要支持功能如下： 支持人脸检测算法模型 支持人脸检测和人脸关键点检测(5个人脸关键点)算法模型 支持人体检测(行人检测)算法模型 支持人脸和人体同时检测算法模型 所有算法模型都使用C++开发，推理框架采用TNN，Android通过JNI接口进行算法调用；所有算法模型都可在普通Android手机实时跑，在普通Android手机，CPU和GPU都可以达到实时检测的效果（CPU约25毫秒左右，GPU约1
人体关键点检测4：C/C++实现人体关键点检测(人体姿势估计)含源码 可实时检测
AI吃大瓜的博客
12-18 4062
人体关键点检测4：C/C++实现人体关键点检测(人体姿势估计)含源码 可实时检测,人体关键点检测，人体姿态估计，2D Pose
一行代码Android上实现人脸检测、关键点检测、口罩检测
夜雨飘零
09-05 5911
一行代码实现人脸检测，人脸关键点检测和戴口罩检测。本项目是使用Paddle Lite 的C++实现的人脸检测，人脸关键点检测和戴口罩检测，并将编译好的动态库和静态库部署在Android应用上，在Android设备上实现人脸检测，人脸关键点检测和戴口罩检测，所以本应不会使用到C++开发，可以只使用笔者提供的JNI接口实现这些功能。在ai这个module是笔者在开发时使用到的，读者在使用这个项目时，完全可以删除掉，如果是看C++实现，也可以看这个module的源码。
人脸检测和行人检测2：YOLOv5实现人脸检测和行人检测(含数据集和训练代码)
AI吃大瓜的博客
04-26 1万+
人脸检测和行人检测2：YOLOv5实现人脸检测和行人检测(含数据集和训练代码)，可实现同时检测人脸框和行人(人体)框，yolov5实现人脸检测，人体检测，行人检测，人脸人体检测，数据集，人脸行人检测
行人检测(人体检测) Android实现人体检测(含源码，可实时人体检测)
欢迎来到多多的游乐园！
02-16 1884
这是项目《行人检测(人体检测)》系列之《Android实现人体检测(含源码，可实时人体检测)本篇主要分享将Python训练后的YOLOv5的人体检测模型移植到Android平台。我们将开发一个简易的、可实时运行的人体检测Android Demo。考虑到原始YOLOv5的模型计算量比较大，鄙人在YOLOv5s基础上，开发了一个非常轻量级的的人体检测模型从效果来看，Android人体检测模型的检测效果还是可以的，高精度版本YOLOv5s平均精度平均值mAP_0.5:0.95=0.84354，而轻量化版本。
人脸检测和行人检测3：Android实现人脸检测和行人检测检测(含源码，可实时检测)
AI吃大瓜的博客
05-04 3744
人脸检测和行人检测3：Android实现人脸检测和行人检测(含源码，可实时检测)； Android实现人脸检测，Android实现人体检测，人脸人体检测，人脸行人检测
QT+OpenCV在Android上实现人脸实时检测与目标检测
最新发布
07-04 2390
本项目通过Qt框架整合OpenCV与YOLOv3及CNN模型，不仅展示了如何在Android平台上高效实现复杂计算机视觉算法的集成，还为开发者提供了一个实践案例，探索了移动设备上高性能目标检测与人脸识别技术的可行性。这不仅促进了人工智能技术在移动应用中的普及与深化，也为未来的智能安防、健康管理、娱乐互动等应用场景提供了坚实的技术基础。项目的跨平台特性也为软件的广泛部署与应用提供了便利，进一步推动了AI技术与移动互联网的融合创新。
MediaPipe 集成人脸识别，人体姿态评估，人手检测模型
张伟的专栏
05-05 1万+
上期文章，我们介绍了MediaPipe Holistic的基础知识，了解到MediaPipe Holistic分别利用MediaPipe Pose，MediaPipe Face Mesh和MediaPipe Hands中的姿势，面部和手界标模型来生成总共543个界标（每手33个姿势界标，468个脸部界标和21个手界标）。 对于姿势模型的精度足够低以至于所得到的手的ROI仍然不够准确的情况，但我们运行附加的轻型手重新裁剪模型，该模型起着的作用，并且仅花费了手模型推断时间的10％左右。 MediaPip
人体关键点简单总结
jacke121的专栏
10-15 3816
人体关键点 2019.10.15最新的是： https://github.com/karfly/learnable-triangulation-pytorch 1070 200多ms https://github.com/DavexPro/pytorch-pose-estimation
2D Pose人体关键点实时检测(PythonAndroid C++ Demo)
web15870359587的博客
06-01 469
目录2D Pose人体关键点实时检测(Python/Android /C++ Demo)1.人体关键点数据集（1）COCO数据集（2）MPII数据集（3）关键点示意图2.人体关键点Demo（Python版本）3.人体关键点Demo（C++版本）4.人体关键点Demo（Android版本）5.人体关键点检测效果6.人脸检测+人体检测C++ Android实现人体关键点检测（Human Keypoints Detection）又称为人体姿态估计2D Pose，是计算机视觉中一个相对基础的任务，是人体动作识别、行
Android Camera动态人脸识别+人脸检测基于OpenCV(无需OpenCVManager)
qq_506745564的博客
06-21 2万+
最近因为需要实现了一下人脸识别,实现了这个功能之后,就想着把踩过的坑总结出来。参考过许多博客,发现主要有两种形式,一种是基于 android SDK 实现人脸检测,而另一种是利用openCvManager来实现。这两种方式都实现了动态的人脸检测,当然网上也有许多关于检测静态图片中的人脸的文章。这里我就不详细介绍了。我这里实现的功能主要是启动Camera之后，当照相机中有人脸出现时，Camera界面动
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI吃大瓜

尊重原创，感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值