本科毕设项目丨眼睛控制鼠标移动

原创

已于 2022-06-15 19:31:16 修改 · 3k 阅读

标签

#visual studio #visualstudio #qt5 #c++ #计算机视觉

收录于

于 2022-06-12 11:18:53 首次发布

本文详细介绍了使用VisualStudio2019和C++，结合Qt及OpenCV进行眼控鼠标应用的开发。通过opencv的videocapture打开摄像头，运用TensorFlow模型进行人脸检测，基于三庭五眼比例法检测人眼，利用图像梯度算法确定瞳孔位置，并最终实现眼动控制鼠标的实时功能。项目源码和演示可在B站找到。

本文选用Visual Studio 2019开发工具，选择C++编程语言，同时结合了基于Qt的应用程序架构与OpenCV计算机视觉库进行联合开发。

包含“摄像头的打开”，“人脸检测” ，“人眼检测”，“瞳孔检测”，“眼控鼠标”等功能

摄像头的打开采用了 opencv中 video capture函数

VideoCapture capture(0);

人脸检测采用的是基于opencvdnn模块中的TensorFlow模型

std::string root_dir = "D:/Path/opencv/sources/samples/dnn/face_detector/";
dnn::Net net = dnn::readNetFromTensorflow(root_dir + "opencv_face_detector_uint8.pb", root_dir + "opencv_face_detector.pbtxt");
Mat blob = dnn::blobFromImage(frame, 1.0, Size(300, 300), Scalar(104, 177, 123), false, false);
net.setInput(blob);// NCHW
Mat probs = net.forward(); //
Mat detectionMat(probs.size[2], probs.size[3], CV_32F, probs.ptr<float>());
for (int i = 0; i < detectionMat