一、OpenCV视觉定位坐标为什么会抖动
在工业机器视觉定位系统中，即使被检测目标完全静止，OpenCV连续计算得到的坐标也可能出现一到数个像素的波动。
这种现象通常被称为视觉定位坐标抖动。
坐标抖动会直接影响后续的运动控制。如果控制器把每一次微小坐标变化都当成真实位置偏差，执行机构就会频繁调整，最终可能出现平台振动、定位时间延长和执行器反复动作等问题。
解决视觉定位坐标抖动，不能只依靠一种滤波算法。工程上通常需要同时处理图像质量、目标检测、坐标滤波和控制死区。
本文提供一个可以运行的OpenCV C++示例，完成以下功能。
从工业相机或者普通摄像头读取图像。
使用灰度化、平滑处理和自动阈值完成目标分割。
根据最大轮廓计算目标中心坐标。
使用卡尔曼滤波降低坐标抖动。
设置控制死区，避免执行机构频繁调整。
二、坐标抖动的常见原因
光源亮度变化
如果目标边缘的亮度不断变化，二值化后的轮廓也会随之改变，最终导致中心坐标发生波动。
图像噪声
相机增益过高、曝光不足或者传输干扰，都可能增加图像噪声。噪声经过阈值处理后，可能形成不稳定的小轮廓。
目标边缘模糊
相机失焦、运动模糊或者镜头质量不足，会导致目标边缘的位置不明确。
机械振动
相机、镜头或者目标发生轻微机械振动时，图像中的目标位置会同步变化。
检测方法不稳定
如果程序直接使用普通轮廓中心进行定位，而没有进行形态学处理、面积过滤和异常结果判断，输出坐标很容易出现跳变。
图片说明：OpenCV视觉定位坐标抖动的主要来源。
三、为什么选择卡尔曼滤波
卡尔曼滤波适合处理连续运动目标的位置估计问题。
它不仅参考当前测量坐标，还会结合之前的位置和运动速度，对目标的下一位置进行预测。
当视觉测量结果受到短时噪声影响时，卡尔曼滤波可以在保持响应速度的同时，降低坐标的随机波动。
本示例使用四个状态量。
第一个状态量是目标的X轴位置。
第二个状态量是目标的Y轴位置。
第三个状态量是目标在X轴方向的速度。
第四个状态量是目标在Y轴方向的速度。
视觉算法每次向滤波器提供X轴和Y轴的测量坐标，滤波器输出平滑后的位置。
四、OpenCV C++完整代码
运行环境建议使用OpenCV 4和支持C++17的编译器。
下面代码假设检测目标的亮度高于背景。如果现场目标比背景更暗，需要调整二值化方式。
请在CSDN编辑器中插入C++代码块，然后将下面代码粘贴到代码块中。
#include <opencv2/opencv.hpp>
#include <algorithm>
#include <cmath>
#include <iostream>
#include <string>
#include <vector>
int main()
{
cv::VideoCapture camera(0);
if (!camera.isOpened())
{
std::cerr << "Camera open failed." << std::endl;
return -1;
}
camera.set(cv::CAP_PROP_FRAME_WIDTH, 1280);
camera.set(cv::CAP_PROP_FRAME_HEIGHT, 720);
cv::KalmanFilter kalman(4, 2, 0, CV_32F);
kalman.transitionMatrix =
(cv::Mat_<float>(4, 4) <<
1.0f, 0.0f, 1.0f, 0.0f,
0.0f, 1.0f, 0.0f, 1.0f,
0.0f, 0.0f, 1.0f, 0.0f,
0.0f, 0.0f, 0.0f, 1.0f);
cv::setIdentity(kalman.measurementMatrix);
cv::setIdentity(
kalman.processNoiseCov,
cv::Scalar::all(0.0001));
cv::setIdentity(
kalman.measurementNoiseCov,
cv::Scalar::all(0.1));
cv::setIdentity(
kalman.errorCovPost,
cv::Scalar::all(1.0));
cv::Mat measurement =
cv::Mat::zeros(2, 1, CV_32F);
bool kalmanReady = false;
const double minimumArea = 500.0;
const float deadZonePixels = 2.0f;
while (true)
{
cv::Mat frame;
camera.read(frame);
if (frame.empty())
{
std::cerr << "Empty frame." << std::endl;
break;
}
cv::Mat gray;
cv::Mat blurred;
cv::Mat binaryImage;
cv::cvtColor(
frame,
gray,
cv::COLOR_BGR2GRAY);
cv::GaussianBlur(
gray,
blurred,
cv::Size(5, 5),
0.0);
cv::threshold(
blurred,
binaryImage,
0,
255,
cv::THRESH_BINARY + cv::THRESH_OTSU);
cv::Mat kernel = cv::getStructuringElement(
cv::MORPH_ELLIPSE,
cv::Size(3, 3));
cv::morphologyEx(
binaryImage,
binaryImage,
cv::MORPH_OPEN,
kernel);
std::vector<std::vector<cv::Point>> contours;
cv::findContours(
binaryImage,
contours,
cv::RETR_EXTERNAL,
cv::CHAIN_APPROX_SIMPLE);
if (contours.empty())
{
cv::putText(
frame,
"Target not found",
cv::Point(30, 40),
cv::FONT_HERSHEY_SIMPLEX,
0.8,
cv::Scalar(0, 0, 255),
2);
cv::imshow("Vision Position", frame);
cv::imshow("Binary Image", binaryImage);
if (cv::waitKey(1) == 27)
{
break;
}
continue;
}
auto largestContour = std::max_element(
contours.begin(),
contours.end(),
[](const std::vector<cv::Point>& first,
const std::vector<cv::Point>& second)
{
return cv::contourArea(first) <
cv::contourArea(second);
});
double targetArea =
cv::contourArea(*largestContour);
if (targetArea < minimumArea)
{
cv::putText(
frame,
"Target area is too small",
cv::Point(30, 40),
cv::FONT_HERSHEY_SIMPLEX,
0.8,
cv::Scalar(0, 0, 255),
2);
cv::imshow("Vision Position", frame);
cv::imshow("Binary Image", binaryImage);
if (cv::waitKey(1) == 27)
{
break;
}
continue;
}
cv::Moments targetMoments =
cv::moments(*largestContour);
if (std::abs(targetMoments.m00) < 0.000001)
{
continue;
}
float measuredX = static_cast<float>(
targetMoments.m10 / targetMoments.m00);
float measuredY = static_cast<float>(
targetMoments.m01 / targetMoments.m00);
measurement.at<float>(0, 0) = measuredX;
measurement.at<float>(1, 0) = measuredY;
if (!kalmanReady)
{
kalman.statePost.at<float>(0, 0) = measuredX;
kalman.statePost.at<float>(1, 0) = measuredY;
kalman.statePost.at<float>(2, 0) = 0.0f;
kalman.statePost.at<float>(3, 0) = 0.0f;
kalmanReady = true;
}
kalman.predict();
cv::Mat estimated =
kalman.correct(measurement);
float filteredX =
estimated.at<float>(0, 0);
float filteredY =
estimated.at<float>(1, 0);
float imageCenterX =
static_cast<float>(frame.cols) / 2.0f;
float imageCenterY =
static_cast<float>(frame.rows) / 2.0f;
float correctionX =
imageCenterX - filteredX;
float correctionY =
imageCenterY - filteredY;
if (std::abs(correctionX) <= deadZonePixels)
{
correctionX = 0.0f;
}
if (std::abs(correctionY) <= deadZonePixels)
{
correctionY = 0.0f;
}
cv::circle(
frame,
cv::Point(
static_cast<int>(measuredX),
static_cast<int>(measuredY)),
7,
cv::Scalar(0, 0, 255),
2);
cv::circle(
frame,
cv::Point(
static_cast<int>(filteredX),
static_cast<int>(filteredY)),
7,
cv::Scalar(0, 255, 0),
2);
cv::circle(
frame,
cv::Point(
static_cast<int>(imageCenterX),
static_cast<int>(imageCenterY)),
static_cast<int>(deadZonePixels),
cv::Scalar(255, 0, 0),
2);
std::string measuredText =
"Measured X: " +
std::to_string(
static_cast<int>(measuredX)) +
" Y: " +
std::to_string(
static_cast<int>(measuredY));
std::string filteredText =
"Filtered X: " +
std::to_string(
static_cast<int>(filteredX)) +
" Y: " +
std::to_string(
static_cast<int>(filteredY));
std::string correctionText =
"Correction X: " +
std::to_string(
static_cast<int>(correctionX)) +
" Y: " +
std::to_string(
static_cast<int>(correctionY));
cv::putText(
frame,
measuredText,
cv::Point(30, 40),
cv::FONT_HERSHEY_SIMPLEX,
0.7,
cv::Scalar(0, 0, 255),
2);
cv::putText(
frame,
filteredText,
cv::Point(30, 75),
cv::FONT_HERSHEY_SIMPLEX,
0.7,
cv::Scalar(0, 255, 0),
2);
cv::putText(
frame,
correctionText,
cv::Point(30, 110),
cv::FONT_HERSHEY_SIMPLEX,
0.7,
cv::Scalar(255, 0, 0),
2);
cv::imshow("Vision Position", frame);
cv::imshow("Binary Image", binaryImage);
int key = cv::waitKey(1);
if (key == 27)
{
break;
}
}
camera.release();
cv::destroyAllWindows();
return 0;
}
```五、代码工作流程说明
图像预处理
程序首先将彩色图像转换成灰度图像，然后使用高斯滤波降低随机噪声。
自动阈值用于将目标与背景分离。形态学开运算用于清除较小的噪声区域。
目标轮廓筛选
程序从二值图像中查找所有外部轮廓，然后选择面积最大的轮廓作为目标。
minimumArea用于过滤面积过小的噪声区域。
实际项目中不能只根据面积选择目标，还可以增加宽高比、圆度、位置范围和模板相似度等条件。
目标中心计算
程序使用图像矩计算目标中心。
红色圆点代表视觉算法直接测量的坐标。
绿色圆点代表卡尔曼滤波后的坐标。
当原始坐标发生小幅随机变化时，绿色圆点通常会比红色圆点更加稳定。
控制死区
deadZonePixels表示控制死区，示例值为2个像素。
当目标与图像中心的偏差不超过2个像素时，程序将控制补偿量设置为零。
死区的作用是避免执行机构对每一次微小坐标变化都作出响应。
死区不能设置得过大。否则系统虽然更加稳定，但最终定位误差也会增加。
六、卡尔曼滤波参数如何调整
代码中有两个重要参数。
第一个参数是过程噪声。
过程噪声越大，滤波结果越愿意跟随新的测量坐标，响应速度更快，但平滑效果可能下降。
第二个参数是测量噪声。
测量噪声越大，滤波器越不信任相机测量结果，输出坐标更加平滑，但响应速度可能变慢。
调试时建议按照以下顺序进行。
第一步，固定相机和目标，记录未滤波坐标的波动范围。
第二步，保持目标静止，逐步增加测量噪声参数，观察滤波后坐标是否稳定。
第三步，让目标进行缓慢运动，检查滤波结果是否存在明显滞后。
第四步，根据系统允许的最终定位误差设置控制死区。
第五步，在不同光照、温度和机械负载条件下重复测试。
不要只根据画面看起来是否稳定来判断效果，应记录原始坐标和滤波坐标，计算波动范围和标准差。
七、如何把像素偏差转换为运动控制量
代码输出的correctionX和correctionY仍然是像素偏差，不能直接作为压电驱动器或者电机驱动器的控制量。
正式控制前，需要完成相机坐标与运动平台坐标之间的标定。
系统需要确定以下关系。
第一，图像中的一个像素对应多少实际位移。
第二，相机X轴方向是否与运动平台X轴方向一致。
第三，相机Y轴方向是否与运动平台Y轴方向一致。
第四，相机坐标原点与平台坐标原点之间的偏移量。
第五，运动平台是否存在旋转或者非线性误差。
完成标定后，才能将像素偏差转换为毫米、微米或者其他实际位移单位。
八、工程部署需要增加哪些保护
本文代码主要用于说明视觉检测、坐标滤波和控制死区的实现方法。
正式应用于工业设备时，还需要增加以下功能。
相机断线检测。
图像采集超时处理。
目标丢失判断。
坐标跳变限制。
输出范围限制。
通信数据校验。
控制指令超时保护。
执行机构限位保护。
急停与异常状态处理。
原始数据和故障日志记录。
尤其需要注意，视觉程序输出的位置偏差不能未经限制直接发送给运动执行机构。
图片说明：从视觉测量到运动控制输出的数据处理流程。
九、常见问题
坐标滤波后为什么仍然会抖动
可能是光源、机械结构或者目标检测方法本身不稳定。
滤波只能降低测量噪声，不能解决严重失焦、机械振动和错误识别等问题。
卡尔曼滤波和滑动平均应该选择哪一个
滑动平均实现简单，适合处理低速和较稳定的坐标数据。
卡尔曼滤波能够结合目标运动状态进行预测，更适合连续运动目标和动态视觉定位。
死区设置得越大越好吗
不是。
较大的死区可以减少执行机构动作次数，但也会增加最终允许的位置误差。死区大小需要根据标定结果和系统精度要求确定。
视觉滤波可以替代位移传感器吗
不能简单替代。
机器视觉适合测量目标的整体位置，位移传感器更适合进行高速、连续的局部位置反馈。
对于高速精密控制，可以使用位移传感器建立实时控制内环，再使用机器视觉进行外环修正。
十、总结
解决OpenCV视觉定位坐标抖动，需要从图像质量、目标检测、坐标滤波和控制策略四个方面同时处理。
卡尔曼滤波可以降低坐标随机波动，控制死区可以避免执行机构频繁调整，但两者都不能替代稳定的光源、可靠的机械结构和准确的坐标标定。
鸿芯微控技术账号后续将继续围绕工业机器视觉、嵌入式实时控制、数据采集和精密运动控制等方向，整理相关工程技术内容。
扫一扫
1812
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
