毛昕蓉，杨兴林，张小红，韩晓冰
（西安科技大学 通信与信息工程学院，陕西 西安 710054）
随着计算机视觉技术的飞速发展，高精度的图像匹配在目标识别[1-3]与视觉[4-7]SLAM等领域中被广泛的应用。常见的图像特征提取匹配算法可以分为2类，一类为基于点特征的图像特征提取匹配算法[8-11]，另一类为基于线特征的图像特征提取匹配算法[12-14]。
基于点特征的图像特征提取匹配算法作为现今的主流算法，一直都是研究热点，但是其在光照不足，弱纹理环境中，存在图像特征匹配率较低的问题，进而降低视觉SLAM的精度。故而产生基于线特征的图像匹配算法，例如WANG等利用SIFT（Scale Invariant Feature Transform）特征匹配算法的邻域位置划分思想，提出均值标准差直线描述子MSLD（Mean-Standard Deviation Line Descriptor），并将其应用在曲线匹配中[15]，但是该方法容易产生边界误差。为克服这一问题，在FAN等提出的依据样本亮度序的子区域划分方法的基础上[16]，WANG等提出基于亮度序的均值标准差描述子IOMSD（Intensity Order Mean-Standard Deviation Descriptor）[17]和基于亮度序列的曲线描述子IOCD（Intensity Order Curve Descriptor）[18]，该方法极大地提高图像匹配率。刘少刚等改进动态阈值分割合并算法，与固定阈值算法相比，提高直线拟合的精度[19]。刘肃艳等提出一种结合同名点和极线约束的近距离图像线匹配算法，结果表明，该算法得到的直线匹配结果更加可靠[20]。朱红等提出一种基于直线重合相似度的近距离图像直线匹配算法，算法使用SIFT算子对同名点进行匹配，并使用RANSAC（Random Sample Consensus）算法对匹配进行优化，能有效地减少计算量，具有良好的鲁棒性[21]。傅丹等提出一种基于极线约束和RANSAC算法的图像匹配方法，该算法有效地解决部分遮挡图像中的直线匹配问题[22]。王竞雪等以LSD算法提取的直线段作为匹配基元，利用SIFT匹配得到的同名点构造同名三角形网络约束来确定候选直线，实验结果表明，其匹配率得到了极大的提高[23]。
目前较流行的线特征匹配算法为LSD线特征匹配算法，但是基于井下特殊环境，现有的LSD线特征算法的误匹配较大，无法在井下环境中实现高精度的特征匹配。故而针对该问题，在LSD线特征提取匹配算法的基础上进行改进。即首先对摄像头采集的井下视频图像进行图像帧提取，然后对提取的图像帧进行图像增强，其次对增强后的图像帧进行Canny边缘提取，最后对提取Canny边缘信息后的图像帧进行LSD线特征提取匹配，并计算匹配率。
由于现有线特征提取匹配算法在井下存在误匹配较大，无法适应井下环境，故而进行改进，首先利用摄像头采集井下环境的视频图像，并提取视频图像的视频帧，然后进行图像增强，对增强后的图像帧进行Canny边缘提取，最后对提取Canny边缘信息后的图像帧进行LSD线特征提取匹配，并计算匹配率，改进算法流程如图1所示。
图1 算法流程Fig.1 Process of algorithm
1.1 图像增强
由于井下环境中光照不足，通过摄像头采集的井下视频图像质量不高，模糊不清，无法提取出足够的特征点，从而降低匹配率。因此，改进算法首先将通过摄像头采集的视频图像数据进行图像帧提取，再将提取的图像帧进行图像增强。其流程如图2所示。
图2 图像预处理算法流程Fig.2 Process of image preprocessing algorithm
1.1.1 对比度亮度增强
图像对比度是指图像明暗区域中不同亮度层级的测量，其差异范围越大代表对比越大，反之则表示对比越小。对比度越大，图像越清晰；
反之，则模糊不清。故而，高对比度在图像的清晰度、细节表现等方面被广泛的应用。
而图象亮度是指图像的明亮程度，在RGB图像中，亮度体现为每个点的像素值的大小，像素值越大，亮度越高，对比度亮度增强计算见式（1）。
gi,j=α·f（i,j）+β,α>0
（1）
式中f（i，j）为源图像像素；
g（i，j）为输出图像像素；
i和j为像素位于第i行和第j列；
α为系数乘以源像素值，其会扩大最大像素值和最小像素值之间的差异，从而提升对比度；
β为加数，可以直接增大源像素值，提升亮度。
因此，经过图像对比度亮度增强后的结果如图3所示。
图3 对比度亮度增强结果Fig.3 Result of contrast and brightness enhancement
由图3可知，经过图像对比度亮度增强后，得到的运行结果明显优于原始图像，但其依旧存在图像模糊的情况，例如图3中左侧防护墙壁上的防护网依旧很模糊，故而，改进算法将增强后的视频图像帧进行对数变换。
1.1.2 对数变换
对数变换通过对图像的低灰度值进行部分扩展，从而达到强调图像低灰度部分的目的，其计算见式（2）。
f（i,j）=Aln[|g（i,j）|+1]
（2）
式中 （i，j）为视频图像的像素点；
f（i，j）为输出图像的像素灰度值；
g（i，j）为输入图像的像素灰度值；
A为强度参数，主要用于变换阴影特征提升的动态范围，将动态范围变换到一个合适的区间，以显示阴影区域更多的细节。
经过对数变换后的运行结果如图4所示。
图4 对数变换结果Fig.4 Result of logarithmic transformation
由图4可知，经过对数变换后的图像帧清晰度大幅度提升，为后续Canny边缘提取打下了基础。
1.2 Canny边缘提取
对视频图像帧进行图像增强后，进行边缘特征信息提取，常见的图像边缘特征提取算子有很多，例如，Sobel算子，Laplacian算子和Canny算子等。其中Sobel算子和Laplacian算子存在边缘定位精度不够和对噪声干扰敏感等问题，而Canny算子相较于Sobel算子和Laplacian算子，其不易受噪声干扰且边缘定位精度较高，故而改进算法选用Canny算子进行边缘特征检测。
Canny算子为1986年，CANNY在其硕士论文中提出的边缘检测算子[24]，该算子具有良好的性能，故而基于Canny边缘检测的流程如下。
1）对原始图像帧进行图像变换，再通过高斯滤波（见式（3））方法进行平滑去噪，从而得到无噪声图像，其中δ是标准差，用来控制图像平滑程度[25]。当δ较小时，能够准确确定边缘位置；
反之，则会丢失部分信息，增加运算量，故而要适当选择平滑参数[26]。
（3）
2）通过一阶偏导算子求出水平Gx和垂直Gy的偏导数，并求出图像灰度的梯度幅值G和方位角度θ，计算见式（4）。
（4）
3）抑制步骤2）中的梯度幅值极大值，并寻找局部最大值。
4）设定2个阈值T1和T2进行验证，验证流程如图5所示。
图5 阈值验证流程Fig.5 Process of threshold verification
在原图中利用高低阈值得到2幅阈值图像，其中，低阈值图像中存在的边缘信息比高阈值的图像多，此外，将得到的2幅阈值图像进行连接即可得到边缘检测结果。故而，经过Canny边缘提取后的运行结果如图6所示。
图6 Canny边缘提取结果Fig.6 Result of Canny edge extraction
由图6可知，经过Canny边缘提取算法对井下视频帧图像进行提取后，井下视频图像帧的边缘信息被提取出来，为后续线特征提取打下了基础。
1.3 LSD特征提取匹配
LSD线特征算法通过计算每一个像素对应的水平线的角度得到一个level-line场。例如，单位向量场是所有向量点与基点之间的水平切线，因此该场被划分为多个区域，这些区域可以通过共享同一水平线的角度连接。这些连接的区域可以成为线段的支持区域。每条线段的支撑区域是实际线段的候选区域，符合相关关系的集合对象与这些候选区域相关。对于这些线段，其支持区域最重要的惯性轴是矩形框的方向，其大小刚好覆盖整个区域。
最小边界矩形框上像素的水平角度小于矩形框的角度称为对齐点。计算矩形框中的所有像素点和对齐点的数量，以验证矩形框是否已被检测为直线段，并确定其是否为直线段。
从上面线段的候选区域中，对齐点的个数是最优的点集合。因此，定义一个假设，即在对立模型中，当线段区域有多个对齐点时，该线段区域被视为一个线段。对于一副图像i和一个矩形r，记k（r，i）为对齐点的数量，n（r）为矩形r内的总像素数。计算见式（5）。
Ntest*PH0[k（r,I）≥k（r,i）]
（5）
式中Ntest为矩形的数量；
PH0为针对逆向模型的一个概率；
I为H0模型下随机图像。
在将线特征通过LSD算法提取后，需要对其进行特征匹配，剔除误匹配，从而提高匹配率。改进算法首先通过汉明距离进行特征匹配，然后设定相邻两特征最小距离为30，并计算相邻两特征的距离，若该距离小于最小距离的2倍，则为正确匹配，反之则为误匹配，最后计算匹配率。具体流程如图7所示。
实验数据来源为摄像头采集的西安科技大学煤矿井下实训中心模拟矿道视频图像，并在Unbuntu 16.04上进行实验验证。在实验中，首先对摄像头采集的视频图像进行图像帧提取，再对图像帧进行图像增强，其次通过Canny边缘提取算法进行视频帧边缘提取，然后对携带边缘信息的图像帧进行LSD线特征提取，最后进行特征匹配，其中，改进算法改进和原始算法的匹配结果如图8和图9所示。
图7 LSD特征提取匹配流程Fig.7 Process of LSD feature extraction matching
图8 改进算法匹配结果Fig.8 Result of improved algorithm matching
由图8和图9匹配结果可知，原始算法匹配结果中存在的误匹配对在改进算法中均已被剔除，且其提取的线特征相较于原始算法更多，故而改进后的算法较原始算法更优。此外，在实验验证过程中，对摄像头采集的井下视频在改进算法和原始算法上分别进行了300帧的特征匹配，文中对前40帧进行分析，匹配结果见表1和表2。
表1 改进算法前40帧特征匹配匹配率
由表1和表2可知，改进算法在连续前40帧井下图像特征匹配中，匹配结果明显高于原始算法，且改进算法提取的线特征也多与原始算法提取的线特征，故而，对其进行了对比，结果见表3。
由表3可知改进算法明显优于原始算法，连续前40帧井下视频匹配过程中其匹配率有34次都为100%匹配，其余2次也都达到97%以上，而原始匹配算法最高匹配率只有95%。此外，对实验中连续300帧匹配结果进行取平均，并再次进行对比，对比结果见表4，如图10所示。
由表4和图10可知，改进算法对连续300帧井下图像的平均匹配率为99.88%，而原始算法的平均匹配率只有88.42%，其匹配率较原始算法提高了11.46%，可以为后续视觉SLAM在井下环境工作提供一定的参考。
表2 原始算法前40帧特征匹配匹配率
表3 连续前40帧井下图像匹配率对比
表4 连续300帧图像平均匹配率
图10 连续300帧图像平均匹配率Fig.10 Average match rate of 300 consecutive frames of images
1）改进了LSD特征提取匹配算法。利用图像对比度亮度增强算法和Canny边缘提取算法，实现井下环境的高精度图像特征匹配，为井下图像特征提取匹配提供了一种新方法。
2）改进的LSD井下视频图像线特征提取匹配算法具有更高的匹配精度。相较于原始算法，改进算法在连续300帧井下视频图像线特征匹配结果中，其匹配率提升11.46%。
3）改进的LSD井下视频图像线特征提取匹配算法后续可以使用在井下无人巡检机器人上，也为视觉SLAM在井下环境中的应用提供一定的参考。
猜你喜欢特征提取亮度算子与由分数阶Laplace算子生成的热半群相关的微分变换算子的有界性数学物理学报(2022年5期)2022-10-09远不止DCI色域，轻量级机身中更蕴含强悍的亮度表现 光峰(Appptronics)C800家庭影院技术(2021年6期)2021-07-28拟微分算子在Hp(ω)上的有界性数学物理学报(2021年2期)2021-06-09Heisenberg群上与Schrödinger算子相关的Riesz变换在Hardy空间上的有界性数学物理学报(2021年1期)2021-03-29各向异性次Laplace算子和拟p-次Laplace算子的Picone恒等式及其应用应用数学(2020年2期)2020-06-24基于Gazebo仿真环境的ORB特征提取与比对的研究电子制作(2019年15期)2019-08-27亮度调色多面手摄影之友(影像视觉)(2019年3期)2019-03-30基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14亮度一样吗？小天使·六年级语数英综合(2017年5期)2017-05-27Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04