基于形态学的网格节点提取算法
李万兵+王平
摘 要：针对网格图像节点提取的问题，提出了一种通过对网格图像进行滤波、二值化、细化及去除毛刺，利用形态学处理，最终实现网格图像节点的提取的算法。实验表明该算法能够有效的提取网格图像的节点，为后续的图像匹配等工作确定基础。
关键词：特征提取；网格节点；形态学处理
中图分类号：TP391 文献标志码：A
Image Grid Nodes Extraction Algorithm Based on Morphological Processing
LI Wan-bing1，WANG Ping2
（1.College of Mechanical Engineering，Xijing University，Xian，Shaanxi，710123，China
2.College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing，Jiangsu，211106，China）
Abstract：A feature extraction algorithm was proposed for grid node images.this algorithm involves image filtering，binarization，thinning，burrs removing and morphological processing.the experimental results indicated that the presented algorithm can accurately extract the image grid nodes as feature points，and it provides a solid foundation for subsequent matching processing.
Key words：feature extraction；grid nodes；morphological processing
0 引 言
方形网格结构简单，在实际的工程中应用普遍。例如在以薄壁板材为坯料的各种板料零件制造加工中，要分析板料的变形情况，用以评价板料的性能，优化加工工艺等[1]。通常采用坐标网格技术用来获取板料表面的应变分布。其中应用到了方形网格，首先使用标定好的CCD相机在不同角度对印制有网格的板料表面进行拍摄，再应用数字图像处理方法提取图像上的网格节点，并建立拍摄图像网格节点间的匹配关系，根据立体视觉理论解算出这些特征点在三维空间的坐标，从而计算得到板料表面的应变分布。此外，建筑中也有诸多的网格或类似网格的结构部件。如钢管的连接部分，其为十字形的连接板。通过视觉方式测量建筑物的关键网格节点，可以分析建筑结构的强度变形能力、延展性等特性。在无人机的自主降落中，可以将方形网格作为无人机自主降落所需的合作目标，通过无人机机载的视觉系统提取方形网格的节点特征来估算无人机的位置姿态。在基于合作目标的空间交汇对接中，可以将合作目标设计为方形网格，通过提取目标飞行器上网格的节点来估计飞行器的位姿参数。双目立体视觉中，可以通过提取左右相机中网格图像节点的图像坐标，通过配准来完成物体的三维重建。在以上所述的工作中，准确的提取网格特征点（节点）是保证这些工作顺利进行的重要基础。通常基于灰度图像的特征提取算法有Harris角点检测算法[2]、SUSAN角点检测算法[3]以及SIFT算法[4]等。Harris算法和SUSAN算法可以很好地检测到图像中的角点，虽然网格节点也可以看作是特殊的角点，但是由于网格线粗细等方面的影响，Harris和SUSAN算法子并不能准确定位本文所期望的网格节点。SIFT算法可以在多尺度上提取到稳定的反映图像本质特征的特征点，但通常所获取的特征点并不是本文所期望的特征。针对网格图形的特征，本文基于图像处理基本理论，应用数学形态学的知识，实现网格节点的定位提取，为后续的图像配准、三维重建等工作打下坚实的基础。
1 网格节点提取预处理
1.1 图像滤波
实际采集的图像中往往含有随机噪声，会极大影响网格节点的有效提取，因此网格节点提取前图像的预处理是必要的。本文使用线性滤波器来对图像进行滤波。
1.2 图像二值化
为了使计算机快速并准确地理解图像中的目标内容，需要对图像进行二值化处理，把目标从图像背景中区分出来，去除背景干扰因素。通常采用阈值运算分割灰度图像进行图像二值化，运算方法如式（5）表示
g（i，j）=255f（i，j）T0f（i，j） 其中，f（i，j）表示输入的灰度图像，g（i，j）表示输出的二值化图像，T表示分割阈值。图像二值化处理中，阈值T的选择非常关键。阈值主要有全局阈值[5]和局部阈值[6]。全局阈值根据整幅图像确定一个阈值，运算速度比较快，但对噪声敏感，对图像光照的分布敏感，适用于目标和背景清楚区分的图像。常用的全局阈值二值化方法有OTSU法[7，8]、迭代阈值法[9]。局部阈值由当前像素灰度值与该像素邻域灰度特征来确定像素的阈值，局部阈值方法对背景不均匀或者目标灰度变化率较大的图像的二值化效果好，但计算量较大。实际中采集的网格图像往往会受到光照的影响。采用全局阈值不能很好的将网格从背景中完分割出来，而采用局部阈值方法时，运算量较大，处理速度慢。针对上述问题，本文采用折中的方法，将一幅图像分割成若干小塊，在每一小块内使用单阈值的方法处理，用以保证图像分割的效果同时提高分割的效率。 1.3 图像细化 图像细化的最终目的是使粗的网格线条向其中轴收缩，最后变成单像素宽的细线，便于后续的网格节点提取。细化算法很多，有经典的Hildith细化算法[10]、Deutsch细化算法、Pavlidis异步细化算法[11]、Zhang快速并行化细化算法[12]等。其中，Zhang快速并行化细化算法处理速度快，细化后能较好保持细化曲线的连通性，产生的毛刺也少于其他算法。因此，本文选用Zhang快速并行化细化算法对二值化图像进行细化。细化图像上的毛刺会给网格节点提取带来不便甚至无法进行，需要进一步对其去毛刺处理。毛刺去除法通常有基于模板和基于分级两种[13，14]，而基于模板的方法只对较小的毛刺有较明显的效果。本文使用分级去毛刺的方法，其基本思想是：在图像中首先检测到细化图像的端点和交叉点，然后从端点开始判断，沿此端点进行跟踪，并设置计数器Ni来计算总共跟踪的点数，直到到达某一交叉点为止，设置阈值Nt，如果Ni
2 网格节点的提取
通过1中的处理后，接下来基于形态学的方法来提取网格的节点。经典的信号分析中卷积是其主要的线性变换工具，其原因在于音频信号可以通过不同频率的谐波线性叠加而成。然而，视觉信号不能运用线性分解的方法加以描述。但可以通过某种偏序的引入建立它的数学模型。因此，在图像的集合表示方式下，建立基于集合理论的图像算子是合情合理的[15]。数学形态学有4种基本的形态运算。即腐蚀（Erosion）、膨胀（Dilation）及开（Opening）、闭（Closing）运算，基于这4种基本的形态运算可以建立具有各种功能的形态变换和实用算法，它们构成了数学形态学应用的基础。从某种意义上讲，形态学是以几何学为基础的。它的主要思想是利用被称之为结构元素的几何模板（圆盘、正方形、线等）探测图像中物体的形状。
在E空间的代数结构下，引入集合XE的平移：Xb={x+b：x∈X}。对于二值图像X及具有简单形状和小尺寸的紧集B，将
XΘB=∪b∈BXb，XB=∩b∈BX-b（6）
分别称为B对X的腐蚀或膨胀，集合B称为结构元素，将腐蚀和膨胀运的复合运算
X°B=（XΘB）B，XB=（XB）ΘB（7）
分别称为B对X的开、闭运算。以上运算是基于二值图像运算的，因此将以上运算称为二值图像的形态学变换，本文中主要利用二值图像的形态学变换来提取网格的节点。
数学形态学的基本运算满足于一些重要的数学条件，在此不加证明的给出最基本的性质[16]。
性质1 腐蚀运算具有平移不变性，即
（ApB）=（AB）p（8）
（ApΘB）=（AΘB）p（9）
该性质对图像A进行腐蚀和膨胀的运算结果只取决于A与B的结果，与A的位置无关。
即开运算使图像缩小，而闭运算使原图像增大。
本文中基于形态学的第二个性质，即闭运算使图像增大，而开运算使图像缩小的性质来提取经过1中处理后的网格图像节点。其步骤如下：
（1）记经过1中处理后的细化网格图像为A，选取结构元素B。对A进行闭运算，其结果图像记为A1，即A1=AB。闭运算使网格节点以其原来位置为中心膨胀成一小块区域，而网格线条仍然保持为细化后的单像素宽。
（2）选取结构元素C，对图像A1进行开运算，即A2=A1C。开运算使单像素的网格线条腐蚀掉，最终留下经过闭运算形成的区域。
（3）针对留下的几何区域，取其质心作为作为网格节点的位置。设图像A2中像素点的灰度值为I（x，y），膨胀后的网格区域T的质心x0，y0，则可以定义x0，y0为
x0=∑（x，y）∈TxI（x，y）∑（x，y）∈TI（x，y）y0=∑（x，y）∈TyI（x，y）∑（x，y）∈TI（x，y）（11）
3 实验结果和分析
为了验证算法对网格提取的有效性，同时兼顾网格图像获取的方便性。本文以图1中所示图像作为测试样本验证本文中的网格提取算法。其中1（a）图是刻制的印章印制在塑料薄膜上的网格图像，由于印章的刻制精度及印制时候的操作原因，导致所印制网格并不规则大小，并且有些区域清楚有些区域模糊。此外由于光照的原因，有些区域亮度较高，有些区域亮度较低。（b）中为画在纸上的网格图像，由于相机并不是垂直于网格面拍摄图像，因此图中的网格有些倾斜，看以看成将垂直拍摄的网格图像做仿射变换而得来的。（c）图为拍摄的比较规则的羽毛球拍网格图像。（d）为拍摄的球网网格图像，其图像构成较为复杂，图中不仅有球网的网格，而且还存在球拍的网格。
接下来以图1（a）为例验证完整的算法流程，其余的图像用来验证算法提取网格节点的有效性。对图像1（a）按照1中所叙述的流程进行处理，得到的细化网格图像如图2（a）图所示，可见经过1中所述步骤可以準确的提取出网格的骨架，骨架较好的保持了连通性，并且光滑没有毛刺，这有利于2中形态学的处理。对图2（a）进行闭运算使网格节点以其原来位置为中心膨胀成一小块区域，此时网格线条仍然保持为细化后的单像素宽，结果2（b）所示。对图2（b）进行开运算使单像素的网格线条腐蚀掉，最终留下经过闭运算形成的区域，如图2（c）所示。提取出这些区域的几何重心定位为网格节点在图像中的位置，如图3（a）中所示为定位后的网格节点位置，图中用白色“*”表示网格节点的位置。
Harris算子是常用性能比较好的特征检测算子，通常用于图像中的角点提取。网格节点也可以看作是特殊的角点，但是由于网格线粗细等因素的影响，实际中使用Harris并不能准确定位图像中网格的节点。使用Harris算子对图1（a）提取角点，结果如图3（b）所示，图中用蓝色“*”表示定位角点的位置。从图3（a）和3（b）的对比中明显可以看出本文的方法可以准确的定位网格的节点位置，Harris算法对此却无能为力。
为了验证算法的有效性，接下来对图1中（b）、（c）和（d）分别用本文方法提取网格节点。提取结果如图4中（a）、（b）和（c）所示，网格节点在图中用蓝色的“*”标识。图4（a）中的网格是通过人工绘制在纸上的，由于拍摄角度的原因，网格图像有所倾斜，本文方法准确的定位出了其中的网格节点。图4（b）为拍摄的羽毛球拍网格图像，本文方法对其中的网格节点也做出的准确的定位。图4（c）为在网球场所拍网球球网图像，其图像中不仅包含球网的网格，而且含有部分球拍的网格，并且球拍对球网网格存在部分遮挡。从图中可以看出，本文算法还是较好的提取出了对应网球网格的节点，但相对于图4（a）和4（b），网格节点的提取准确度还是有较大的下降。实际应用中，尽量会保持网格图像环境的稳定，很少出现图4（c）中较为复杂的场景环境，因此本文方法在实际的网格提取应用中具有一定的意义。
4 结 论endprint
根据网格图像的特点，使用基于形态学的方式提取网格图像的节点。首先通过图像滤波、图像二值化、圖像细化及去毛刺算法对图像进行处理，然后利用形态学中开闭运算的性质来实现网格节点的提取。最后选取了生活中常见的网格图像对该方法进行了验证，实验结果表明，针对特定的网格图像，该方法可以有效的提取其网格节点。为后续的特征匹配等工作提供准确的特征点，打下坚实的基础。
参考文献
[1] 单宝华，袁文厅，刘洋.一种基于实心圆靶标的立体视觉系统标定方法[J].光学学报.2016，36（09）： 0915001-1～0915001-10.
[2] HARRIS C，STEPHENS M.A Combine Corner and Edge Detector[C].Fourth Alvey Vision Conference，1981，147-151.
[3] SMITH S M，BRADY M.A New Approach to Low Level Image Processing[J].International Journal of Computer Vision，2015 ，23 （1） ：45-78.
[4] NGUYEN T，PARK E A，HAN J，et al.Object Detection Using Scale Invariant Feature Transform[C].Springer International Publishing ，2014 ，238 ：65-72.
[5] SAHOO P K，SOLTANI S，WONG A K C.Survey of Thresholding Technigues[J].Computer Graphics，Vision in Manufacturing，1988，41（2）： 233-260.
[6] CHOW C K ，KANEKO T.Automatic Dection of The Left Ventricle from Cineangiogram[J].Computer and Biomedical Research，1975，5： 388-410.
[7] JIANG Y，TSAI P， HAO Z，et al.Automatic multilevel thresholding for image segmentation using stratified sampling and Tabu Search [J].Soft Computing，2015 ，19 （9） ：2605-2617.
[8] 钱卫星，黄丽亚.二维Otsu自适应阈值快速算法的改进[J].华侨大学学报：自然科学版，2015，36（04）：427-431.
[9] 王战东.基于分块的光照失真文本图像校正的研究与应用[D].北京：北方工业大学，2015.
[10] SAHA P K，BORGEFORS G，BAJA G S D.A survey on skeletonization algorithms and their applications [J].Pattern Recognition Letters ，2016，76：3-12.
[11] 马建波.C语言图像处理程序集[M].北京： 海洋出版社，1992.
[12] ZHANG T Y，SUEN C Y.A Fast Parallel Algorithm for Thinning Digital Patterns[J].Comm ACM，1984，27： 236-239.
[13] 王婉心，贾立锋.骨架提取中的毛刺去除方法[J].广东工业大学学报.2014，36（04） ：427-431.
[14] 孙诚达，邱威，丁为民，等.农作物几何特征量测量系统设计与试验[J].农业机械学报.2015，46（12） ： 1-10+17.
[15] 文华.基于数学形态学的图像处理算法的研究[D].哈尔滨工程大学，2007.
[16] 杨帮华.模式识别技术及其应用[M].北京： 科学出版社，2017.endprint
