三维重建四 PMVS算法the patch based MVS algorithm
普阳光
摘 要： 基于多视图的三维重建的特征点检测与匹配能力较差，通常使用的Harris、SIFT算法所能检测和匹配的特征点较少，误匹配的特征点数量较多。因此，提出了基于Bicular算法的自适应尺度优化结合Harris算法改进Asift算法，将改进算法BH-Asift（Bicular Harris-Asift）运用到基于PMVS的多视图三维重建系统中，改进后的算法特征点检测与匹配能力较强，生成的最终三维模型更加真实。
关键词： 多视图三维重建； 特征点检测与匹配； Asift算法； 自适应尺度优化
中图分类号：TP391.9 文献标志码：A 文章编号：1006-8228（2018）06-69-03
PMVS 3D reconstruction with improved Asift algorithm
Pu Yangguang
（College of Computer and Information Engineering， Henan University， Kaifeng， Henan 475000， China）
Abstract： The feature point detection and matching ability of multi-view-based three-dimensional reconstruction are poor， and the commonly used Harris and SIFT algorithms can detect and match fewer feature points， and the number of incorrectly matched feature points is large. Combining the adaptive scaling optimization algorithm based on Bicular algorithm with Harris algorithm to improve the Asift algorithm is proposed. The improved algorithm BH-Asift （Bicular Harris-Asift） is applied to the multi-view 3D reconstruction system based on PMVS. The improved algorithm has stronger ability of feature points detection and matching， and the final 3D model generated is more realistic.
Key words： multi-view 3D reconstruction； feature point detection and matching； Asift algorithm； adaptive scaling optimization
0 引言
近年來基于多视图的三维重建技术逐渐走向成熟。LM Shi等人[1]提出了一种通过对三维重建过程中场景几何信息正常性估计和多分辨率扩展的改进算法，提高了基于PMVS三维重建场景模型的真实性；赵璐璐等人[2]提出一种适用于未标定图像的准稠密立体匹配算法，该方法能更精确地进行三维重建；魏梨君等人[3]提出了结合Harris和SIFT算子的三维重建方法，该方法使用重构的匹配点能达到高的精确性，重建的目标物体更加真实；Y Wang等人[4]提出了一种用非标定摄像机捕获的视频序列来提高场景自动三维重建性能的方法；戴琼海等人[5]提出一种基于多视图的改进SIFT算法的三维重建方法，该方法对相邻视角的特征点进行匹配运算，利用极值约束来验证匹配特征点对的有效性，并校正匹配的条件；JM Morel等人[6]提出一种完全仿射不变的ASIFT特征点检测与匹配算法。本文以开封城古建筑为目标重建物体，提出了用Bicular算法并设定阈值函数，对输入视图进行自适应的尺度优化，并将ASIFT算法在多尺度下使用SIFT算法检测特征点改用Harris算法检测特征点，改进后的算法在时间效率和关键点匹配能力上效果明显。
1 自适应尺度优化的ASIFT
1.1 Bicubic算法
Bicubic算法又称为双立方插值算法，该算法对图像进行插值的目的是获取缩小或者放大后的图片，核心原理是计算插值图中处像素的值，首先计算它映射到原图中的坐标，也就是卷积计算时，P00点对应（i，j）坐标，最终插值后的图中坐标点对应的值是原图中（i，j）处邻近16个像素点的权重卷积之和。i，j的范围是，。
算法卷积公式：
⑴
算法采样公式：
⑵
1.2 自适应尺度优化
在Bicubic算法实现过程中，输入原始视图宽度为w0，高度为h0，缩放比例常量σ0，设尺度优化后的视图宽度为w、高度h，那么σ0=w/w0，σ0取值为σ0>0。本文将常量σ0变量化，创新地提出以下阈值函数：
⑶
上式⑴-⑶中变量σ为视图尺度缩放比例，视图优化后的宽度为w，高度为h，如果原始视图中w0 2 Harris算法多尺度空间的特征提取 本文提出一种在多尺度上提取Harris角点，即在ASIFT模拟经纬度且图像多尺度空间仿射失真的基础上，在仿射模拟的多尺度上Harris角点检测，然后用SIFT方法生成特征描述子，最后用ASIFT方法进行特征匹配。
高斯尺度空间思想在上一章中已经介绍，值得注意的是改进的算法，先进行ASIFT算法的经纬度位置模拟，再进行高斯尺度空间计算，尺度空间计算是用不同尺度的高斯核对视图进行卷积而得到的，视图的高斯尺度空间表示如下：
⑷
运用高斯尺度空间的概念原理，设定一组尺度：，Harris算子在多尺度空间的二阶矩阵表示如下：
⑸
Harris角点检测算法的角点响应函数CRF为：
⑹
其中的gx、gy为x、y方向上的梯度，λ1、λ2是矩阵M的特征值，k为常数，通常取[0.04，0.06]之间的任意值。但在实际应用中，k值的任意取值通常会使结果产生偏差，影响后续的三维重建效果。为了避免k值的选取，并且考虑到多尺度特征，使用新的角点响应函数，其表示如下：
⑺
其中ε为极小值，可忽略不计，主要是为了使分母不为0。
3 实验结果与分析
3.1 实验环境设置
本章实验环境与配置：Window7 64位，内存4.00GB，CPU为Intel Core i5-4590，主频3.30 GHz，GPU为NVIDIA Quadro K2000，开发坏境为：Matlab2016b。
3.2 特征点检测与匹配的实验结果与分析
使用航拍安遠门图像集作为输入，测试算法特征点检测数量、特征点匹配数量、时间复杂度和三维重建效果。
图1、表1的实验结果表明，BH-ASIFT算法比SIFT算法在时间复杂度上要高一点，但BH-ASIFT算法特征点检测能力是SIFT算法的两倍以上，其特征点匹配能力也要高于后者；BH-ASIFT算法对比原ASIFT算法在特征点检测与匹配能力上要弱于后者，但是改进算法比原算法在时间复杂度上要低于后者10倍左右，运行效率显著提升。经过了以上步骤，再进行点云生成、几何重建、纹理重建、输出结果，继续做以下实验：
从图2的实验结果对比可以看出，BH-ASIFT算法改进的PMVS三维重建方法特征点检测匹配能力大幅提升，直接影响后续的稠密点云生成、几何重建、纹理重建，改进后的三维重建方法重建效果要远优于原三维重建方法。
4 总结
本文详细介绍了改进ASIFT的相关算法及具体流程，将BH-ASIFT算法的实验结果与SIFT、ASIFT算法实验结果进行对比，对比结果清晰明了地反映了改进算法的优越性。实验表明，本文提出的BH-ASIFT算法无论在检测与匹配的特征点数量上，还是在三维重建效果上都优于原算法，并且时间复杂度大幅降低。
参考文献（References）：
[1] SHI LiMin， GUO FuSheng， HU ZhanYi，等. An Improved
PMVS through Scene Geometric Information利用空间几何信息的改进PMVS算法[J]. Acta Automatica Sinica，2011.37（5）：560-568
[2] ZHAO Lulu， GENG Guohua， ZHOU Mingquan等.Quasi-
dense matching based on color Sift algorithm for 3D reconstruction一种用于三维重建的彩色Sift准稠密匹配算法[J].计算机应用研究，2012.29（9）：3543-3546
[3] 魏梨君，潘阳，张超.结合Harris算子和sift匹配方法的三维重
建[J].电脑知识与技术，2009.5（11）：2980-2981
[4] Wang Y， Liu S， Guan Q， et al. Excellent Feature Points for
Three-Dimensional Reconstruction of Scene from Video[C]// Pattern Recognition.IEEE，2010：1-5
[5] 戴琼海，李冠楠，谢旭东.Three-dimensional reconstruction
method based on multi-vision angle two-dimension image combined with SIFT algorithm：CN 101271582 A[P]，2008.
[6] Morel J M， Yu G. ASIFT： A New Framework for Fully
Affine Invariant Image Comparison[J].Siam Journal on Imaging Sciences，2009.2（2）：438-469
