本文内容来源于《测绘学报》2022年第11期（审图号GS京（2022）1229号）
张春森1, 葛英伟1, 郭丙轩2, 张月莹1
1. 西安科技大学测绘科学与技术学院，陕西 西安 710054;
2. 武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079
基金项目：国家自然科学基金(92038301)
摘要：针对现有密集匹配方法在弱纹理及高差较大区域表现不佳, 以及密集匹配融合生成DSM时导致信息丢失等问题, 本文提出基于随机传播COLVLL的DSM生成方法。在对空三加密后的影像进行有效像对筛选的基础上, 利用随机传播机制对DSM像素区域进行扫描迭代, 结合VLL算法对随机生成的高程值进行迭代更新得到DSM。以弱纹理、大高差区域无人机影像为试验数据与现有生成DSM商业软件进行试验对比, 并以ISPRS WGII/4提供的Vaihingen数据集为参考对本文方法生成DSM及真正射影像数据进行试验分析, 结果均证明了本文方法的有效性和适用性。
关键词：数字表面模型 无人机影像 密集匹配 铅垂线轨迹法 物方面元
引文格式：张春森, 葛英伟, 郭丙轩, 等. 无人机影像DSM自动生成随机传播COLVLL算法[J]. 测绘学报，2022，51(11)：2346-2354. DOI: 10.11947/j.AGCS.2022.20210325ZHANG Chunsen, GE Yingwei, GUO Bingxuan, et al. Automatic generation DSM of UAV image based on random propagation COLVLL algorithm[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(11): 2346-2354. DOI: 10.11947/j.AGCS.2022.20210325
阅读全文：http://xb.chinasmp.com/article/2022/1001-1595/20221111.htm数字表面模型(digital surface model，DSM)是指包含了地表建筑物、树木和桥梁等高度的地面高程模型。它在数字高程模型(digital elevation model，DEM)的基础上，进一步涵盖了除地面以外的其他高程的信息。DSM数据广泛应用于各行各业，如在森林地区可以用于检测森林的生长情况，在城区可以用于检查城市的发展情况，在军事领域，可实现精确制导和自动化监控系统指挥作战等[1]。通常通过影像密集匹配算法求得视差或者深度图，再利用视差或深度图得到DSM。
无人机影像由于其影像几何变形大、待匹配数据量多等原因，在地物高差大、弱纹理区域影像匹配会产生一系列问题[2]。如在地物遮挡处或高差大的地物上匹配到的同名点过少，导致解算影像视差值或深度值不稳定[3]。加之，现有密集匹配算法在处理诸如弱纹理、大高差等对地观测影像方面表现不佳。虽然对于密集匹配国内外学者进行了大量相关研究与改进，文献[4]提出半全局匹配(semi-global matching, SGM)算法，利用双重惩罚系数实现能量方程的最优求解，该算法通过计算8个方向或者16个方向的代价聚合实现全局能量最小化。文献[5]在SGM算法中加入中值滤波对其进行改进，然而以上两种方法在弱纹理区域均表现不佳。SGM采用代价聚合的能量函数来确定匹配代价生成视差图后融合得到DSM，但存在内存占用率高，视差图中间结果流程复杂，计算量大，弱纹理、高差大时匹配效果差。铅垂线轨迹法(vertical line locus，VLL)是一种基于物方可直接得到地面点高程的影像匹配方法，该方法能够有效地避免辐射畸变对影像匹配准确性的影响[6]，然而VLL法在地物深度不连续或高差较大的区域存在误匹配[7-9]。Colmap密集匹配是基于随机物方patch面元扫描优化深度图的方法，它基于相邻像元的深度值法向量和当前像元的深度值法向量构建多个物方patch组合优化深度图，并使用光学一致性、几何一致性进行深度图优化，通过过滤、融合得到最终深度图[10-11]。基于物方patch面元的匹配算法由文献[12]提出，它通过引入随机采样及随机传播的机制，在影像间快速传播并搜索到相似影像块进行匹配。文献[13]提出了PatchMatch双目密集匹配算法。近几年来，随着深度学习的兴起，卷积神经网络被广泛地应用于密集匹配、同步定位与三维重建[14-17]。文献[15]提出一种端到端的监督学习方式，通过构建代价体来表示左右影像的对应关系，利用3D卷积神经网络对代价体进行学习得到视差图。然而由于深度学习算法运行所需的内(显)存较大，加之需耗费大量训练和人工标注时间，其适用性和泛化性较差。
针对传统密集匹配方法在弱纹理及高差较大区域表现不佳，以及密集匹配结果融合成DSM时导致信息丢失等问题，本文提出基于随机传播COLVLL的无人机影像DSM快速生成方法，通过分析patch面元影像匹配及随机传播机制的思想，给出结合VLL算法对随机生成的高程值进行迭代更新的无人机影像DSM快速生成算法。分别选取城市高差大、弱纹理区域与一般区域无人机影像及ISPRS WGII/4提供的Vaihingen数据集进行试验验证，结果证明了本文算法的有效性。
本文算法包括：①利用空三解算后的影像确定DSM测区生成范围；②针对生成范围进行扫描迭代，确定测区内关联影像，利用候选影像筛选策略对候选影像进行筛选；③对候选影像进行高程、法向量等随机初始化；④对多个物方面元组合进行计算，利用VLL策略更新当前像素高程及法向量值；⑤在每次迭代结束后，利用相关系数匹配计算得出最优组合，并进行迭代更新；⑥通过多次迭代更新最终得到DSM等步骤。算法流程如图 1所示。 |
| Fig. 1 Flowchart of the proposed algorithm |
|
|
| Fig. 2 Flowchart of PatchMatch algorithm |
|
|
| Fig. 3 The projection relationship between the image side and the object side patch |
|
|
| Fig. 4 UAV image data for test (part) |
|
Tab. 1 Information about test data针对第1组无人机影像数据，分别采用基于半全局SGM密集匹配和本文算法生成DSM，以空三结束后的特征点作为控制点，统计两组生成DSM后的平均误差及均方根误差(表 2)。图 5为两种算法得到的DSM结果对比，图 6为两种算法得到的阴影结果对比。其中，均方根误差计算公式为
表 2 匹配精度及效率比较Tab. 2 Comparison of matching accuracy and efficiency表选项
|
| Fig. 5 Comparison of DSM generation in building area with large elevation difference |
|
|
| Fig. 6 Shadow contrast of buildings with large elevation difference |
|
表 3 本文算法窗口尺寸对匹配结果的影响
Tab. 3 Influence of window size on matching results of the proposed method
分别以SGM密集匹配、视差图融合得到的深度图为基础生成DSM，以及本文基于随机高程值传播直接生成DSM方法对第2组弱纹理区域数据进行试验(图 7)。图 8为两种算法得到的DSM结果对比。图 9为两种算法得到的阴影结果对比。弱纹理区域匹配精度及效率对比见表 4。 |
| Fig. 7 Weak texture image (local) |
|
|
| Fig. 8 Weak texture area DSM generation comparison |
|
|
| Fig. 9 Shadow contrast in weak texture areas |
|
表 4 弱纹理区域匹配精度及效率对比
Tab. 4 Comparison of matching accuracy and efficiency in weak texture areas
基于第3组数据，采用本文算法与当前国内外主流商业软件(SURE，PhotoScan，Pix4D)生成DSM进行试验对比，如图 10和图 11所示。 |
| Fig. 10 Comparison of DSM effects of different methods(overall effect) |
|
|
| Fig. 11 Comparison of DSM effects of different methods(local) |
|
|
| Fig. 12 True orthophoto (TOP) of test area |
|
Tab. 5 Quantitative analysis checkpoint statistics(part)
表 6 不同软件DSM生成精度统计
Tab. 6 Precision generated with different software DSM
m
为进一步验证本文算法的有效性，使用ISPRS WGII/4提供的ISPRS Test Project on Urban Classification and 3D Building Reconstruc-tion Vaihingen数据集，对本文算法进行试验验证。该数据集包括由Leica ALS50系统获取的机载激光扫描仪数据(平均点密度约为4个/m2)、数字表面模型(DSM)数据及真正射影像TOP数据(TOP和DSM的地面采样距离均为9 cm)。研究区域包含典型的欧洲建筑类型，其结构形态各异，包括山墙、坡屋顶及其混合结构建筑。试验以Vaihingen数据集中激光扫描数据为真值，分别就本文算法生成的DSM与数据集中DSM，以及各自生成的真正射影像进行可视化对比与精度分析。(1) DSM生成对比。图 13(a)、(b)、(c)是数据集中选取的3个研究区域1、2、3的DSM，图 14(a)、(b)、(c)是使用本文算法生成对应区域DSM，图 15(a)、(b)、(c)对应激光扫描数据生成DSM。对比图 13、图 14、图 15可以看出，由本文算法生成的DSM边界清晰，更接近于激光扫描数据生成DSM数据。 |
| Fig. 14 DSM generated by the proposed algorithm |
|
|
| Fig. 15 DSM generated by LAS |
|
|
| Fig. 16 True orthophoto of dataset |
|
|
| Fig. 17 True orthophoto generated by the paper algorithm |
|
表 7 与ISPRS数据对比精度分析
Tab. 7 Accuracy analysis compared with ISPRS data
m
(1) 本文随机传播COLVLL在patch方采用ZNCC双边滤波加权相关系数法匹配得到较为准确的同名像点。由表 3可以看出，窗口大小在一定范围内时(小于31×31像素)，窗口越大，匹配到的正确值的概率也就越高。随着物方patch窗口的变大，计算的平均相关系数随之变大，即匹配到正确值的精度在逐渐提高。试验发现，当窗口尺寸取21×21像素时，可以取得较好的匹配的精度与匹配效率，说明patch面元窗口大小选取较为重要，如果选择过小会导致高程异常值多，过大会导致匹配效率过低。当patch窗口过大时，窗口内的纹理信息增加，空间信息复杂，导致窗口相关系数求得的数值变小，匹配像点的准确度降低，故窗口尺寸的选择对匹配结果的影响较大。(2) 由图 5可以看出，本文算法能正确匹配出高差较大的建筑物，并且建筑物边缘完整。从建筑物阴影图上看(图 6)，传统方法匹配的视差出现大量无效值，在进行深度图融合及高程值融合时，前者导致楼顶高程出现大量无效值。因此相较于其他方法，本文算法可以较好地处理高差较大区域。(3) 由于本文算法能够较好地匹配得到正确高程值，由图 8弱纹理(原弱纹理影像如图 7所示)影像DSM生成对比可以看出生成的DSM边缘平滑，纹理清楚。同时由表 4可以看出，本文算法生成DSM精度及匹配效率均高于传统算法，说明本文算法可以较好地处理弱纹理区域影像。(4) 由表 6可以看出，本文算法DSM生成精度高于商业软件，由图 11可以看出，本文算法在建筑物顶面处较其他3款商业软件生成DSM更平滑，边缘更清晰。(5) 由图 13、图 14、图 15可以看出，本文算法生成的DSM边界清晰，更接近于激光扫描数据生成DSM数据。由表 7可以看出，本文算法在山墙、坡屋顶及混合建筑物等处生成DSM精度均优于Vaihingen数据集匹配生成DSM精度。由图 16、图 17可以看出，采用本文算法生成真正射影像优于Vaihingen数据集中匹配结果生成真正射影像。借鉴Colmap基于随机物方patch面元扫描优化深度图进而生成DSM的算法，本文提出了基于随机传播COLVLL无人机影像DSM生成算法，即通过引入VLL算法，将深度值传播改进为高程值传播。利用随机PatchMatch对影像进行扫描迭代，同时结合VLL算法对随机生成的高程值进行多次迭代更新得到DSM。由于省略了深度图等中间过程，因此克服了在弱纹理区域、高差范围过大区域可能产生的误匹配，以及流程复杂，计算量大，内存占用率高等问题，在最终生成的DSM精度及效率方面较当前国内外主流商业软件(SURE，PhotoScan，Pix4D)有了一定的改善。对于大场景超大数据量无人机影像DSM自动生成效率与精度的提升，将是笔者后续的研究工作。第一作者简介：张春森(1963—)，男，博士，教授，研究方向为数字摄影测量、计算机视觉与遥感应用。E-mail：zhchunsen@aliyun.com通信作者：郭丙轩, E-mail：mobilemap@163.com
