左正康 晏磊 孙岩标 赵红颖 张瑞华 孙嘉玉 刘思远 王强 孙逸渊
北京大学学报(自然科学版) 第59卷 第3期 2023年5月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 3 (May 2023)
10.13209/j.0479-8023.2023.033
2022–01–20;
2023–02–07
三维摄影条件下视差角光束法平差模型的适用性研究
左正康1,2,3晏磊1,2,†孙岩标4赵红颖5张瑞华5孙嘉玉5刘思远5王强6孙逸渊5
1.广西高校无人机遥测重点实验室, 桂林航天工业学院, 桂林 541004; 2.空间信息集成与 3S 工程应用北京市重点实验室, 北京大学, 北京 100871; 3.大势智慧科技有限公司, 武汉 430000; 4.天津大学精密仪器与光电子工程学院, 天津 300072; 5.地球观测与导航教育部工程研究中心, 北京大学, 北京 100871; 6.天津师范大学地理与环境科学学院, 天津 300387; †通信作者, E-mail: lyan@pku.edu.cn
为了论证视差角光束法平差模型在短基线摄影条件下的适用性, 将视差角光束法平差(PBA)模型中基于二维假设的数学证明扩展到三维, 研究视差角参数对观测噪声的敏感性、法方程奇异性以及线性化程度, 并基于 2.11×10−8～2.11×10−12弧度的小交会角的短基线摄影条件进行仿真和真实实验。理论分析和实验结果表明, 目前的PBA模型仅适用于二维摄影, 不能解决三维摄影条件下短基线的平差问题。
短基线; 视差角光束法平差; 三维摄影条件; 数学证明
摄影测量指基于图像重建三维场景[1]。目前, 商业软件或开源库中有许多典型的摄影测量软件, 例如 Metashape[2], Pix4D[3], DPGrid[4]和 TOPGrid[5]是摄影测量界的主流商业软件。此外, VisualSF-M[6], OSM Bundler[7–10], Microsoft Photosynth[11], Photosynth Toolkit (Photosynth+CMVS/PMV-S2), Autodest 123D Catch[12], SFMToolKit[13], CMP-MVS[14], ARC 3D Webservice[15], Meshroom[16]以及3Dflow[17]是研究人员广泛使用的开源库或 Web 服务。还有许多公开可用的独立光束法平差包, 如SBA[18], sSBA[19]和 g2o[20], 它们被认为是摄影测量软件的核心模块, 用于估计特征点的位置和相机姿态。
在光束法平差的模型实现过程中, 这些摄影测量软件都采用空间直角坐标()来参数化特征点(XYZBA)。赵亮等[21–22]和孙岩标等[23–25]认为 XYZ-BA 无法解算短基线摄影条件下的平差网。2012 年, 赵亮等[21–22]提出视差角光束法平差(parallax bundle adjustment, PBA)模型, 用 3 个角度(方位角、高度角和视差角)替代坐标, 对特征点进行参数化, 并在二维摄影条件下完成视差角参数对观测噪声的敏感性数学证明, 得到“PBA 中的视差角参数不受观测值初始误差影响”的结论。2015 年, 孙岩标 等[23–25]在二维的摄影条件下, 对 PBA 模型的法方程奇异性进行数学证明, 得到“PBA 模型的法方程系数矩阵的行列式为 1, 法方程永远正定”的结论。
众所周知, 真实的摄影条件是三维的, 赵亮 等[21–22]和孙岩标等[23–25]在二维摄影条件下的数学证明需要在三维条件下进行进一步论证。本文聚焦于三维摄影条件下视差角参数对观测噪声的敏感性、法方程奇异性和线性化程度等的数学证明, 并在 2.11×10−8～2.11×10−12弧度的小交会角的短基线摄影条件下进行实验验证。
PBA 模型[21–22]用 3 个角度(方位角、高度角和视差角)来参数化三维目标点的地理位置, 即F=(α,β, γ), 如图 1 所示。
三维目标点F= [α β γ]到二维像点 [,]之间的投影关系的观测方程为
其中,为内参矩阵;m与分别为主相机与相机的旋转矩阵;t为缩放因子;m为相机m到达目标点F的单位向量:
为相机t到达特征点F的向量:
本文在三维摄影条件下, 分别从理论上证明PBA 模型中视差角参数对观测噪声的敏感性、PBA模型的法方程奇异性和线性化程度。
2.1 视差角参数对观测噪声的敏感性
2.1.1 二维摄影条件
因此,
图2 二维摄影条件[21–22]
Fig. 2 Two-dimensional photography condition[21–22]
因此, 赵亮等[21–22]认为 PBA 模型中的视差角参数不受观测值初始误差的影响。
2.1.2 三维摄影条件
图3 三维摄影条件
可以发现, 当={0, π}时, 视差角在三维摄影条件下的参数化形式与二维摄影条件相同,可由其他角度线性表达。然而, 当≠{0, π}时, 视差角在三维摄影条件下的参数化形式变为非线性表达式。
视差角的计算值为
2.2 法方程奇异性
孙岩标[23]关于 PBA 和 XYZBA 法方程奇异性的数学分析是基于二维摄影条件, 本文认为他得出的结论“PBA 模型的法方程系数矩阵的行列式为 1, 法方程永远正定”无法扩展到三维摄影条件。
2.2.1 二维摄影条件
在图 2 的二维摄影条件下, 两个相机在全局坐标系的方向角为α和α。选取第一个相机为目标点的主锚点, 则目标点用视差角可表示为
= (,) , (11)
其中,表示视差角;表示目标点在全局坐标系下的方向角, 等价于
孙岩标[23]将β和β作为光束法平差模型的观测量, 将和作为变量, 其最小二乘优化问题可表示为
(,) = [1(,) −β]2+ [2(,) −β]2,(13)
其中,1(,)和2(,)分别为目标点在两个相机上的观测方程:
1(,) =− α, (14)
2(,) =+–α。
(15)
两个观测方程对变量和的一阶导数组成 Jacobi矩阵:
其法方程为
因此, 行列式为 1, 法方程永远正定。
2.2.2 三维摄影条件
在三维摄影条件下, PBA 模型的第一类未知数是相机的 6 个外方位元素, 第二类未知数是目标点的 3 个角度参数化坐标, 即= (α, β, γ)。其目标函数为
可以发现, 在三维摄影条件下, PBA 模型的观测方程不再如式(14)和(15)一样呈线性, 而是变成了非线性方程。我们进一步计算三维摄影条件下 PBA模型的法方程系数矩阵:
可以看出, 三维摄影条件下 PBA 模型的法方程系数矩阵的行列式 det (T) 不等于 1, 也难以永远正定, 孙岩标[23]在二维摄影条件下的证明结论在三维摄影条件下并不适用。
2.3 线性化程度
由线性代数理论可知, 若系数矩阵可逆, 则非齐次线性方程组=的封闭解为=−1。因此, 如果待求解的方程组为线性方程组, 则可以直接求得其封闭解, 无需从近似的初始解0出发, 迭代求解。这意味着线性方程组的解算不依赖于初始值。
在 PBA 中, 单根光线的观测方程为3×1=3×3·3×1, 其中3×1= [1]T为像点的齐次坐标,3×1= [−c−c−c]T为平移向量,3×3=3×3·3×3为内参矩阵与旋转矩阵的乘积。
在内参矩阵3×3和旋转矩阵3×3已知的“非自由网平差”条件下, 其观测方程3×1=3×3·3×1呈非齐次线性形式, 我们可以直接求得封闭解3×1=−13×3·3×1。
1)在XYZBA 中, 未知的线元素为6×1= [ccc]T, 求得封闭解3×1=−13×3·3×1之后,3×1是一个“秩亏”的线性方程组, 表达式为
[3×3−3×3]3×66×1=3×1。(21)
若≥ 3 (+), 则系数矩阵“满秩”, 可求得的封闭解:
无需从近似的初始解0出发, 迭代求解。
2)在 PBA 中, 未知数为6×1= [α β γ x y z]T, 求得封闭解3×1=−13×3·3×1之后,3×1是一个非线性方程组, 表达式为
sin·3×1=·sin (+)·[cossincoscossin]T
− sin·[ccc]T, (24)
需从近似的初始解0出发, 迭代求解。
本文考虑一种两光线交会角很小的最简化情况, 即 1 个特征点被两个相机观测到。仿真场景见图5, 实验参数描述见表 1。
图4 匹配点文件结构
3.1 观测值噪声的影响
表 2 和 3 以及图 6 为短基线摄影条件(=2.11×10−8rads)下, 平差模型在不同的像点观测值噪声下对特征点坐标的预测结果。
图5 短基线仿真场景
表1 仿真实验细节描述
将均值=0, 方差=0.33, 1, 10, 20 和 50 像素的高斯噪声分别添加到理想的像点坐标上, 分别用PBA 和 XYZBA 预测特征点的坐标, 并计算预测 误差。
表2 PBA对特征点的预测误差受像点噪声的影响
说明: PBA 中特征点坐标的初值=真值+白噪声(=0.1 rads)。
表3 XYZBA对特征点的预测误差受像点噪声的影响
说明: XYZBA 中特征点坐标的初值=真值+白噪声(=1×107m)。
图6 PBA 和 XYZBA 对特征点的预测误差受像点噪声的影响
例如, 在=0.33 像素的像点噪声下, 视差角的真值t=2.11×10−8rads, PBA 预测的视差角p=7.2× 10−5rads, 虽然预测误差p−t仅为 7.19789×10−5rads, 但将该误差换算成深度值p−t约为 1.96×104m。最后, 在 PBA 中,方向误差还会传递到和方向的预测中。
从表 3 可以发现, 在短基线摄影条件下, XY-ZBA 预测的坐标不仅误差很大, 对像点噪声也很敏感, 但和方向的预测误差很小, 且几乎不受像点噪声的影响。实验结果与文献[21–23]中的数学证明矛盾, 与 2.1 节视差角参数对观测噪声的敏感性的数学证明结果一致。
3.2 迭代初始值的影响
表 4 和 5 以及图 7 为短基线摄影条件(=2.11× 10−8rads)下, 平差模型在不同质量的迭代初始值下对特征点坐标的预测结果。
将均值=0, 方差=0.01, 0.1, 1, 2 和 3.14 弧度的高斯噪声分别添加到视差角参数化的特征点真值上, 用 PBA 预测特征点的 3 个角度坐标, 并计算预测误差。将均值=0, 方差=1×104, 1×105, 1×106, 1×107和 1×108m 的高斯噪声分别添加到XYZ 参数化的特征点真值上, 用 XYZBA 预测特征点的 3 个直角坐标, 并计算预测误差。
从图 7 可以发现, PBA 对特征点的预测误差受迭代初始值的影响较大, 但 XYZBA 完全不受初始值的影响, 说明 PBA 对特征点的预测是一个非线性优化过程, XYZBA 对特征点的预测是一个线性优化过程, 与 2.3 节线性化程度的数学证明结果一致。
3.3 短基线条件的影响
图 8 为在不同的短基线摄影条件下, 平差模型在迭代过程中的法方程奇异性变化。分别模拟 2.11 ×10−8, 2.11×10−9, 2.11×10−10, 2.11×10−11和 2.11× 10−12rads 交会角的短基线摄影条件, 然后记录平差模型在迭代过程中的法方程海森矩阵的行列式 det (), 若 det()=0, 则法方程奇异。
从图 8 可以发现, PBA 和 XYZBA 在所有的短基线摄影条件下都没有出现法方程奇异的结果, 与文献[21–23]中的数学证明结果矛盾, 与 2.2 节法方程奇异性的数学证明结果一致。
4.1 实验数据
本文选取两组在短基线几何条件下拍摄的影像, 如图 9 和 10 所示。这些影像的特点是在不同时刻, 相机几乎在一条直线上对目标进行拍摄, 如此获取的数据视差非常小。图 9 为 3 张室内办公场景影像, 由本文作者拍摄。选取 24 张室外街景影像(限于篇幅, 只展示 3 张, 见图 10), 由车载摄像机获取, 来源于 KITTI Odometry 数据集(https://www.cv libs.net/datasets/kitti/eval_odo metry.php)。
表4 PBA对特征点的预测误差受迭代初始值的影响
说明: PBA 中像点的模拟匹配误差为 0.33 像素。
表5 XYZBA对特征点的预测误差受迭代初始值的影响
说明: XYZBA 中像点的模拟匹配误差为 0.33 像素。
图7 PBA 和 XYZBA 对特征点的预测误差受迭代初始值的影响
4.2 开源框架介绍
OpenMVG 的全称为 Open Multiple View Geo-metry, 是国际上知名的 SfM (structure from motion) C++开源框架(https://github.com/openMVG)。本文选取 OpenMVG 作为 XYZBA 和 PBA 实现的基础框架, 并利用 Open Multiple View Stereo (OpenMVS)开源框架(https://github.com/cdcseacave/openMVS)进行最终的三维重建。
4.3 实验结果与讨论
表 6 为 XYZBA 和 PBA 在数据集 1 和数据集 2 上的平差结果。可以看到, 在数据集 1 中, 在 5 个评价指标上, XYZBA 模型的平差性能都优于 PBA 模型。在数据集 2 中, 虽然 PBA 模型的字面平差精度和效率优于 XYZBA 模型, 但 PBA 模型的入网率过低, 导致重建的稀疏点云过于稀疏, 无法重建出可靠的三维模型。
图 11 和 12 分别展示 XYZBA 和 PBA 重建数据集 1 和数据集 2 的稀疏点云、密集点云和 Mesh 模型。可以清楚地看到, 在两个数据集上, PBA 的平差精度、效率、入网率和重建细节的能力都劣于XYZBA。因此, 真实实验和仿真实验结果一致证明本文中推导的合理性, 即 PBA 模型在短基线摄影条件下的平差优势有待进一步从理论和实验层面进行验证。
图8 PBA和XYZBA的法方程奇异性受短基线摄影条件的影响
图9 数据集 1 (室内办公场景)
图10 数据集 2 (室外街景场景)
表6 XYZBA和PBA在两个数据集上的平差结果对比
说明: px = pixel; # = number。
图11 XYZBA和PBA在数据集1上的重建结果对比
图12 XYZBA和PBA在数据集2上的重建结果对比
视差角光束法平差(PBA)是一种新的光束法平差模型, 其解决短基线平差难题的数学证明局限于二维的摄影条件。对于真实的三维摄影条件, 相关数学证明需进一步论证。本文聚焦于三维摄影条件下 PBA 模型中视差角参数对观测噪声的敏感性、法方程奇异性和线性化程度等数学证明, 并在短基线摄影条件下对数学分析进行仿真和真实实验验证。理论分析和实验结果表明, 当前版本的 PBA 模型尚无法解决三维摄影条件下短基线的平差问题。
[1] Atkinson K B. Close range photogrammetry and ma-chine vision. Caithness: Whittles Publishing, 1996
[2] Metashape [EB/OL]. (2022) [2023–03–31]. http://www. agisoft.com/
[3] Pix4D [EB/OL]. (2023) [2023–03–31]. http://www.Pix 4d.com
[4] Zhang Zuxun. From digital photogrammetry worksta-tion (DPW) to digital photogrammetry grid (DPGrid). Geomatics and Information Science of Wuhan Univer-sity, 2007, 32(7): 565–571
[5] TOPGrid [EB/OL]. (2018)[2023–03–31]. http://www. chinatoprs.com/cpyfw
[6] Wu Changchang. VisualSFM Ver. 0.5.22 [EB/OL]. (2013) [2023–03–31]. http://homes.cs.washington.edu/～ccwu/ vsfm/
[7] Furukawa Y, Curless B, Seitz S M, et al. Towards internet-scale multi-view stereo // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, 2010: 1434–1441
[8] Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 32(8): 1362–1376
[9] Furukawa Y, Ponce J. Accurate camera calibration from multi-view stereo and bundle adjustment. Inter-national Journal of Computer Vision, 2009, 84(3): 257–268
[10] Snavely N. Bundler [EB/OL]. (2012) [2023–03–31]. http://phototour.cs.washington.edu/bundler/#S3
[11] Microsoft. Photosynth [EB/OL]. (2012) [2023–03–31]. http://photosynth.net
[12] Autodesk 123D Catch [EB/OL]. (2012) [2023–03–31]. http://www.123dapp.com/catch
[13] SFMToolkit [EB/OL]. (2011) [2023–03–31]. http:// www.visual-experiments.com/demos/sfmtoolkit
[14] Jancosek M, Pajdla T. Multi-view reconstruction pre-serving weakly-supported surfaces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, 2011: 3121–3128
[15] Nilsson D, Pletinckx D, Van G L, et al. The ARC 3D webservice [EB/OL]. (2007) [2023–03–31]. http://me dia.digitalheritage.se/2010/07/ARC_3D_TII.pdf
[16] Meshroom [EB/OL]. (2023)[2023–03–31]. https://git hub.com/alicevision/Meshroom
[17] 3Dflow [EB/OL]. (2023) [2023–03–31]. https://www. 3dflow.net
[18] Lourakis M I, Argyros A A. SBA: a software package for generic sparse bundle adjustment. ACM Transac-tions on Mathematical Software (TOMS), 2009, 36 (1): 1–30
[19] Konolige K, Garage W. Sparse sparse bundle ad-justment // BMVC 2010. Aberystwyth, 2010: 102.1–102.11
[20] Kümmerle R, Grisetti G, Strasdat H, et al. G2O: a general framework for graph optimization // IEEE International Conference on Robotics and Automa-tion. Shanghai, 2011: 3607–3613
[21] Zhao Liang, Huang Shoudong, Sun Yanbiao, et al. ParallaxBA: bundle adjustment using parallax angle feature parametrization. The International Journal of Robotics Research, 2015, 34(4/5): 493–516
[22] 赵亮. MonoSLAM: 参数化、光束法平差与子图融合模型理论[D]. 北京: 北京大学, 2012
[23] 孙岩标. 极坐标光束法平差模型收敛性和收敛速度研究[D]. 北京: 北京大学, 2015
[24] Sun Yanbiao, Zhao Liang, Huang Shoudong, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 91: 1–16
[25] Sun Yanbiao, Sun Huabao, Yan Lei, et al. RBA: re-duced bundle adjustment for oblique aerial photo-grammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 121: 128–142
Applicability Study on Parallax Bundle Adjustment in 3D-Photography
ZUO Zhengkang1,2,3, YANLei1,2,†, SUNYanbiao4, ZHAOHongying5, ZHANGRuihua5, SUNJiayu5, LIUSiyuan5, WANGQiang6, SUNYiyuan5
1. Guangxi Key Laboratory of Remote Measuring System, Guilin University of Aerospace Technology, Guilin 541004; 2. Beijing Key Laboratory of Space Information Integration and 3S Application, Peking University, Beijing 100871; 3. Dashi Intelligent Technology Co Ltd, Wuhan 430000; 4. School of Precision Instrument and Opto-Electronics Engineering, Tianjin University, Tianjin 300072; 5. Engineering Research Center of Earth Observation and Navigation, Peking University, Beijing 100871; 6. School of Geographic and Environmental Sciences, Tianjin Normal University, Tianjin 300387; † Corresponding author, E-mail: lyan@pku.edu.cn
In order to study the applicability of the Parallax Bundle Adjustment (PBA) in the 3D-photography, the authors extend the mathematical proof of the PBA model which is based on the two-dimensional hypothesis, to three dimensions with respect to the sensitivity of parallax angle to observation noise, the singularity of the normal equation, and the degree of linearization. Furthermore, with a set of narrow intersection-angles (2.11×10−8to 2.11×10−12rads), the 3D-scenes in short-baseline photography are simulated, and employed to verify the proof. Theoretical analysis and experimental results demenstrate that the current version of PBA is only suitable for the 2D-photography, but not suitable to solve the short-baseline problem in the 3D-photography.
short-baseline; parallax bundle adjustment (PBA); three-dimensional photography condition; mathe-matical proof
猜你喜欢视差基线观测基于自适应窗的立体相机视差图优化方法研究小型微型计算机系统(2022年1期)2022-01-21适用于MAUV的变基线定位系统高技术通讯(2021年3期)2021-06-09航天技术与甚长基线阵的结合探索科学(2020年5期)2020-11-26基于梯度域引导滤波的视差精炼迭代算法天津大学学报(自然科学与工程技术版)(2018年6期)2018-05-302018年18个值得观测的营销趋势中国化妆品(2017年12期)2017-06-27天测与测地VLBI 测地站周围地形观测遮掩的讨论测绘科学与工程(2017年1期)2017-05-04一种改进的干涉仪测向基线设计方法舰船电子对抗(2016年5期)2016-12-13基于分割树的视差图修复算法研究现代计算机(2016年3期)2016-09-23可观测宇宙太空探索(2016年7期)2016-07-10立体视差对瞳孔直径影响的研究西部广播电视(2015年5期)2016-01-16