一种三维建筑物模型自动纹理映射方法

吴斌;孙显;王宏琦;付琨

【摘 要】针对三维模型纹理映射受观测视角及遮挡影响的问题,提出了一种基于高斯混合模型的纹理自动映射方法.首先在体素三维重建模型上,为每一个目标表面体素建立高斯混合模型来描述该体素的颜色在不同图像上观测值的分布;然后利用输入的序列图像及对应的相机参数,结合场景的可见性约束,用图像每一个像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型;最后用高斯混合模型的期望估计体素的实际颜色纹理.结果表明,该方法可以得到准确精细的三维建筑物纹理模型.%In this paper,we propose an automatic texture mapping method based on Gaussian mixture model to resolve the problem caused by different viewpoints and occlusion.Firstly,the proposed method deals with the volumetric 3D scene models and describes the observation color of each voxel in different images by a Gaussian mixture model.Then the input aerial images with camera parameters are used to update these Gaussian mixture models with the consideration of the visibility

constraints.Finally,accurate texture models are estimated by the expect of the Gaussian mixture model.The experimental result demonstrates that the proposed method can generate accurate 3D building texture model. 【期刊名称】《遥感信息》 【年(卷),期】2017(032)002 【总页数】5页(P66-70)

【关键词】纹理映射;高斯混合模型;三维体素模型;可见性约束;模型更新 【作 者】吴斌;孙显;王宏琦;付琨

【作者单位】中国科学院空间信息处理与应用系统技术重点实验室,北京100190;中国科学院大学,北京100049;中国科学院空间信息处理与应用系统技术重点实验室,北京100190;中国科学院空间信息处理与应用系统技术重点实验室,北京100190;中国科学院空间信息处理与应用系统技术重点实验室,北京100190 【正文语种】中 文 【中图分类】TP391.4

精细化场景三维模型在日常生活中如在城市规划、路径导航等方面起着越来越重要的作用。而纹理作为三维模型中的重要特征，不仅增加了三维场景的真实度，而且可以刻画场景的细节，近些年也成为三维重建领域重要的研究方向。

场景三维模型通常可以分为线框模型、表面模型、点云模型、体素(实体)模型等[1]。线框模型一般作为三维场景的骨架模型。表面模型以多边形面片拼接形成的曲面来表示目标的表面。点云模型[2]密集的空间点(或带有颜色的小块)表示目标的三维结构。体素(实体)模型[3]类似于平面图像的像素结构，是以规则划分的空间体素来表示目标的三维结构。本文之前的先行研究中进行了基于体素模型的场景三维模型重建以及三维模型几何结构精细化，本文主要针对几何结构精细化后的体素模型进行纹理映射。

文献[4]总结了今年来主要的纹理映射方法。纹理映射实质上是建立了从屏幕空间到纹理空间的映射和纹理空间到景物空间的映射2个映射关系。根据映射层面由宏观到微观，又可以分为颜色纹理、几何纹理、过程纹理。文献[4]同时总结了几种常用的纹理映射方法，比较有代表性的是两步法纹理映射技术[5-6]，通过引入

一个分别与纹理空间和物方空间映射的中间三维曲面，解决了复杂的物方曲面的纹理映射问题。文献[7]提出在实际具有真实感的3D重建中，在全局的映射函数之外构建了一个纹理模型来处理诸如光照等外部因素对模型真实感的影响。然而对于实际复杂建筑物模型，无法建立建筑物表面曲线，因而很难通过上述方法找到图像像素与模型表面的映射关系。文献[8]利用视角进行可见性判别，从而利用近距的航拍图像针对遮挡的情况完成了建筑物纹理的提取与映射。然而使用少量图像进行建筑物表面贴图易受到噪声的影响。本文利用高斯混合模型来建模建筑物颜色纹理在不同图像中的分布，通过提出的三维模型与图像映射算法找到图像像素与三维模型体素之间的对应关系，训练更新每个纹理模型，最终得到较为精确的三维场景纹理模型。

文献[3]详细介绍了体素模型的场景三维重建方法。与基于点匹配的方法[2]相比，在重建区域有高反射率表面，均匀区域等情况出现时，该方法重建效果更好。基于体素的重建方法是一种描述性方法，其基本思想是建模场景内目标表面的遮挡概率，使用贝叶斯准则利用图像序列更新场景模型，从而得到场景的重建模型。因此，场景重建模型中体素的大小对应于图像的分辨率，也就是说，当图像分辨率是0.3 m时，场景体素的大小最小就是0.3×0.3×0.3。

利用这种方法得到的场景重建模型中存在大量的噪声以及建筑物部分结构的缺失问题，在先行研究[10]中提出一种分层拟合的方法实现了重建模型去噪以及三维模型精细化，为了使得该三维模型更加精细及富有真实感，因此需要利用输入图像序列对其进行纹理映射。

由于受光照、阴影、视角变化等因素影响，建筑物表面区域在不同图像中的表观不一致，很难直接得到对应体素的准确纹理信息。这些观测值由于视角的不确定性而形成的观测数据可能呈现出多峰分布，需要近似拟合出这种分布并求得期望来作为该区域实际颜色的估计。

高斯混合模型(Gaussian mixture model，GMM)可以用若干个高斯概率密度函数(正态分布曲线)来精确地描述事物。作为单一高斯概率密度函数模型的延伸，GMM能够平滑地近似任意形状的密度分布。由于受光照、阴影、视角变化等因素影响，多幅航拍遥感图像中同一个空间目标的表观并不一致，很难直接得到对应体素的准确纹理信息。故本文使用混合高斯模型来表示空间体素的纹理信息，使用多幅航拍图像训练得到该混合高斯模型的参数。

在为场景中每一个体素建立高斯混合模型后，本节将介绍如何使用航拍遥感图像数据更新每一个体素的模型参数。 3.1 图像像素到体素的映射

结合航拍倾角图像与体素模型的几何特性，需要建立图像与三维场景内体素的对应关系。考虑到遮挡的影响，所以每一个图像像素应只与场景内唯一的体素对应。如图1所示，箭头方向为某个图像像素根据图像相机参数信息投影到三维体素模型的方向，粉色体素表示该射线穿过的空间的体素。但由于空间遮挡的关系，如果某个体素是建筑物表面时，那么该体素之后的空间体素纹理就与这个图像像素无关了。例如，若P1为建筑物表面，那么这个图像像素的颜色应当由P1的颜色决定，而跟P1之后的体素没有关系，也就是说，这个像素的灰度也只能用来更新P1对应的高斯混合模型的参数了。

正是基于这样的空间位置关系以及体素模型本身规则的几何特征，本文按照高度将三维模型分成多个层图像，如图2所示。每一个层图像Pk上的点都是原先三维空间中的一个体素。

将航拍图像顺次投影到层图像序列{Pk}上，找到像素与体素的对应关系，具体的映射方法如算法1所描述。 3.2 高斯混合模型更新

有了上述图像像素与空间体素的对应关系之后，这一节介绍如何利用一个图像灰度

值更新其映射的体素的高斯混合模型。高斯混合模型由K个均值分别为μk，标准差分别为σk，权重分别为ωk的高斯分布组成。每一个高斯分布为： 那么高斯混合分布可以表示为：

如文献[9]中，不同的高斯分布按照ωk/σk排序，在更新这个高斯混合模型的过程中，如果一个新的权重为dω图像像素的颜色c落在了某个高斯分布均值的2.5倍标准差范围内，可以认为这个新的颜色是属于这个高斯分布的，那么使用公式(3)来更新这个高斯分布的参数。

如果这个像素的颜色c不落在任何一个高斯分布均值的2.5倍标准差的范围内，那么最不可能的那个高斯分布将被一个均值为c、具有较高方差、权重为dω的新分布所取代。 3.3 场景纹理映射

在上述两节的基础上，场景内建筑物目标表面颜色纹理的映射过程如算法2所示。说明一下，这里的场景纹理模型A表示的是每一个空间体素的高斯混合模型。为了减小计算复杂度，对于非建筑物表面的体素不需要进行计算，因而该场景纹理模型实际上只是存储了建筑物表面体素对应的高斯混合模型。

本文最终的目标是求得场景中建筑物表面的颜色纹理，利用算法2得到每一个建筑物表面体素的高斯混合模型表述其纹理，最后求高斯混合模型的期望作为每一个空间体素的颜色估计。 4.1 实验数据

本文利用基于体素的概率体素建模方法[3]得到场景的初步重建结果，然后 利用三维模型精细化方法[10]得到去噪及规整化拟合后的精细建筑物三维模型，如图3所示，在这个模型上进行建筑物纹理映射实验。

实验中使用该场景的不同角度181幅航拍图像作为纹理模型更新的输入图像，图像分辨率为0.3 m，部分图像如图4所示。

4.2 场景纹理模型更新

实验中设定K(即每个高斯混合模型中高斯分布的个数)为3，初始化的场景纹理模型尺寸与图3中模型相同，也是1 024×1 024×512，但是实际实验中只更新建筑物表面体素的高斯混合模型。

按照上文描述的高斯混合模型纹理更新算法，181幅输入图像依次更新三维场景的纹理模型，最后求得每一个高斯混合模型的分布，得到场景内建筑物的颜色纹理估计，如图5所示。从图5以看出，本文所提出的方法得到了较为准确细致的三维场景纹理模型。 4.3 三维纹理模型评价

为了更方便地进行比较，也为了说明本文方法的效果，将4.2节中的三维纹理模型按照某些输入图像的相机参数进行投影，再与原输入图像进行直接比较。从181幅输入图像中选取了以下6幅图像进行比较，第一行、第二行为生成的图像，第三行、第四行为原始输入图像。

比较发现，通过投影之后得到的图像与原输入图像相比，在建筑物表面区域的纹理信息很相近，这也说明本文所提出的方法得到的三维场景模型具有比较精确的颜色纹理信息。 4.4 实验分析

由于实际场景的三维模型真值无法获取，因而采取了4.3节中与原始图像颜色纹理对比的方法说明本文方法的效果。

与基于曲面映射的纹理映射方法相比，本文提出的图像与三维模型映射方法没有参数化建筑物表面，可以适用于复杂的建筑物纹理映射，并且该映射方法可以很好处理城市建筑物相互遮挡的问题，避免图像像素与建筑物表面的误匹配。另一方面，利用高斯混合模型建模建筑物表面颜色纹理在不同图像上的观测分布，适用于多幅图像的目标纹理映射。针对不同图像中辐射畸变的问题，本文提出的方法可以估计

出比较准确的真值，解决了不同观测数据估计真值的问题。

然而由于高斯混合模型通常应用于较大样本数据的情况下，因而本文提出的方法在处理少量图像的纹理映射时效果不好，需要进一步研究加以改进。

本文针对三维模型纹理映射受光照及遮挡影响的问题，提出了一种基于高斯混合模型的纹理自动映射方法。该方法在体素的三维重建模型上，利用高斯混合模型建模每一个目标表面体素的颜色纹理信息。然后利用输入的序列图像及对应的相机参数，结合场景的可见性约束找到图像像素与空间体素的对应关系，利用图像像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型，得到该场景内建筑物表面纹理的精细分布模型，并利用此分布的期望作为该体素实际颜色纹理的估计。实验的结果表明本文提出的方法可以得到准确精细的三维建筑物纹理模型。

E-mail：***************** 【相关文献】

[1] XU H，WU Q，LI L，et al.Surface texture mapping and its application in 3D modeling system[C]2011 International Conference on Computer Science and Service System(CSSS).IEEE,2011:3626-3629，27-29.

[2] FURUKAWA Y，PONCE J.Accurate dense and robust multi-view stereopsis[J]IEEE Transactions on Pattern Analysis & Machine Intelligenc，2010，32(8):1362-1376. [3] POLLARD T，MUNDY J L.Change detection in a 3-d word[C]IEEE Conference on Computer Vision & Pattern Recognition.IEEE,2007(3):1-6.

[4] 曾成强.纹理映射技术算法综述[J].甘肃科技纵横，2014，43(11):40-44.

[5] 唐晶磊，景旭，何东健.基于两步法的交互式纹理映射研究[J].计算机工程与设计，2008，29(8):2062-2064.

[6] 江巨浪，张佑生，薛峰，等.两步纹理映射的改进算法[J].系统仿真学报，2006，18(5):1157-1160，1194.

[7] 郭玲，王建宇，黄炎焱.真实感3D重建中的纹理映射技术[J].中国图像图形学报，2007，12(10):1881-1884.

[8] LUO Q L，ZHOU G Q，ZHANG G Y，et al.The texture extraction and mapping of buildings with occlusion detection[C]2015 IEEE International Geoscience and Remote

Sensing Symposium(IGARSS).IEEE，2015:3002-3005.

[9] KEAWTRAKULPONG P，BOWDEN R.An improved adaptive background mixture model for real-time tracking with shadow detection[C]In 2nd European Workshop on Advanced Video Based Surveillance Systems，2001.New York：Springer US,2001:135-144. [10]WU B，SUN X，WU Q C，et al.Building reconstruction from high-resolution multi-view aerial imagery[J].IEEE Geoscience & Remote Sensing Letters，2015，12(4):855-859.