一种实景三维城市中门牌号自动赋值的方法与流程

1.本发明涉及实景三维城市建模领域，具体来说，涉及一种实景三维城市中门牌号自动赋值的方法。


背景技术：

2.门牌号是建筑物的法律标志和地址代码，是建筑物的一种重要属性，亦是政府实施公共管理的基础。实景三维城市建模过程中，需要对单体建筑进行门牌号赋值，即将现实中某单体建筑的门牌号添加到该单体建筑对应的三维模型中。现有技术一般采用人工方法，实地调查 室内人工录入的方式进行赋值。
3.现有技术方案采用实地调查 室内人工录入的方式，如图1所示，包括：1）工作底图制作阶段：先从实景三维城市模型中导出二维地图，打印成纸质地图，作为实地调查的工作底图。
4.2）实地调查阶段：调查员在实地将现实中建筑物的与工作底图中的建筑物进行一一对应，并将门牌号登记在工作底图上。
5.3）室内录入阶段：将工作底图中的建筑物和三维模型中的单体建筑一一对应，并将门牌号人工录入到单体建筑的属性列表中。
6.但是该方法存在出多缺陷，例如：
①
工作底图制作阶段，打印纸质地图，需要大量的纸张，造成浪费，不环保。
7.②
实地调查阶段，调查员需要携带多幅纸质地图到实地，调查时需要频繁取用、展开、折叠、整理，需要将现实中建筑物的与工作底图中的建筑物进行一一对应、登记；室内录入阶段，需要将工作底图中的建筑物和三维模型中的单体建筑一一对应，并门牌号人工录入到单体建筑的属性列表中，需要输入大量的字符。这些因素加大了工作强度、降低了工作效率。
8.cn110598681a公开一种自然街景门牌号识别的方法，包括以下步骤：s1:获取待识别的门牌号图像；s2:对所述门牌号图像进行像素压缩处理后，再将所述门牌号图像输入至已训练的卷积神经网络中，识别出门牌号；s3:输出所述门牌号；但是其只公开了单纯的门牌号图像识别，算法较为简单，且未公开报错时的人工介入；cn106296815a公开了一种交互式三维数字城市的构建和显示方法。由2种途径实现，第一种是实景化三维数字城市的构建和显示，第二种是模型化三维数字城市的构建和显示。第一种是利用相机拍摄制作的全景图，将全景图贴图到一个三维球面上，按空间顺序模拟人的运动轨迹，实时更换球面上对应坐标位置的全景图，显示给用户；第二种是利用预先编制好的cad标准图块，绘制现有建筑及新建建筑的二维cad竣工图，为相应的图块赋值，输出建筑的二维图形和三维模型，按坐标集成在一个二维空间和三维空间中，显示给用户；其需要预先编制好的标准图块，且未考虑门牌号的识别与校验；针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

9.针对相关技术中的问题，本发明提出一种实景三维城市中门牌号自动赋值的方法，以克服现有相关技术所存在的上述技术问题。
10.为此，本发明采用的具体技术方案如下：一种实景三维城市中门牌号自动赋值的方法，该方法包括以下步骤：s1、通过移动终端获取建筑的近景照片、远景照片及位置信息；其中将计次器t设置为0；s2、利用基于深度学习的门牌号识别模型提取所述近景照片中门牌号；s3、将所述位置信息与三维城市模型进行匹配，确定对应的目标建筑；s4、将所述目标建筑的外立面图像与所述远景照片进行纹理匹配；s5、根据匹配结果确认是否将所述门牌号对所述目标建筑自动赋值。
11.进一步的，所述通过移动终端获取建筑的近景照片、远景照片及位置信息，包括以下步骤：s11、使用移动终端在建筑正前方拍摄仅含有单个门牌号的近景照片；s12、获取并保存所述近景照片拍摄位置的经纬度；s13、获取并保存所述近景照片拍摄时的朝向，记作真方位角；s14、拍摄最大程度覆盖所述建筑外立面的远景照片；其中，所述位置信息包括经纬度与真方位角。
12.进一步的，所述利用基于深度学习的门牌号识别模型提取所述近景照片中门牌号，包括以下步骤：s21、利用haar级联分类器检测、定位与提取出所述近景照片中门牌的位置，并将所述近景照片裁剪为门牌图像；s22、对所述门牌图像进行预处理得到高清的字符图像；s23、将所述字符图像输入训练完成后的基于深度学习的门牌号识别模型中进行识别与提取，并输出字符格式的门牌号。
13.进一步的，所述对所述门牌图像进行预处理得到高清的字符图像，包括以下步骤：s221、将所述门牌图像进行灰度处理得到灰度图像；s222、利用均值自适应的二值分割法对所述灰度图像进行阈值化处理；s223、将阈值化处理后的所述灰度图像进行图像腐蚀，去除图像中门牌的边框；s224、将腐蚀后的所述灰度图像进行膨胀处理，得到字符图像。
14.进一步的，所述将所述位置信息与三维城市模型进行匹配，确定对应的目标建筑，包括以下步骤：s31、将所述经纬度的数值转换为三维城市模型的坐标数据；s32、将所述真方位角转换为所述三维城市模型坐标的北方位角；s33、以所述坐标数据为起点，以所述北方位角为方向，在所述三维城市模型中，基于空间相对位置关系搜索第一个相交的单体建筑，作为目标建筑。
15.进一步的，将所述目标建筑的外立面图像与所述远景照片进行纹理匹配，包括以下步骤：s41、获取三维城市模型中所述目标建筑的外立面图像；
s42、将所述外立面图像与所述远景图像均进行灰度处理，并统一两者的灰度级与图像尺寸，分别得到外立面灰度图像与远景灰度图像；s43、利用离散傅里叶变换将所述外立面灰度图像与所述远景灰度图像均分解为频域组件；s44、分别计算所述外立面灰度图像与所述远景灰度图像的灰度共生矩阵，并计算两者各自的特征值；s45、利用欧式距离计算所述外立面灰度图像的特征值与所述远景灰度图像的特征值之间的相似度；s46、将所述外立面灰度图像与所述远景灰度图像之间的相似度值与预设阈值进行对比得到纹理匹配结果。
16.进一步的，所述分别计算所述外立面灰度图像与所述远景灰度图像的灰度共生矩阵，并计算两者各自的特征值，包括以下步骤：s441、所述外立面灰度图像与所述远景灰度图像的频域组件包括若干频谱图，每个所述频谱图均选取四个方向构建共生矩阵；s442、分别计算每个所述频谱图内每个共生矩阵的纹理参数；s443、计算所有所述频谱图同一方向、同一纹理参数的平均值代表所述频谱组件四个方向的灰度共生矩阵，并作为所述外立面灰度图像与所述远景灰度图像两者的特征值。
17.进一步的，所述分别计算每个所述频谱图内每个共生矩阵的纹理参数，包括以下步骤：s4421、计算频谱图内单个方向共生矩阵的主对角线惯性矩，公式为：式中，表示主对角线惯性矩；h、k分别表示共生矩阵m（h，k）的坐标值；表示位于（h，k）的元素值；s4422、计算频谱图内单个方向共生矩阵的角二阶矩，公式为：式中，表示角二阶矩；s4423、计算频谱图内单个方向共生矩阵的熵，公式为：式中，表示熵；s4424、计算频谱图内单个方向共生矩阵的相关性，公式为：式中，表示相关性；、分别表示、的均值；、分别表示、的标准差；
且、。
18.进一步的，所述利用欧式距离计算所述外立面灰度图像的特征值与所述远景灰度图像的特征值之间的相似度，包括以下步骤：s4431、利用欧式距离公式计算所述外立面灰度图像的特征值与所述远景灰度图像的特征值中每个方向的相似性距离，公式为：式中，a表示外立面灰度图像；b表示远景灰度图像；表示两个图像其中一个方向之间相似性距离，其余三个方向的相似性距离分别为、及；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的主对角线惯性矩；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的角二阶矩；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的熵；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的相关性；s4432、综合所述特征值中四个方向的相似性距离，计算所述外立面灰度图像的特征值与所述远景灰度图像之间的相似度，公式为：式中，d表示两个图像之间的相似度；均表示加权系数且。
19.进一步的，所述根据匹配结果确认是否将所述门牌号对所述目标建筑自动赋值，包括以下步骤：s51、若匹配成功，且将所述门牌号与所述目标建筑周边的建筑的门牌号进行标准校验，当校验成功后，则将所述门牌号自动添加至所述目标建筑属性列表；若校验不成功，则将人工进行检查并核实最终的门牌号，并将核实后的门牌号自动添加至所述目标建筑属性列表；s52、若匹配失败，计次器t=t 1，当t《3时，返回步骤s2；当t=3时，则通过人工进行检查，手动进行门牌号赋值，并将所述门牌号自动添加至所述目标建筑属性列表。
20.本发明的有益效果为：1、通过构建基于智能移动终端的门牌号采集系统，可在对门牌号拍照时，自动记录拍照地点的位置和方位信息，实现一键、批量、自动完成门牌号字符识别，自动进行与三维城市地图之间的对应关系计算、对应关系校验，从而实现实景与三维城市中对应目标建筑的自动赋值，具备无纸化、工作强度小、工作效率显著提升的功能优点。
21.2、通过基于离散傅里叶变换及灰度图像共生矩阵的分布混合计算，对实景建筑图像与三维建筑图像进行纹理特征的高精度提取，再对其进行分块分布计算，有效降低计算时的灰度级，从而降低系统计算与运行的复杂度，极大的提高图像纹理特征提取与图像相似度计算匹配的运算效率，同时保证建筑图像识别与匹配的精确度，最大程度地提高实景建筑自动复制的效率。
22.3、通过分别拍摄实景建筑的近景照片与远景照片，可分别实现实景建筑的门牌号、地理位置、建筑朝向及建筑外立面等信息的全方面获取，且通过两条独立且相互联系的图像处理体系，构建实景建筑与三维城市模型之间的关联性，从而完成实景建筑向三维城市模型赋值的智能化与自动化，大幅降低人工参与的劳动量与劳动难度；4、首先将所述目标建筑的外立面图像与所述远景照片进行纹理匹配来确定门牌号，再将匹配成功后的门牌号与所述目标建筑周边的建筑的门牌号进行标准校验，当校验成功后，则将所述门牌号自动添加至所述目标建筑属性列表，即对识别的门牌号进行了二次校验，保证了识别的门牌号的可靠性。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是现有技术中实景建筑与三维建筑赋值流程；图2是根据本发明实施例的一种实景三维城市中门牌号自动赋值的方法的流程图。
具体实施方式
25.根据本发明的实施例，提供了一种实景三维城市中门牌号自动赋值的方法。
26.现结合附图和具体实施方式对本发明进一步说明，如图2所示，根据本发明实施例的实景三维城市中门牌号自动赋值的方法，该方法包括以下步骤：s1、通过移动终端获取建筑的近景照片、远景照片及位置信息；其中将计次器t设置为0；其中，所述位置信息包括经纬度与真方位角，且步骤s1包括以下步骤：s11、使用移动终端在建筑正前方拍摄仅含有单个门牌号的近景照片；s12、获取并保存所述近景照片拍摄位置的经纬度；s13、获取并保存所述近景照片拍摄时的朝向，记作真方位角；s14、拍摄最大程度覆盖所述建筑外立面的远景照片；此外，拍摄近景照片的技术要求：a）在距门牌号3米以内、正前方拍摄门牌号，使成像清晰；b）尽量使平板电脑与门牌所依附的墙面平行；c）一次只拍一个门牌号。
27.拍摄远景照片的技术要求：任意位置拍摄建筑物外立面，使成像清晰，尽量使照片最大程度覆盖建筑物外立面。
28.s2、利用基于深度学习的门牌号识别模型提取所述近景照片中门牌号，包括以下步骤：s21、利用haar级联分类器检测、定位与提取出所述近景照片中门牌的位置，并将所述近景照片裁剪为门牌图像；
利用门牌本身所具有矩形特性，对待检近景照片内各个区域进行筛选，提取出所要的门牌图像区域。haar特征主要分为：边缘特征、线性特征、中心特征和对角线特征。在通过大量的数据集训练出的haar模型中，通过级联多类不同的基础特征，能够很好地筛选出图像的目标区域。因此，通过级联多个弱分类器能够极大地提升门牌边框区域的检索精度。
29.s22、对所述门牌图像进行预处理得到高清的字符图像，包括以下步骤：s221、将所述门牌图像进行灰度处理得到灰度图像；对门牌图像进行灰度处理操作，可以降低像素差异及浮点运算对处理效率的影响；s222、利用均值自适应的二值分割法对所述灰度图像进行阈值化处理；利用图像中物体与背景之间的灰度差异，对图像进行阈值，可以解决因光线问题造成的图像亮度不均等情况。
30.s223、将阈值化处理后的所述灰度图像进行图像腐蚀，去除图像中门牌的边框；s224、将腐蚀后的所述灰度图像进行膨胀处理，得到字符图像。
31.s23、将所述字符图像输入训练完成后的基于深度学习的门牌号识别模型中进行识别与提取，并输出字符格式的门牌号。
32.门牌号识别模型包含2个卷积层、2个池化层、1个扁平层、4个全连接层.卷积层中包含多个滤波器，卷积后采用relu激活函数增加卷积神经网络的非线性，使模型能够更好地拟合数据，可以更好地解决较为复杂的问题.在池化层采用max-poo-ling操作来减小图像的特征维度.通过扁平化操作，将图像样本化为一维向量，连接4个全连接层，最后通过softmax函数输出。
33.s3、将所述位置信息与三维城市模型进行匹配，确定对应的目标建筑，包括以下步骤：s31、将所述经纬度的数值转换为三维城市模型的坐标数据；s32、将所述真方位角转换为所述三维城市模型坐标的北方位角；s33、以所述坐标数据为起点，以所述北方位角为方向，在所述三维城市模型中，基于空间相对位置关系搜索第一个相交的单体建筑，作为目标建筑。
34.本发明中三维城市模型的坐标与位置信息均采用cgcs2000进行获取与构建，其原点位于地球质量中心的三维国家大地坐标系，应用现代空间技术进行地形图测绘和定位，可以大幅度提高点位表达的准确性，并且可以快速获取精确的三维地心坐标，可满足本发明中对城市建筑进行快速精确地定位。
35.s4、将所述目标建筑的外立面图像与所述远景照片进行纹理匹配，包括以下步骤：s41、获取三维城市模型中所述目标建筑的外立面图像；s42、将所述外立面图像与所述远景图像均进行灰度处理，并统一两者的灰度级与图像尺寸，分别得到外立面灰度图像与远景灰度图像；s43、利用离散傅里叶变换将所述外立面灰度图像与所述远景灰度图像均分解为频域组件；傅立叶变换能将图像的信号在频率空间分解成多个低频信号和高频信号的叠加，对于纹理图像来说重点主要是图像的高频信息，因此通过傅立叶变换可以将绞理的纹脉的方向以及纹脉的深浅等信息记录下来。而离散傅立叶变换能将图像分解成它的不同的频域
组件，并且具有可分性、线性、对称性、平移性、旋转不变性和能量保持不变性等特性，对于图像处理有着非常重要的作用。本发明中利用离散傅立叶变换将灰度图像的纹理特征转化成频谱特征，缩小特征分布范围，以此来减少计算量。
36.s44、分别计算所述外立面灰度图像与所述远景灰度图像的灰度共生矩阵，并计算两者各自的特征值，包括以下步骤：s441、所述外立面灰度图像与所述远景灰度图像的频域组件包括若干频谱图，每个所述频谱图均选取四个方向构建共生矩阵；s442、分别计算每个所述频谱图内每个共生矩阵的纹理参数；所述分别计算每个所述频谱图内每个共生矩阵的纹理参数，包括以下步骤：s4421、计算频谱图内单个方向共生矩阵的主对角线惯性矩，公式为：式中，表示主对角线惯性矩（反映了图像的清晰度和纹理沟纹深浅的程度，纹理的沟纹越深，其主对角线惯性矩就越大，图像的视觉清晰效果就越好）；h、k分别表示共生矩阵m（h，k）的坐标值；表示位于（h，k）的元素值；s4422、计算频谱图内单个方向共生矩阵的角二阶矩，公式为：式中，表示角二阶矩（反映了图像灰度分布的均匀性，粗纹理的角二阶距较大，相反细纹理的角二阶距较小）；s4423、计算频谱图内单个方向共生矩阵的熵，公式为：式中，表示熵（反映图像所具有的信息量，表示纹理的复杂程度，如果图像没有任何纹理，则熵值接近0）；s4424、计算频谱图内单个方向共生矩阵的相关性，公式为：式中，表示相关性（衡量邻域灰度的线性依赖性，用来度量空间灰度共生矩阵元素在行或列的方向上的相似程度）；、分别表示、的均值；、分别表示、的标准差；且、。
37.s443、计算所有所述频谱图同一方向、同一纹理参数的平均值代表所述频谱组件四个方向的灰度共生矩阵，并作为所述外立面灰度图像与所述远景灰度图像两者的特征值。
38.s45、利用欧式距离计算所述外立面灰度图像的特征值与所述远景灰度图像的特征值之间的相似度，包括以下步骤：s4431、利用欧式距离公式计算所述外立面灰度图像的特征值与所述远景灰度图
像的特征值中每个方向的相似性距离，公式为：式中，a表示外立面灰度图像；b表示远景灰度图像；表示两个图像其中一个方向之间相似性距离，其余三个方向的相似性距离分别为、及；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的主对角线惯性矩；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的角二阶矩；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的熵；、分别表示外立面灰度图像、远景灰度图像内单个方向共生矩阵的相关性；s4432、综合所述特征值中四个方向的相似性距离，计算所述外立面灰度图像的特征值与所述远景灰度图像之间的相似度，公式为：式中，d表示两个图像之间的相似度；均表示加权系数且。
39.s46、将所述外立面灰度图像与所述远景灰度图像之间的相似度值与预设阈值进行对比得到纹理匹配结果。
40.s5、根据匹配结果确认是否将所述门牌号对所述目标建筑自动赋值，包括以下步骤：s51、若匹配成功，且将所述门牌号与所述目标建筑周边的建筑的门牌号进行标准校验，当校验成功后，则将所述门牌号自动添加至所述目标建筑属性列表；若校验不成功，则将人工进行检查并核实最终的门牌号，并将核实后的门牌号自动添加至所述目标建筑属性列表；s52、若匹配失败，计次器t=t 1，当t《3时，返回步骤s2；当t=3时，则通过人工进行检查，手动进行门牌号赋值，并将所述门牌号自动添加至所述目标建筑属性列表。
41.匹配过程与匹配结果均是通过立面灰度图像与远景灰度图像之间的相似度进行判定，该值越低则说明两者的相似度越高，在不同城市或不同场景的应用过程中，该值可根据实际使用场景进行设定，或者根据具体实验验证进行设定，当设定相似度值阈值后，低于该阈值的相似度时，则判定实景建筑与三维建筑相匹配，进行自动赋值，并且通过将门牌号与所述目标建筑周边的建筑的门牌号进行标准校验，比如周围的建筑为xx路1108号-1200号的范围，识别的门牌号若在周围建筑的门牌号的范围内，则标准校验成功，否则，校验不成功，即进行了二次验证，保证了门牌号的可靠性，且当匹配失败时，累计三次，则通过人工检查进行核实。
42.综上所述，借助于本发明的上述技术方案，通过构建基于智能移动终端的门牌号采集系统，可在对门牌号拍照时，自动记录拍照地点的位置和方位信息，实现一键、批量、自动完成门牌号字符识别，自动进行与三维城市地图之间的对应关系计算、对应关系校验，从而实现实景与三维城市中对应目标建筑的自动赋值，具备无纸化、工作强度小、工作效率显著提升的功能优点。
43.通过基于离散傅里叶变换及灰度图像共生矩阵的分布混合计算，对实景建筑图像与三维建筑图像进行纹理特征的高精度提取，再对其进行分块分布计算，有效降低计算时的灰度级，从而降低系统计算与运行的复杂度，极大的提高图像纹理特征提取与图像相似度计算匹配的运算效率，同时保证建筑图像识别与匹配的精确度，最大程度地提高实景建筑自动复制的效率。
44.通过分别拍摄实景建筑的近景照片与远景照片，可分别实现实景建筑的门牌号、地理位置、建筑朝向及建筑外立面等信息的全方面获取，且通过两条独立且相互联系的图像处理体系，构建实景建筑与三维城市模型之间的关联性，从而完成实景建筑向三维城市模型赋值的智能化与自动化，大幅降低人工参与的劳动量与劳动难度。
45.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。