一种基于人工智能与建筑物信息的视觉定位方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能与建筑物信息的视觉定位方法及系统。


背景技术：

2.室外定位应用广泛，常见的室外定位多维gps定位、无线网络定位、视觉定位等。视觉定位可以精确的获得目标所在位置，通过视觉图像中的特征获得细致的位置。
3.常用的视觉定位方法常为识别图像中的建筑物或者寻找图像中的标志性建筑作为特定图像特征进行识别。这种方法处理目标较多，难度较大，且对于不同视角和亮度的图像识别建筑物整体较为困难，无法获得准确的图像特征用于位置获取。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能与建筑物信息的视觉定位方法及系统，所采用的技术方案具体如下：本发明提出了一种基于人工智能与建筑物信息的视觉定位方法，所述方法包括：获得环境图像；提取所述环境图像中的正视程度最大的正视建筑物图像；通过多个全局阈值分割所述正视建筑物图像，获得多个第一阈值分割图像；根据所述第一阈值分割图像获得窗户连通域；根据所述窗户连通域的中心点构建倾角矩阵；所述倾角矩阵中每个元素为窗户连通域中心点间连线的角度；根据所述倾角矩阵获得所述窗户连通域中心点间的横向倾角和纵向倾角；根据所述横向倾角和纵向倾角重新调整所述窗户连通域中心点的分布，获得所述窗户连通域的阵列形式；获得所述阵列形式的阵列度；以所述阵列度最大的所述阵列形式对应的所述第一阈值分割图像作为最优阈值分割图像；通过所述最优阈值分割图像中的所述阵列形式和所述窗户连通域的大小获得窗户的分布特征；根据所述分布特征获得当前环境位置。
5.进一步地，所述提取所述环境图像中的正视程度最大的正视建筑物图像包括：将所述环境图像输入至预先训练好的实例分割网络中，输出多张建筑物图像；将所述建筑物图像送入预先训练好的正视程度判别网络中，输出每张所述建筑物图像的正视程度，获得所述正视程度最大的所述建筑物图像作为所述正视建筑物图像。
6.进一步地，所述根据所述第一阈值分割图像获得窗户连通域包括：获得所述第一阈值分割图像中每列像素值之和，将小于预设像素值阈值的所述像素值之和设置为零；根据所述像素值之和构建列像素和曲线；所述列像素和曲线横坐标为列，纵坐标为每列对应的所述像素值之和；根据所述列像素和曲线极值位置获得包含一列窗户的窗户区域；获得每个所述窗户区域内的所述窗户连通域。
7.进一步地，所述获得每个所述窗户区域内的所述窗户连通域还包括：以每列最接近矩形的所述窗户连通域尺寸作为对应所述窗户连通域的滑窗尺寸
构建滑窗；根据所述滑窗内各位置与所述滑窗中心点的距离设置位置权重，所述距离越大则所述位置权重越大；根据所述滑窗处理所述窗户连通域；当所述滑窗内所述位置权重的均值大于预设权重阈值时，将所述滑窗内像素点的像素值设置为1；否则设置为0。
8.进一步地，所述根据所述倾角矩阵获得所述窗户连通域中心点间的横向倾角和纵向倾角包括：统计所述倾角矩阵内的元素值，获得水平类直线和垂直类直线；对所述水平类直线和所述垂直类直线的所述角度进行聚类；根据所述水平类直线的聚类中心获得所述横向倾角；根据所述垂直类直线的聚类中心获得所述纵向倾角。
9.进一步地，所述根据所述横向倾角和纵向倾角重新调整所述窗户连通域中心点的分布，获得所述窗户连通域的阵列形式包括：以所述纵向倾角所在的纵向直线拟合每列所述窗户连通域中心点；以所述窗户连通域中心点与所述纵向直线的离心距离最小的所述纵向直线作为所述阵列形式的列直线；将所述窗户连通域中心点与所述列直线的距离小于距离阈值的所述窗户连通域中心点横向移动至所述列直线上；以所述横向倾角所在的横向直线拟合每行所述窗户连通域中心点；以所述窗户连通域中心点与所述横向直线的离心距离最小的所述横向直线作为所述阵列形式的行直线；在所述列直线的基础上，将所述窗户连通域中心点与所述行直线的距离小于距离阈值的所述窗户连通域中心点纵向移动至所述行直线上，获得所述阵列形式。
10.进一步地，所述根据所述阵列形式获得所述窗户连通域的阵列度包括：将所述列直线的数量和所述行直线的数量相乘，获得所述阵列形式的交点数量；以所述阵列形式上的所述窗户连通域中心点数量与所述交点数量的比值作为所述阵列度。
11.进一步地，所述以所述阵列度最大的所述阵列形式对应的所述第一阈值分割图像作为最优阈值分割图像后还包括：以不在所述阵列形式上的所述窗户连通域中心点作为附加点；基于所述纵向倾角拟合所述附加点，获得附加列；将所述附加列添加至所述阵列形式中，获得完整阵列形式。
12.进一步地，所述通过所述最优阈值分割图像中的所述阵列形式获得窗户的分布特征包括：以所述完整阵列形式中包含所述窗户连通域中心点最多的行作为参考行；获得所述参考行中每个所述窗户连通域中心点之间的横向间隔和纵向间隔；获得所述参考行中对应的所述窗户连通域的长宽比；根据所述横向间隔、所述纵向间隔和所述长宽比获得所述分布特征。
13.本发明还提出了，一种基于人工智能与建筑物信息的视觉定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任意一项所述一种基于人工智能与建筑物信息的视觉定位方法的步骤。
14.本发明具有如下有益效果：
1.本发明实施例通过最优阈值分割图像的阵列形式获得建筑物窗户的分布特征。最优阈值分割图像中的窗户特征内容丰富，且阵列形式调整窗户连通域中心点分布可消除对于窗户连通域的视角误差和分割误差。最终通过阵列形式和窗户连通域的大小获得窗户的分布特征，通过准确的窗户分布特征获得当前环境位置。
15.2.本发明实施例通过阵列形式的阵列度对第一阈值分割图像进行筛选，获得最优阈值分割图像。最优阈值分割图像中包含内容丰富的窗户特征，可以在图像亮度的影响下获得更好的窗户特征用来进行位置分析。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
17.图1为本发明一个实施例所提供的一种基于人工智能与建筑物信息的视觉定位方法流程图；图2为本发明一个实施例所提供的一个白天环境下的环境图像；图3为本发明一个实施例所提供的一个夜晚环境下的环境图像；图4为本发明一个实施例所提供的一个第一阈值分割图像示意图；图5为本发明一个实施例所提供的列像素和曲线示意图；图6为本发明一个实施例所提供的一个阵列形式示意图；图7为本发明一个实施例所提供的一个完整阵列形式示意图。
具体实施方式
18.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能与建筑物信息的视觉定位方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
20.下面结合附图具体的说明本发明所提供的一种基于人工智能与建筑物信息的视觉定位方法及系统的具体方案。
21.本发明实施例应用场景为：在室外拍摄清晰且包含建筑物的环境图像。通过环境图像进行分析定位，获得拍摄点位置。
22.请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能与建筑物信息的视觉定位方法流程图，该方法包括：步骤s1：获得环境图像；提取环境图像中的正视程度最大的正视建筑物图像；通过多个全局阈值分割正视建筑物图像，获得多个第一阈值分割图像。
23.在本发明实施例中，为了保证建筑物及周边环境的完整性，使用广角相机获得环
境图像。环境图像中包含完整或信息丰富的建筑物信息。
24.为了避免视角对图像分析的误差，需要获得环境图像中正视程度最大的正视建筑物图像进行分析，提高定位准确率。获取正视建筑物图像方法包括：将环境图像输入至预先训练好的实例分割网络中，输出多张建筑物图像。将建筑物图像送入预先训练好的正视程度判别网络中，输出每张建筑物图像的正视程度，获得正视程度最大的建筑物图像作为正视建筑物图像。
25.在本发明实施例中，实例分割网络的具体训练方法包括：1）以多张包含建筑物信息的图像作为训练数据。将不同建筑物像素点从1递增标注，其他标注为0，获得标注数据。
26.2）实例分割网络采用深度神经网络，结构为编码-解码结构。训练数据和标注数据经过归一化后输入至实例分割编码器中进行特征提取，获得特征向量。实例分割解码器对特征向量进行解码操作获得实例分割图。实例分割图为每一个建筑物的遮罩图像。将实例分割图像与环境图像进行相乘操作，即可获得多张建筑物图像。每个建筑物图像中仅包含一个建筑物信息。
27.3）实例分割网络采用交叉熵损失函数进行训练。
28.在本发明实施例中，正视程度判别网络的具体训练方法包括：1）使用包含单个建筑物的建筑物图像作为训练数据，每个训练数据对应的正视程度作为相应的标签数据。
29.2）正视程度判别网络采用深度神经网络，结构为编码-全连接结构。将训练数据和标签数据送入正视程度判别编码器中提取特征，获得特征图。通过全连接层的单个神经元回归出特征图对应的正视程度。
30.3）正视程度判别网络采用均方差损失函数进行训练。
31.需要说明的是，在一些图像中最大正视程度的建筑物也会因为视角误差无法进行视觉定位。因此设定正视程度阈值，大于正视程度阈值的建筑物才可以进行分析定位，否则需要重新采集图像。
32.在现实世界中，建筑物的墙壁与玻璃的灰度值相差较大。请参阅图2，其示出了本发明一个实施例所提供的一个白天环境下的环境图像，大部分窗户像素都偏向黑色，与墙壁的差异较大。请参阅图3，其示出了本发明一个实施例所提供的一个夜晚环境下的环境图像。对于夜晚环境来说，因为室内存在照明，大部分窗户像素都偏向白色，与夜晚的建筑物黑色墙壁差异较大。
33.因此可利用全局阈值分割操作获得第一阈值分割图像，通过第一阈值分割图像中鲜明的窗户信息进一步的分析。具体的，获得第一阈值分割图像包括：将正视建筑物图像转化为灰度图像。从0-255依次作为全局阈值对灰度图像进行阈值分割，获得第一阈值分割图像。因为亮度因素的影响，不同全局阈值分割出来的效果图中的窗户信息也不同，因此获得多个全局阈值分割出来的第一阈值分割图像，在后续步骤中获得最优的全局阈值对应的阈值分割图像。请参阅图4，其示出了本发明一个实施例所提供的一个第一阈值分割图像示意图。
34.在本发明实施例中，在获得第一阈值分割图像后，通过闭运算处理消除图像内的噪声。
35.步骤s2：根据第一阈值分割图像获得窗户连通域；根据窗户连通域的中心点构建倾角矩阵；倾角矩阵中每个元素为窗户连通域中心点间连线的角度；根据倾角矩阵获得窗户连通域中心点间的横向倾角和纵向倾角；根据横向倾角和纵向倾角重新调整窗户连通域中心点的分布，获得窗户连通域的阵列形式；获得阵列形式的阵列度；以阵列度最大的阵列形式对应的第一阈值分割图像作为最优阈值分割图像。
36.在第一阈值分割图像中，像素值仅为0和1两种。窗户信息的像素值为1，可通过明显的窗户信息获得窗户连通域，但是在实际阈值分割过程中不会获得完全标准的窗户形状，窗户信息会有残缺，会存在仅包括窗户框架或者形状不完整的窗户信息。因此需要对第一阈值分割图像进一步优化。具体方法包括：通过先验知识可得，纵向的窗户大多都是相同类型，同一层中的横向的窗户可能为不同尺寸窗户的组合。因此逐列进行分析，获得第一阈值分割图像中每列像素值之和，将小于预设像素值阈值的像素值之和设置为零。根据像素值之和构建列像素和曲线。请参阅图5，其示出了本发明一个实施例提供的列像素和曲线示意图，列像素和曲线横坐标为列，纵坐标为每列对应的像素值之和。根据列像素和曲线极值位置获得包含一列窗户的窗户区域。获得每个窗户区域内的窗户连通域。
37.在本发明实施例中，以每两个相邻极大值间的极小值为分割点进行曲线分割，分割出8个窗户区域。认为图像中存在8列窗户。
38.获得每个窗户区域的窗户连通域后还包括:以每列最接近矩形的窗户连通域尺寸作为对应窗户连通域的滑窗尺寸构建滑窗。根据滑窗内各位置与滑窗中心点的距离设置位置权重，距离越大则位置权重越大。根据滑窗处理每列窗户连通域的窗户连通域。滑窗处理窗户连通域时，当滑窗内位置权重的均值大于预设权重阈值时，将该滑窗区域内像素点的像素值都设置为1，完成对残缺窗户的填补；否则设置为0，完成对噪声点的消除。通过滑窗处理使得窗户连通域信息更完整，且消除了噪声对后续分析的干扰。
39.在本发明实施例中，通过窗户连通域的矩形度大小判断窗户连通域是否为最接近矩形。矩形度为窗户连通域面积与该窗户连通域所在的窗户区域中面积最大的最小外接矩形面积的比值。滑窗的位置权重为滑窗像素到中心点的距离与滑窗宽度的比值。权重阈值设置为0.8。
40.根据窗户连通域的中心点构建倾角矩阵。倾角矩阵中每个元素为窗户连通域中心点间连线的角度。倾角矩阵的行列数量都为窗户连通域数量。倾角矩阵中的窗户连通域中心点间的连线可分为三大类，水平类直线、垂直类直线和其他类直线。水平类直线和垂直类直线可以反映窗户连通域的分布，因此需要对于水平类直线和垂直类直线进一步分析。具体包括：统计倾角矩阵内的元素值，获得水平类直线和垂直类直线。对水平类直线和垂直类直线的角度进行聚类。在本发明实施例中，设定角度阈值，当倾角矩阵内的元素在的区间中时，认为对应直线为垂直类直线；当倾角矩阵内的元素的区间中时，认为对应直线为水平类直线。
41.经过一维聚类操作后，根据水平类直线的聚类中心获得横向倾角。根据垂直类直
线的聚类中心获得纵向倾角。
42.可根据横向倾角与纵向倾角重新调整窗户连通域中心点的分布，使得窗户连通域在图像中为理想的同行或者同列，消除因为窗户连通域区域大小不同造成中心点偏移的影响和因为视角造成的中心点偏移的影响。具体方法包括：1）以纵向倾角所在的纵向直线拟合每列窗户连通域中心点；以窗户连通域中心点与纵向直线的离心距离最小的纵向直线作为阵列形式的列直线；将窗户连通域中心点与列直线的距离小于距离阈值的窗户连通域中心点横向移动至列直线上。
43.2）以横向倾角所在的横向直线拟合每行窗户连通域中心点；以窗户连通域中心点与横向直线的离心距离最小的横向直线作为阵列形式的行直线；在列直线的基础上，将窗户连通域中心点与行直线的距离小于距离阈值的窗户连通域中心点纵向移动至行直线上，获得阵列形式。请参阅图6，其示出了本发明实施例所提供的一个阵列形式示意图。
44.阵列形式中体现了窗户之间的分布信息。因为在现实中，同一列的相邻窗户之间的间隔是相同的，因此在阵列形式的同列中，相邻窗户连通域之间的间隔都相同或是整数倍数的关系。在现实中，同一行的窗户分布可能为不规则分布，因此相邻窗户之间的间隔是不同的，因此在阵列形式的同行中，相邻窗户连通域之间的间隔存在不同。
45.阵列形式不仅体现了窗户之间的分布信息，还可以通过阵列形式中的窗户连通域数量反映当前第一阈值分割图像包含的窗户信息多少。因此获得阵列形式的阵列度，以阵列度表示当前第一阈值分割图像包含的窗户信息多少，筛选出阵列度最大的阵列形式对应的第一阈值分割图像作为最优阈值分割图像。阵列度具体获取方法包括：将列直线的数量和行直线的数量相乘，获得阵列形式的交点数量。以阵列形式上的窗户连通域中心点数量与交点数量的比值作为阵列度。
46.因为阵列形式中的窗户连通域中心点是通过距离阈值进行筛选的，因此会存在大于或等于距离阈值的窗户连通域中心点不在阵列形式上，为了后续获得完整的窗户的分布特征需要将所有窗户连通域中心点都添加在阵列形式中。以不在阵列形式上的窗户连通域中心点作为附加点。基于纵向倾角拟合附加点，获得附加列。将附加列添加至阵列形式中，获得完整阵列形式。需要说明的是，在完整阵列形式中，若行直线两侧存在附加点，则认为该附加点与该行直线上的窗户连通域中心点为同行。请参阅图7，其示出了本发明一个实施例提供的一个完整阵列形式示意图，直线l为一条附加列，点集u为附加点。
47.步骤s3：通过最优阈值分割图像中的阵列形式和窗户连通域的大小获得窗户的分布特征；根据分布特征获得当前环境位置。
48.最优阈值分割图像对应的阵列形式包括更多准确的窗户信息，因此可以获得丰富且准确的分布特征，具体包括：以最优阈值分割图像对应的完整阵列形式中包含窗户连通域中心点最多的行作为参考行。获得参考行中每个窗户连通域中心点之间的横向间隔和纵向间隔。获得参考行中对应的窗户连通域的长宽比。长宽比表示窗户的类型，横向间隔和纵向间隔表示窗户的分布，因此根据横向间隔、纵向间隔和长宽比获得分布特征。例如，分布特征可表示为（0，0，m1）（k1，0，m2）（k2，0，m3）（k3，0，m4）（k4，h1，m5）（k5，0，m6），其中，第一项表示起始项，m1-m6表示6种窗户的长宽比，k1
‑ꢀ
k5表示当前项窗户与前一项窗户的横向间隔，h1表示当前一项的窗户的纵向间隔。
49.在本法实施例中，横向间隔和纵向间隔需要经过归一化处理。以横向间隔和纵向间隔与参考行两端窗户连通域中心点的距离的比值作为归一化结果。
50.通过分布特征对当前正视建筑物的描述，并结合环境图像中获得其他建筑物的相对高度描述，结合cim地图进行比对，获得当前地理位置。
51.综上所述，本发明实施例通过多个全局阈值对环境图像中的正视建筑物图像进分割，获得多个第一阈值分割图像。根据第一阈值分割图像获得窗户连通域，根据窗户连通域构建倾角矩阵，根据倾角矩阵中窗户连通域中心点间的横向倾角和纵向倾角重新调整窗户连通域分布获得阵列形式，通过阵列形式的阵列度筛选出最优阈值分割图像。通过最优阈值分割图像中的阵列形式和窗户连通域的大小获得窗户的分布特征，根据分布特征获得当前环境位置。本发明通过信息丰富的最优阈值分割图像中的信息准确获得分布特征，根据分布特征可以快速简单的获得当前环境位置。
52.本发明还提出了一种基于人工智能与建筑物信息的视觉定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任意一项所述一种基于人工智能与建筑物信息的视觉定位方法的步骤。
53.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
54.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
55.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。