一种智慧社区机器人视觉导航方法、系统、介质及程序产品与流程
本技术属于人工智能软件领域,尤其涉及一种智慧社区机器人视觉导航方法、系统、介质及程序产品。
背景技术:
1、随着人工智能软件在智慧社区场景的深入应用,基于计算机视觉的机器人自主导航算法成为了研究热点,然而,传统的视觉导航算法主要依赖底层像素的几何特征提取进行位姿估计,在智慧社区这种包含大量行人、车辆等动态物体的复杂室外或半室外环境中,传统算法容易将动态物体上的特征点误认为静态路标,导致特征匹配出现偏差,进而降低算法的定位精度与导航鲁棒性。
2、为了解决上述传统视觉导航算法在动态环境中鲁棒性降低的缺陷,相关技术提出了一种结合深度学习语义分割网络的人工智能视觉导航算法。具体而言,该相关技术在视觉前端引入了卷积神经网络模型,对输入的图像序列进行像素级的语义类别预测,从而识别出图像中的行人、移动车辆等潜在动态目标;随后,该技术通过掩码机制剔除动态目标区域内的视觉数据,仅保留建筑物、道路、树木等静态背景区域上的数据进行后续的相机位姿解算。这种结合语义先验信息的人工智能算法,能够有效过滤动态干扰,在包含活动目标的动态场景中提升了位姿估计的稳定性。
3、在智慧社区的非机动车道或楼栋间通道中,机器人经常需要沿着具有高度重复纹理的同质化砖墙、连续且外观一致的栅栏行驶,且这些区域常伴有行道树在自然风作用下产生的动态光影变化。语义分割网络会将砖墙、栅栏等正确分类为静态背景,并将其直接作为后续空间位置推演的依据;然而,由于这些静态背景本身存在纹理同质化以及局部光照扰动,其所能提供的空间参考信息具有高度的模糊性;当导航算法基于上述具有模糊性的静态背景数据进行连续的位置解算时,容易在高度相似的场景输入中产生位置匹配偏差,随着机器人的持续移动,这种计算误差会不断累积,最终导致智慧社区机器人在智慧社区中的全局定位精度降低。
技术实现思路
1、本技术提供了一种智慧社区机器人视觉导航方法、系统、介质及程序产品,用于提高智慧社区机器人在智慧社区中的全局定位精度。
2、第一方面,本技术提供了一种智慧社区机器人视觉导航方法,利用预设语义识别模型提取智慧社区机器人采集的连续视觉图像序列中的静态语义区域;
3、提取静态语义区域的图像特征,并计算图像特征的空间相似度,空间相似度大于预设相似度阈值的区域为重复纹理区域,空间相似度不大于预设相似度阈值的区域为非重复纹理区域;
4、基于非重复纹理区域的视觉特征进行相邻帧图像之间的位姿估计,得到当前帧图像的初始位姿数据;
5、根据重复纹理区域的深度数据构建与重复纹理区域对应的三维参考平面;
6、根据初始位姿数据,将当前帧图像中的重复纹理区域重投影至相邻上一帧图像的三维参考平面,得到重投影像素点;
7、计算重投影像素点与上一帧图像对应位置之间的光度误差;
8、将光度误差大于预设误差阈值的像素点作为光照干扰像素点,并从重复纹理区域中剔除光照干扰像素点;
9、构建剔除光照干扰像素点后的重复纹理区域到三维参考平面的空间距离残差;
10、将空间距离残差投影至三维参考平面的法向量方向,生成法向残差;
11、利用法向残差对初始位姿数据进行修正,得到目标位姿数据;
12、根据目标位姿数据控制智慧社区机器人进行导航。
13、通过提取静态语义区域并计算空间相似度,将图像划分为重复纹理区域与非重复纹理区域,利用非重复纹理区域进行初始位姿估计,降低了传统特征点法在重复纹理区域易发生误匹配的概率,提高了初始位姿的可靠性。在此基础上,根据重复纹理区域的深度数据构建三维参考平面,并通过重投影计算光度误差剔除光照干扰像素点,减小了环境光照变化对位姿估计的负面影响。随后,构建剔除干扰后的重复纹理区域到三维参考平面的空间距离残差,并将其投影至法向量方向生成法向残差,利用该法向残差对初始位姿数据进行修正,利用了社区环境中常见的墙面、栅栏等重复纹理区域的结构化特征,对机器人的位姿施加了有效的几何约束,进而提高了智慧社区机器人在复杂且包含大量重复纹理环境下的视觉导航精度。
14、结合第一方面的一些实施方式,在一些实施方式中,提取静态语义区域的图像特征,并计算图像特征的空间相似度,具体包括:
15、提取静态语义区域中各个像素点的梯度幅值与梯度方向,作为图像特征;
16、沿预设多个投影方向对图像特征进行一维投影,生成各个投影方向上的梯度分布序列;
17、对梯度分布序列进行自相关分析,提取梯度分布序列的周期性峰值特征;
18、根据周期性峰值特征的峰值强度与峰间距计算空间相似度;
19、将空间相似度大于预设相似度阈值的区域作为重复纹理区域,并将空间相似度不大于预设相似度阈值的区域作为非重复纹理区域。
20、通过提取静态语义区域中像素点的梯度幅值与梯度方向作为图像特征,并沿多个预设方向进行一维投影生成梯度分布序列,将复杂的二维图像纹理信息转化为易于处理的一维序列,降低了数据处理维度。对该梯度分布序列进行自相关分析,能够精准提取出反映纹理重复规律的周期性峰值特征,随后根据峰值强度与峰间距计算空间相似度,减小了图像噪声或微小视角变化对纹理区域属性判定的干扰,提高了重复纹理区域与非重复纹理区域划分的准确性,从而提升了视觉导航系统中区域特征提取的可靠性。
21、结合第一方面的一些实施方式,在一些实施方式中,根据重复纹理区域的深度数据构建与重复纹理区域对应的三维参考平面,具体包括:
22、将重复纹理区域的深度数据转换为三维点云空间中的初始三维点集;
23、计算初始三维点集中各个三维点的局部曲率,并删除局部曲率大于预设曲率阈值的三维点,得到平滑三维点集;
24、将平滑三维点集沿预设初始法向量方向划分为多个深度区间,并统计各个深度区间内的点云密度;
25、提取点云密度最大的目标深度区间,并将目标深度区间内的三维点作为核心点集;
26、对核心点集进行主成分分析,拟合生成与重复纹理区域对应的三维参考平面。
27、通过采用上述技术方案,将重复纹理区域的深度数据转换为三维点云空间中的初始三维点集,通过计算局部曲率并剔除曲率大于阈值的三维点,过滤了点云数据中的噪声、边缘离群点以及非平面的细小凸起结构,获取了更为平滑的三维点集。将平滑三维点集沿初始法向量方向划分为多个深度区间并统计点云密度,提取密度最大的目标深度区间作为核心点集,能够精准剥离前景遮挡物或背景干扰点,锁定重复纹理区域中最主要的平面结构主体。对经过多重筛选得到的核心点集进行主成分分析以拟合三维参考平面,降低了无关点云对平面拟合过程的干扰,提高了所构建的三维参考平面与真实物理环境的贴合度,从而提升了空间距离残差计算的精度。
28、结合第一方面的一些实施方式,在一些实施方式中,在根据目标位姿数据控制智慧社区机器人进行导航之后,方法还包括:
29、根据目标位姿数据,将三维参考平面转换至全局坐标系中进行空间拼接,得到全局静态结构地图;
30、在确定当前帧图像中重复纹理区域的像素占比低于预设遮挡阈值的情况下,判定智慧社区机器人进入视觉遮挡状态;
31、根据智慧社区机器人的航位推算数据,从全局静态结构地图中提取与智慧社区机器人的当前位置对应的延伸虚拟参考面;
32、提取当前帧图像中可见的非重复纹理区域的视觉特征进行位姿估计,得到视觉遮挡状态下的初始盲区位姿数据;
33、构建智慧社区机器人的空间位置坐标到延伸虚拟参考面的虚拟距离残差;
34、将虚拟距离残差投影至延伸虚拟参考面的法向量方向,生成虚拟法向残差;
35、利用虚拟法向残差对初始盲区位姿数据进行修正,得到目标盲区位姿数据,以在视觉遮挡状态下维持对智慧社区机器人的法向平移自由度约束。
36、通过将三维参考平面转换至全局坐标系进行空间拼接得到全局静态结构地图,实现了对社区环境历史结构信息的有效记忆。在当前帧图像中重复纹理区域像素占比过低而判定机器人进入视觉遮挡状态时,利用航位推算数据从全局静态结构地图中提取对应的延伸虚拟参考面,并结合可见的非重复纹理区域视觉特征进行位姿估计得到初始盲区位姿数据,降低了遮挡状态下有效视觉特征锐减导致的位姿估计失效风险。通过构建机器人空间位置坐标到延伸虚拟参考面的虚拟距离残差,并将其投影生成虚拟法向残差以修正初始盲区位姿数据,能够在视觉受限的情况下,利用先验的全局地图结构信息维持对机器人的法向平移自由度约束,抑制了航位推算在遮挡期间产生的累积漂移误差,提高了机器人在视觉遮挡工况下的定位精度与导航稳定性。
37、结合第一方面的一些实施方式,在一些实施方式中,根据智慧社区机器人的航位推算数据,从全局静态结构地图中提取与智慧社区机器人的当前位置对应的延伸虚拟参考面,具体包括:
38、提取航位推算数据中的位姿协方差矩阵,并根据位姿协方差矩阵构建以当前位置为中心的空间误差椭球;
39、将空间误差椭球与全局静态结构地图进行空间求交计算,得到位于空间误差椭球内的多个候选参考面;
40、获取智慧社区机器人在进入视觉遮挡状态前的最后有效参考面,并计算各个候选参考面与最后有效参考面之间的法向量夹角和边界距离;
41、将法向量夹角小于预设角度阈值且边界距离小于预设距离阈值的候选参考面,作为目标候选面;
42、将目标候选面作为与智慧社区机器人的当前位置对应的延伸虚拟参考面。
43、通过提取航位推算数据中的位姿协方差矩阵来构建以当前位置为中心的空间误差椭球,能够合理量化航位推算过程中的不确定性范围,从而在全局静态结构地图中精准划定搜索区域,缩小了候选参考面的匹配范围,降低了在庞大地图中进行盲目搜索带来的计算开销与误匹配概率。进一步地,通过计算各个候选参考面与机器人在进入视觉遮挡前最后有效参考面之间的法向量夹角和边界距离,并筛选出满足阈值条件的目标候选面作为延伸虚拟参考面,保证了所选取的虚拟参考面在空间姿态和物理位置上与机器人遮挡前所依赖的结构特征具有高度的连续性与几何一致性,提高了延伸虚拟参考面提取的准确性,降低了因航位推算累积误差导致的参考面误提取风险,进而提升了视觉遮挡状态下盲区位姿修正的可靠性。
44、结合第一方面的一些实施方式,在一些实施方式中,在利用虚拟法向残差对初始盲区位姿数据进行修正,得到目标盲区位姿数据之后,方法还包括:
45、获取当前帧图像中视觉遮挡状态对应的遮挡物深度数据,并对遮挡物深度数据进行平面拟合,得到动态物理遮挡面;
46、计算动态物理遮挡面与延伸虚拟参考面之间的法向投影距离,作为实时动态走廊宽度;
47、在确定实时动态走廊宽度小于预设安全通行阈值的情况下,解除延伸虚拟参考面对目标盲区位姿数据的法向平移自由度约束;
48、构建智慧社区机器人的空间位置坐标到动态物理遮挡面的物理距离残差;
49、将物理距离残差投影至动态物理遮挡面的法向量方向,得到避障法向残差;
50、利用避障法向残差对目标盲区位姿数据进行修正,以控制智慧社区机器人横向避让导航。
51、通过获取视觉遮挡状态对应的遮挡物深度数据并拟合得到动态物理遮挡面,进而计算该遮挡面与延伸虚拟参考面之间的法向投影距离,能够实时且直观地量化机器人当前可通行的实时动态走廊宽度,准确评估环境中的通行碰撞风险。在确定该走廊宽度小于预设安全通行阈值时,及时解除延伸虚拟参考面对目标盲区位姿数据的法向平移自由度约束。随后,通过构建机器人空间位置到动态物理遮挡面的物理距离残差,并将其投影生成避障法向残差以修正位姿数据,使得机器人能够根据实际动态障碍物的逼近程度自适应调整横向位姿,提高了机器人在狭窄或存在动态遮挡物逼近环境下的避障灵活性,降低了因强行维持法向约束而与障碍物发生碰撞的风险,提升了导航的安全性。
52、结合第一方面的一些实施方式,在一些实施方式中,获取当前帧图像中视觉遮挡状态对应的遮挡物深度数据,并对遮挡物深度数据进行平面拟合,得到动态物理遮挡面,具体包括:
53、计算遮挡物深度数据中各个深度点的相对运动矢量,并删除相对运动矢量小于预设矢量阈值的深度点,得到纯净动态点集;
54、将纯净动态点集沿预设重力方向投影至水平面,得到二维动态占据栅格;
55、提取二维动态占据栅格中距离智慧社区机器人最近的边缘栅格点,并对边缘栅格点进行二维直线拟合,得到动态接近边界线;
56、将动态接近边界线沿预设重力方向进行空间拉伸,得到垂直于水平面的包络平面,并将包络平面作为动态物理遮挡面。
57、通过计算遮挡物深度数据中各个深度点的相对运动矢量,并剔除运动矢量小于阈值的深度点,能够有效滤除静态背景环境以及深度传感器噪声的干扰,精准提取出真正构成动态遮挡威胁的纯净动态点集,降低了无关数据对后续处理的干扰。将该纯净动态点集沿重力方向投影至水平面生成二维动态占据栅格,并提取距离机器人最近的边缘栅格点进行二维直线拟合,将复杂且无规则的三维动态障碍物点云简化为最逼近机器人的二维边界线,降低了数据处理的维度与计算复杂度。最后,将该动态接近边界线沿重力方向进行空间拉伸生成垂直于水平面的包络平面,构建出符合物理实际的动态物理遮挡面,使得后续的避障距离残差计算能够紧密贴合障碍物的真实危险边界,提高了动态物理遮挡面构建的准确性与实时性,提升了系统在动态复杂环境下的避障响应效率。
58、第二方面,本技术实施方式提供了一种智慧社区机器人视觉导航系统,该智慧社区机器人视觉导航系统包括:一个或多个处理器和存储器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
59、第三方面,本技术实施方式提供一种计算机可读存储介质,包括指令,当上述指令在系统上运行时,使得上述系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
60、第四方面,本技术实施方式提供一种计算机程序产品,当计算机程序产品在系统上运行时,使得系统执行如第一方面中任一可能的实现方式描述的方法。
61、本技术实施方式中提供的一个或多个技术方案,至少具有如下技术效果或优点:
62、1、本技术提供了一种智慧社区机器人视觉导航方法,通过提取静态语义区域并计算空间相似度,将图像划分为重复纹理区域与非重复纹理区域,利用非重复纹理区域进行初始位姿估计,降低了传统特征点法在重复纹理区域易发生误匹配的概率,提高了初始位姿的可靠性。在此基础上,根据重复纹理区域的深度数据构建三维参考平面,并通过重投影计算光度误差剔除光照干扰像素点,减小了环境光照变化对位姿估计的负面影响。随后,构建剔除干扰后的重复纹理区域到三维参考平面的空间距离残差,并将其投影至法向量方向生成法向残差,利用该法向残差对初始位姿数据进行修正,利用了社区环境中常见的墙面、栅栏等重复纹理区域的结构化特征,对机器人的位姿施加了有效的几何约束,进而提高了智慧社区机器人在复杂且包含大量重复纹理环境下的视觉导航精度。
63、2、本技术提供了一种智慧社区机器人视觉导航方法,通过将三维参考平面转换至全局坐标系进行空间拼接得到全局静态结构地图,实现了对社区环境历史结构信息的有效记忆。在当前帧图像中重复纹理区域像素占比过低而判定机器人进入视觉遮挡状态时,利用航位推算数据从全局静态结构地图中提取对应的延伸虚拟参考面,并结合可见的非重复纹理区域视觉特征进行位姿估计得到初始盲区位姿数据,降低了遮挡状态下有效视觉特征锐减导致的位姿估计失效风险。通过构建机器人空间位置坐标到延伸虚拟参考面的虚拟距离残差,并将其投影生成虚拟法向残差以修正初始盲区位姿数据,能够在视觉受限的情况下,利用先验的全局地图结构信息维持对机器人的法向平移自由度约束,抑制了航位推算在遮挡期间产生的累积漂移误差,提高了机器人在视觉遮挡工况下的定位精度与导航稳定性。
64、3、本技术提供了一种智慧社区机器人视觉导航方法,通过获取视觉遮挡状态对应的遮挡物深度数据并拟合得到动态物理遮挡面,进而计算该遮挡面与延伸虚拟参考面之间的法向投影距离,能够实时且直观地量化机器人当前可通行的实时动态走廊宽度,准确评估环境中的通行碰撞风险。在确定该走廊宽度小于预设安全通行阈值时,及时解除延伸虚拟参考面对目标盲区位姿数据的法向平移自由度约束。随后,通过构建机器人空间位置到动态物理遮挡面的物理距离残差,并将其投影生成避障法向残差以修正位姿数据,使得机器人能够根据实际动态障碍物的逼近程度自适应调整横向位姿,提高了机器人在狭窄或存在动态遮挡物逼近环境下的避障灵活性,降低了因强行维持法向约束而与障碍物发生碰撞的风险,提升了导航的安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com