柱状目标语义补全方法及装置、电子设备及存储介质与流程
本发明实施例涉及数据处理,尤其涉及一种柱状目标语义补全方法及装置、电子设备及存储介质。
背景技术:
1、现有机器人感知系统通常同时配置激光雷达与相机。相机侧可通过语义分割模型获得逐像素类别信息,并通过目标检测模型获得柱状目标的二维检测框,激光雷达侧可获得具有三维坐标的点云。基于标定参数,将激光点云投影到图像uv坐标系后,可直接读取投影像素对应的语义类别,再将该语义赋给点云,由此得到带语义的三维点云。
2、针对柱状目标,常规后融合方案通常采用“点云投影—读取柱子语义—聚类—输出”的流程,或者直接依据二维检测框在图像上的覆盖范围选取对应点云。地面点则通常由地面滤波器剔除。该类方案实现简单,但其成立前提是激光点云投影位置、语义分割结果和二维检测框之间具有较好的像素级对齐。
3、在光伏场、果园等场景中,柱体周边往往存在高草、枝叶等非刚性物体。高草产生的激光回波可能位于地面以上,因而不能被常规地面点滤波完全去除,同时细柱本身点云数量较少、在图像中宽度较窄,容易受到少量投影偏差和遮挡的影响。
4、现有技术中影响割草机器人柱状目标识别准确性的主要因素描述如下:
5、1、激光点云到图像的投影存在不可避免的偏差。该偏差可能来源于相机/激光雷达标定误差、时间同步误差、车辆运动以及激光点云畸变校正误差。对于宽度很窄的柱状目标,即使只有少量像素的横向偏移,也可能导致真实柱子点落到柱语义区域之外,从而发生语义漏标。此外,即便二维检测模型已经检测到柱子,若直接按照视觉框所在位置截取点云,仍可能因为投影偏差选不到真实柱点。
6、2、高草等非地面干扰点会与柱子点云混杂。若仅基于三维距离聚类,容易将高草点与柱子点合并为较大的不规则点簇,造成误检或后续柱体几何拟合不稳定。
7、3、单独在图像uv域聚类,容易把图像中位置相邻、但三维空间属于前后景不同物体的点错误合并;单独在三维空间聚类,又可能因为柱子点沿竖直方向稀疏而被拆分。
8、4、二维目标检测框的位置与激光点簇投影框之间存在横向偏差时,直接按照交并比或固定像素重叠进行关联容易匹配失败;多个候选框同时存在时,还可能出现一个视觉框对应多个点簇等关联冲突。
9、因此,在存在点云投影偏差、高草干扰、柱体点云稀疏以及局部遮挡的情况下,如何稳定、准确地确定点云中的柱状目标对于割草机器人是十分必要的。
技术实现思路
1、本发明实施例提供一种柱状目标语义补全方法及装置、电子设备及存储介质,旨在提高柱状目标点云识别准确性,提升割草机器人等环境感知性能。
2、第一方面,本发明实施例提供了一种柱状目标语义补全方法,包括:获取待处理场景的用于柱状目标语义补全的输入数据;所述输入数据包括:激光点云数据、图像语义分割图、目标检测模型输出的柱状目标二维检测框以及标定参数;
3、根据所述标定参数将所述激光点云数据中的激光点投影至图像uv域得到各所述激光点对应的uv坐标;
4、根据所述图像语义分割图确定草区域,对所述草区域进行边缘收缩处理得到草内部区域,将投影至所述草内部区域的草点云过滤掉得到柱状目标候选点云;
5、确定所述柱状目标候选点云中的任意两个候选点是否满足预设uv连续性和三维空间连续性条件,对所述柱状目标候选点云中满足所述预设uv连续性和三维空间连续性条件的点进行联合聚类得到柱状目标点簇,生成各所述柱状目标点簇的二维点云候选框;
6、根据所述二维点云候选框和所述柱状目标二维检测框得到全局一一匹配的点云检测框对;
7、针对每个所述点云检测框对,在所述点云检测框对的横向坐标并集范围内根据所述点云检测框对中的柱状目标二维检测框的宽度进行滑窗搜索得到满足预设条件的目标柱子区域;
8、根据所述点云检测框对的目标柱子区域对点云进行语义补全。
9、作为一种实施例,所述针对每个所述点云检测框对,在所述点云检测框对的横向坐标并集范围内根据所述点云检测框对中的柱状目标二维检测框的宽度进行滑窗搜索得到满足预设条件的目标柱子区域,包括:
10、将所述点云检测框对的柱状目标二维检测框的宽度作为滑窗宽度,根据所述滑窗宽度按照预设步长进行滑窗搜索得到投影至各个滑窗内的点云检测框对所对应的点云的点数,根据点数大小确定目标滑窗,将所述目标滑窗作为所述目标柱子区域。
11、作为一种实施例,所述根据所述二维点云候选框和所述柱状目标二维检测框得到全局一一匹配的点云检测框对,包括:
12、计算得到所述二维点云候选框和所述柱状目标二维检测框任一框对两两之间的水平中心距离,判断任一框对的水平中心距离是否大于预设自适应阈值,将水平距离大于所述预设自适应阈值的框对作为候选框对;
13、计算得到所有候选框对的代价矩阵,根据所述代价矩阵得到所述全局一一匹配的点云检测框对。
14、作为一种实施例,所述预设自适应阈值设置为固定宽度阈值和可变宽度阈值中的较大者;其中,所述可变宽度阈值为二维点云候选框和柱状目标二维检测框中宽度较大者与第一预设比值的乘积。
15、作为一种实施例,所述确定所述柱状目标候选点云中的任意两个候选点是否满足预设uv连续性和三维空间连续性条件,包括:
16、满足所述预设uv连续性和三维空间连续性条件为任意两个候选点i和j同时满足以下条件:
17、|ui - uj| ≤ ud;
18、|vi - vj| ≤ vd;
19、sqrt((xi-xj)² + (yi-yj)²) ≤ d1;
20、|zi- zj| ≤ d2;
21、|depthi - depthj| ≤ d3 + r × max(depthi, depthj);
22、其中,ui和uj、vi和vj分别为像素坐标系下候选点i和j的横、纵坐标分量,xi和xj、yi和yj、zi和zj分别为候选点i和j在x、y、z轴上的坐标分量;ud、vd分别为候选点i和j的预设横坐标距离阈值、预设纵坐标距离阈值,d1为候选点i和j预设欧氏距离阈值,d2为候选点i和j预设高度距离阈值,depthi 和depthj为候选点i和j在激光雷达坐标系下到雷达原点的欧氏距离,所述d3为预设的depth阈值,r为第二预设比值。
23、作为一种实施例,所述生成各所述柱状目标点簇的二维点云候选框,包括:
24、从所述柱状目标点簇中过滤掉点数小于预设点数阈值且宽高比大于预设宽高比阈值的点簇得到目标点簇;所述二维点云候选框为所述目标点簇的二维点云候选框。
25、作为一种实施例,所述根据所述图像语义分割图确定草区域,对所述草区域进行边缘收缩处理得到草内部区域,将投影至所述草内部区域的草点云过滤掉得到柱状目标候选点云,包括:
26、根据所述图像语义分割图中的草类别生成二值草掩码,并对所述二值草掩码表征的草区域进行形态学腐蚀,得到所述草区域的草内部区域掩码,将投影至所述草内部区域掩码所表征的草内部区域的草点云过滤掉得到柱状目标候选点云。
27、第二方面,本发明实施例提供了一种柱状目标语义补全装置,包括:
28、输入模块,用于获取待处理场景的用于柱状目标语义补全的输入数据;所述输入数据包括:激光点云数据、图像语义分割图、目标检测模型输出的柱状目标二维检测框以及标定参数;
29、投影模块,用于根据所述标定参数将所述激光点云数据中的激光点投影至图像uv域得到各所述激光点对应的uv坐标;
30、草过滤模块,用于根据所述图像语义分割图确定草区域,对所述草区域进行边缘收缩处理得到草内部区域,将投影至所述草内部区域的草点云过滤掉得到柱状目标候选点云;
31、聚类模块,用于确定所述柱状目标候选点云中的任意两个候选点是否满足预设uv连续性和三维空间连续性条件,对所述柱状目标候选点云中满足所述预设uv连续性和三维空间连续性条件的点进行联合聚类得到柱状目标点簇,生成各所述柱状目标点簇的二维点云候选框;
32、匹配模块,用于根据所述二维点云候选框和所述柱状目标二维检测框得到全局一一匹配的点云检测框对;
33、滑动搜索模块,用于针对每个所述点云检测框对,在所述点云检测框对的横向坐标并集范围内根据所述点云检测框对中的柱状目标二维检测框的宽度进行滑窗搜索得到满足预设条件的目标柱子区域;
34、语义补充模块,用于根据所述点云检测框对的目标柱子区域对点云进行语义补全。
35、第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如前所述的柱状目标语义补全方法。
36、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前所述柱状目标语义补全方法。
37、本发明实施例提供的技术方案与现有技术相比至少具备以下积极效果:
38、本发明实施例中,获取待处理场景的用于柱状目标语义补全的输入数据,输入数据包括:激光点云数据、图像语义分割图、目标检测模型输出的柱状目标二维检测框以及标定参数;根据标定参数将激光点云数据中的激光点投影至图像uv域得到各激光点对应的uv坐标;根据图像语义分割图确定草区域,对草区域进行边缘收缩处理得到草内部区域,将投影至草内部区域的草点云过滤掉得到柱状目标候选点云;确定柱状目标候选点云中的任意两个候选点是否满足预设uv连续性和三维空间连续性条件,对柱状目标候选点云中满足预设uv连续性和三维空间连续性条件的点进行联合聚类得到柱状目标点簇,生成各柱状目标点簇的二维点云候选框;根据二维点云候选框和柱状目标二维检测框得到全局一一匹配的点云检测框对;针对每个点云检测框对,在点云检测框对的横向坐标并集范围内根据点云检测框对中的柱状目标二维检测框的宽度进行滑窗搜索得到满足预设条件的目标柱子区域,根据点云检测框对的目标柱子区域对点云进行语义补全。本发明实施例先利用语义分割结果去除明确的高草内部干扰,再在uv图像域和三维空间中联合聚类形成柱状目标点簇;随后利用柱状目标二维目标检测框进行一对一目标关联,并以柱状目标二维检测框的宽度作为柱体横向尺度先验,在候选点簇与检测框的横向并集范围内滑动搜索,根据激光点实际分布重新确定柱子最可能的位置,最终将真实柱子区域内的点补充为柱状目标语义。本发明实施例无需激光点云与图像语义在像素级严格对齐,可在存在点云投影偏差、高草干扰、柱体点云稀疏以及局部遮挡的情况下,稳定、准确地确定点云中的柱状目标,可提升割草机器人柱状目标识别性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com