一种基于超宽带定位和视觉特征融合的餐桌图像归属方法、装置、设备及介质与流程

摘要: 本发明涉及计算机,特别涉及一种基于超宽带定位和视觉特征融合的餐桌图像归属方法、装置、设备及介质。背景技术:1、随着超宽带(ultra-wideband,uwb)...
一种基于超宽带定位和视觉特征融合的餐桌图像归属方法、装置、设备及介质与流程

本发明涉及计算机,特别涉及一种基于超宽带定位和视觉特征融合的餐桌图像归属方法、装置、设备及介质。

背景技术:

1、随着超宽带(ultra-wideband,uwb)室内定位技术的发展,基于uwb的智能化餐饮服务技术方案逐渐应用于餐厅场景。可穿戴视觉设备(如胸牌摄像头、智能眼镜)的姿态可通过惯性测量单元(inertial measurement unit,imu)或视觉同步定位与地图构建(simultaneous localization and mapping,slam)获取;目标检测、语义分割等视觉识别技术可识别菜品、餐盘等目标,二维码识别、光学字符识别(optical characterrecognition,ocr)可识别桌号。

2、现有餐桌菜品图像归属方案主要包括四类:固定摄像头与桌号绑定、人工扫码确认、仅根据uwb等定位技术选择最近餐桌、以及仅根据可穿戴图像中的视觉特征识别目标餐桌。需要指出的是,上述归属方案均存在以下不足:单纯依据uwb坐标选择最近餐桌时,受人体遮挡或多径干扰影响,所选餐桌可能并非相机实际拍摄目标;仅依据图像视觉特征识别目标餐桌时,相邻餐桌的视觉特征可能高度相似,难以区分。综上可见,如何在无需为每张餐桌安装专用摄像头、也无需服务人员人工扫码确认的前提下,实现相邻餐桌场景下菜品图像的可靠归属,已成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于超宽带定位和视觉特征融合的餐桌图像归属方法、装置、设备及介质,实现了相邻餐桌场景下菜品图像的可靠归属,其具体方案如下:

2、第一方面,本技术公开了一种基于超宽带定位和视觉特征融合的餐桌图像归属方法,包括:

3、获取目标视觉设备采集的目标图像以及与所述目标图像对应的超宽带定位信息,并确定所述目标视觉设备与预设空间地图之间的坐标转换关系;其中,所述预设空间地图中记录有各餐桌的位置信息;

4、根据所述超宽带定位信息和所述各餐桌的位置信息,确定至少一个候选餐桌,并根据所述坐标转换关系,将各所述候选餐桌对应的空间区域投影至所述目标图像,得到各所述候选餐桌分别对应的候选图像区域;

5、确定所述超宽带定位信息所表征的定位位置与各所述候选餐桌之间的位置关联信息,并获取各所述候选餐桌对应的订单任务关联信息和/或历史服务关联信息,以及从各所述候选餐桌对应的所述候选图像区域中提取视觉特征;

6、基于各所述候选餐桌对应的所述位置关联信息、所述订单任务关联信息和/或所述历史服务关联信息,及所述视觉特征,对各所述候选餐桌进行归属评价;

7、根据各所述候选餐桌的归属评价结果,从各所述候选餐桌中确定所述目标图像所归属的目标餐桌。

8、可选的,所述超宽带定位信息包括所述定位位置和定位误差信息,所述各餐桌的位置信息包括各餐桌对应的中心位置和/或边界区域;相应的,所述根据所述超宽带定位信息和所述各餐桌的位置信息,确定至少一个候选餐桌,包括:

9、根据所述定位误差信息确定与所述定位位置对应的距离阈值;

10、针对各餐桌,根据所述餐桌对应的所述中心位置和/或所述边界区域,确定所述餐桌对应的候选距离;其中,所述候选距离为所述定位位置与所述中心位置的距离,或为所述定位位置与所述边界区域的最短距离;

11、将所述候选距离不大于所述距离阈值的所述餐桌确定为所述候选餐桌。

12、可选的,所述将各所述候选餐桌对应的空间区域投影至所述目标图像之前,还包括:

13、根据所述坐标转换关系和所述目标视觉设备的视场参数,确定各所述候选餐桌与所述目标视觉设备的视场范围之间的视场关系;

14、根据所述视场关系确定各所述候选餐桌对应的视场得分;

15、判断所述目标视觉设备的姿态置信度是否不小于预设阈值;其中,所述姿态置信度表示所述目标视觉设备的姿态估计结果的可信程度;

16、当所述姿态置信度不小于预设阈值时,根据所述视场得分从各所述候选餐桌中剔除位于所述视场范围之外的候选餐桌,得到更新后的所述候选餐桌;

17、当所述姿态置信度小于预设阈值时,保留各所述候选餐桌,并将各所述候选餐桌对应的所述视场得分作为所述归属评价的输入特征;

18、所述将各所述候选餐桌对应的空间区域投影至所述目标图像,包括:

19、将更新后的各所述候选餐桌对应的空间区域投影至所述目标图像;

20、或者,将保留的各所述候选餐桌对应的空间区域投影至所述目标图像。

21、可选的,所述从各所述候选餐桌对应的所述候选图像区域中提取视觉特征,包括:

22、对所述目标图像进行目标检测和/或图像识别,得到所述目标图像中的目标对象检测结果及对应的置信度;目标对象包括菜品、餐盘、桌面和/或桌牌;

23、针对各所述候选餐桌,将所述目标对象检测结果与所述候选餐桌对应的所述候选图像区域进行空间交叠计算,得到交叠面积;

24、根据所述交叠面积和所述置信度,确定各所述候选餐桌对应的菜品可见程度、餐盘分布程度、桌面覆盖程度和/或桌号匹配程度,作为视觉特征。

25、可选的,所述基于各所述候选餐桌对应的所述位置关联信息、所述订单任务关联信息和/或所述历史服务关联信息,及所述视觉特征,对各所述候选餐桌进行归属评价,包括:

26、获取所述超宽带定位信息的信息质量,作为定位质量;

27、获取所述目标图像和/或各所述候选图像区域的图像质量,作为视觉质量;

28、根据所述定位质量和所述视觉质量,调整所述位置关联信息、所述视觉特征、所述订单任务关联信息和/或所述历史服务关联信息在所述归属评价中的权重;

29、根据调整后的所述权重,融合所述位置关联信息、所述视觉特征、所述订单任务关联信息和/或所述历史服务关联信息,得到各所述候选餐桌的归属评价结果。

30、可选的,所述根据各所述候选餐桌的归属评价结果,从各所述候选餐桌中确定所述目标图像所归属的目标餐桌,包括:

31、判断各所述候选餐桌的归属评价结果是否满足预设归属条件;

32、当满足所述预设归属条件时,根据所述归属评价结果从各所述候选餐桌中确定所述目标图像所归属的目标餐桌;

33、当不满足所述预设归属条件时,将所述目标图像加入待确认队列,并获取所述目标图像之后采集的连续帧图像;

34、根据所述连续帧图像的归属评价结果,对所述目标图像的归属评价结果进行时序平滑处理,得到平滑后的归属评价结果;

35、当所述平滑后的归属评价结果满足所述预设归属条件时,根据所述平滑后的归属评价结果确定所述目标图像所归属的目标餐桌。

36、可选的,所述确定所述超宽带定位信息所表征的定位位置与各所述候选餐桌之间的位置关联信息,包括:

37、确定所述定位位置与各所述候选餐桌之间的距离,作为第一关联信息;

38、根据连续时刻的所述定位位置确定所述目标视觉设备在各所述候选餐桌的邻域内的停留时间,作为第二关联信息;

39、根据连续时刻的所述定位位置确定所述目标视觉设备的移动方向与各所述候选餐桌之间的轨迹方向关系,作为第三关联信息;

40、根据所述第一关联信息、所述第二关联信息和/或所述第三关联信息,确定所述位置关联信息。

41、第二方面,本技术公开了一种基于超宽带定位和视觉特征融合的餐桌图像归属装置,包括:

42、信息获取模块,用于获取目标视觉设备采集的目标图像以及与所述目标图像对应的超宽带定位信息,并确定所述目标视觉设备与预设空间地图之间的坐标转换关系;其中,所述预设空间地图中记录有各餐桌的位置信息;

43、候选确定模块,用于根据所述超宽带定位信息和所述各餐桌的位置信息,确定至少一个候选餐桌,并根据所述坐标转换关系,将各所述候选餐桌对应的空间区域投影至所述目标图像,得到各所述候选餐桌分别对应的候选图像区域;

44、特征提取模块,用于确定所述超宽带定位信息所表征的定位位置与各所述候选餐桌之间的位置关联信息,并获取各所述候选餐桌对应的订单任务关联信息和/或历史服务关联信息,以及从各所述候选餐桌对应的所述候选图像区域中提取视觉特征;

45、归属评价模块,用于基于各所述候选餐桌对应的所述位置关联信息、所述订单任务关联信息和/或所述历史服务关联信息,及所述视觉特征,对各所述候选餐桌进行归属评价;

46、目标确定模块,用于根据各所述候选餐桌的归属评价结果,从各所述候选餐桌中确定所述目标图像所归属的目标餐桌。

47、第三方面,本技术公开了一种电子设备,包括:

48、存储器,用于保存计算机程序;

49、处理器,用于执行所述计算机程序,以实现前述公开的基于超宽带定位和视觉特征融合的餐桌图像归属方法。

50、第四方面,本技术公开了一种计算机可读存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的基于超宽带定位和视觉特征融合的餐桌图像归属方法。

51、可见,本技术提出一种基于超宽带定位和视觉特征融合的餐桌图像归属方法,包括:获取目标视觉设备采集的目标图像以及与目标图像对应的超宽带定位信息,并确定目标视觉设备与预设空间地图之间的坐标转换关系;其中,预设空间地图中记录有各餐桌的位置信息;根据所述超宽带定位信息和所述各餐桌的位置信息,确定至少一个候选餐桌,并根据所述坐标转换关系,将各所述候选餐桌对应的空间区域投影至所述目标图像,得到各所述候选餐桌分别对应的候选图像区域;确定所述超宽带定位信息所表征的定位位置与各所述候选餐桌之间的位置关联信息,并获取各所述候选餐桌对应的订单任务关联信息和/或历史服务关联信息,以及从各所述候选餐桌对应的所述候选图像区域中提取视觉特征;基于各所述候选餐桌对应的所述位置关联信息、所述订单任务关联信息和/或所述历史服务关联信息,及所述视觉特征,对各所述候选餐桌进行归属评价;根据各所述候选餐桌的归属评价结果,从各所述候选餐桌中确定所述目标图像所归属的目标餐桌。

52、有益效果:本技术先获取目标视觉设备采集的目标图像以及对应的超宽带定位信息,并确定目标视觉设备与预设空间地图之间的坐标转换关系。在此基础上,根据超宽带定位信息和各餐桌的位置信息,确定至少一个候选餐桌,并根据坐标转换关系,将各候选餐桌对应的空间区域投影至目标图像,得到各候选餐桌分别对应的候选图像区域。这样一来,本技术不直接将某张餐桌确定为归属目标,而是先保留多个候选餐桌,降低了因定位偏差导致误判的风险。进一步的,确定定位位置与各候选餐桌之间的位置关联信息,获取各候选餐桌对应的订单任务关联信息和/或历史服务关联信息,并从各候选图像区域中提取视觉特征。由于每个候选餐桌均有各自对应的候选图像区域,因此从各候选图像区域中提取的视觉特征分别对应各自所属的候选餐桌,避免了同一图像中相邻餐桌视觉特征相似导致难以区分的问题。在此基础上,基于各候选餐桌对应的位置关联信息、订单任务关联信息和/或历史服务关联信息,及视觉特征,对各候选餐桌进行归属评价,再根据各候选餐桌的归属评价结果,从各候选餐桌中确定目标图像所归属的目标餐桌。需要指出的是,通过位置关联信息、订单任务关联信息和/或历史服务关联信息与视觉特征的综合评价,当其中某类信息存在偏差时,其他信息仍可对其进行修正,从而降低了单类信息偏差导致的误判。上述整个过程中,既无需为每张餐桌安装专用摄像头,也无需服务人员人工扫码确认,即可在相邻餐桌场景下实现菜品图像的可靠归属。