一种基于计算机视觉的智能购物车系统

摘要: 本发明涉及计算机视觉,更确切地说,它涉及一种基于计算机视觉的智能购物车系统。背景技术:1、在商超零售场景中,自主跟随式智能购物车依赖机器视觉完成障碍物识别与安全...
一种基于计算机视觉的智能购物车系统

本发明涉及计算机视觉,更确切地说,它涉及一种基于计算机视觉的智能购物车系统。

背景技术:

1、在商超零售场景中,自主跟随式智能购物车依赖机器视觉完成障碍物识别与安全控制。传统方案采用 mobilenet-ssd、yolo-nano 等通用轻量检测模型,存在明显适配缺陷:购物车车载相机离地仅 40~60cm,呈低视角仰拍视野,画面以行人腿部、货架底部、购物车底盘为主,与通用模型训练所用平视 / 俯视完整目标数据集存在严重域偏移;通用模型分类通道多、冗余计算量大,树莓派等嵌入式设备推理帧率不足,且无法同步输出目标物理距离,仅依靠外置激光雷达测距成本高、布线复杂,难以实现分级减速、紧急停机的分层避障逻辑,导致自主购物车通行安全性与流畅度不足。

2、现有技术缺少适配商超低视角场景的专用多任务视觉感知方案,无法在轻量化嵌入式硬件上同时完成障碍物分类、定位、精准测距,为此本发明提出面向购物车低视角场景的轻量级多任务感知网络,配套专用数据集、多分支联合损失训练策略,兼顾检测精度、测距误差与实时推理速度。

技术实现思路

1、本发明的目的是克服现有技术中的不足,提供了一种基于计算机视觉的智能购物车系统。

2、第一方面,提供了一种基于计算机视觉的智能购物车系统,包括:购物车终端、手机终端和云管理平台;

3、所述购物车终端搭载嵌入式计算单元与相机,所述嵌入式计算单元运行适配购物车低视角场景的轻量级多任务感知网络;

4、所述手机终端用于下发启停控制指令并接收购物车运行状态;

5、所述云管理平台用于中转感知数据并下发行驶指令;

6、所述轻量级多任务感知网络包括共享特征提取骨干网络以及并行连接于该骨干网络的目标框定位分支、类别分类分支、距离回归分支和置信度输出分支;所述网络单次前向传播同步输出障碍物的目标边界框、目标类别、物理距离及置信度;所述嵌入式计算单元依据所述物理距离执行分层车速控制。

7、作为优选,所述轻量化共享特征提取骨干网络由深度可分离卷积堆叠而成,其通道数针对商超场景目标进行裁剪,且总参数量控制在预设阈值以内。

8、作为优选,所述目标框定位分支用于输出目标在图像中的边界框位置;所述类别分类分支用于输出目标属于各预设类别的预测概率;所述距离回归分支用于输出目标与购物车的物理距离;所述置信度输出分支用于输出目标存在置信度,所述置信度的训练目标值由目标存在概率与预测框和真实框的交并比共同决定。

9、作为优选,所述轻量级多任务感知网络采用自建商超低视角专用数据集并以四分支损失的加权组合作为总损失函数完成训练;所述总损失函数包括目标框定位损失、类别分类损失、距离回归损失和置信度损失,各损失项分别配置权重系数。

10、作为优选,所述分层车速控制包括:当未检测到障碍物或物理距离大于或等于第一距离阈值时保持正常运行,当物理距离介于第一距离阈值与第二距离阈值之间时减速行驶,当物理距离小于第二距离阈值时立即停机;所述第二距离阈值小于所述第一距离阈值。

11、作为优选,当所述物理距离小于第二距离阈值时,购物车立即停止并在预设等待时间后再次检测障碍物状态;若仍处于阻挡状态,则在地图数据中将当前行进路线标记为临时断开,路径规划模块基于修正后的地图重新执行路径规划算法以生成新行驶路线。

12、第二方面,提供了一种基于计算机视觉的智能购物车控制方法,由第一方面任一项所述的系统执行,包括以下步骤:

13、s1、通过安装于购物车车体下部的相机采集购物车行进方向的低视角环境图像;

14、s2、将所述环境图像输入轻量级多任务感知网络进行实时推理,所述多任务感知网络包括共享特征提取骨干网络以及并行连接于该骨干网络的目标框定位分支、类别分类分支、距离回归分支和置信度输出分支,通过单次前向传播同步输出障碍物的目标边界框、目标类别、物理距离及置信度;

15、s3、依据所述物理距离执行分层车速控制,驱动购物车行驶。

16、作为优选,还包括数据集构建步骤:将相机安装于购物车车体下部并设定上仰角,在零售环境中连续采集视频帧;从采集的视频中抽取关键帧,对每帧图像标注目标类别标签、目标边界框以及实测物理距离;对标注后的图像数据执行数据增强。

17、作为优选,所述数据增强包括亮度与对比度调整、水平翻转、裁剪与缩放以及随机擦除中的至少一种。

18、作为优选,所述分层车速控制具体包括:当未检测到障碍物或物理距离大于或等于第一距离阈值时正常行驶,当物理距离介于第一距离阈值与第二距离阈值之间时减速行驶,当物理距离小于第二距离阈值时停止行驶。

19、本发明的有益效果是:

20、1.本发明针对购物车低视角运行场景,构建专用标注数据集并设计多任务感知网络,针对人、货架、购物车、其他障碍物四类场景特化目标进行精准判别,同时回归输出物理距离,克服了通用模型在低视角下的域偏移问题。

21、2.本发明因仅需区分四类目标,网络骨干通道数针对性裁剪,总参数量控制在100万以内。在树莓派5等嵌入式平台上推理速度可达每秒30帧以上,显著优于同等参数规模的通用模型,能够同步满足检测精度、测距精度与实时性要求。

22、3.本发明结合多任务感知网络和路径规划算法,购物车能够基于目标边界框位置、目标类别、物理距离和置信度实现智能避障并动态调整路径。

1.一种基于计算机视觉的智能购物车系统,其特征在于,包括:购物车终端、手机终端和云管理平台;

2.根据权利要求1所述的基于计算机视觉的智能购物车系统,其特征在于,所述轻量化共享特征提取骨干网络由深度可分离卷积堆叠而成,其通道数针对商超场景目标进行裁剪,且总参数量控制在预设阈值以内。

3.根据权利要求2所述的基于计算机视觉的智能购物车系统,其特征在于,所述目标框定位分支用于输出目标在图像中的边界框位置;所述类别分类分支用于输出目标属于各预设类别的预测概率;所述距离回归分支用于输出目标与购物车的物理距离;所述置信度输出分支用于输出目标存在置信度,所述置信度的训练目标值由目标存在概率与预测框和真实框的交并比共同决定。

4.根据权利要求3所述的基于计算机视觉的智能购物车系统,其特征在于,所述轻量级多任务感知网络采用自建商超低视角专用数据集并以四分支损失的加权组合作为总损失函数完成训练;所述总损失函数包括目标框定位损失、类别分类损失、距离回归损失和置信度损失,各损失项分别配置权重系数。

5.根据权利要求4所述的基于计算机视觉的智能购物车系统,其特征在于,所述分层车速控制包括:当未检测到障碍物或物理距离大于或等于第一距离阈值时保持正常运行,当物理距离介于第一距离阈值与第二距离阈值之间时减速行驶,当物理距离小于第二距离阈值时立即停机;所述第二距离阈值小于所述第一距离阈值。

6.根据权利要求5所述的基于计算机视觉的智能购物车系统,其特征在于,当所述物理距离小于第二距离阈值时,购物车立即停止并在预设等待时间后再次检测障碍物状态;若仍处于阻挡状态,则在地图数据中将当前行进路线标记为临时断开,路径规划模块基于修正后的地图重新执行路径规划算法以生成新行驶路线。

7.一种基于计算机视觉的智能购物车控制方法,其特征在于,由权利要求1至6任一项所述的系统执行,包括以下步骤:

8.根据权利要求7所述的基于计算机视觉的智能购物车控制方法,其特征在于,还包括数据集构建步骤:将相机安装于购物车车体下部并设定上仰角,在零售环境中连续采集视频帧;从采集的视频中抽取关键帧,对每帧图像标注目标类别标签、目标边界框以及实测物理距离;对标注后的图像数据执行数据增强。

9.根据权利要求8所述的基于计算机视觉的智能购物车控制方法,其特征在于,所述数据增强包括亮度与对比度调整、水平翻转、裁剪与缩放以及随机擦除中的至少一种。

10.根据权利要求9所述的基于计算机视觉的智能购物车控制方法,其特征在于,所述分层车速控制具体包括:当未检测到障碍物或物理距离大于或等于第一距离阈值时正常行驶,当物理距离介于第一距离阈值与第二距离阈值之间时减速行驶,当物理距离小于第二距离阈值时停止行驶。