多视角采集图像后融合的智能生成订单方法及智能售货机与流程

技术特征：
1.一种多视角采集图像后融合的智能生成订单方法，其特征在于，所述方法包括：s10：获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；s11：将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；s12：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；s13：根据各目标商品的商品信息，生成商品订单信息；其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。2.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述s11包括：s111：获取所述第一主摄像头开始采集所述第一主视频对应的第一起始时刻和所述第二主摄像头开始采集所述第二主视频对应的不同于所述第一起始时刻的第二起始时刻；s112：根据所述第一起始时刻和所述第二起始时刻，将在预设时间内采集得到的所述第一主视频的各帧图像与所述第二主视频中时序相对应的各帧图像进行一一合并，生成所述目标视频；其中，所述第一起始时刻和所述第二起始时刻的时间间隔小于摄像头帧率对应的相邻两帧图像的时间间隔。3.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述s12包括：s121：将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；s122：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；s123：对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度。4.根据权利要求3所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述s122包括：s1221：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到各帧图像中与所述第一图像区域对应的各商品的类别和置信度，以及各帧图像中与所述第二图像区域对应的各商品的类别和置信度；s1222：根据分别在所述第一图像区域和所述第二图像区域内检出的各商品的置信度，得到与所有帧图像在所述第一图像区域内检出的所有商品中与各类商品一一对应的各第
一置信度平均值和与在所述第二图像区域内检出的所有商品中与各类商品一一对应的各第二置信度平均值；s1223：根据在所述第一图像区域和所述第二图像区域内检出的各商品的类别，得到与各帧图像在所述第一图像区域内检出的所有商品对应的各第一商品信息，以及与各帧图像在所述第二图像区域内检出的所有商品对应的各第二商品信息；s1224：根据各所述第一商品信息和与各所述第一商品信息一一对应的各所述第一置信度平均值，得到所述第一检测结果，根据各所述第二商品信息和与各所述第二商品信息一一对应的各所述第二置信度平均值，得到所述第二检测结果。5.根据权利要求4所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述s1222包括：s12221：获取商品进行有效检出次数统计对应的检出次数阈值；s12222：将各类别的商品对应的检出次数与所述检出次数阈值对比，将符合要求的商品的各置信度计算平均值，得到各所述第一商品置信度平均值和各所述第二商品置信度平均值。6.根据权利要求3所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述s13包括：s131：获取用于生成有效订单的商品的目标置信度阈值；s132：将所述第一检测结果包含的各商品类别及商品数量与所述第二检测结果包含的各商品类别及商品数量分别进行对比，如所述第一检测结果和所述第二检测结果的商品类别相同，则输出所述第一检测结果和所述第二检测结果中各类商品的置信度高的商品作为目标商品，否则，生成异常订单；s133：将所述目标商品对应的置信度与所述目标置信度阈值对比，若符合要求，则生产各所述目标商品对应的所述商品订单信息，否则，生成异常订单；其中，若为异常订单，则输出异常订单信息并同时输出所述第一主视频和/或所述第二主视频和/或所述目标视频。7.根据权利要求1
‑
6任一项所述的多视角采集图像后融合的智能生成订单方法，其特征在于，在所述s10之前还包括：s01：实时获取第三摄像头采集的智能售货机当前状态的视频；s02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；s03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头开启；s04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头关闭。8.一种多视角采集图像后融合的智能生成订单装置，其特征在于，所述装置包括：视频获取模块：用于获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
视频合成模块：用于将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；图像分析模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；订单生成模块：用于根据各目标商品的商品信息，生成商品订单信息；其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。9.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1
‑
7中任一项所述的方法。10.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1
‑
7中任一项所述的方法。

技术总结
本发明属于图像处理技术领域，解决了现有技术智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题，提供了一种多视角采集图像后融合的智能生成订单方法及智能售货机。该方法包括：获取商品区域的第一主视频和与第一主视频视角不同的第二主视频；将第一主视频和第二主视频的各帧图像进行合并，得到目标视频；对目标视频的各帧图像进行图像分析，得到用于生成商品订单信息的各目标商品，从而得到最终的商品订单信息。本发明还包括用于执行上述方法的装置及智能售货机。本发明可以通过从不同视角获取购物视频，避免商品被遮挡影响检测准确性，避免异常订单产生。避免异常订单产生。避免异常订单产生。


技术研发人员：陈俏锋 黄超群 邱俊波 王浩 张杰 束学璋 张元熙 郭家龙
受保护的技术使用者：深圳友朋智能商业科技有限公司
技术研发日：2021.11.03
技术公布日：2021/11/30