一种生鲜货物的检测方法和装置与流程

1.本发明涉及计算机技术领域，特别涉及一种生鲜货物的检测方法和装置。


背景技术：

2.随着智慧零售在各个超市或者便利店的深度渗入和发展，数字货架作为智慧零售的关键环节，其主要作用是智能检测货架上的缺货状态、智能分析货架商品售卖数据、智能优化货架商品陈列。在商超场景中，标准商品的货架可以利用目前比较成熟的目标检测算法将每个商品检测出来，然后进行下一步陈列或者缺货状态的跟踪和分析。
3.目前为止，以大量数据为基础的深度学习算法在视觉算法领域具有重要意义和较高的准确率，通过尽可能多的人工收集大量相关场景数据，可利用现有成熟的图像分割与检测算法技术去直接检测商品。
4.但是，相比于标准商品，生鲜区域的商品货物复杂多样，且具有散乱摆放，灵活堆叠，在特定时间段消耗快速等特性，无法有效地使用检测算法将商品目标检测出来，造成整体数据的不精确，在大量的人力、财力和时间投入过程中，产生了巨大成本，且最终鲁棒性较差。


技术实现要素：

5.本发明提供了一种生鲜货物的检测方法和装置，以解决现有技术无法准确地检测生鲜货物的缺陷。
6.本发明提供了一种生鲜货物的检测方法，包括以下步骤：
7.采集货架图像，并从所述货架图像中检测出货架上的真实生鲜筐和价签；
8.基于所述货架上的价签，生成虚拟生鲜筐；
9.根据所述真实生鲜筐的位置信息，对所述虚拟生鲜筐的位置信息进行修正；
10.基于所述真实生鲜筐和所述虚拟生鲜筐，对货架上的生鲜货物进行检测。
11.本发明还提供了一种生鲜货物的检测装置，包括：
12.采集模块，用于采集货架图像；
13.第一检测模块，用于从所述货架图像中检测出货架上的真实生鲜筐和价签；
14.生成模块，用于基于所述货架上的价签，生成虚拟生鲜筐；
15.修正模块，用于根据所述真实生鲜筐的位置信息，对所述虚拟生鲜筐的位置信息进行修正；
16.第二检测模块，用于基于所述真实生鲜筐和所述虚拟生鲜筐，对货架上的生鲜货物进行检测。
17.本发明从货架图像中检测出货架上的真实生鲜筐，使用虚拟生鲜筐对可能出现的漏检情况进行辅助补充，再基于真实生鲜筐和虚拟生鲜筐对生鲜货物进行检测分割，能够提高生鲜货物的检测准确度，使得检测算法能够更好地应用在实际场景，具有一定的检测算法契合度，提升了算法普适性，具备规模化使用的可能。
附图说明
18.图1为本发明实施例中的一种生鲜货物的检测方法流程图；
19.图2为本发明实施例中的一种生鲜货物的检测装置的结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在生鲜货物检测场景中，超市管理者往往将生鲜货物放置在一个篮筐或者纸盒中，以提升美感和方便管理。因此，本发明实施例不直接对生鲜货架上的货物进行检测，而是先检测出每个生鲜筐单元，再基于每个生鲜筐单元对货物进行检测分割。具体地，可以将每个篮筐或者纸箱作为一个天然的单位对生鲜货架进行切分，每个单位作为一个小单元，再基于每个小单元利用检测算法或者分割算法将其中的生鲜货物检测出来，以此提升整体数据的精度。本发明实施例将这类盛放生鲜的筐称为生鲜筐，当出现某些生鲜货物没有生鲜筐归纳时，则考虑生成一个虚拟的小单元进行补充，即，生成一个虚拟生鲜筐。此外，为体现上述两者的区别，在本发明实施例的某些部分，将这类盛放生鲜的篮筐或者纸箱称为真实生鲜筐。
22.本发明实施例提供了一种生鲜货物的检测方法，如图1所示，包括以下步骤：
23.步骤101，采集货架图像，并从所述货架图像中检测出货架上的真实生鲜筐和价签。
24.本实施例中，可以通过相机采集货架图像，货架图像的内容包括货架上的真实生鲜筐和价签。
25.进一步地，可以通过生鲜筐检测算法，从货架图像中检测出货架上的真实生鲜筐，即用于放置生鲜货物的篮筐或者纸盒；通过电子价签检测算法，从货架图像中检测出货架上的价签；此外，还可以从货架图像中检测出整体货架的边缘坐标。
26.步骤102，基于所述货架上的价签，生成虚拟生鲜筐。
27.具体地，可以获取在水平方向上相邻的价签之间的连线的中心点；根据所述中心点，生成虚拟生鲜筐。
28.本实施例中，可以将四个中心点组合成一个虚拟生鲜筐，所述四个中心点包括第一中心点、第二中心点、第三中心点和第四中心点，所述第一中心点与所述第二中心点在水平方向上相邻，所述第三中心点与所述第四中心点在水平方向上相邻，所述第一中心点与所述第三中心点在竖直方向上相邻，所述第二中心点与所述第四中心点在竖直方向上相邻；
29.或者，也可以将两个中心点和货架边缘组合成一个虚拟生鲜筐，所述两个中心点包括第五中心点和第六中心点，所述第五中心点与所述第六中心点在水平方向或竖直方向上相邻。
30.步骤103，根据所述真实生鲜筐的位置信息，对所述虚拟生鲜筐的位置信息进行修正。
31.具体地，可以循环遍历第一数据集和第二数据集，判断所述第一数据集中的第i个生鲜筐的中心点是否在所述第二数据集中的第j个虚拟生鲜筐中；所述第一数据集包括所有从所述货架图像中检测出的真实生鲜筐，所述第二数据集包括所有虚拟生鲜筐；i和j均为大于或等于1的整数；
32.如果第i个生鲜筐的中心点在第j个虚拟生鲜筐中，则从所述第j个虚拟生鲜筐中去除交叠区域，所述交叠区域为所述第i个生鲜筐与所述第j个虚拟生鲜筐之间的重合区域；
33.如果所述第一数据集中的所有生鲜筐的中心点均不在第j个虚拟生鲜筐中，则将所述第j个虚拟生鲜筐添加到所述第一数据集。
34.步骤104，基于所述真实生鲜筐和所述虚拟生鲜筐，对货架上的生鲜货物进行检测。
35.具体地，可以基于第一数据集中的所有生鲜筐，对货架上的生鲜货物进行检测。
36.通过执行本实施例的上述步骤，可以确定第一数据集包含了所有从货架图像中检测出的真实生鲜筐以及生成的虚拟生鲜筐，再基于所有生鲜筐可以对货架上的货物逐一检测分割出来，以此实现生鲜货架上所有货物的检出。
37.本发明实施例从货架图像中检测出货架上的真实生鲜筐，使用虚拟生鲜筐对可能出现的漏检情况进行辅助补充，再基于真实生鲜筐和虚拟生鲜筐对生鲜货物进行检测分割，能够提高生鲜货物的检测准确度，使得检测算法能够更好地应用在实际场景，具有一定的检测算法契合度，提升了算法普适性，具备规模化使用的可能。
38.如图2所示，为本发明实施例中的一种生鲜货物的检测装置的结构示意图，包括：
39.采集模块210，用于采集货架图像。
40.第一检测模块220，用于从所述货架图像中检测出货架上的真实生鲜筐和价签。
41.生成模块230，用于基于所述货架上的价签，生成虚拟生鲜筐。
42.具体地，生成模块230包括：
43.获取子模块，用于获取在水平方向上相邻的价签之间的连线的中心点；
44.生成子模块，用于根据所述中心点，生成虚拟生鲜筐。
45.本实施例中，生成子模块，具体用于将四个中心点组合成一个虚拟生鲜筐，所述四个中心点包括第一中心点、第二中心点、第三中心点和第四中心点，所述第一中心点与所述第二中心点在水平方向上相邻，所述第三中心点与所述第四中心点在水平方向上相邻，所述第一中心点与所述第三中心点在竖直方向上相邻，所述第二中心点与所述第四中心点在竖直方向上相邻；
46.或者，
47.将两个中心点和货架边缘组合成一个虚拟生鲜筐，所述两个中心点包括第五中心点和第六中心点，所述第五中心点与所述第六中心点在水平方向或竖直方向上相邻。
48.修正模块240，用于根据所述真实生鲜筐的位置信息，对所述虚拟生鲜筐的位置信息进行修正。
49.具体地，修正模块240，具体用于循环遍历第一数据集和第二数据集，判断所述第一数据集中的第i个生鲜筐的中心点是否在所述第二数据集中的第j个虚拟生鲜筐中；所述第一数据集包括所有从所述货架图像中检测出的真实生鲜筐，所述第二数据集包括所有虚
拟生鲜筐；i和j均为大于或等于1的整数；
50.如果第i个生鲜筐的中心点在第j个虚拟生鲜筐中，则从所述第j个虚拟生鲜筐中去除交叠区域，所述交叠区域为所述第i个生鲜筐与所述第j个虚拟生鲜筐之间的重合区域；
51.如果所述第一数据集中的所有生鲜筐的中心点均不在第j个虚拟生鲜筐中，则将所述第j个虚拟生鲜筐添加到所述第一数据集。
52.第二检测模块250，用于基于所述真实生鲜筐和所述虚拟生鲜筐，对货架上的生鲜货物进行检测。
53.具体地，第二检测模块250，具体用于基于所述第一数据集中的所有生鲜筐，对货架上的生鲜货物进行检测。
54.本发明实施例从货架图像中检测出货架上的真实生鲜筐，使用虚拟生鲜筐对可能出现的漏检情况进行辅助补充，再基于真实生鲜筐和虚拟生鲜筐对生鲜货物进行检测分割，能够提高生鲜货物的检测准确度，使得检测算法能够更好地应用在实际场景，具有一定的检测算法契合度，提升了算法普适性，具备规模化使用的可能。
55.结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
56.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。