葵花籽异常区域识别方法及装置、葵花籽分选方法及设备与流程

1.本发明涉及物料分选技术领域，尤其涉及一种葵花籽异常区域识别方法及装置、葵花籽分选方法及设备。


背景技术：

2.葵花籽上出现影响其外观的异常区域，会形成花粒葵花籽，这类葵花籽甚至可能影响食用，因此，需要对葵花籽中的花粒进行识别以便进行分选，从而可以减少对商家销售的影响。异常区域可能有多种类型，参照图1，如脱皮区域，出现脱皮区域的主要原因有两个方面，一方面是葵花籽在自然生长过程中，如果内部出现了霉变，则表面容易出现脱皮；另一方面是由于存储运输等原因造成脱皮。


技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此，本发明的第一个目的在于提出一种葵花籽异常区域识别方法，包括：
5.采集葵花籽图像；基于所述葵花籽图像，利用颜色或深度卷积分割网络预测模型对所述葵花籽进行异常区域的预识别，得到疑似异常区域；根据所述疑似异常区域的形状特征判断所述疑似异常区域是否为异常区域。
6.本技术方案中，根据颜色或深度卷积分割网络预测模型对葵花籽进行预识别，得到疑似异常区域，然后根据疑似异常区域的形状特征疑似异常区域再确认其是否为异常区域。在这个过程中，通过颜色或深度卷积分割网络进行预识别，能够有效提高识别效率，基于预识别结果，进一步通过形状特征确认是否异常区域，可以排除误识别，从而实现对葵花籽异常区域的识别。多种识别方式相结合，先预识别，再排除误识别，既能保证一定识别效率，还能进一步提高识别精度。
7.可选的，所述基于所述葵花籽图像，利用颜色对所述葵花籽进行异常区域识别，得到疑似异常区域，包括：从所述葵花籽图像中，提取所述葵花籽每个像素点的目标通道的灰度值，判断每个所述灰度值是否大于预设灰度阈值，其中，所述目标通道为rgb通道中的任一通道；将所述灰度值大于所述预设灰度阈值的像素点组成的区域确定为疑似异常区域。
8.可选的，所述异常区域为脱皮区域，所述目标通道为g通道。
9.可选的，所述根据所述疑似异常区域的形状特征判断所述疑似异常区域是否为异常区域，包括：根据所述疑似异常区域的面积、行向宽度和列向宽度，计算所述疑似异常区域的平均宽度；判断所述平均宽度是否小于预设宽度阈值；如果小于，则判定所述疑似异常区域不是异常区域，和/或，如果大于，则判断所述疑似区域为异常区域。
10.可选的，所述根据所述疑似异常区域的形状特征判断所述疑似异常区域是否为异常区域，包括：计算所述疑似异常区域预设方向宽度的变化幅度；判断所述变化幅度是否大于预设幅度阈值；如果小于，则判定所述疑似异常区域不是异常区域，和/或，如果大于，则判定所述疑似异常区域为异常区域。
11.可选的，所述计算所述疑似异常区域预设方向宽度的变化幅度，包括：统计所述疑似异常区域中沿所述预设方向延伸的每排像素点个数，以及排数，其中，如果列向宽度大于行向宽度，所述预设方向为行向，否则为列向；根据统计的排数和每排像素点个数，计算排像素点个数均值；根据排数、每排像素点个数和排像素点个数均值，计算排像素点个数方差；将所述排像素点个数方差作为所述疑似异常区域预设方向宽度的变化幅度。
12.可选的，所述计算所述疑似异常区域预设方向宽度的变化幅度，包括：统计所述疑似异常区域中每两排相邻像素点个数差，以及排数，其中，每排像素点沿所述预设方向延伸，如果列向宽度大于行向宽度，所述预设方向为行向，否则为列向；根据统计的排数和每两排相邻像素点个数差，计算排像素点个数差均值；根据排数、每两排相邻像素点个数差和排像素点个数差均值，计算个数差方差；将所述个数差方差作为所述疑似异常区域预设方向宽度的变化幅度。
13.本发明的第二个目的在于提出一种葵花籽分选方法，包括：
14.根据上述任一项所述的葵花籽异常区域识别方法识别出异常区域；
15.控制剔除模块剔除带有异常区域的葵花籽。
16.本发明的第三个目的在于提出一种葵花籽异常区域识别装置。该装置包括：采集模块，用于采集葵花籽图像；预识别模块，用于基于所述葵花籽图像，利用颜色或深度卷积分割网络预测模型对所述葵花籽进行异常区域的预识别，得到疑似异常区域；判断模块，用于根据所述疑似异常区域的形状特征判断所述疑似异常区域是否为异常区域。
17.本发明的第四个目的在于提出一种葵花籽分选设备。
18.为达到上述目的，本发明第四方面实施例提出了一种葵花籽分选设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的葵花籽异常区域识别方法，或上述葵花籽分选方法。
19.本发明实施例的葵花籽分选设备，通过执行上述的葵花籽异常区域识别方法，能够实现对葵花籽异常区域的识别，保证一定识别效率的同时，提高了异常区域识别精度。
20.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
21.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
22.图1为带有脱皮区域的葵花籽；
23.图2为正常的葵花籽；
24.图3为本发明实施例提供的一种葵花籽异常区域识别方法的流程图；
25.图4为本发明实施例提供的一种葵花籽异常区域识别装置的结构框图。
具体实施方式
26.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
27.下面参考附图描述本发明实施例的一种葵花籽异常区域识别方法及装置。需要说明的是，本实施例中的行向是指图像中一行像素点的排列延伸方向，如图1中从左到右或从右到左的方向；列向是指图像中一列像素点的排列延伸方向，如图1中从上至下或从下至上的方向；而一排像素点的排列延伸方向是预设方向，如果预设方向为行向，则一排像素点可以指一行像素点，如果预设方向为列向，则一排像素点可以指一列像素点。
28.参照图3，本发明实施例提供的一种葵花籽异常区域识别方法，包括：
29.s101、采集葵花籽图像。例如，本发明实施例提供的葵花籽异常区域识别别方法应用于葵花籽分选设备时，可以通过高速相机采集葵花籽分选设备下料时葵花籽的图像。
30.s102、基于葵花籽图像，利用颜色或深度卷积分割网络预测模型对葵花籽进行异常区域的预识别，得到疑似异常区域。
31.异常区域可以包括脱皮区域、病斑区域、虫蚀区域和霉变区域中的一种或任意多种的组合。通过颜色或深度卷积分割网络预测模型进行识别，可能会存在一些误识别，也就是说疑似异常区域可能为异常区域，也可能不是异常区域。
32.一种实施方式中，基于葵花籽图像，利用颜色对葵花籽进行异常区域识别，得到疑似异常区域，包括：
33.(1)从葵花籽图像中，提取葵花籽每个像素点的目标通道的灰度值，判断每个灰度值是否大于预设灰度阈值，其中，目标通道为rgb通道中的任一通道。如果异常区域为脱皮区域，目标通道可以为g通道即绿通道，相对其他两个通道来说，g通道的灰度值差别较大，效果较好。脱皮区域的颜色与葵花籽原本的浅色区域接近，阈值可以是根据葵花籽原有的浅色区域与异常区域的差别来设置的，从而可以将浅色区域与异常区域区分开。
34.(2)将灰度值大于预设灰度阈值的像素点组成的区域确定为疑似异常区域。在目标通道的灰度值大于预设灰度阈值的情况下，该像素点为疑似的异常像素点，所有确定的疑似的异常像素点组成疑似异常区域。
35.另一种实施方式中，通过深度卷积分割网络预测模型对葵花籽的异常区域进行预识别。搭建深度卷积分割网络训练模型，采集用于训练的物料的样本图像并对样本的异常区域进行像素级的标记，然后采用标记后的样本对所搭建的深度卷积分割网络训练模型，以得到可以实现识别功能的深度卷积分割网络预测模型。
36.s103、根据疑似异常区域的形状特征判断疑似异常区域是否为异常区域。
37.正常的葵花籽表面可以由条纹形的浅色区域和条纹形的深色区域组成，如果识别到的疑似异常区域的形状特征与条纹形相差较大，则可以判断该疑似异常区域为影响葵花籽外观的异常区域。
38.采用色选技术对葵花籽花粒进行分选，可以通过颜色进行识别，正常葵花籽表面深浅颜色区域分布均匀，所出现的异常区域可能与葵花籽原本的深色区域或浅色区域的颜色接近，如若深色区域出现脱皮现象时，则会出现与浅色区域颜色接近的脱皮区域。由于颜色接近，所以通过颜色难以实现对葵花籽异常区域的高精度识别，存在一定程度的误识别，如图1和图2所示，将图1中脱皮区域识别出来的同时，可能也会将图2中的浅皮区域误识别为脱皮区域。
39.本实施例中，根据颜色或深度卷积分割网络预测模型对葵花籽进行预识别，得到疑似异常区域，然后根据疑似异常区域的形状特征对疑似异常区域再确认其是否为异常区
域。在这个过程中，通过颜色或深度卷积分割网络进行预识别，能够有效提高识别效率，基于预识别结果，进一步通过形状特征确认是否异常区域，可以排除误识别，从而实现对葵花籽异常区域的识别。多种识别方式相结合，先预识别，再排除误识别，既能保证一定识别效率，还能进一步提高识别精度。
40.需要说明的是，每个疑似异常区域为一个连通域，针对葵花籽图像，通过预识别得到的疑似异常区域的数量可能为1个，也可能为多个。本实施例中，针对每个疑似异常区域都可以实现进一步判断，判断其是否为异常区域。
41.根据疑似异常区域的形状特征判断疑似异常区域是否为异常区域，包括：
42.(1)根据疑似异常区域的面积、行向宽度和列向宽度，计算疑似异常区域的平均宽度。
[0043][0044]
其中，为疑似异常区域的平均宽度，s表示疑似异常区域的面积，即作为疑似异常区域的连通域的面积，w,h分别表示疑似异常区域即对应连通域的行向宽度和列向宽度。
[0045]
(2)判断平均宽度是否小于预设宽度阈值，如果小于，则判定疑似异常区域不是异常区域，和/或，如果大于，则判断疑似区域为异常区域。
[0046]
可以理解的是，一种实施方式中，如果平均宽度小于预设宽度阈值，则可以判断疑似异常区域不是异常区域。对于平均宽度大于预设宽度阈值的疑似异常区域，可以将该疑似异常区域直接判定为异常区域，或者通过其他方式再进一步判断其是否为异常区域，该其他方式如可以为本文的其他任一种判断疑似异常区域是否为异常区域的方式。
[0047]
另一种实施方式中，如果平均宽度大于预设宽度阈值，则可以将该疑似异常区域直接判定为异常区域，对于平均宽度小于预设宽度阈值的疑似异常区域，可以将该疑似异常区域直接判定为不是异常区域，或者通过其他方式再进一步判断其是否为异常区域，该其他方式如可以为本文的其他任一种判断疑似异常区域是否为异常区域的方式。
[0048]
葵花籽表面的条纹宽度偏窄，通过设定的宽度阈值可以将葵花籽正常的表面与异常区域区分开，从而识别出异常区域。
[0049]
根据疑似异常区域的形状特征判断疑似异常区域是否为异常区域，包括：计算疑似异常区域预设方向宽度的变化幅度，预设方向为行向或列向；判断变化幅度是否大于预设幅度阈值；如果小于，则判定疑似异常区域不是异常区域，和/或，如果大于，则判定疑似异常区域为异常区域。。
[0050]
可以理解的是，一种实施方式中，如果变化幅度小于预设幅度阈值，则可以判断疑似异常区域不是异常区域。对于变化幅度大于预设幅度阈值的疑似异常区域，可以将该疑似异常区域直接判定为异常区域，或者通过其他方式再进一步判断其是否为异常区域，该其他方式如可以为本文的其他任一种判断疑似异常区域是否为异常区域的方式。
[0051]
另一种实施方式中，如果变化幅度大于预设幅度阈值，则可以将该疑似异常区域直接判定为异常区域，对于变化幅度小于预设幅度阈值的疑似异常区域，可以将该疑似异常区域直接判定为不是异常区域，或者通过其他方式再进一步判断其是否为异常区域，该其他方式可以如后文的任一种判断疑似异常区域是否为异常区域的方式。
[0052]
一种实施方式中，计算疑似异常区域预设方向宽度的变化幅度，包括：
[0053]
统计疑似异常区域中沿预设方向延伸的每排像素点个数，以及排数，其中，如果列向宽度大于行向宽度，预设方向为行向，否则为列向；根据统计的排数和每排像素点个数，计算排像素点个数均值；根据排数、每排像素点个数和排像素点个数均值，计算排像素点个数方差；将排像素点个数方差作为疑似异常区域预设方向宽度的变化幅度。
[0054]
具体实施时，一方面如果葵花籽的列向宽度大于行向宽度，前述的排就是行，则统计疑似异常区域中行数和每行像素点个数；根据统计的行数和每行像素点个数，计算行像素点个数均值；根据行数、每行像素点个数和行像素点个数均值，计算行像素点个数方差；将行像素点个数方差作为疑似异常区域预设方向宽度的变化幅度。
[0055]
另一方面，如果葵花籽的列向宽度小于行向宽度，前述的排就是列，则统计疑似异常区域中列数和每列像素点个数；根据统计的列数和每列像素点个数，计算列像素点个数均值；根据列数、每列像素点个数和列像素点个数均值，计算列像素点个数方差；将列像素点个数方差作为疑似异常区域预设方向宽度的变化幅度。
[0056]
另一种实施方式中，计算疑似异常区域预设方向宽度的变化幅度，包括：
[0057]
统计疑似异常区域中每两排相邻像素点个数差，以及排数，其中，每排像素点沿预设方向延伸，如果列向宽度大于行向宽度，预设方向为行向，否则为列向；根据统计的排数和每两排相邻像素点个数差，计算排像素点个数差均值；根据排数、每两排相邻像素点个数差和排像素点个数差均值，计算个数差方差；将个数差方差作为疑似异常区域预设方向宽度的变化幅度。
[0058]
具体应用时，一方面，如果葵花籽的列向宽度大于行向宽度，前述的排就是行，则统计疑似异常区域中行数和每两行相邻像素点个数差；根据统计的行数和每两行相邻像素点个数差，计算行像素点个数差均值；根据行数、每两行相邻像素点个数差和行像素点个数差均值，计算个数差方差；将个数差方差作为疑似异常区域预设方向宽度的变化幅度。
[0059]
另一方面，如果葵花籽的列向宽度小于行向宽度，前述的排就是列，则统计疑似异常区域中列数和每两列相邻像素点个数差；根据统计的列数和每两列相邻像素点个数差，计算列像素点个数差均值；根据列数、每两列相邻像素点个数差和列像素点个数差均值，计算个数差方差；将个数差方差作为疑似异常区域预设方向宽度的变化幅度。
[0060]
上述的方差可以按照以下公式进行：
[0061][0062]
若δ2为排(即行或列)像素点个数方差，则n为异常区域内的排(即行或列)数，x
i
为每排(即行或列)像素点个数，为排像素点个数均值。
[0063]
若δ2为个数差方差，则n为每两排(即行或列)相邻像素点个数差的数量，也就是异常区域内的排(即行或列)数减1，x
i
为每两排(即行或列)相邻像素点个数差，为排(即行或列)像素点个数差均值。
[0064]
本发明实施例还提供了一种葵花籽分选方法，该方法包括：
[0065]
首先根据上述实施例中任一项葵花籽异常区域识别方法识别出异常区域；
[0066]
然后再控制剔除模块剔除带有异常区域的葵花籽。
[0067]
基于与上述葵花籽异常区域识别方法相同的发明构思，本发明实施例还提供了一种葵花籽异常区域识别装置，参照图4，该装置包括：
[0068]
采集模块11，用于采集葵花籽图像；
[0069]
预识别模块12，用于基于葵花籽图像，利用颜色或深度卷积分割网络预测模型对葵花籽进行异常区域的预识别，得到疑似异常区域；
[0070]
判断模块13，用于根据疑似异常区域的形状特征判断疑似异常区域是否为异常区域。
[0071]
应用本装置，根据颜色或深度卷积分割网络预测模型对葵花籽进行预识别，得到疑似异常区域，然后根据疑似异常区域的形状特征疑似异常区域再确认其是否为异常区域。在这个过程中，通过颜色或深度卷积分割网络进行预识别，能够有效提高识别效率，基于预识别结果，进一步通过形状特征确认是否异常区域，可以排除误识别，从而实现对葵花籽异常区域的识别。多种识别方式相结合，先预识别，再排除误识别，既能保证一定识别效率，还能进一步提高识别精度。
[0072]
预识别模块12，具体用于从葵花籽图像中，提取葵花籽每个像素点的目标通道的灰度值，判断每个灰度值是否大于预设灰度阈值，其中，目标通道为rgb通道中的任一通道；将灰度值大于预设灰度阈值的像素点组成的区域确定为疑似异常区域。其中，异常区域为脱皮区域，目标通道为g通道。
[0073]
一种实施方式中，判断模块13，具体用于：根据疑似异常区域的面积、行向宽度和列向宽度，计算疑似异常区域的平均宽度；判断平均宽度是否小于预设宽度阈值；如果小于，则判定疑似异常区域不是异常区域，和/或，如果大于，则判断疑似区域为异常区域。
[0074]
另一种实施方式中，判断模块13，具体包括：计算单元和判断单元。
[0075]
其中，计算单元，用于计算疑似异常区域预设方向宽度的变化幅度，预设方向为行向或列向。
[0076]
判断单元，用于判断变化幅度是否大于预设幅度阈值；如果小于，则判定疑似异常区域不是异常区域，和/或，如果大于，则判定疑似异常区域为异常区域。
[0077]
一种实施方式中，计算单元，具体用于：统计疑似异常区域中沿预设方向延伸的每排像素点个数，以及排数，其中，如果列向宽度大于行向宽度，预设方向为行向，否则为列向；根据统计的排数和每排像素点个数，计算排像素点个数均值；根据排数、每排像素点个数和排像素点个数均值，计算排像素点个数方差；将排像素点个数方差作为疑似异常区域预设方向宽度的变化幅度。
[0078]
另一种实施方式中，计算单元，具体用于：统计疑似异常区域中每两排相邻像素点个数差，以及排数，其中，每排像素点沿预设方向延伸，如果列向宽度大于行向宽度，预设方向为行向，否则为列向；根据统计的排数和每两排相邻像素点个数差，计算排像素点个数差均值；根据排数、每两排相邻像素点个数差和排像素点个数差均值，计算个数差方差；将个数差方差作为疑似异常区域预设方向宽度的变化幅度。
[0079]
本发明实施例还提供了一种葵花籽分选设备，包括：上述任一种葵花籽异常区域识别装置，以及用于根据判断模块的判断结果剔除带有异常区域的葵花籽的剔除模块。
[0080]
本发明实施例还提供了一种葵花籽分选设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项的葵花籽异
常区域识别方法。
[0081]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0082]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0083]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0084]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0085]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0086]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0087]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0088]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。