一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种处理方法及处理装置、处理系统与流程

2022-03-09 06:32:42 来源:中国专利 TAG:


1.本技术属于机器视觉检测领域,尤其涉及一种处理方法及处理装置、处理系统。


背景技术:

2.手机等便携终端的上下盖合盖,通常采用点胶工艺实现,在点胶后、合盖前,需对点胶胶路的质量问题进行检测。点胶胶路质量问题如断胶、溢胶、异物残胶等,问题较多,而肉眼检查较为费时、效率低,同时眼睛很容易疲劳。因此,提供一种基于机器视觉的解决方案,于本领域来说非常重要。


技术实现要素:

3.为此,本技术公开如下技术方案:
4.一种处理方法,所述方法包括:
5.对待采集对象进行光谱图像采集得到第一光谱图像;
6.确定所述第一光谱图像中不同图像区域分别对应的光谱特征;
7.根据不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数;所述属性参数与待采集对象的材料相关;所述待采集对象包括检测对象和背景对象;
8.根据所述第一光谱图像中不同图像区域分别对应的属性参数,确定所述检测对象在所述第一光谱图像中对应的目标区域,并获得所述目标区域形成的第二光谱图像;
9.基于所述第二光谱图像中不同图像区域的区域特征,对所述检测对象进行异常检测。
10.可选的,所述确定所述第一光谱图像中不同图像区域分别对应的光谱特征,包括:
11.提取所述第一光谱图像中不同图像区域的采样点的光谱信息;
12.根据采样点的光谱信息,确定采样点对不同波长光的反射率,得到采样点的光谱分布特征;
13.其中,所述第一光谱图像中不同图像区域分别对应的采样点的光谱分布特征,作为所述不同图像区域分别对应的光谱特征。
14.可选的,所述根据不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数,包括:
15.根据不同图像区域分别对应的采样点的光谱分布特征及第一识别规则,识别不同图像区域分别对应的待采集对象的属性参数;其中,所述第一识别规则包括:不同属性参数分别对应的对不同波长光中每种波长光的反射率区间;
16.或,利用预先训练的第一识别模型对不同图像区域分别对应的采样点的光谱分布特征进行处理,得到不同图像区域分别对应的待采集对象的属性参数。
17.可选的,所述获得所述目标图像区域形成的第二光谱图像,包括:
18.从所述第一光谱图像中分割出所述目标区域的图像,得到所述第二光谱图像。
19.可选的,所述基于所述第二光谱图像中不同图像区域的区域特征,对所述检测对象进行异常检测,包括:
20.提取所述第二光谱图像中不同图像区域的视觉特征;
21.根据提取的视觉特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
22.可选的,所述根据提取的视觉特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理,包括:
23.根据提取的视觉特征及第二识别规则,识别所述第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,及存在异常情况下所对应的异常类型;其中,所述第二识别规则包括:检测对象的不同异常类型分别对应的基准视觉特征;
24.或,利用预先训练的第二识别模型对提取的视觉特征进行处理,得到异常识别结果;所述异常识别结果至少包括:所述第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型。
25.可选的,所述基于所述第二光谱图像中不同图像区域的区域特征,对所述检测对象进行异常检测,包括:
26.提取所述第二光谱图像中不同图像区域的光谱特征;
27.根据提取的光谱特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
28.可选的,所述根据提取的光谱特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理,包括:
29.根据提取的光谱特征及第三识别规则,识别所述第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,及存在异常情况下所对应的异常类型;其中,所述第三识别规则包括:检测对象的不同异常类型分别对应的基准光谱特征;
30.或,利用预先训练的第三识别模型对提取的光谱特征进行处理,得到异常识别结果;所述异常识别结果至少包括:所述第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型。
31.一种处理装置,所述装置包括:
32.采集模块,用于对待采集对象进行光谱图像采集得到第一光谱图像;
33.确定模块,用于确定所述第一光谱图像中不同图像区域分别对应的光谱特征;
34.识别模块,用于根据不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数;所述属性参数与待采集对象的材料相关;所述待采集对象包括检测对象和背景对象;
35.获取模块,用于根据所述第一光谱图像中不同图像区域分别对应的属性参数,确定所述检测对象在所述第一光谱图像中对应的目标区域,并获得所述目标区域形成的第二光谱图像;
36.检测模块,用于基于所述第二光谱图像中不同图像区域的区域特征,对所述检测对象进行异常检测。
37.一种处理系统,所述系统包括:
38.光源组件,用于对待采集对象进行光照处理;所述待采集对象包括检测对象和背
景对象;
39.光谱图像采集组件,用于采集所述待采集对象的第一光谱图像;
40.处理装置,用于通过执行如上文任一项所述的处理方法,实现对所述检测对象的异常检测。
41.由以上方案可知,本技术公开的处理方法及处理装置、处理系统,对检测对象及其背景对象构成的待采集对象进行光谱图像采集,并根据采集得到的第一光谱图像中不同图像区域的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数,识别的属性参数与待采集对象的材料相关,之后,根据第一光谱图像中不同图像区域分别对应的属性参数,定位、提取检测对象在第一光谱图像中对应的第二光谱图像,并基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
43.图1是本技术提供的处理方法的一种流程示意图;
44.图2是本技术提供的某采样点包含的一系列通道中的5通道色彩示意图;
45.图3是本技术提供的灰度图像、rgb图像、多光谱图像及高光谱图像分别对应的不同色彩通道的对比示意图;
46.图4是本技术提供的不同材质对多光谱/高光谱中各种波长光的反射率曲线对比图;
47.图5是本技术提供的处理方法的另一种流程示意图;
48.图6是本技术提供的点胶胶路的断胶、溢胶及异物残胶三种类型胶路缺陷的实物图;
49.图7是本技术提供的处理方法的又一种流程示意图;
50.图8是本技术提供的处理装置的组成结构图;
51.图9是本技术提供的处理系统的组成结构图。
具体实施方式
52.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
53.点胶胶路质量问题如断胶、溢胶、异物残胶等,问题较多,而肉眼检查费时费力、同时效率较低,针对该问题,申请人发现存在两种可能的解决方式,一种是,采用激光轮廓仪跟随点胶机路径扫描一圈的3d(3-dimensions,三维)方案来采集胶路数据,进行胶路异常检测;另一种是,采用2d(2-dimensions,二维)面阵相机拍摄胶路图像,之后用算法分割出胶路部分,进行胶路缺陷检测。
54.然而,上述两种解决方式存在以下缺陷:
55.1)胶路缺陷样本太少,上述两种解决方式必须积累足够多的样本才能训练得到所需的模型并随后在产线使用,需要很久的研发时间;
56.2)同一机型的胶路稍微改变(常有),就会导致胶路异常、检测精度下降,从而需要重新收集样本、训练模型;
57.3)不同机型通常胶路都是不同的,导致胶路异常检测的精度下降较大,相应需要重新收集样本、训练模型。
58.鉴于此,本技术公开一种处理方法及处理装置、处理系统,用于实现为点胶胶路等检测对象提供一种基于机器视觉的异常检测解决方案,并克服上述两种可能的解决方式存在的技术缺陷。
59.参见图1,本技术公开的处理方法的处理过程,具体包括:
60.步骤101、对待采集对象进行光谱图像采集得到第一光谱图像。
61.其中,待采集对象包括检测对象及其背景对象。检测对象及其背景对象可以是但不限于手机、平板电脑等便携终端的上下盖合盖所基于的点胶胶路,及点胶胶路的背景对象,如点胶胶路在手机上/下盖中对应的基底或周边其他对象等。
62.申请人研究发现,通常检测对象与其背景对象的材质不同,或者即使材质相同,检测对象与其背景对象在密度或厚度等属性特征方面也存在区别,且,申请人研究发现,光谱特征更容易区分不同材质或同种材质的不同密度、厚度等属性特征,从而本技术提出根据光谱特征来区分检测对象及其背景对象,以从检测对象与其背景对象的光谱图像中识别、提取检测对象对应的光谱图像部分,用于检测对象的异常检测。相比于上述两种可能的解决方式,通过光谱特征区分检测对象及其背景对象,能够更准确、快速的识别、提取检测对象对应的图像部分。
63.基于上述技术思路,对于检测对象及其背景对象构成的待采集对象,首先在本步骤101,对待采集对象进行光谱图像采集,得到待采集对象的第一光谱图像。
64.可以但不限于采用多光谱相机或高光谱相机作为采集设备,对待采集对象进行光谱图像采集。实际应用中,可利用预设光源组件来辅助采集设备实现光谱图像采集。
65.具体的,利用光源组件对待采集对象进行照射,光源组件的照射光中包含待采集对象(如,胶路和其周边/基底)敏感的波长的光,多光谱相机/高光谱相机对处于光源组件光照下的待采集对象进行光谱图像采集,得到第一光谱图像。
66.其中,可优选采用能用于发射全波段光的白炽灯作为光源组件。
67.步骤102、确定第一光谱图像中不同图像区域分别对应的光谱特征。
68.第一光谱图像中不同图像区域分别对应的光谱特征,包括第一光谱图像中不同图像区域的采样点分别对应的光谱分布特征。
69.多光谱相机/高光谱相机采集得到的待采集对象的第一光谱图像中,每个采样点的光谱包括一系列通道,如可以有100以上的色彩通道,参见图2,提供了某个采样点包含的一系列通道中的5通道色彩(具体以不同灰度表征)示意图,反映了该采样点对相应波长光的反射情况。
70.同时,结合参见图3,提供了灰度图像、rgb(red-green-blue,红绿蓝)图像、多光谱图像及高光谱图像分别对应的不同色彩通道的对比示意图(同样以不同灰度表征不同的色
彩通道),与普通的灰度、rgb图像相比,光谱图像(多光谱图像/高光谱图像)拥有更丰富、复杂的色彩通道,能更精准地体现被拍摄物体对不同波长光的反射情况。申请人研究发现,不同材质的物体对各种波长光的反射情况不同,以及同一材质不同密度、厚度的物体对各波长光的反射情况也存在区别,相应导致不同材质或相同材质不同密度/厚度的物体的光谱图像分别呈现不同的光谱分布特征。参见图4中不同材质对多光谱/高光谱中各种波长光的反射率曲线,pvc、acrylic、pet、ps这些不同材质,对各种波长光分别有不同的反射率,相应在拍摄得到的光谱图像中分别呈现不同的光谱分布特征。
71.从而,针对待采集对象的第一光谱图像,本技术实施例提取第一光谱图像中不同图像区域的采样点的光谱信息,如不同采样点包含的各色彩通道取值,并根据采样点的光谱信息,确定采样点对不同波长光的反射率,利用采样点对不同波长光的反射率表征采样点的光谱分布特征,相应得到第一光谱图像中不同图像区域分别对应的光谱特征,以用于作为识别第一光谱图像中检测对象及其背景对象(如点胶胶路及其基底/周边)的依据。
72.步骤103、根据不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数。
73.上述属性参数为与待采集对象的材料相关的参数,包括但不限于待采集对象的材质、密度和/或厚度。
74.在确定出第一光谱图像中不同图像区域分别对应的光谱特征后,本实施例继续根据第一光谱图像中不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的材质、密度和/或厚度等属性参数。
75.可选的,在一实施方式中,利用预先训练的第一识别模型对不同图像区域分别对应的采样点的光谱分布特征进行处理,得到不同图像区域分别对应的待采集对象的属性参数。
76.该实施方式中,预先训练用于对第一光谱图像中不同图像区域进行光谱特征提取并根据提取的光谱特征识别不同区域的属性参数的第一识别模型。以检测对象及其背景对象分别为点胶胶路及其基底/周边为例,可预先采集一系列胶路和胶路旁边材料(胶路的基底/周边)的光谱图像,并分别标注每一光谱图像中胶路和胶路旁边材料所对应的材质、密度和/或厚度等属性信息,得到标注有胶路和胶路旁边材料的属性信息的一系列光谱图像,并作为模型训练样本,在此基础上,利用训练样本对cnn(convolutional neural networks,卷积神经网络)等网络模型进行训练,通过训练过程不断使模型学习样本图像中不同图像区域的光谱分布特征及其对应的属性信息(材质、密度和/或厚度)间的潜在关联,进而使训练所得的模型能够提取光谱图像中不同区域的光谱分布特征,并根据光谱图像中不同区域的光谱分布特征识别不同区域分别对应的材质、密度和/或厚度等属性信息。
77.但不限于上述的基于第一识别模型的实施方式,在其他实施方式中,可以根据第一光谱图像中不同图像区域分别对应的采样点的光谱分布特征及第一识别规则,识别不同图像区域分别对应的待采集对象的属性参数。
78.该实施方式中,预先制定第一识别规则,第一识别规则包括:不同属性参数分别对应的对不同波长光中每种波长光的反射率区间。如,不同材质分别对应的对不同波长光中每种波长光的反射率区间,和/或相同材质的不同密度、厚度分别对应的对不同波长光中每种波长光的反射率区间。
79.在根据第一光谱图像中不同图像区域分别对应的采样点的光谱分布特征及第一识别规则,识别不同图像区域分别对应的待采集对象的属性参数时,具体可识别第一光谱图像中不同图像区域分别对应的采样点对不同波长光中每种波长光的反射率,在所述第一识别规则中实际所处的反射率区间,并将实际所处的反射率区间在该第一识别规则中对应的属性参数,如材质和/或密度、厚度等属性参数,作为不同图像区域分别对应的待采集对象的属性参数。
80.步骤104、根据第一光谱图像中不同图像区域分别对应的属性参数,确定检测对象在第一光谱图像中对应的目标区域,并获得目标区域形成的第二光谱图像。
81.在识别出第一光谱图像中不同图像区域分别对应的待采集对象的属性参数后,进一步根据不同图像区域分别对应的属性参数,并结合检测对象的实际属性参数,确定检测对象在第一光谱图像中对应的目标区域。例如,根据第一光谱图像中不同图像区域分别对应的待采集对象的材质,以及点胶胶路的实际材质,确定点胶胶路在第一光谱图像中对应的目标区域。
82.之后,通过图像分割等手段,从第一光谱图像中提取目标区域形成的第二光谱图像,即为检测对象如点胶胶路的光谱图像。
83.步骤105、基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测。
84.最终,基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测,如检测点胶胶路上是否存在点胶缺陷,以及存在点胶缺陷情况下的具体缺陷类型等。
85.点胶胶路上的缺陷类型包括但不限于断胶、溢胶、异物残胶等多种类型。
86.由以上方案可知,本技术公开的处理方法,对检测对象及其背景对象构成的待采集对象进行光谱图像采集,并根据采集得到的第一光谱图像中不同图像区域的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数,识别的属性参数与待采集对象的材料相关,之后,根据第一光谱图像中不同图像区域分别对应的属性参数,定位、提取检测对象在第一光谱图像中对应的第二光谱图像,并基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测。从而,本技术实现了一种对点胶胶路等检测对象的基于机器视觉的异常检测解决方案。
87.并且,本技术通过光谱特征区分检测对象及其背景对象,相比于已有基于采用2d面阵相机或激光轮廓仪采集胶路等检测对象数据以实现异常检测的方案,能够更准确、快速的识别提取检测对象对应的图像部分,不受检测对象的变化影响,对于同型号检测对象的不同形态(如胶路调整)或换型号换产线的情况均具有非常强的适应性,同时克服了小样本问题,缩短了换型换线的准备时间,提升了对检测对象异常检测的准确率及效率。
88.在基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测时,本技术提供的一种可选实施方式是,根据第二光谱图像中不同图像区域的视觉特征对检测对象进行异常检测。
89.参见图5提供的处理方法的流程示意图,该实施方式中,图1所示处理方法中的步骤105可进一步实现为:
90.步骤1051、提取第二光谱图像中不同图像区域的视觉特征。
91.具体的,可以但不限于基于图像边缘检测和/或图像局部特征点提取等技术,通过
对第二光谱图像的不同图像区域进行边缘检测和/或特征点提取等处理,识别第二光谱图像不同图像区域的各种边缘特征和/或局部特征,作为不同图像区域的视觉特征。
92.以点胶胶路的第二光谱图像为例,提取的视觉特征包括但不限于点胶胶路的边缘线条形状、走向(如,规则的直线/折线线条、固定的走向等),相应类型点胶缺陷呈现的式样、形状(如,各种不规则的异形形状)特征、和/或相比于周边较为规则的胶路所存在的凹陷(如断胶)、凸起(如异物残胶、溢胶)、外溢(如溢胶)等特征。
93.步骤1052、根据提取的视觉特征,对第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
94.之后以提取的视觉特征作为识别依据,对第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
95.可选的,在一种实施方式中,根据提取的第二光谱图像的视觉特征及第二识别规则,识别第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,以及存在异常情况下具体对应的异常类型。
96.该实施方式中,预先制定用于对检测对象进行异常类型识别的第二识别规则,第二识别规则包括:检测对象的不同异常类型分别对应的基准视觉特征。如,点胶胶路的断胶、溢胶或异物残胶等不同异常类型分别对应的基准视觉特征等,参考图6提供的点胶胶路的断胶、溢胶及异物残胶三种不同类型胶路缺陷的实物图,实际应用中,可结合检测对象不同异常类型分别呈现的实际视觉特征(优选的为足够数据量的缺陷样本呈现的具备代表性的通用特征),来进行第二识别规则中不同异常类型分别对应的基准视觉特征的设定。
97.在另一种实施方式中,利用预先训练的第二识别模型对提取的第二光谱图像的视觉特征进行处理,得到异常识别结果。异常识别结果至少包括:第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型,可选的,异常识别结果具体可以为:第二识别模型输出的为第二光谱图像标注有其异常区域并为异常区域关联标注有具体异常类型(如,断胶、溢胶或异物残胶)的已标注光谱图像。
98.该实施方式中,预先训练用于对第二光谱图像进行视觉特征提取及基于提取的视觉特征实现对检测对象异常检测的第二识别模型。以检测对象为点胶胶路为例,可预先获得一系列异常及非异常点胶胶路的光谱图像,并为每一光谱图像标注对应的标签,如,为正常点胶胶路的光谱图像标注表征“胶路正常/非异常”的标签,为异常点胶胶路的光谱图像勾勒出其异常区域,并为异常区域关联标注具体的异常类型(如,断胶、溢胶或异物残胶)等,得到标注有标签信息的一系列胶路光谱图像,并作为模型训练样本,在此基础上,利用训练样本对cnn(convolutional neural networks,卷积神经网络)等网络模型进行训练,通过训练过程,不断使模型学习样本图像中胶路不同区域的视觉特征与其对应的区域是否异常及异常情况下的具体异常类型间的潜在关联,进而使训练所得的模型能够提取第二光谱图像中不同区域的视觉特征,并根据提取的视觉特征识别对应区域是否异常以及异常情况下具体对应哪种异常类型。
99.后续,通过将第二光谱图像输入第二识别模型,即可得到第二识别模型基于第二光谱图像中不同区域的视觉特征对检测对象进行异常检测所输出的异常检测结果。
100.在基于第二光谱图像中不同图像区域的区域特征,对检测对象进行异常检测时,本技术提供的另一种可选实施方式是,根据第二光谱图像中不同图像区域的光谱特征对检
测对象进行异常检测。
101.参见图7提供的处理方法的流程示意图,该实施方式中,图1所示处理方法中的步骤105可进一步实现为:
102.步骤1053、提取第二光谱图像中不同图像区域的光谱特征。
103.第二光谱图像中不同图像区域的光谱特征,可以包括第二光谱图像中不同图像区域的采样点分别对应的光谱分布特征。
104.其中,具体可提取第二光谱图像中不同图像区域的采样点的光谱信息,如不同采样点包含的各色彩通道取值,并根据采样点的光谱信息,确定采样点对不同波长光的反射率,利用采样点对不同波长光的反射率表征采样点的光谱分布特征,相应得到第二光谱图像中不同图像区域的光谱特征。
105.步骤1054、根据提取的光谱特征,对第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
106.之后以提取的光谱特征作为识别依据,对第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理,以识别检测对象不同区域是否存在异常,以及存在异常情况下的异常类型,如断胶、溢胶或异物残胶等。
107.与基于视觉特征的异常检测方式相类似,在基于光谱特征对检测对象进行异常检测时,一种可选实施方式是,根据提取的光谱特征及第三识别规则,识别第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,及存在异常情况下具体对应的异常类型。
108.该实施方式中,预先制定用于对检测对象进行异常类型识别的第三识别规则,第三识别规则包括:检测对象的不同异常类型分别对应的基准光谱特征。实际应用中,可根据检测对象的不同异常类型分别呈现的实际光谱特征(优选的为足够数据量的缺陷样本呈现的具备代表性的通用特征),进行第三识别规则中不同异常类型分别对应的基准光谱特征的设定。
109.以检测对象为点胶胶路为例,胶路缺陷为断胶时,断胶区域的材质为胶路基底的材质,与正常胶路区域的材质不同,相应导致断胶区域与正常胶路区域在第二光谱图像中分别呈现不同的光谱分布特征;胶路缺陷为溢胶时,结合参见图6,溢胶区域的胶材厚度一般与正常胶路区域的胶材厚度存在差别,相应导致溢胶区域与正常胶路区域的光谱特征产生区别;胶路缺陷为异物残胶时,缺陷区域的材质为胶材与异物的混合材质,可结合参考图6的示例,该情况下,同样会导致缺陷区域与正常胶路区域的光谱特征存在区别,并且不同缺陷类型通常分别对应不同的光谱特征。从而,可结合胶路不同缺陷类型分别呈现的实际光谱特征,对第三识别规则中不同胶路缺陷分别对应的基准光谱特征进行设定。
110.在另一种实施方式中,利用预先训练的第三识别模型对提取的第二光谱图像的光谱特征进行处理,得到异常识别结果。异常识别结果至少包括:第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型,可选的,异常识别结果具体可以为:第三识别模型输出的为第二光谱图像标注有其异常区域并为异常区域关联标注有具体异常类型(如,断胶、溢胶或异物残胶)的已标注光谱图像。
111.该实施方式中,预先训练用于对第二光谱图像进行光谱特征提取及基于提取的光谱特征实现对检测对象异常检测的第三识别模型。以检测对象为点胶胶路为例,可预先获得一系列异常及非异常点胶胶路的光谱图像,并为每一光谱图像标注对应的标签,如,为正
常点胶胶路的光谱图像标注表征“胶路正常/非异常”的标签,为异常点胶胶路的光谱图像勾勒出其异常区域,并关联标注具体的异常类型(如,断胶、溢胶或异物残胶)等,得到标注有标签信息的一系列胶路光谱图像,并作为模型训练样本,在此基础上,利用训练样本对cnn(convolutional neural networks,卷积神经网络)等网络模型进行训练,通过训练过程,不断使模型学习样本图像中胶路不同区域的光谱特征与其对应的区域是否异常以及异常情况下的具体异常类型间的潜在关联,进而使训练所得的模型能够提取第二光谱图像中不同区域的光谱特征,并根据第二光谱图像中不同区域的光谱特征识别该区域是否异常以及异常情况下具体对应哪种异常类型。
112.后续,通过将第二光谱图像输入第三识别模型,即可得到第三识别模型基于第二光谱图像中不同区域的光谱特征对检测对象进行异常检测所输出的异常检测结果。
113.综上所述,由于光谱特征更容易区分不同的材料,本技术根据光谱特征区分检测对象及其背景对象,相比于已有基于采用2d面阵相机或激光轮廓仪采集胶路等检测对象数据以实现异常检测的方案,能够更准确、快速的识别提取检测对象对应的图像部分,不受检测对象的变化影响,对于同型号检测对象的不同形态(如胶路调整)或换型号换产线的情况均具有非常强的适应性,同时克服了小样本问题,缩短了换型换线的准备时间,提升了对检测对象异常检测的准确率及效率。
114.对应于上述的处理方法,本技术实施例还提供一种处理装置,该装置的组成结构如图8所示,具体包括:
115.采集模块801,用于对待采集对象进行光谱图像采集得到第一光谱图像;
116.确定模块802,用于确定所述第一光谱图像中不同图像区域分别对应的光谱特征;
117.识别模块803,用于根据不同图像区域分别对应的光谱特征,识别不同图像区域分别对应的待采集对象的属性参数;所述属性参数与待采集对象的材料相关;所述待采集对象包括检测对象和背景对象;
118.获取模块804,用于根据所述第一光谱图像中不同图像区域分别对应的属性参数,确定所述检测对象在所述第一光谱图像中对应的目标区域,并获得所述目标区域形成的第二光谱图像;
119.检测模块805,用于基于所述第二光谱图像中不同图像区域的区域特征,对所述检测对象进行异常检测。
120.在一实施方式中,确定模块802,具体用于:
121.提取所述第一光谱图像中不同图像区域的采样点的光谱信息;
122.根据采样点的光谱信息,确定采样点对不同波长光的反射率,得到采样点的光谱分布特征;
123.其中,所述第一光谱图像中不同图像区域分别对应的采样点的光谱分布特征,作为所述不同图像区域分别对应的光谱特征。
124.在一实施方式中,识别模块803,具体用于:
125.根据不同图像区域分别对应的采样点的光谱分布特征及第一识别规则,识别不同图像区域分别对应的待采集对象的属性参数;其中,所述第一识别规则包括:不同属性参数分别对应的对不同波长光中每种波长光的反射率区间;
126.或,利用预先训练的第一识别模型对不同图像区域分别对应的采样点的光谱分布
特征进行处理,得到不同图像区域分别对应的待采集对象的属性参数。
127.在一实施方式中,获取模块804,在获得所述目标区域形成的第二光谱图像时,具体用于:
128.从所述第一光谱图像中分割出所述目标区域的图像,得到所述第二光谱图像。
129.在一实施方式中,检测模块805,具体用于:
130.提取所述第二光谱图像中不同图像区域的视觉特征;
131.根据提取的视觉特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
132.在一实施方式中,检测模块805,在根据提取的视觉特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理时,具体用于:
133.根据提取的视觉特征及第二识别规则,识别所述第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,及存在异常情况下所对应的异常类型;其中,所述第二识别规则包括:检测对象的不同异常类型分别对应的基准视觉特征;
134.或,利用预先训练的第二识别模型对提取的视觉特征进行处理,得到异常识别结果;所述异常识别结果至少包括:所述第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型。
135.在一实施方式中,检测模块805,具体用于:
136.提取所述第二光谱图像中不同图像区域的光谱特征;
137.根据提取的光谱特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理。
138.在一实施方式中,检测模块805,在根据提取的光谱特征,对所述第二光谱图像中不同图像区域对应的检测对象区域进行异常类型的识别处理时,具体用于:
139.根据提取的光谱特征及第三识别规则,识别所述第二光谱图像中不同图像区域对应的检测对象区域是否存在异常,及存在异常情况下所对应的异常类型;其中,所述第三识别规则包括:检测对象的不同异常类型分别对应的基准光谱特征;
140.或,利用预先训练的第三识别模型对提取的光谱特征进行处理,得到异常识别结果;所述异常识别结果至少包括:所述第二光谱图像中不同图像区域对应的检测对象区域存在异常情况下的异常类型。
141.对于本技术实施例公开的数据的处理装置而言,由于其与上文各方法实施例公开的处理方法相对应,所以描述的比较简单,相关相似之处请参见上文相应方法实施例的说明即可,此处不再详述。
142.另外,本技术实施例还公开一种处理系统,参见图9,该系统包括光源组件901、光谱图像采集组件902和如上一实施例提供的处理装置903。
143.光源组件901,用于对待采集对象进行光照处理。光源组件901的照射光中包含待采集对象(如,胶路和其周边/基底)敏感的波长的光,待采集对象包括检测对象和背景对象。
144.其中,可优选采用能用于发射全波段光的白炽灯作为光源组件。
145.光谱图像采集组件902,用于采集待采集对象的第一光谱图像。光谱图像采集组件902可以是但不限于多光谱相机或高光谱相机。
146.处理装置903,用于通过执行如上文任一方法实施例提供的处理方法,实现对检测对象的异常检测。
147.关于该处理系统中各组成部分的功能,及通过各组成部分的协同实现对检测对象的异常检测的处理过程,具体可参见上文方法实施例的相关说明,不再详述。
148.需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
149.为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
150.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
151.最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
152.以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献