木板缺陷检测方法、装置、电子设备及存储介质与流程

1.本发明涉及缺陷检测技术领域，尤其涉及一种木板缺陷检测方法、装置、电子设备及存储介质。


背景技术：

2.实木板材是重要的生产原料，被广泛运用于家具、地板等产品中。木材在生长、加工和储存过程中会产生各种缺陷，例如：死结，活结，虫孔，开裂，蓝变，发黑，黑点和白点等。木材供应量不足和利用率低下，是阻碍我国木材工业的发展的重要原因。因此，在进行成品加工生产之前对实木板材的原料进行缺陷检测，可以降低产品不合格率，提高生产效率，促进林业资源的可持续发展。
3.传统的检测方式是通过人工观察来对木板的缺陷情况来判断木板的正面或者背面为优选面，从而利于木板加工成产品。长时间的工作易使工作人员视觉疲劳，使得判断结果的稳定性和持久性较差，最终影响产品的质量，不适用于现代化生产的发展要求。


技术实现要素：

4.鉴于以上内容，本发明提供一种木板缺陷检测方法、装置、电子设备及存储介质，其目的在于解决目前检测方式是通过人工观察来对木板的缺陷情况来判断木板的正面或者背面为优选面，从而利于木板加工成产品。长时间的工作易使工作人员视觉疲劳，使得判断结果的稳定性和持久性较差，最终影响产品的质量的技术问题。
5.为实现上述目的，本发明提供一种木板缺陷检测方法，所述方法包括：
6.获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；
7.将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；
8.根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。
9.在其中一实施例中，所述方法应用于电子设备，所述电子设备包括线扫相机和翻板组件；所述获取木板正面图像和木板背面图像包括：
10.控制所述线扫相机拍摄木板朝上的一面，得到木板正面图像；得到所述木板正面图像后，控制所述翻板组件对木板进行180度翻转，使得木板的另一面朝上，控制所述线扫相机拍摄木板朝上的另一面，得到木板背面图像。
11.在其中一实施例中，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像包括：
12.根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面
灰度图；根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像；对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像；根据所述正面操作图像和背面操作图像，计算出所述正面操作图像和背面操作图像对应的最大前景轮廓；
13.根据所述正面操作图像和背面操作图像对应的最大前景轮廓，从所述正面操作图像中提取出木板区域图像作为正面木板区域图像，从所述背面操作图像中提取出木板区域图像作为背面木板区域图像；根据所述正面操作图像和背面操作图像对应的最大前景轮廓，对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到处理完成的正面木板图像和木板背面图像。
14.在其中一实施例中，所述根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面灰度图包括：
15.将所述木板正面图像和所述木板背面图像均缩小至第一预设分辨率，一一对应地得到正面缩小图像和背面缩小图像，将所述正面缩小图像转化为正面灰度图，将所述背面缩小图像转化为背面灰度图。
16.在其中一实施例中，所述对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像包括：
17.对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到操作完成的正面二值图像和背面二值图像，将所述操作完成的正面二值图像和背面二值图像均放大至第二预设分辨率，一一对应地得到正面操作图像和背面操作图像，所述第一预设分辨率小于第二预设分辨率。
18.在其中一实施例中，所述根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像包括：
19.对所述正面灰度图和背面灰度图均进行伽马增强，一一对应地得到正面增强图像和背面增强图像，对所述正面增强图像和背面增强图像均进行动态阈值分割，一一对应地得到正面二值图像和背面二值图像。
20.在其中一实施例中，所述根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像包括：
21.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为无缺陷数据时，将所述木板背面图像作为优选图像；
22.当所述木板正面图像对应的识别数据为无缺陷数据，且所述木板背面图像对应的识别数据为缺陷信息数据时，将所述木板正面图像作为优选图像；
23.当所述木板背面图像对应的识别数据为无缺陷数据，且所述木板正面图像对应的识别数据为缺陷信息数据时，将所述木板背面图像作为优选图像；
24.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为缺陷信息数据时，判断所述木板正面图像对应的缺陷数量是否大于所述木板背面图像对应的缺陷数量，当所述木板正面图像对应的缺陷数量大于所述木板背面图像对应的缺陷数量时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷数量小于所述木板背面图像对应的缺陷数量时，将所述木板正面图像作为优选图像；
25.当所述木板正面图像对应的缺陷数量等于所述木板背面图像对应的缺陷数量时，
判断所述木板正面图像对应的缺陷面积是否大于所述木板背面图像对应的缺陷面积，当所述木板正面图像对应的缺陷面积大于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷面积小于所述木板背面图像对应的缺陷面积时，将所述木板正面图像作为优选图像，当所述木板正面图像对应的缺陷面积等于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像。
26.为实现上述目的，本发明还提供一种木板缺陷检测装置，所述装置包括：
27.获取模块，用于获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；
28.输入模块，用于将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；
29.判断模块，用于根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。
30.为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：
31.至少一个处理器；以及，
32.与所述至少一个处理器通信连接的存储器；其中，
33.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的木板缺陷检测方法。
34.为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有木板缺陷检测程序，所述木板缺陷检测程序被处理器执行时，实现如上所述的木板缺陷检测方法的步骤。
35.本发明提出的木板缺陷检测方法、装置、电子设备及存储介质，获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。如此，无需人工识别木板正面和背面的缺陷情况，木板优选面的判断结果的稳定性和持久性较好。
附图说明
36.图1为本发明电子设备较佳实施例的示意图；
37.图2为本发明木板缺陷检测装置较佳实施例的模块示意图；
38.图3为本发明木板缺陷检测方法较佳实施例的流程图；
39.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
40.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.参照图1所示，为本发明电子设备1较佳实施例的示意图。
42.该电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯装置(global system of mobile communication，gsm)、宽带码分多址(wideband code division multiple access，wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi、通话网络等无线或有线网络。
43.其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作装置和各类应用软件，例如木板缺陷检测程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
44.处理器12在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行木板缺陷检测程序10的程序代码等。
45.显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organic light-emitting diode，oled)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。
46.网络接口14可选地可以包括标准的有线接口、无线接口(如wi-fi接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
47.图1仅示出了具有组件11-14以及木板缺陷检测程序10的电子设备1和云端数据库2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
48.可选地，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organic light-emitting diode，oled)触摸器等。其中，显示器
也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
49.该电子设备1还可以包括射频(radio frequency，rf)电路、传感器和音频电路等等，在此不再赘述。该电子设备1还包括线扫相机、翻板组件、皮带运输机。线扫相机、翻板组件、皮带运输机均与处理器电性连接。
50.在上述实施例中，处理器12执行存储器11中存储的木板缺陷检测程序10时可以实现如下步骤：
51.获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；
52.将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；
53.根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。
54.关于上述步骤的详细介绍，请参照下述图2关于木板缺陷检测装置100实施例的功能模块图以及图3关于木板缺陷检测方法实施例的流程图的说明。
55.参照图2所示，为本发明木板缺陷检测装置100的功能模块图。
56.本发明所述木板缺陷检测装置100可以安装于电子设备中。木板缺陷检测装置100可以采用浏览器/服务器模式(browser/server，b/s)架构管理平台。根据实现的功能，所述木板缺陷检测装置100可以包括存储模块110和查询模块120。本发明中所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
57.在本实施例中，关于各模块/单元的功能如下：
58.获取模块110，用于获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像。
59.在本实施例中，所述获取木板正面图像和木板背面图像包括：控制所述线扫相机拍摄木板朝上的一面，得到木板正面图像；得到所述木板正面图像后，控制所述翻板组件对木板进行180度翻转，使得木板的另一面朝上，控制所述线扫相机拍摄木板朝上的另一面，得到木板背面图像。
60.可以理解的是，木板的正面和背面是相对布置的两个面。所拍摄扫描的木板通常为矩形，木板的长度方向与木板正背面图像的长度方向大致平行，而且木板区域的长边离原始木板图像的长边间隔较大。木板放在黑色的皮带上，且该木板由皮带输送至预先设定好的位置，以利于线扫相机对木板进行扫描。当线扫相机采集木板图像时，木板在皮带上运动，采集的图像包含较多的背景部分(换言之，木板正面图像和木板背面图像均包括木板区域和背景区域)，并且所采集的图像可能存在干扰，不利于后续的深度学习模型处理，需对木板区域进行提取等一系列的预处理。
61.对所述木板正面图像进行预处理，得到处理完成的木板正面图像。对木板背面图
像均进行预处理，得到处理完成的木板背面图像。预处理可将木板正面图像和木板背面图像转换成利于深度学习模型处理的图像。
62.可选地，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像包括：
63.根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面灰度图；根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像；对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像；根据所述正面操作图像和背面操作图像，计算出所述正面操作图像和背面操作图像对应的最大前景轮廓；
64.根据所述正面操作图像和背面操作图像对应的最大前景轮廓，从所述正面操作图像中提取出木板区域图像作为正面木板区域图像，从所述背面操作图像中提取出木板区域图像作为背面木板区域图像；根据所述正面操作图像和背面操作图像对应的最大前景轮廓，对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到处理完成的正面木板图像和木板背面图像。
65.可以理解的是，将木板正面图像转化为正面灰度图；将木板背面图像转化为背面灰度图。对正面灰度图进行动态阈值分割，获得正面二值图像；对背面灰度图进行动态阈值分割，获得背面二值图像。对所述正面二值图像进行形态学操作，得到正面操作图像；对背面二值图像均进行形态学操作，得到背面操作图像。从正面操作图像中提取出对应的最大前景轮廓；从背面操作图像中提取出对应的最大前景轮廓。根据所述正面操作图像对应的最大前景轮廓，从所述正面操作图像中提取出木板区域图像作为正面木板区域图像；根据背面操作图像对应的最大前景轮廓，从所述背面操作图像中提取出木板区域图像作为背面木板区域图像。根据所述正面操作图像对应的最大前景轮廓，对所述正面木板区域图像进行仿射变换纠偏，得到处理完成的正面木板图像。根据背面操作图像对应的最大前景轮廓，对所述木板背面区域图像进行仿射变换纠偏，得到处理完成的木板背面图像。可计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，根据最小外接矩形的四角坐标及最小外接矩形的四角角度对正面木板区域和背面木板区域进行仿射变换纠偏。
66.可选地，所述根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面灰度图包括：将所述木板正面图像和所述木板背面图像均缩小至第一预设分辨率，一一对应地得到正面缩小图像和背面缩小图像，将所述正面缩小图像转化为正面灰度图，将所述背面缩小图像转化为背面灰度图。
67.可以理解的是，将所述木板正面图像缩小至第一预设分辨率，得到正面缩小图像；将所述木板背面图像缩小至第一预设分辨率，得到背面缩小图像。第一预设分辨率可以为木板正面图像原始分辨率的一半，以减少处理时间。木板正面图像的原始分辨率与木板背面图像的原始分辨率相同。
68.可选地，所述对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像包括：对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到操作完成的正面二值图像和背面二值图像，将所述操作完成的正面二值图像和背面二值图像均放大至第二预设分辨率，一一对应地得到正面操作图像和
背面操作图像，所述第一预设分辨率小于第二预设分辨率。
69.可以理解的是，对所述正面二值图像进行形态学操作，得到操作完成的正面二值图像；对背面二值图像进行形态学操作，得到操作完成的背面二值图像。形态学操作包括去除孤立干扰和平滑前景区域。将所述操作完成的正面二值图像放大至第二预设分辨率，得到正面操作图像；将所述操作完成的背面二值图像放大至第二预设分辨率，得到背面操作图像。第二预设分辨率与木板正面图像的原始分辨率相同。第二预设分辨率是第一预设分辨率的两倍。
70.此时，计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，根据最小外接矩形的四角坐标及最小外接矩形的四角角度对正面木板区域和背面木板区域进行仿射变换纠偏，包括：计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，将计算出的最小外界矩形四点坐标乘以2，恢复到原始图像尺度空间，基于变换后四点坐标和倾斜角度进行仿射变换，获得倾斜校正后的木板区域图像。
71.所述对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到处理完成的正面木板图像和木板背面图像，包括：对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到正面纠偏图像和背面纠偏图像，正面纠偏图像和背面纠偏图像均具有长边和短边，长边的像素值比短边的像素值大，对正面纠偏图像和背面纠偏图像按预设像素大小在长边方向上滑窗，获得若干个子图块，并记录每个子图像相对木板区域图像长边方向的位置信息(即每个子图像y轴起始像素位置，y轴对应长边方向)，得到处理完成的正面木板图像和木板背面图像。
72.具体地，将正面纠偏图像的短边缩放至一预设像素值，将正面纠偏图像的长边调整至所述预设像素值的m倍，m为大于2的正整数。对正面纠偏图像和背面纠偏图像按预设像素大小在长边方向上滑窗，获得若干个正方形子图块。
73.例如，对木板区域图像的短边缩放至640像素，短边缩放比例为α＝640w,α为短边缩放比例，为保证对长条形木板进行合理切分，需将长边缩放至640的倍数形式。首先，按h
′
＝h
×
α将长边按短边缩放比例进行缩放；然后按h
″
＝round(h
′
/640)
×
640取整变换，获得变换后木板区域图像，其中round()为四舍五入计算，w为缩放前木板区域图像短边像素，h为变换前木板区域的长边像素，h'为按短边缩放比例缩放后长边像素，h”为取整变换后最终的长边像素。
74.对变换后木板区域图像按640
×
640像素大小在长边方向上滑窗，获得若干个正方形子图块，并记录每个子图像相对木板区域图像长边方向的位置信息，每个子图像y轴起始像素位置为：(n-1)
×
640，n为子图像序号，以1起始。
75.可选地，所述根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像包括：对所述正面灰度图和背面灰度图均进行伽马增强，一一对应地得到正面增强图像和背面增强图像，对所述正面增强图像和背面增强图像均进行动态阈值分割，一一对应地得到正面二值图像和背面二值图像。
76.可以理解的是，对所述正面灰度图进行伽马增强，得到正面增强图像；对所述背面灰度图进行伽马增强，得到背面增强图像。伽马增强可将黑色背景区域和木板前景区域的差别进行凸显增强。对所述正面增强图像进行动态阈值分割，得到正面二值图像。对背面增
强图像进行动态阈值分割，得到背面二值图像。在二值图像中，木板区域为前景白色，其它区域为背景黑色。
77.输入模块120，用于将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置。
78.在本实施例中，缺陷类型包括：死结，活结，虫孔，开裂，蓝变，发黑，黑点，白点。深度学习模型由输入组件、特征提取骨架、特征融合组件和预测组件组成。无缺陷数据说明该识别数据对应的图像没有存在缺陷，而缺陷信息数据说明该识别数据对应的图像存在缺陷。
79.深度学习模型的输入组件采用mosaic、mixup两种数据增强方法，通过随机缩放、随机裁剪、随机排布等方式进行标注图像拼接，实现模型对不同样本分布的学习过程，提升模型检测性能；
80.特征提取骨架网络采用darknet53的网络结构；
81.特征融合组件采用fpn pan结构。fpn将高层的特征信息，通过上采样的方式进行传递融合，自顶向下传达强语义特征，增强多个尺度上的语义表达。pan是一个自底向上的特征金字塔，把浅层的定位信息传导到深层，增强多个尺度上的定位能力。fpn pan相结合的特征融合组件实现高维语义和低层精确位置的有效融合，提升网络对目标的感知能力；
82.深度学习模型的预测组件由三个独立的解耦头组成，分别完成判断目标框是前景还是背景；对目标框的类别进行分类，预测分数；对目标框的坐标信息进行预测。
83.深度学习模型训练构建步骤包括：
84.人工挑选木板a、b面有缺陷的图像；
85.对挑选出有缺陷的图像进行木板区域提取和滑窗切片等预处理操作后，获得若干子图像；
86.筛选出含有任一缺陷的子图像，人工对子图像中的缺陷类别及坐标进行标注；
87.收集每个类别的缺陷不少于一千张子图像，随机打乱，按8:2比例拆分训练集和验证集数据；
88.对训练集和验证集图像进行增广，包括：亮度变化、角度旋转、x/y轴随机镜像和尺寸缩放，扩增数据集样本量；
89.将标注和增广后的图像及标签输入深度学习模型进行训练，学习缺陷的特征表达；
90.经100轮的训练，获得训练好的深度学习模型权重文件，完成训练构建过程。
91.深度学习模型预测步骤包括：
92.木板a、b面图像分别经木板区域提取和滑窗切片等预处理操作后，各获得一组子图像；
93.两组子图像按分别成批输入训练好的深度学习模型进行推理预测，输出每组子图像的预测结果，对每组子图像检出结果的y轴方向坐标加上每个子图像y轴起始像素位置，经切分位融合，即可获得整个木板区域a、b两面图像的缺陷位置及类别。
94.切分位融合包括判断子图像的切分位置是否存在一个缺陷跨越两个相邻子图像的情形(即单个缺陷被切分成两个缺陷)，如有则将两个缺陷合并为一个新缺陷，新缺陷的左上坐标取前子图像的缺陷左上坐标，新缺陷的右下坐标取后子图像的缺陷右下坐标。
95.可以理解的是，每个子图像的大小是一致的(640像素的正方形)，如果当前子图像中检测出的缺陷目标(是一个矩形)的右下坐标y值为640，后一个子图像中检出缺陷目标的左上坐标y值为0，且前后检出的两个缺陷目标类别一致，则认为这两个缺陷跨越了两个子图像，可以进行合并。
96.判断模块130，用于根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。
97.本实施例中，所述根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像包括：
98.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为无缺陷数据时，将所述木板背面图像作为优选图像；
99.当所述木板正面图像对应的识别数据为无缺陷数据，且所述木板背面图像对应的识别数据为缺陷信息数据时，将所述木板正面图像作为优选图像；
100.当所述木板背面图像对应的识别数据为无缺陷数据，且所述木板正面图像对应的识别数据为缺陷信息数据时，将所述木板背面图像作为优选图像；
101.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为缺陷信息数据时，判断所述木板正面图像对应的缺陷数量是否大于所述木板背面图像对应的缺陷数量，当所述木板正面图像对应的缺陷数量大于所述木板背面图像对应的缺陷数量时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷数量小于所述木板背面图像对应的缺陷数量时，将所述木板正面图像作为优选图像，
102.当所述木板正面图像对应的缺陷数量等于所述木板背面图像对应的缺陷数量时，判断所述木板正面图像对应的缺陷面积是否大于所述木板背面图像对应的缺陷面积，当所述木板正面图像对应的缺陷面积大于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷面积小于所述木板背面图像对应的缺陷面积时，将所述木板正面图像作为优选图像，当所述木板正面图像对应的缺陷面积等于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像。
103.值得一提的是，在判断出所述木板正面图像或所述木板背面图像作为优选图像之后，判断模块还用于获取木板当前朝上一面的图像作为对比图像，判断对比图像是否为优选图像，当对比图像不是优选图像时，控制翻板组件将木板翻转180度。当对比图像是优选图像时，则无需驱动翻板组件。
104.电子设备还包括良品仓、缺陷仓和异常结果仓，良品仓暂存优选图像无缺陷对应的木板，缺陷仓存放优选图像有缺陷信息数据对应的木板各缺陷类型木板，异常结果仓存放处理异常木板，异常结果仓木板可放回上料模块重新检测一遍。
105.本发明提出的木板缺陷检测装置，获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训
练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。如此，无需人工识别木板正面和背面的缺陷情况，木板优选面的判断结果的稳定性和持久性较好。
106.此外，本发明还提供一种木板缺陷检测方法，该方法应用于电子设备。参照图3所示，为本发明木板缺陷检测方法的实施例的方法流程示意图。电子设备1的处理器12执行存储器11中存储的木板缺陷检测程序10时实现木板缺陷检测方法的如下步骤：
107.步骤s10：获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像。
108.在本实施例中，所述获取木板正面图像和木板背面图像包括：控制所述线扫相机拍摄木板朝上的一面，得到木板正面图像；得到所述木板正面图像后，控制所述翻板组件对木板进行180度翻转，使得木板的另一面朝上，控制所述线扫相机拍摄木板朝上的另一面，得到木板背面图像。
109.可以理解的是，木板的正面和背面是相对布置的两个面。所拍摄扫描的木板通常为矩形，木板的长度方向与木板正背面图像的长度方向大致平行，而且木板区域的长边离原始木板图像的长边间隔较大。木板放在黑色的皮带上，且该木板由皮带输送至预先设定好的位置，以利于线扫相机对木板进行扫描。当线扫相机采集木板图像时，木板在皮带上运动，采集的图像包含较多的背景部分(换言之，木板正面图像和木板背面图像均包括木板区域和背景区域)，并且所采集的图像可能存在干扰，不利于后续的深度学习模型处理，需对木板区域进行提取等一系列的预处理。
110.对所述木板正面图像进行预处理，得到处理完成的木板正面图像。对木板背面图像均进行预处理，得到处理完成的木板背面图像。预处理可将木板正面图像和木板背面图像转换成利于深度学习模型处理的图像。
111.可选地，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像包括：
112.根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面灰度图；根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像；对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像；根据所述正面操作图像和背面操作图像，计算出所述正面操作图像和背面操作图像对应的最大前景轮廓；
113.根据所述正面操作图像和背面操作图像对应的最大前景轮廓，从所述正面操作图像中提取出木板区域图像作为正面木板区域图像，从所述背面操作图像中提取出木板区域图像作为背面木板区域图像；根据所述正面操作图像和背面操作图像对应的最大前景轮廓，对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到处理完成的正面木板图像和木板背面图像。
114.可以理解的是，将木板正面图像转化为正面灰度图；将木板背面图像转化为背面灰度图。对正面灰度图进行动态阈值分割，获得正面二值图像；对背面灰度图进行动态阈值分割，获得背面二值图像。对所述正面二值图像进行形态学操作，得到正面操作图像；对背
面二值图像均进行形态学操作，得到背面操作图像。从正面操作图像中提取出对应的最大前景轮廓；从背面操作图像中提取出对应的最大前景轮廓。根据所述正面操作图像对应的最大前景轮廓，从所述正面操作图像中提取出木板区域图像作为正面木板区域图像；根据背面操作图像对应的最大前景轮廓，从所述背面操作图像中提取出木板区域图像作为背面木板区域图像。根据所述正面操作图像对应的最大前景轮廓，对所述正面木板区域图像进行仿射变换纠偏，得到处理完成的正面木板图像。根据背面操作图像对应的最大前景轮廓，对所述木板背面区域图像进行仿射变换纠偏，得到处理完成的木板背面图像。可计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，根据最小外接矩形的四角坐标及最小外接矩形的四角角度对正面木板区域和背面木板区域进行仿射变换纠偏。
115.可选地，所述根据所述木板正面图像和所述木板背面图像，一一对应地得到正面灰度图和背面灰度图包括：将所述木板正面图像和所述木板背面图像均缩小至第一预设分辨率，一一对应地得到正面缩小图像和背面缩小图像，将所述正面缩小图像转化为正面灰度图，将所述背面缩小图像转化为背面灰度图。
116.可以理解的是，将所述木板正面图像缩小至第一预设分辨率，得到正面缩小图像；将所述木板背面图像缩小至第一预设分辨率，得到背面缩小图像。第一预设分辨率可以为木板正面图像原始分辨率的一半，以减少处理时间。木板正面图像的原始分辨率与木板背面图像的原始分辨率相同。
117.可选地，所述对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到正面操作图像和背面操作图像包括：对所述正面二值图像和背面二值图像均进行形态学操作，一一对应地得到操作完成的正面二值图像和背面二值图像，将所述操作完成的正面二值图像和背面二值图像均放大至第二预设分辨率，一一对应地得到正面操作图像和背面操作图像，所述第一预设分辨率小于第二预设分辨率。
118.可以理解的是，对所述正面二值图像进行形态学操作，得到操作完成的正面二值图像；对背面二值图像进行形态学操作，得到操作完成的背面二值图像。形态学操作包括去除孤立干扰和平滑前景区域。将所述操作完成的正面二值图像放大至第二预设分辨率，得到正面操作图像；将所述操作完成的背面二值图像放大至第二预设分辨率，得到背面操作图像。第二预设分辨率与木板正面图像的原始分辨率相同。第二预设分辨率是第一预设分辨率的两倍。
119.此时，计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，根据最小外接矩形的四角坐标及最小外接矩形的四角角度对正面木板区域和背面木板区域进行仿射变换纠偏，包括：计算出正面木板区域和背面木板区域各自对应的最大轮廓的最小外接矩形的四角坐标及最小外接矩形的四角角度，将计算出的最小外界矩形四点坐标乘以2，恢复到原始图像尺度空间，基于变换后四点坐标和倾斜角度进行仿射变换，获得倾斜校正后的木板区域图像。
120.所述对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到处理完成的正面木板图像和木板背面图像，包括：对所述正面木板区域图像和所述木板背面区域图像均进行仿射变换纠偏，一一对应地得到正面纠偏图像和背面纠偏图像，正面纠偏图像和背面纠偏图像均具有长边和短边，长边的像素值比短边的像素值大，
对正面纠偏图像和背面纠偏图像按预设像素大小在长边方向上滑窗，获得若干个子图块，并记录每个子图像相对木板区域图像长边方向的位置信息(即每个子图像y轴起始像素位置，y轴对应长边方向)，得到处理完成的正面木板图像和木板背面图像。
121.具体地，将正面纠偏图像的短边缩放至一预设像素值，将正面纠偏图像的长边调整至所述预设像素值的m倍，m为大于2的正整数。对正面纠偏图像和背面纠偏图像按预设像素大小在长边方向上滑窗，获得若干个正方形子图块。
122.例如，对木板区域图像的短边缩放至640像素，短边缩放比例为α＝640w,α为短边缩放比例，为保证对长条形木板进行合理切分，需将长边缩放至640的倍数形式。首先，按h
′
＝h
×
α将长边按短边缩放比例进行缩放；然后按h
″
＝round(h
′
/640)
×
640取整变换，获得变换后木板区域图像，其中round()为四舍五入计算，w为缩放前木板区域图像短边像素，h为变换前木板区域的长边像素，h'为按短边缩放比例缩放后长边像素，h”为取整变换后最终的长边像素。
123.对变换后木板区域图像按640
×
640像素大小在长边方向上滑窗，获得若干个正方形子图块，并记录每个子图像相对木板区域图像长边方向的位置信息，每个子图像y轴起始像素位置为：(n-1)
×
640，n为子图像序号，以1起始。
124.可选地，所述根据所述正面灰度图和背面灰度图，一一对应地得到正面二值图像和背面二值图像包括：对所述正面灰度图和背面灰度图均进行伽马增强，一一对应地得到正面增强图像和背面增强图像，对所述正面增强图像和背面增强图像均进行动态阈值分割，一一对应地得到正面二值图像和背面二值图像。
125.可以理解的是，对所述正面灰度图进行伽马增强，得到正面增强图像；对所述背面灰度图进行伽马增强，得到背面增强图像。伽马增强可将黑色背景区域和木板前景区域的差别进行凸显增强。对所述正面增强图像进行动态阈值分割，得到正面二值图像。对背面增强图像进行动态阈值分割，得到背面二值图像。在二值图像中，木板区域为前景白色，其它区域为背景黑色。
126.步骤s20：将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置。
127.在本实施例中，缺陷类型包括：死结，活结，虫孔，开裂，蓝变，发黑，黑点，白点。深度学习模型由输入组件、特征提取骨架、特征融合组件和预测组件组成。无缺陷数据说明该识别数据对应的图像没有存在缺陷，而缺陷信息数据说明该识别数据对应的图像存在缺陷。
128.深度学习模型的输入组件采用mosaic、mixup两种数据增强方法，通过随机缩放、随机裁剪、随机排布等方式进行标注图像拼接，实现模型对不同样本分布的学习过程，提升模型检测性能；
129.特征提取骨架网络采用darknet53的网络结构；
130.特征融合组件采用fpn pan结构。fpn将高层的特征信息，通过上采样的方式进行传递融合，自顶向下传达强语义特征，增强多个尺度上的语义表达。pan是一个自底向上的特征金字塔，把浅层的定位信息传导到深层，增强多个尺度上的定位能力。fpn pan相结合
的特征融合组件实现高维语义和低层精确位置的有效融合，提升网络对目标的感知能力；
131.深度学习模型的预测组件由三个独立的解耦头组成，分别完成判断目标框是前景还是背景；对目标框的类别进行分类，预测分数；对目标框的坐标信息进行预测。
132.深度学习模型训练构建步骤包括：
133.人工挑选木板a、b面有缺陷的图像；
134.对挑选出有缺陷的图像进行木板区域提取和滑窗切片等预处理操作后，获得若干子图像；
135.筛选出含有任一缺陷的子图像，人工对子图像中的缺陷类别及坐标进行标注；
136.收集每个类别的缺陷不少于一千张子图像，随机打乱，按8:2比例拆分训练集和验证集数据；
137.对训练集和验证集图像进行增广，包括：亮度变化、角度旋转、x/y轴随机镜像和尺寸缩放，扩增数据集样本量；
138.将标注和增广后的图像及标签输入深度学习模型进行训练，学习缺陷的特征表达；
139.经100轮的训练，获得训练好的深度学习模型权重文件，完成训练构建过程。
140.深度学习模型预测步骤包括：
141.木板a、b面图像分别经木板区域提取和滑窗切片等预处理操作后，各获得一组子图像；
142.两组子图像按分别成批输入训练好的深度学习模型进行推理预测，输出每组子图像的预测结果，对每组子图像检出结果的y轴方向坐标加上每个子图像y轴起始像素位置，经切分位融合，即可获得整个木板区域a、b两面图像的缺陷位置及类别。
143.切分位融合包括判断子图像的切分位置是否存在一个缺陷跨越两个相邻子图像的情形(即单个缺陷被切分成两个缺陷)，如有则将两个缺陷合并为一个新缺陷，新缺陷的左上坐标取前子图像的缺陷左上坐标，新缺陷的右下坐标取后子图像的缺陷右下坐标。
144.可以理解的是，每个子图像的大小是一致的(640像素的正方形)，如果当前子图像中检测出的缺陷目标(是一个矩形)的右下坐标y值为640，后一个子图像中检出缺陷目标的左上坐标y值为0，且前后检出的两个缺陷目标类别一致，则认为这两个缺陷跨越了两个子图像，可以进行合并。
145.步骤s30：根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。
146.本实施例中，所述根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像包括：
147.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为无缺陷数据时，将所述木板背面图像作为优选图像；
148.当所述木板正面图像对应的识别数据为无缺陷数据，且所述木板背面图像对应的识别数据为缺陷信息数据时，将所述木板正面图像作为优选图像；
149.当所述木板背面图像对应的识别数据为无缺陷数据，且所述木板正面图像对应的识别数据为缺陷信息数据时，将所述木板背面图像作为优选图像；
150.当所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据均为
缺陷信息数据时，判断所述木板正面图像对应的缺陷数量是否大于所述木板背面图像对应的缺陷数量，当所述木板正面图像对应的缺陷数量大于所述木板背面图像对应的缺陷数量时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷数量小于所述木板背面图像对应的缺陷数量时，将所述木板正面图像作为优选图像，
151.当所述木板正面图像对应的缺陷数量等于所述木板背面图像对应的缺陷数量时，判断所述木板正面图像对应的缺陷面积是否大于所述木板背面图像对应的缺陷面积，当所述木板正面图像对应的缺陷面积大于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像，当所述木板正面图像对应的缺陷面积小于所述木板背面图像对应的缺陷面积时，将所述木板正面图像作为优选图像，当所述木板正面图像对应的缺陷面积等于所述木板背面图像对应的缺陷面积时，将所述木板背面图像作为优选图像。
152.值得一提的是，在判断出所述木板正面图像或所述木板背面图像作为优选图像之后，所述方法还包括获取木板当前朝上一面的图像作为对比图像，判断对比图像是否为优选图像，当对比图像不是优选图像时，控制翻板组件将木板翻转180度。当对比图像是优选图像时，则无需驱动翻板组件。
153.电子设备还包括良品仓、缺陷仓和异常结果仓，良品仓暂存优选图像无缺陷对应的木板，缺陷仓存放优选图像有缺陷信息数据对应的木板各缺陷类型木板，异常结果仓存放处理异常木板，异常结果仓木板可放回上料模块重新检测一遍。
154.本发明提出的木板缺陷检测方法，获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判断出所述木板正面图像或所述木板背面图像作为优选图像。如此，无需人工识别木板正面和背面的缺陷情况，木板优选面的判断结果的稳定性和持久性较好。
155.此外，本发明实施例还提出一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、sd卡、闪存卡、smc、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有木板缺陷检测程序10，所述木板缺陷检测程序10被处理器执行时实现如下操作：
156.获取木板正面图像和木板背面图像，所述对所述木板正面图像和所述木板背面图像均进行预处理，一一对应地得到处理完成的木板正面图像和木板背面图像；
157.将所述处理完成的木板正面图像输入预先训练完成的深度学习模型，得到所述木板正面图像对应的识别数据；将所述处理完成的木板背面图像输入预先训练完成的深度学习模型，得到所述木板背面图像对应的识别数据；所述识别数据包括无缺陷数据或者缺陷信息数据，所述缺陷信息数据包括缺陷类型、缺陷数量、缺陷面积和缺陷位置；
158.根据所述木板正面图像对应的识别数据和所述木板背面图像对应的识别数据，判
断出所述木板正面图像或所述木板背面图像作为优选图像。
159.需要强调的是，本发明之计算机可读存储介质的具体实施方式与上述木板缺陷检测方法的具体实施方式大致相同，在此不再赘述。
160.本发明之计算机可读存储介质的具体实施方式与上述木板缺陷检测方法的具体实施方式大致相同，在此不再赘述。
161.需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
162.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。
163.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。