一种形变检测方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及人工智能领域中的图像处理技术，尤其涉及一种形变检测方法、装置、设备及计算机可读存储介质。


背景技术：

2.集装箱由于其规格统一，常常放置在远洋货轮中，以进行货物运输。然而，集装箱板面一旦发生形变，会使得集装箱的运输效率大大降低。因此，及时发现集装箱板面的形变，对于提高集装箱的运输效率及其重要。
3.相关技术中，常用的检测集装箱形变的方式，仍旧是通过人工来进行现场验箱和测量，从而使得集装箱的形变检测效率低下。


技术实现要素：

4.本技术实施例提供一种形变检测方法、装置、设备及计算机可读存储介质，能够提高形变检测的效率。
5.本技术实施例的技术方案是这样实现的：
6.本技术实施例提供一种形变检测方法，包括：
7.采集包含有待检测箱体的表面的输入图像；所述待检测箱体为等待形变检测的箱体；
8.对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述输入图像对应的表面特征和形变特征；所述表面特征表征所述输入图像中的物体的外观信息，所述形变特征表征所述输入图像中的物体纹理的弯曲和褶皱程度；
9.基于所述表面特征和所述形变特征，从所述输入图像中确定出形变区域；所述形变区域为所述待检测箱体的表面中发生形变的区域；
10.对所述形变区域进行标注，得到所述输入图像的形变检测结果。
11.本技术实施例提供一种形变检测装置，包括：
12.图像采集模块，用于采集包含有待检测箱体的表面的输入图像；所述待检测箱体为等待形变检测的箱体；
13.特征提取模块，用于对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述输入图像对应的表面特征和形变特征；所述表面特征表征所述输入图像中的物体的外观信息，所述形变特征表征所述输入图像中的物体纹理的弯曲和褶皱程度；
14.形变确定模块，用于基于所述表面特征和所述形变特征，从所述输入图像中确定出形变区域；所述形变区域为所述待检测箱体的表面中发生形变的区域；
15.结果标注模块，用于对所述形变区域进行标注，得到所述输入图像的形变检测结果。
16.在本技术的一些实施例中，所述形变确定模块，还用于依据所述表面特征，对所述形变特征进行注意力的控制，得到待检测形变特征；所述待检测形变特征表征将注意力集
中在所述待检测箱体的表面的弯曲和褶皱程度的形变特征；依据所述待检测形变特征，从所述输入图像检测出所述形变区域。
17.在本技术的一些实施例中，所述形变确定模块，还用于利用所述表面特征，计算出所述待检测箱体的表面在所述输入图像所占据的图像权重；对所述表面特征进行全局特征的提取，得到表面全局特征向量；利用所述图像权重，对所述表面全局特征向量进行注意力的计算，得到注意力权值向量；将所述注意力权值向量与所述形变特征进行点乘，得到所述待检测形变特征。
18.在本技术的一些实施例中，所述形变确定模块，还用于对所述表面特征分别进行多种类型的池化操作，得到所述多种类型的池化操作各自对应的全局特征图；所述全局特征图包括所述待检测箱体的表面的特征和背景区域的特征；通过全连接层，将所述多种类型的池化操作各自对应全局特征图进行融合，得到所述表面全局特征向量。
19.在本技术的一些实施例中，所述特征提取模块，还用于利用图像分类器，对所述输入图像中包含的所述待检测箱体的表面进行分类，得到表面类型；当所述表面类型属于预设类型时，利用目标特征提取模型对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述表面特征和所述形变特征。
20.在本技术的一些实施例中，所述特征提取模块，还用于利用所述目标特征提取模型中的主干网络，对所述输入图像进行图像特征提取，得到所述输入图像的特征图；通过所述目标特征提取模型中的表面特征提取分支，从所述特征图中提取出所述表面特征，以及利用所述目标特征提取模型中的形变特征提取分支，从所述特征图中提取出所述形变特征。
21.在本技术的一些实施例中，所述特征提取模块，还用于利用所述表面特征，从所述输入图片中分割出所述待检测箱体的箱体表面区域；将所述箱体表面区域从所述输入图像中标注出来，得到所述输入图像的箱体表面检测结果。
22.在本技术的一些实施例中，所述形变检测装置还包括：形变分类模块；
23.所述形变分类模块，用于对所述输入图像的所述形变检测结果进行分类，得到所述形变检测结果的形变程度。
24.在本技术的一些实施例中，所述形变检测装置还包括：形变去噪模块；
25.所述形变去噪模块，用于对所述形变区域进行去噪，得到去噪后的形变区域；
26.所述结果标注模块，还用于对所述去噪后的形变区域进行标注，得到所述输入图像的所述形变检测结果。
27.在本技术的一些实施例中，所述形变区域包括：多个形变子区域；所述形变去噪模块，还用于对所述多个形变子区域中的每个形变子区域，计算出区域面积；从所述多个形变子区域中，将所述区域面积大于或等于面积阈值的形变子区域进行筛选，得到至少一个候选形变子区域；将所述至少一个候选形变子区域作为所述去噪后的形变区域。
28.在本技术的一些实施例中，所述特征提取模块，还用于利用所述表面类型，从多个预设的特征提取模型中，挑选出所述输入图像对应的匹配特征提取模型；利用所述匹配特征提取模型，对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述表面特征和所述形变特征。
29.本技术实施例提供一种形变检测设备，包括：
30.存储器，用于存储可执行形变检测指令；
31.处理器，用于执行所述存储器中存储的可执行形变检测指令时，实现本技术实施例提供的形变检测方法。
32.本技术实施例提供一种计算机可读存储介质，存储有可执行形变检测指令，用于引起处理器执行时，实现本技术实施例提供的形变检测方法。
33.本技术实施例具有以下有益效果：形变检测设备会先采集包含有等待形变检测的箱体的表面的输入图像，然后从输入图像中抽取出表征物体表面的纹理的表面特征，以及表征物体的弯曲和褶皱程度的形变特征，再结合形变特征和表面特征，从输入图像中确定出发生形变的区域，并将形变区域标注出来，得到形变检测结果。如此，形变检测设备能够借助于图像处理技术，自动从采集到的输入图像中确定出待检测箱体的形变区域，减少形变检测时所需要的时间，极大地提高形变检测的效率。
附图说明
34.图1是集装箱板面的示意图；
35.图2是集装箱板面的形变示意图；
36.图3是本技术实施例提供的形变检测系统100的一个可选的架构示意图；
37.图4是本技术实施例提供的形变检测系统100的另一个可选的架构示意图；
38.图5是本技术实施例提供的形变检测设备的结构示意图；
39.图6是本技术实施例提供的形变检测方法的一个可选的流程示意图一；
40.图7是本技术实施例提供的输入图像的示意图；
41.图8a本技术实施例提供的形变检测结果的示意图一；
42.图8b是本技术实施例提供的形变检测结果的示意图二；
43.图9是本技术实施例提供的形变检测方法的一个可选的流程示意图二；
44.图10是本技术实施例提供的形变区域的示意图；
45.图11是本技术实施例提供的生成待检测形变特征的示意图；
46.图12是本技术实施例提供的确定表面类型的过程示意图；
47.图13是本技术实施例提供的抽取表面特征和形变特征的过程示意图；
48.图14是本技术实施例提供的箱体表面区域的示意图；
49.图15是本技术实施例提供的箱体表面检测结果的示意图；
50.图16是本技术实施例提供的形变程度的示意图；
51.图17是本技术实施例提供的对集装箱板面进行形变检测的过程示意图；
52.图18是本技术实施例提供的多分支网络结构的示意图。
具体实施方式
53.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
54.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
的情况下相互结合。
55.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
56.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
57.1)云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源同一起来，实现数据的计算、存储、处理和共享的一种托管技术。
58.云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，是视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
59.2)人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
60.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
61.3)计算机视觉技术(computer vision，cv)是一门研究如何使计算机“看”的科学，更进一步说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
62.4)机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络。强化学习、迁移学习、归纳学习等技术。
63.5)集装箱，是一种按照规格标准化，用于运输各种货物的一种组成钢制箱子，因其格式规范统一，便于层层重叠堆放，从而可以大量放置于特别设计的远洋轮船上进行货物
的传输。
64.6)集装箱板面，是能够组装成为集装箱的板面，包含六个面，即底板、门、前面、左面、右面和顶面。其中，前面、左面、右面和顶面这四面统称为集装箱的板面，面与面之间由梁或者角柱进行连接与加固。示例性的，图1是集装箱板面的示意图，集装箱板面1
‑
1的六个面分别为门1
‑
11、地板1
‑
12、左面1
‑
13、右面1
‑
14、前面1
‑
15和顶面1
‑
16。其中，左面1
‑
13和右面1
‑
14在外形上是比较相似的。
65.7)集装箱板面形变，是指集装箱板面上存在的异常弯曲形变。集装箱板面一旦发生重大形变，如板面外凸使得货物重叠堆放收到影响，或者是板面内凹，使得存放货物的容积变小等，都会影响集装箱的运输效率及成本。
66.示例性的，图2是集装箱板面的形变示意图。发生形变的集装箱板面2
‑
1中，板面2
‑
11是因为锈蚀发生了形变，板面2
‑
12、板面2
‑
13和板面2
‑
14，则是同时受到了锈蚀和撞击，发生了形变，板面2
‑
15和板面2
‑
16，则是单纯由于受到了撞击发生形变。可见，集装箱板面形变的原因多种多样。
67.8)高分辨率网络，是一种深度学习方法中广泛应用的一种卷积神经网络结构，在图像分类、图像检测和图像分割等计算机视觉领域中，均取得不错的效果。不同于将高分辨率特征图和低分辨率特征图进行串联的网络设计方式，高分辨率网络在提取高层语义信息时，同时保留了高分辨率的细节特征图，从而在网络的输出端，能更好地保留图片中的细节信息，从而大大提升了网络在多尺度信息上提取的效果。
68.9)注意力机制，是一种在自然语言处理中被提出并广泛应用于计算机视觉领域的机制。其是指通过网络模型对信息的整合、计算通道或者空间像素间的相互作用，从而调整关注方向以及权重筛选，得到更好的特征提取效果。
69.集装箱由于其规格统一，常常放置在远洋货轮中，以进行货物运输。然而，集装箱板面一旦发生形变，会使得集装箱的运输效率大大降低，因此，需要检测集装箱板面的形变情况，在发现集装箱板面形变严重时及时送修，对于提高集装箱的运输效率及其重要。
70.相关技术中，存在一些利用图像处理技术，对集装箱进行检测的方法。例如，在对图片进行归一化处理并获取到特征图层之后，将特征图层输入到区域提议网络得到提议区域，将提议区域对应的特征图输入到感兴趣区域对齐网络，统一为固定大小，将统一为固定大小的感兴趣区域输入到三个网络，即分类网络、检测网络和分割网络，获得每个集装箱的位置、拍摄角度和边缘信息。
71.可见，相关技术中，仅能通过图像处理技术对集装箱的角度进行分析，还没有通过图像处理技术对集装箱的形变进行检测的方法。并且，常用的检测集装箱形变的方式，仍旧是通过人工来进行现场验箱和测量，效率低下，且人工成本高。同时，集装箱板面上的形变多种多样，大片的严重形变、平缓形变，或者是大量的磨损和锈蚀中的形变时，肉眼都是难以观察出来的，从而使得集装箱形变检测的准确度低下。
72.随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
73.对集装箱板面的形变检测，也是人工智能的应用方向。本技术实施例提供一种形
变检测方法、装置、设备和计算机可读存储介质，涉及到人工智能中的图像处理技术，能够提高形变检测的效率。
74.下面说明本技术实施例提供的形变检测设备的示例性应用，本技术实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明形变检测设备的示例性应用。
75.在一些实施例中，形变检测设备可以实施为一个设备集群，这个设备集群可以由服务器和移动终端组成，此时，本技术提供的形变检测方法中的一些步骤可以在移动终端实现，另一些步骤可以由服务器实现。
76.示例性的，参见图3，图3是本技术实施例提供的形变检测系统100的一个可选的架构示意图，为实现支撑一个形变检测应用，形变检测设备实施为一个设备集群，在该设备集群中，终端400(示例性示出了终端400
‑
1和终端400
‑
2)通过网络300连接服务器200。也即，本技术实施例提供的形变检测方法，是借助于云技术实现的。其中，网络300可以是广域网或者局域网，又或者是二者的组合。
77.终端400
‑
1和终端400
‑
2用于采集待检测箱体的输入图像。在进行形变检测时，某个工作人员可以在终端400
‑
1的图形界面400
‑
11上触发拍照按键，采集包含一些待检测箱体的表面的输入图像，并将采集到的输入图像通过网络300发送给服务器200。同时，另一个工作人员可以通过触发终端400
‑
2的图形界面400
‑
21上的拍照按键，采集包含另一些待检测箱体的表面的输入图像，并将采集到的输入图像通过网络300发送给服务器200。
78.服务器200对输入图像并行进行表面特征的提取和形变特征的提取，得到输入图像对应的表面特征和形变特征。其中，表面特征表征输入图像中的物体的外观信息，形变特征表征输入图像中的物体纹理的弯曲和褶皱程度。服务器200基于表面特征和形变特征，从输入图像中确定出形变区域，最后对形变区域进行标注，得到输入图像的形变检测结果。如此，就通过终端400和服务器200组成的设备集群，实现了对待检测箱体表面的形变检测。
79.在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
80.在另一些实施例中，形变检测设备可以实施为一个移动终端，此时，本技术提供的形变检测方法的所有步骤，均在该移动终端实现。
81.示例性的，参见图4，图4是本技术实施例提供的形变检测系统100的另一个可选的架构示意图。为实现支撑一个形变检测应用，形变检测设备实施为终端400。
82.当工作人员触发终端400的图形界面410上的拍照按键，采集包含有待检测箱体的表面的输入图像，其中，所述待检测箱体为等待形变检测的箱体。终端400对输入图像分别进行表面特征的提取和形变特征的提取，得到输入图像对应的表面特征和形变特征。接着，终端400基于表面特征和形变特征，从板面图像中确定出形变区域，其中，形变区域为待检测箱体的板面中发生形变的区域。最后，终端400对形变区域进行标注，得到输入图像的形变检测结果。如此，就通过终端400实现了对待检测箱体板面的形变检测。
83.其中，终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智
能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
84.参见图5，图5是本技术实施例提供的形变检测设备的结构示意图，图5所示的形变检测设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。形变检测设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统540。
85.处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
86.用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
87.存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
88.存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom，read only memory)，易失性存储器可以是随机存取存储器(ram，random access memory)。本技术实施例描述的存储器550旨在包括任意适合类型的存储器。
89.在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
90.操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
91.网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(wi
‑
fi)、和通用串行总线(usb，universal serial bus)等；
92.呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
93.输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
94.在一些实施例中，本技术实施例提供的装置可以采用软件方式实现，图5示出了存储在存储器550中的形变检测装置555，其可以是程序和插件等形式的软件，包括以下软件模块：图像采集模块5551、特征提取模块5552、形变确定模块5553、结果标注模块5554、形变分类模块5555和形变去噪模块5556，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
95.在另一些实施例中，本技术实施例提供的形变检测装置可以采用硬件方式实现，作为示例，本技术实施例提供的形变检测装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本技术实施例提供的形变检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件。示例性的，
96.本技术实施例提供一种形变检测设备，包括：
97.存储器，用于存储可执行形变检测指令；
98.处理器，用于执行所述存储器中存储的可执行形变检测指令时，实现本技术实施例提供的形变检测方法。
99.下面，将结合本技术实施例提供的形变检测设备的示例性应用和实施，说明本技术实施例提供的形变检测方法。
100.参见图6，图6是本技术实施例提供的形变检测方法的一个可选的流程示意图一，将结合图6示出的步骤进行说明。
101.s101、采集包含有待检测箱体的表面的输入图像。
102.本技术实施例是在对箱体的表面进行形变检测的场景下实现的，例如，在对集装箱的外表面进行形变检测，对木质货箱的内表面进行形变检测等场景下实现的。为了进行形变检测，形变检测设备首先要对待检测箱体的任一个表面的图像进行采集，将采集到的图像作为输入图像，以便于后续基于输入图像判断出该表面是否存在形变。
103.需要说明的是，待检测箱体为等待形变检测的箱体。该箱体可以是集装箱、木箱、铁箱，乃至拉杆箱等，本技术在此不作限定。
104.待检测箱体通常有六个外表面，本技术实施例中，形变检测设备可以对这六个表面中的任意一个进行图像采集，得到输入图像。当然，形变检测设备还可以对待检测箱体的六个内表面中的任意一个进行图像采集，得到输入图像。
105.在一些实施例中，形变检测设备可以通过彩色摄像头，采集到彩色的输入图像。在另一些实施例中，形变设备则可以通过红外摄像头，采集到灰度的输入图像，本技术在此不作限定。
106.需要说明的是，输入图像中除了包含待检测箱体的一个表面之外，可能还会存在与待检测箱体无关的背景内容。示例性的，图7是本技术实施例提供的输入图像的示意图。如图7所示，待检测箱体为集装箱，输入图像7
‑
1除了包含了该集装箱的一个侧面7
‑
11，还包含了一些背景元素7
‑
12，例如，地面、天空、柱子等元素。
107.需要说明的是，在本技术的一些实施例中，形变检测设备可以实施为终端，此时，由终端的摄像头来拍摄输入图像，以便于由终端来进行特征提取，完成整个形变检测过程。在另一些实施例中，形变检测设备可以实施为由终端和服务器所组成的设备集群，此时，由设备集群中的终端来拍摄输入图像，并上传输入图像给服务器，由服务器来进行特征提取，完成形变检测过程。
108.s102、对输入图像并行进行表面特征的提取和形变特征的提取，得到输入图像对应的表面特征和形变特征。
109.形变检测设备在得到输入图像之后，就会利用多分支的网络模型，对输入图像同时进行板面特征的提取和形变特征的提取，以从输入图像中得到表面特征和形变特征，便于后续基于表面特征和形变特征来进行形变区域的检测。
110.需要说明的是，形变特征表征输入图像中的物体的弯曲和褶皱程度，能够从细节上表征待检测箱体的表面的形变情况。表面特征表征输入图像中的物体的外观信息，这个外观像信息包括了尺寸、颜色、纹理、图案等信息，不同物体的外观不同，从而能够依据表面特征区分输入图像中哪些部分是待检测箱体的表面。
111.可以理解的是，多分支的网络模型的结构中包含有多个分支，每个分支专注于提取不同类型的特征。在本技术实施例中，多分支的网络模型可以包含两个分支，一个分支提取表面特征，一个分支提取形变特征，两个分支并行运行，且共用一个主干网络，能够提高特征提取的效率，并且减少模型所需要的内存消耗。
112.进一步的，多分支的网络模型中的每个分支，都是基于高分辨率网络结构设计的，从而使得每个分支都能够在提取高层语义信息的同时，保留高分辨率的细节特征图，即保留底层的特征图，以使得每个分支的输出端，都能够利用输入图像中的细节信息。
113.s103、基于表面特征和形变特征，从输入图像中确定出形变区域。
114.形变检测设备将能够区分待检测箱体的表面和背景的表面特征，与形变特征进行结合，从而使得对于弯曲和褶皱程度的分辨注意力集中在待检测箱体的表面的形变特征，之后，形变检测设备利用注意力增强后的形变特征，从输入图像中进行形变区域的分割，这样，就能够借助于图像处理技术，快速得到形变区域，而不再需要对待检测箱体进行人工测量和验箱。
115.可以理解的是，形变区域为待检测箱体的表面中发生形变的区域。形变检测设备可以依据表面特征和形变特征，将输入图像的每个像素进行分类，例如箱体内部形变的类别，以及其他类别(例如，箱体内部未形变、箱体外部形变、箱体外部未形变等)，然后将属于箱体内部形变的类别的各个像素所组成的图像部分，作为形变区域。
116.s104、对形变区域进行标注，得到输入图像的形变检测结果。
117.形变检测设备在确定出形变区域之后，就会利用线条、标注框、星型或箭头等标识，将形变区域从输入图像中标注出来，得到输入图像的形变检测结果，以使得形变区域更加直白。
118.示例性的，图8a本技术实施例提供的形变检测结果的示意图一，在图8a中，形变检测设备将形变检测结果8
‑
1、形变检测结果8
‑
2、形变检测结果8
‑
3以及形变检测结果8
‑
4，均利用折线标注出来；图8b是本技术实施例提供的形变检测结果的示意图二，在图8a中，形变检测结果8
‑
5、形变检测结果8
‑
6、形变检测结果8
‑
7以及形变检测结果8
‑
8，均利用更加贴合形变区域的曲线标注出来。无论是图8a还是图8b的标注方式，都能够使得工作人员可以一目了然地获知待检测箱体的表面中那些区域发生了形变。
119.本技术实施例中，形变检测设备会先采集包含有等待形变检测的箱体的表面的输入图像，然后从输入图像中抽取出表征物体表面的纹理的表面特征，以及表征物体的弯曲和褶皱程度的形变特征，再结合形变特征和表面特征，从输入图像中确定出发生形变的区域，并将形变区域标注出来，得到形变检测结果。如此，形变检测设备能够借助于图像处理技术，自动从采集到的输入图像中确定出待检测箱体的形变区域，减少形变检测时所需要
的时间，大大提高形变检测的效率。
120.基于图6，参见图9，图9是本技术实施例提供的形变检测方法的一个可选的流程示意图二。在本技术的一些实施例中，基于表面特征和所述形变特征，从输入图像中确定出形变区域，即s103的具体实现过程，可以包括：s1031
‑
s1032，如下：
121.s1031、依据表面特征，对形变特征进行注意力的控制，得到待检测形变特征。
122.在输入图像的背景部分，也可能存在弯曲和褶皱，从而形变特征中包含了针对背景部分的弯曲和褶皱的特征描述，这些特征描述就是形变检测时的干扰项。当输入图像包含的背景较多时，干扰项也可能会较多，从而使得将背景部分的内容误检为形变区域。然而，表面特征对输入图像中的各个物体外观都进行了描述，从而能够用于区分待检测箱体的箱体区域和背景。本技术实施例中，形变检测设备利用表面特征，判断出形变特征中的哪部分属于待检测箱体的表面的，哪部分是属于背景部分的，将形变检测的注意力集中在核心形变特征中，排除输入图像中的复杂背景的干扰，以减少对形变区域的误检，提升形变区域检测的准确度。
123.需要说明的是，待检测形变特征表征将注意力集中在待检测箱体的表面的弯曲和褶皱程度的形变特征。形变检测设备可以通过将表面特征与形变特征进行融合，并通过控制融合时的权重向量，来实现注意力的控制，使得形变检测的注意力集中在待检测箱体的表面的所对应的特征部分，减少对背景中的干扰项的注意力，即对背景中的纹理、波纹、弯曲和褶皱等干扰特征进行抑制。
124.进一步的，形变检测设备可以对表面特征进行分类识别，从而判断出输入图像所包含待检测箱体的表面的占比，利用该占比和表面特征所对应的全局特征图，生成融合时的权值向量。可以理解的是，表面特征所对应的全局特征图，能够反映待检测箱体的表面在输入图像中的位置，从而依据全局特征图所生成的权值向量，也能够反映待检测箱体的表面在输入图像中的位置，利用该权重向量，就能够实现将注意力集中在待检测箱体的表面对应的特征部分，对背景部分对应的干扰项进行抑制，得到待检测形变特征。
125.s1032、依据待检测形变特征，从输入图像检测出形变区域。
126.形变检测设备从输入图像中，确定出哪些图像区域是经过特征抽取能够得到待检测形变特征的，从而这些确定出的图像区域，作为是输入图像对应的形变区域。如此，形变检测设备就能够准确地确定出形变区域。
127.示例性的，图10是本技术实施例提供的形变区域的示意图。如图10所示，形变检测设备从输入图像10
‑
1中，确定出的形变区域，就为输出的形变区域图10
‑
2中的白色区域，没有发生形变的区域，就为形变区域图10
‑
2中的黑色区域。
128.本技术实施例中，形变检测设备能够利用表面特征，对形变特征中，表征待检测箱体的表面的弯曲和褶皱程度的核心形变特征进行注意力的加强，从而将形变检测的注意力集中在待检测箱体的表面所对应的区域，避免了背景部分相似特征的干扰，提高了形变检测的准确度。
129.在本技术的一些实施例中，依据表面特征，对形变特征进行注意力的控制，得到待检测形变特征，即s1031的具体实现过程，可以包括：s1031a
‑
s1031d，如下：
130.s1031a、利用表面特征，计算出待检测箱体的表面在输入图像所占据的图像权重。
131.形变检测设备先对表面特征进行识别，从图像中分割出待检测箱体的表面的部
分，然后计算待检测箱体的表面的部分，占据输入图像的占比，利用该占比，得到待检测箱体的表面在输入图像中的图像权重。
132.在一些实施例中，形变检测设备可以直接将占比作为图像权重；在另一些实施例中，形变检测设备可以将占比的一半，或者是占比与输入图像包含待检测箱体的表面的概率的乘积，作为是图像权重。
133.s1031b、对表面特征进行全局特征的提取，得到表面全局特征向量。
134.形变检测设备可以利用池化操作，来提取出表面特征对应的全局特征图，然后再将全局特征图进行向量转换，从而得到表面全局特征向量。
135.可以理解的是，形变检测设备可以利用全连接层，将全局特征图转化为表面全局特征向量，也可以是从全局特征图中，抽取出对角线，得到表面全局特征向量。
136.s1031c、利用图像权重，对表面全局特征向量进行注意力的计算，得到注意力权值向量。
137.接着，形变检测设备可以将图像权重与表面全局特征向量相乘，以对不同通道进行注意力的计算，还可以将图像权重与表面全局特征向量相加，得到注意力权值向量，本技术在此不作限定。
138.可以理解的是，当图像权重较大时，说明待检测箱体的表面在输入图像中的占比较大，利用图像占比对表面全局特征向量进行通道注意力的计算，会使得全局特征向量中的特征被加强。
139.s1031d、将注意力权值向量与形变特征进行点乘，得到待检测形变特征。
140.形变检测设备将注意力权值向量和形变特征进行点乘，点乘所得到的结果，就是待检测形变特征。如此，形变检测设备就完成了待检测形变特征的确定过程。
141.本技术实施例中，形变检测设备能够先识别出待检测箱体的表面的图像权重，对表面特征进行全局特征的提取，得到表面全局特征向量，然后再利用图像权重和表面全局特征向量进行通道注意力的计算，得到注意力权值向量，最后将注意力权值向量和形变特征的点乘结果，作为待检测形变特征。如此，形变检测设备就能够得到待检测形变特征，以便于后续利用待检测形变特征检测出形变区域。
142.在本技术的一些实施例中，对表面特征进行全局特征的提取，得到表面全局特征向量，即s1031b的具体实现过程，可以包括：s201
‑
s202，如下：
143.s201、对表面特征分别进行多种类型的池化操作，得到多种类型的池化操作各自对应的全局特征图。
144.形变检测设备获取多种不同的池化层，每种池化层都能够对表面特征进行一种池化操作，得到该池化操作所对应的全局特征图，从而利用多种不同的池化层，能够对表面特征分别进行多种类型的池化操作，得到多种类型的池化操作各自对应的全局特征图。其中，全局特征图包括待检测箱体的表面的特征和背景区域的特征。
145.可以理解的是，多种类型的池化操作中，可以包括最大池化和平均池化，从而，形变检测设备可以分别得到最大池化对应的全局特征图和平均池化对应的全局特征图。
146.s202、通过全连接层，将多种类型的池化操作各自对应全局特征图进行融合，得到表面全局特征向量。
147.形变检测设备还可以利用将多种池化操作各自对应的全局特征图，直接输入到一
个全连接层中，以利用全连接层，将各个全局特征图的特征进行融合，全连接层输出的特征向量，就是表面全局特征向量。
148.示例性的，图11是本技术实施例提供的生成待检测形变特征的示意图。形变检测设备先对表面特征11
‑
1分别进行最大池化11
‑
2和平均池化11
‑
3，并将最大池化11
‑
2和平均池化11
‑
3各自所得到的特征图输入到全连接层11
‑
4中，并与图像权重结合，得到注意力权值向量11
‑
5。之后，形变检测设备将注意力权值向量11
‑
5和形变特征11
‑
6进行点乘，就得到了新的形变特征，即待检测形变特征11
‑
7。
149.本技术实施例中，形变检测设备能够利用不同维度的池化操作，得到表面特征不同维度的全局特征图，然后将不同维度的全局特征图进行融合在一起，得到表面全局特征向量，以便于后续进行通道注意力的计算。
150.在本技术的一些实施例中，对输入图像并行进行表面特征的提取和形变特征的提取，得到输入图像对应的表面特征和形变特征，即s102的具体实现过程，可以包括：s1021
‑
s1022，如下：
151.s1021、利用图像分类器，对输入图像中包含的待检测箱体的表面进行分类，得到表面类型。
152.本技术实施例中，可以对待检测箱体中的一些表面进行形变检测，例如，对待检测箱体的正面、侧面等进行检测，对于待检测箱体的地板、门等不进行检测。在此情况下，形变检测设备会获取训练好的图像分类器，然后用图像分类器识别出输入图像中待检测箱体的表面所属的表面类型，以便于后续判断是否需要对输入图像中的待检测箱体的表面进行形变检测。
153.示例性的，图12是本技术实施例提供的确定表面类型的过程示意图。在图12中，输入图片为拍摄到的集装箱板面的照片12
‑
1，形变检测设备将集装箱照片12
‑
1输入到图像分类器，即集装箱面分类器12
‑
2中，就能够判断出集装箱照片12
‑
1是属于集装箱的左右面12
‑
3、集装箱的前面12
‑
4、集装箱的顶面12
‑
5、集装箱的底面12
‑
6、集装箱的门12
‑
7还是集装箱的内部12
‑
8。
154.s1022、当表面类型属于预设类型时，形变检测设备利用目标特征提取模型对输入图像并行进行表面特征的提取和形变特征的提取，得到表面特征和形变特征。
155.本技术实施例中，形变检测设备判断表面类型是否属于预设类型，从而判断是否要对输入图像所包含的待检测箱体的表面进行形变检测。当形变检测设备判断出表面类型属于预设类型，形变检测设备就会获取目标特征提取模型，以利用目标提取模型来从输入图像中抽取出形变特征和表面特征，实现对输入图像中的待检测箱体的表面的形变检测。
156.在一些实施例中，预设类型包括：箱体的正面、箱体的侧面和箱体的顶面中的至少一个，以实现对待检测箱体的正面、侧面和顶面的形变检测。在另一些实施例中，预设类型为纹理属于波纹类型的表面，从而实现对波纹类型的表面进行形变检测。当然，预设类型还可以根据实际需求设置为其他类型，本技术在此不作限定。
157.可以理解的是，当表面类型不属于预设类型时，形变检测设备可以不对输入图像中的待检测箱体的表面进行形变检测，或者是利用其它的方式来进行形变检测(例如将输入图像反映给工作人员来进行形变检测，或者是指示工作人员进一步采集深度数据来进行检测等)，本技术在此不作限定。
158.本技术实施例中，形变检测设备会先对输入图像中待检测箱体的表面进行类型判断，从而依据表面类型是否属于预设类型，从而在表面类型属于预设类型时，才开始进行提取特征，以进行形变检测。如此，能够实现对待检测箱体的一些表面重点检测检测，也能便于训练出能够统一进行特征抽取的模型。
159.在本技术的一些实施例中，利用目标特征提取模型，对输入图像并行进行表面特征的提取和形变特征的提取，得到表面特征和形变特征，即s1022的具体实现过程，可以包括：s1022a
‑
s1022b，如下：
160.s1022a、利用目标特征提取模型中的主干网络，对输入图像进行图像特征提取，得到输入图像的特征图。
161.目标特征提取模型是由主干网络、表面特征提取分支和形变特征提取分支组成的。其中，表面特征提取分支和形变特征提取分支都连接在主干网络上。形变检测设备先将输入图像输入到目标特征提取模型中的主干网络中，以利用主干网络抽取出输入图像的特征图。
162.s1022b、通过目标特征提取模型中的表面特征提取分支，从特征图中提取出表面特征，以及利用目标特征提取模型中的形变特征提取分支，从特征图中提取出形变特征。
163.形变检测设备在抽取出输入图像的特征图之后，就会同时利用表面特征提取分支和形变特征提取分支，从特征图中分别抽取出表面特征和形变特征。由于这种方式共用一个主干网络，相比于传统的形变特征和表面特征的提取方式，能够至少减少一次特征图的抽取过程，从而，能够减少模型的运行时间。
164.示例性的，本技术实施例提供了抽取表面特征和形变特征的过程示意图，参见图13，输入图像为集装箱板面的照片13
‑
1，集装箱板面的照片13
‑
1先进入到了一个整体的特征提取模型13
‑
2，即主干网络中，然后再由主干网络的输出端开始，分为表面特征提取分支13
‑
3和形变特征提取分支13
‑
4，由表面特征提取分支13
‑
3提取到输入图像的表面特征，由形变特征提取分支13
‑
4提取到输入图像的形变特征。
165.本技术实施例中，形变检测设备先利用目标特征提取模型中的主干网络，提取出输入图像的特征图，然后再分别通过表面特征提取分支和形变特征提取分支，从特征图中提取出表面特征和形变特征，从而，能够通过共用主干网络，减少模型运行的时间，从而减少特征抽取的时间，进一步提高形变检测的效率。
166.在本技术的一些实施例中，在利用图像分类器，对输入图像中包含的待检测箱体的表面进行分类，得到表面类型之后，即在s1021之后，该方法还可以包括：s1023
‑
s1024，如下：
167.s1023、利用表面类型，从多个预设的特征提取模型中，挑选出输入图像对应的匹配特征提取模型。
168.s1024、利用匹配特征提取模型，对输入图像并行进行表面特征的提取和形变特征的提取，得到表面特征和形变特征。
169.由于输入图像可能包含待检测箱体的表面，然而，待检测箱体的不同表面之间的差异较大(例如门和侧面的差异就会较大)，若是利用不同表面所适配的特征提取模型来进行特征提取，会使得提取到的表面特征和形变特征更加准确。因此，本技术实施例中，形变检测设备确定出表面类型之后，就会依据表面类型，从多个预设的特征提取模型中，查找到
表面类型所对应的特征提取模型。由于表面类型和输入图像之间存在对应关系，从而该特征提取模型就是输入图像所对应的匹配特征提取模型。接着，形变检测设备利用匹配特征提取模型，并行对输入图像进行形变特征和表面特征的提取，从而实现利用输入图像所适配的特征提取模型，来提取到更准确的形变特征和表面特征。
170.本技术实施例中，形变检测设备对输入图像中所包含的待检测箱体的表面进行分类，得到表面类型，从而依据表面类型为输入图像选择出最适合的匹配特征提取模型，以利用目标特征提取模型提取到更准确的形变特征和表面特征，以在后续进一步提高形变检测的准确度。
171.在本技术的一些实施例中，在通过目标特征提取模型中的表面特征提取分支，从特征图中提取出表面特征之后，即在s1022b之后，该方法还可以包括：s1022c
‑
s1022d，如下：
172.s1022c、利用表面特征，从输入图片中分割出待检测箱体的箱体表面区域。
173.变形检测设备利用表面特征，将输入图像中的各个像素分为属于待检测箱体的箱体表面区域，和不属于待检测箱体的箱体表面区域两类，然后依据各个像素的类别，来从输入图像中分割出待检测箱体的箱体表面区域。
174.示例性的，图14是本技术实施例提供的箱体表面区域的示意图。参见图14，输入图像中的箱体表面区域，就为图像14
‑
1中的黑色区域。
175.s1022d、将箱体表面区域从输入图像中标注出来，得到输入图像的箱体表面检测结果。
176.形变检测设备将输入图像中的箱体表面区域标注出来，从而得到箱体表面检测结果，以便于工作人员更容易地将输入图像中的箱体表面区域和其他背景区域区分开。
177.示例性的，本技术实施例提供了箱体表面检测结果的示意图，如图15所示，形变检测设备将输入图像中的待检测箱体中的箱体表面，用高亮的线条标注出来，得到箱体表面检测结果15
‑
1，以便于工作人员将待检测箱体和箱体表面，和背景、其他箱体区分开。
178.本技术实施例中，形变检测设备在提取出表面特征之后，还能够依据表面特征，从输入图像中分割出箱体表面区域，并将箱体表面区域从输入图像中标注出来，从而得到更易于工作人员查看的箱体表面检测结果。
179.在本技术的一些实施例中，在对形变区域进行标注，得到输入图像的形变检测结果之后，即在s104之后，该方法还可以包括：s105，如下：
180.s105、对输入图像的形变检测结果进行分类，得到形变检测结果的形变程度。
181.形变检测设备在得到形变检测结果之后，还可以获取预设形变分类器，然后将形变检测结果输入到预设形变分类器中，以利用形变分类器来对形变检测结果的形变程度进行识别。可以理解的是，形变程度可以用形变等级来表示，例如，轻度形变、中度形变和重度形变等；形变程度也可以用形变百分比来表示，例如，100％、50％等，本技术在此不作限定。
182.示例性的，本技术实施例提供了形成程度的示意图，参见图16，形变检测设备对形变检测结果16
‑
1的识别结果为轻度形变16
‑
11，对形变检测结果16
‑
2的识别结果为中度形变16
‑
21，形变检测结果16
‑
3的识别结果为重度形变16
‑
31。
183.可以理解的是，形变检测结果中可能包括多个标注出的形变子区域，形变检测设备是针对每个标注出的形变子区域，都确定出对应的形变等级或者形变百分比，从而得到
形变检测结果的形变程度。
184.本技术实施例中，形变检测设备还能够对形变检测结果进行形变程度的识别，以便于工作人员能够简单直白地判断出待检测箱体的形变情况。
185.在本技术的一些实施例中，在基于表面特征和形变特征，从输入图像中确定出形变区域之后，即在s103之后，该方法还可以包括：s106，如下：
186.s106、对形变区域进行去噪，得到去噪后的形变区域。
187.由于基于表面特征和形变特征，是逐像素从输入图像中确定出形变区域的，从而，所确定出的形变区域，很有可能包含了面积过小，即仅有几个，或者几十个像素所组成的像素区域。然而，这些过小的像素区域其实并不能构成形变，因此，在形变区域中，包含着一些噪声。本技术实施例中，形变检测设备会在确定出形变区域之后，对形变区域进行去噪，从而对不构成形变的像素区域进行剔除，以得到去噪后的形变区域，从而向工作人员反映更加真实的形变情况。
188.相应的，形变检测设备在得到去噪后的形变区域之后，后续对形变区域进行标注，得到输入图像的形变检测结果，即s104的具体实现过，就会变为：s1041，如下：
189.s1041、对去噪后的形变区域进行标注，得到输入图像的所述形变检测结果。
190.本技术实施例中，形变检测设备能够将不构成形变的过小的像素区域从形变区域中剔除，以实现对形变区域的去噪，得到去噪后的形变区域，从而更加真实的形变检测结果，进一步提高形变检测结果的准确度。
191.在本技术的一些实施例中，形变区域包括：多个形变子区域。其中，每个形变子区域都是基于表面特征和形变特征所确定出的像素区域。此时，对所述形变区域进行去噪，得到去噪后的形变区域，即s106的具体实现过程，可以包括：s1061
‑
s1063，如下：
192.s1061、对多个形变子区域中的每个形变子区域，计算出区域面积。
193.形变检测设备对每个形变子区域都进行面积计算，从而得到每个形变子区域对应的区域面积。可以理解的是，形变检测设备可以将每个形变子区域中所包含的像素的总数量，作为每个形变子区域的区域面积，也可以是利用面积计算函数，通过积分的方式，计算出区域面积，本技术在此不作具体限定。
194.s1062、从多个形变子区域中，将区域面积大于或等于面积阈值的形变子区域进行筛选，得到至少一个候选形变子区域。
195.s1063、将至少一个候选形变子区域作为去噪后的形变区域。
196.形变检测设备在得到每个形变子区域对应的区域面积之和，就会获取面积阈值，然后将每个形变子区域对应的区域面积和获取到的面积阈值进行大小比较，将区域面积大于或者是等于面积阈值的形变子区域筛选出来，从而得到至少一个候选形变子区域。接着，形变检测设备利用至少一个候选形变子区域组成一个集合，该集合就是去噪后的形变区域。
197.本技术实施例中，形变检测设备能够利用每个形变子区域的区域面积，筛选出至少一个候选形变子区域，以利用至少一个候选形变子区域组成去噪后的形变区域，从而实现对形变区域的去噪。
198.需要说明的是，在本技术的一些实施例中，为了得到更准确的形变区域，形变检测设备还可以在基于输入图像，确定出形变区域之后，采集待检测箱体的表面的深度数据，对
形变区域进行校验，得到经过校验的形变区域，然后将经过校验的形变区域标注出来，得到最终的形变检测结果，从而得到更加准确的形变检测结果。
199.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用。
200.本技术实施例是在对集装箱的板面进行形变检测的场景下实现的。图17是本技术实施例提供的对集装箱板面进行形变检测的过程示意图。参见图17，该过程包括：
201.s301、拍摄图片。
202.工作人员先利用手机(终端)拍摄得到集装箱板面的照片17
‑
1，将该照片上传给云端(服务器，服务器和终端构成的设备集群为形变检测设备)，作为输入的待验箱面(包含了待检测箱体的表面的输入图像)。
203.s302、待验箱面分类。
204.云端基于残差网络结构设计一种多分类器(图像分类器)，对照片中的集装箱箱面进行分类(对输入图像中包含的待检测箱体的表面进行分类)。多分类器的输出为左右面、前面、顶面、底面、门和内部。这是为了只对集装箱前面、左面、后面和顶面(表面类型)等集装箱板面进行变形检测处理，对集装箱的门和地板暂时不做变形检测处理。多分类器是依据resnet18作为骨干网络设计的。
205.需要说明的是，集装箱箱面是依据集装箱的长方体结构划分的六个面，包括前面、左面、右面、门和地板。由于集装箱左右面相似度极高，尤其在拍摄照片时由于拍摄角度的问题使得左右面无法区分，因此，将左右面合为一类。同时由于门和地板上的形变特征与其他板面上的特征差异较大，从而只将门和底面区分出来，但是并不进行形变检测。
206.s303、待验箱板面检测与待验箱形变检测。
207.基于高分辨网络，设计一种多分支网络结构(目标特征提取模型)，对分类后包括板面中任意一面或多面的图片进行特征提取，同时得到板面特征(表面特征)和形变特征，再经由注意力机制，利用板面特征排除照片中复杂背景(如底面、天空与其他集装箱)的干扰，以便于后续输出板面区域分割结果和形变区域分割结果。
208.示例性的，图18是本技术实施例提供的多分支网络结构的示意图。如图18所示，云端利用多分支网络结构中的主干网络对集装箱板面的照片18
‑
1先进行整体特征的提取18
‑
2，得到整体特征图(特征图)，然后利用板面分支18
‑
3(表面特征提取分支)提取板面特征(表面特征)，利用形变分支18
‑
4(形变特征提取分支)提取形变特征(形变特征)。然后，云端基于注意力机制18
‑
5，对形变特征中的板面信息进行强化，对背景相似特征进行抑制，从而得到形变区域分割结果18
‑
6(形变检测结果)。同时，云端还会利用板面特征分割出板面区域分割结果18
‑
7(箱体表面检测结果)。
209.进一步的，由于板面区域中的特征能够有效区分板面与背景的差异，从而，板面区域的特征对形变检测有一定的促进作用。在注意力机制中，云端先对板面分支提取的特征图，即板面特征经过最大池化和平均池化(多种类型的池化操作)，得到不同维度的关于板面和背景的全局特征(多种池化操作各自对应的全局特征图)，然后通过共享全连接层(全连接层)进一步融合(得到表面全局特征向量)，并且再与变换板面和背景特征的权重(待检测箱体的表面在输入图像所占据的权重)融合，最终得到一个通道注意力权值向量(注意力权值向量)，最后将该向量与形变分支的特征图，即形变特征进行点乘(得到待检测形变特征)，从而实现对形变分支中板面信息的强化和背景相似特征的抑制。
210.在一些情况中，由于形变检测结果中可能会出现及其小的形变区域，或者板面检测结果中具有很小的空洞，从而，云端会对输出的分割结果进行去噪(对形变区域进行去噪，得到去噪后的形变区域)。这时，云端可以获得分割图中所有的区域，计算各个区域的面积(对每个子形变区域计算出，区域面积)，然后对于小于一定阈值的区域进行剔除(相当于将区域面积大于或等于面积阈值的形变子区域进行筛选)。
211.s304、形变程度分类。
212.集装箱板面的严重形变对集装箱的装载及堆叠都会有一定影响，但轻微形变影响甚微，因此对形变程度的分类对于集装箱的送修、使用都非常重要。云端会基于残差网络结构设计一种形变程度的分类器(预设形变分类器)，对集装箱板面上的形变区域进行分类(将输入图像的形变检测结果进行分类)，得到每个形变区域的形变程度，即轻度、中度和重度(形变检测结果的形变程度)。
213.通过上述方式，能够智能化地实现对集装箱的形变检测，降低人力成本，提高检测效率，同时还能够排除背景、其他集装箱对形变检测的影响，降低人为因素带来的误差，提高形变检测的精度。
214.下面继续说明本技术实施例提供的形变检测装置555的实施为软件模块的示例性结构，在一些实施例中，如图5所示，存储在存储器550的形变检测装置555中的软件模块可以包括：
215.图像采集模块5551，用于采集包含有待检测箱体的表面的输入图像；所述待检测箱体为等待形变检测的箱体；
216.特征提取模块5552，用于对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述输入图像对应的表面特征和形变特征；所述表面特征表征所述输入图像中的物体的外观信息，所述形变特征表征所述输入图像中的物体纹理的弯曲和褶皱程度；
217.形变确定模块5553，用于基于所述表面特征和所述形变特征，从所述输入图像中确定出形变区域；所述形变区域为所述待检测箱体的表面中发生形变的区域；
218.结果标注模块5554，用于对所述形变区域进行标注，得到所述输入图像的形变检测结果。
219.在本技术的一些实施例中，所述形变确定模块5553，还用于依据所述表面特征，对所述形变特征进行注意力的控制，得到待检测形变特征；所述待检测形变特征表征将注意力集中在所述待检测箱体的表面的弯曲和褶皱程度的形变特征；依据所述待检测形变特征，从所述输入图像检测出所述形变区域。
220.在本技术的一些实施例中，所述形变确定模块5553，还用于利用所述表面特征，计算出所述待检测箱体的表面在所述输入图像所占据的图像权重；对所述表面特征进行全局特征的提取，得到表面全局特征向量；利用所述图像权重，对所述表面全局特征向量进行注意力的计算，得到注意力权值向量；将所述注意力权值向量与所述形变特征进行点乘，得到所述待检测形变特征。
221.在本技术的一些实施例中，所述形变确定模块5553，还用于对所述表面特征分别进行多种类型的池化操作，得到所述多种类型的池化操作各自对应的全局特征图；所述全局特征图包括所述待检测箱体的表面的特征和背景区域的特征；通过全连接层，将所述多种类型的池化操作各自对应全局特征图进行融合，得到所述表面全局特征向量。
222.在本技术的一些实施例中，所述特征提取模块5552，还用于利用图像分类器，对所述输入图像中包含的所述待检测箱体的表面进行分类，得到表面类型；当所述表面类型属于预设类型时，利用目标特征提取模型对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述表面特征和所述形变特征。
223.在本技术的一些实施例中，所述特征提取模块5552，还用于利用所述目标特征提取模型中的主干网络，对所述输入图像进行图像特征提取，得到所述输入图像的特征图；通过所述目标特征提取模型中的表面特征提取分支，从所述特征图中提取出所述表面特征，以及利用所述目标特征提取模型中的形变特征提取分支，从所述特征图中提取出所述形变特征。
224.在本技术的一些实施例中，所述特征提取模块5552，还用于利用所述表面特征，从所述输入图片中分割出所述待检测箱体的箱体表面区域；将所述箱体表面区域从所述输入图像中标注出来，得到所述输入图像的箱体表面检测结果。
225.在本技术的一些实施例中，所述形变检测装置555还包括：形变分类模块5555；
226.所述形变分类模块5555，用于对所述输入图像的所述形变检测结果进行分类，得到所述形变检测结果的形变程度。
227.在本技术的一些实施例中，所述形变检测装置555还包括：形变去噪模块5556；
228.所述形变去噪模块5556，用于对所述形变区域进行去噪，得到去噪后的形变区域；
229.所述结果标注模块5554，还用于对所述去噪后的形变区域进行标注，得到所述输入图像的所述形变检测结果。
230.在本技术的一些实施例中，所述形变区域包括：多个形变子区域；所述形变去噪模块5556，还用于对所述多个形变子区域中的每个形变子区域，计算出区域面积；从所述多个形变子区域中，将所述区域面积大于或等于面积阈值的形变子区域进行筛选，得到至少一个候选形变子区域；将所述至少一个候选形变子区域作为所述去噪后的形变区域。
231.在本技术的一些实施例中，所述特征提取模块5552，还用于利用所述表面类型，从多个预设的特征提取模型中，挑选出所述输入图像对应的匹配特征提取模型；利用所述匹配特征提取模型，对所述输入图像并行进行表面特征的提取和形变特征的提取，得到所述表面特征和所述形变特征。
232.本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例上述的形变检测方法。
233.本技术实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行形变检测指令，当可执行形变检测指令被处理器执行时，将引起处理器执行本技术实施例提供的形变检测方法，例如，如图6示出的方法。
234.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd
‑
rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
235.在一些实施例中，可执行形变检测指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编
写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
236.作为示例，可执行形变检测指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
237.作为示例，可执行形变检测指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
238.以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。