数字化布料处理系统、布料瑕疵检测方法、设备及介质与流程

1.本技术涉及智能制造技术领域，尤其涉及一种数字化布料处理系统、布料瑕疵检测方法、设备及介质。


背景技术：

2.随着云计算、物联网、人工智能等技术的不断发展，涌现出越来越多的数字化工厂。数字化工厂能够实现产品从原材料采购、产品设计以及生产加工等全生产链条的数字化处理；还能够按照柔性制造模式进行生产制造。其中，柔性制造模式是指通过系统结构、人员组织、运作方式和市场营销等方面的改革，使生产系统能对市场需求变化作出快速地适应，同时消除冗余无用的损耗，力求企业获得更大的效益。在柔性制造模式下，数字化工厂以消费者需求为核心，重构传统以产定销的生产模式，实现按需智造。
3.在数字化生产过程中，需要对生产过程中的原材料或半成品进行质量检测，以保证整个数字化生产的产品质量。例如，在服装制造行业中，在对布料进行裁剪之前，需要对布料进行瑕疵检测，通过剔除或裁剪掉带有瑕疵的布料，可提高后续成品制衣的质量。目前，对布料进行瑕疵检测大多是采用人工验布模式对布料进行抽检，定义布料的品质等级，如果一卷布料的品质等级较高，则认为该卷布料不具有瑕疵，这种瑕疵检测方式的人力成本较高，且检测结果的稳定性和准确性较差，不具有客观性。


技术实现要素：

4.本技术的多个方面提供一种数字化布料处理系统、布料瑕疵检测方法、设备及介质，用以提高瑕疵检测的准确度和效率，降低人力成本。
5.本技术实施例提供一种数字化布料处理系统，包括：松布设备和位于边缘集群中的边缘计算设备；所述松布设备包括用于对目标布料进行松布处理的松布机构，以及设置在所述松布机构的松布路径上的视觉采集系统；其中，所述目标布料被所述视觉采集系统的可视范围划分为多个布料区域，所述视觉采集系统用于对进入其可视范围内的每个布料区域进行图像采集，并将采集到的多个布料图像发送至所述边缘计算设备；所述边缘计算设备上运行有采用网状网络结构进行多尺度融合的瑕疵检测模型，用于根据所述瑕疵检测模型采用的网状网络结构，对所述多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图；根据所述多个瑕疵特征图生成所述目标布料对应的瑕疵地图。
6.本技术实施例还提供一种布料瑕疵检测方法，包括：在对目标布料进行松布处理过程中，针对所述目标布料采集多个布料图像，所述布料图像是所述目标布料的一个布料区域的图像；根据瑕疵检测模型采用的网状网络结构，对所述多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，所述瑕疵检测模型是采用网状网络结构进行多尺度融合的神经网络模型；根据所述多个瑕疵特征图生成所述目标布料对应的瑕疵地图。
7.本技术实施例还提供一种布料裁剪方法，包括：接收服装生产的订单信息，所述订单信息包括待产服装所需的裁片信息；根据所述裁片信息，确定目标布料上的裁片区域；在
对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测；对通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。
8.本技术实施例还提供一种计算机设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行本技术实施例提供的方法中的步骤。
9.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现本技术实施例提供的方法中的步骤。
10.在本技术实施例中，在通过松布设备中的松布机构对目标布料进行松布处理时，采集每个布料区域的布料图像，并采用网状网络结构的瑕疵检测模型执行针对目标布料瑕疵检测的任务。或者，结合订单信息中待产服装的裁判信息，确定目标布料上的裁片区域，在通过松布设备中的松布机构对目标布料进行松布处理时，自动针对裁片区域进行有针对性地瑕疵检测。由此，在目标布料的松布环节便实现了布料瑕疵自动检测，提高了瑕疵检测的准确度和效率，降低人力成本。另外，瑕疵检测模型采用多尺度特征融合手段进行特征瑕疵检测，进一步在对多尺度特征融合时采用网状网络结构，能够使得多尺度特征融合处理过程中融合更多的图像特征，有利于进一步提高瑕疵检测的准确度。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术一示例性实施例提供的一种数字化布料处理系统的结构示意图；图2为本技术一示例性实施例提供的普通卷积和空洞卷积的感受野对比图；图3为本技术一示例性实施例提供的另一种数字化布料处理系统的结构示意图；图4为本技术一示例性实施例提供的一种网状网络结构的示意图；图5a为本技术一示例性实施例提供的一种布料瑕疵检测方法的流程示意图；图5b为本技术一示例性实施例提供的一种布料裁剪方法的流程示意图；图6a为本技术一示例性实施例提供的一种布料瑕疵检测装置的结构示意图；图6b为本技术一示例性实施例提供的一种布料裁剪装置的结构示意图；图7为本技术一示例性实施例提供的一种计算机设备的结构示意图。
具体实施方式
12.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
13.针对现有布料瑕疵检测的准确度较差和效率较低的技术问题，本技术实施例提供一种数字化布料处理系统、布料瑕疵检测方法、设备及介质。在本技术实施例中，在通过松布设备中的松布机构对目标布料进行松布处理时，利用设置在松布机构的松布路径上的视觉采集系统采集进入其可视范围内的每个布料区域的布料图像，并将采集到的多个布料图像发送至边缘计算设备；边缘计算设备通过采用网状网络结构的瑕疵检测模型执行针对目
标布料瑕疵检测的任务。由此，在目标布料的松布环节便实现了布料瑕疵自动检测，提高了瑕疵检测的准确度和效率，降低人力成本。另外，瑕疵检测模型采用多尺度特征融合手段进行特征瑕疵检测，进一步在对多尺度特征融合时采用网状网络结构，能够使得多尺度特征融合处理过程中融合更多的图像特征，有利于进一步提高瑕疵检测的准确度。以下结合附图，详细说明本技术各实施例提供的技术方案。
14.图1为本技术一示例性实施例提供的一种数字化布料处理系统的结构示意图。如图1所示，该系统包括：松布设备10和位于边缘集群中的边缘计算设备20。其中，松布设备10包括能够进行松布处理的松布机构和设置在松布机构的松布路径上的视觉采集系统。松布路径可以是指需要松布的布料从进入松布机构到离开松布机构之间经过的路径。视觉采集系统可以通过有线网络、或者无线网络与边缘集群中的边缘计算设备20通信连接。例如，有线网络可以包括同轴电缆、双绞线和光纤等，无线网络可以是2g网络、3g网络、4g网络或者5g网络、无线保真(wireless fidelity，简称wifi)网络等，本技术对此不做限制。
15.其中，松布机构可以是现有任意具有松布处理功能的设备。由于布料一般都是卷装，一般布料在打卷的时候都有张力的，特别是针织和有弹力的布料，张力对它们的尺寸稳定性影响比较大，所以在布料裁剪之前，需要利用松布机构对布料进行松布处理，在自然状态下等待一定时间，以保证后续成衣的裁剪尺寸的准确性。
16.视觉采集系统可以是任一具有视觉采集功能的系统。示例性的，视觉采集系统可以包括图像采集设备。图像采集设备可以是任意具有图像采集功能的设备。例如，从传感器的结构特性来看，本实施例的图像采集设备可以采用面阵相机或线阵相机。又例如，从相机所支持的画面分辨率来看，本实施例的图像采集设备可以采用标清相机或高清相机。又例如，从所支持的信号类型来看，本实施例的图像采集设备可以采用模拟摄像机或数字摄像机。又例如，从相机包括的摄像头的个数来看，本实施例的图像采集设备可以采用单目摄像头或双目摄像头。
17.考虑到线阵相机容易导致成像光线不均匀，且采集到的图像中间亮、两边较暗的情形，需要对采集到的图像进行亮度调整，而亮度预调整过程会加重图像噪声，于是，在本技术的上述或下述实施例中，优选地，图像采集设备可以选用成像光线相对均匀的面阵相机，但并不限于此。
18.另外，考虑到图像清晰度与事件识别结果的检测精度息息相关，于是，在本技术的上述或下述实施例中，优选地，图像采集设备可以选用分辨率为1280
×
720的hd 720p的高清摄像头，或者分辨率为1280
×
960的hd 960p的高清摄像头，但并不限于此。
19.进一步可选地，视觉采集系统还可以包括光源。光源可以为视觉采集系统的可视范围提供光照，以提高视觉采集系统所采集的图像的质量。
20.在本技术实施例中，边缘计算设备20可以是任何能够具有通信功能和一定数据处理能力的计算设备，例如可以是是部署在生产环境中能够进行数据转发和处理的网关设备，也可以是生产环境中的管理设备，还可以是在生产环境中专门部署的用于进行瑕疵检测的计算机设备或服务器，或者还可以是部署在靠近生产环境的机房中的服务器等。其中，边缘计算设备20可以部署在边缘集群中，边缘集群部署在靠近物或数据源头的一侧，例如部署在数据化工厂内部或靠近数据化工厂的其它位置，采用网络、计算、存储以及应用核心能力为一体的开放平台，就近提供各种数据分析处理服务。边缘计算设备20可以在无需联
网的情况实现设备的本地联动以及数据处理分析，还可以有效分担云端负荷。
21.在本技术实施例中，利用松布机构进行松布处理的目标布料可以是一个批次的布料。若一个批次的布料包括多个卷装形式的多卷布料，目标布料可以是半卷布料、一卷布料或多卷布料。当然，目标布料还可以是一卷布料中的部分布料，例如若干米布料，但并不以此为限。
22.在本技术实施例中，目标布料可以是针织布、梭织布或无纺布，但不并以此为限。另外，目标布料可以是纯色布料或是多色布料。纯色布料是指某种单一颜色的布料，多色布料是指两种及以上颜色的布料。
23.在本技术实施例中，在利用松布机构对目标布料进行松布处理的过程中，还可以对目标布料进行瑕疵检测。在对目标布料进行瑕疵检测时，首先利用视觉采集系统对进入其可视范围内的每个布料区域进行图像采集，并将采集到的多个布料图像发送至边缘计算设备20，如图1中
①
所示。其中，视觉采集系统的可视范围由视觉采集系统中图像采集设备的视野范围决定。另外，布料区域是指目标布料进入至视觉采集系统的可视范围内的局部区域，应理解，目标布料被视觉采集系统的可视范围划分为多个布料区域。进一步可选的，在布料图像采集阶段可以控制视觉采集系统中光源照向进入可视范围内的松布路径，以提高布料图像的质量，有利于后续提高瑕疵检测的准确度。
24.边缘计算设备20上运行有采用网状网络结构进行多尺度融合的瑕疵检测模型，边缘计算设备20根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，如图1中
②
和
③
所示；根据多个瑕疵特征图生成目标布料对应的瑕疵地图，如图1中
④
所示。
25.在本技术实施例中，瑕疵检测模型采用的网状网络结构针对每个布料图像进行多尺度特征融合处理，得到该布料图像对应的瑕疵特征图。其中，多尺度特征融合处理可以理解为对多个不同尺度特征图进行融合处理。
26.进一步可选的，瑕疵检测模型可以是能够对检测布料图像中各个像素点进行瑕疵检测的语义分割模型，这时，瑕疵特征图可以是指布料图像经过瑕疵检测得到的语义分割图。其中，瑕疵特征图能够反映对应的布料区域的瑕疵分布信息。瑕疵分布信息例如包括但不限于瑕疵在布料区域中的位置信息、瑕疵类别、瑕疵轮廓信息等。
27.在本技术实施例中，瑕疵地图是能够反映目标布料的瑕疵分布信息的电子地图。实际应用时，可以将目标布料的多个瑕疵特征图按照图像采集先后顺序进行拼接，得到瑕疵地图。也可以首先对将目标布料的多个布料图像按照图像采集先后顺序进行拼接，得到目标布料的整体图像；接着，对多个瑕疵特征图进行统计分析，确定目标布料的瑕疵分布信息，并根据目标布料的瑕疵分布信息在目标布料的整体图像中标记出各个瑕疵，得到瑕疵地图。例如，以长约40米和幅宽约1.6米的一卷针织布料为例，对该卷针织布料的多个瑕疵特征图进行统计分析，可以确定目标布料的瑕疵分布信息；并基于目标布料的瑕疵分布信息生成针织布料对应的瑕疵地图。
28.在本技术实施例中，瑕疵检测模型包括多个网络层，多个网络层包括但不限于能够至少一个层卷积神经网络层、至少一层池化层等，其中，卷积神经网络层可以是能够进行时空卷积处理的卷积神经网络层、能够进行空间卷积处理的卷积神经网络层或者混合神经网络层，相应地，池化层可以是能够进行上采样处理的池化层、能够进行下采样的池化层
等，但并不以此为限。其中，混合神经网络层能够进行空间卷积处理、时空卷积处理或空洞卷积处理中至少两种不同的卷积处理。在本技术实施例中，瑕疵检测模型在利用上述多个网络层对布料图像进行瑕疵检测时，可以提取布料图像的多尺度特征，通过多尺度特征融合的方式对布料瑕疵进行检测，并最终输出布料图像对应的瑕疵特征图，该瑕疵特征图包括布料图像中每个像素点对应的瑕疵概率。其中，瑕疵概率大于设定概率值的像素点被认为是瑕疵点。进一步可选地，本技术实施例在对多尺度特征融合时采用网状网络结构，该网状网络结构中的节点表示各个尺度上的特征图，网络网络结构中节点之间的关联关系表示特征图之间的融合关系，这种融合关系既包括同一尺度上的特征图之间的全面融合关系，也包括不同尺度上的特征图之间的全面融合关系。由此可见，瑕疵检测模型采样网状网络结构能够使得多尺度特征融合处理过程中特征融合的方式和尺度更为丰富和全面，能够融合更多的图像特征，有利于提高瑕疵检测的准确度。
29.进一步可选的，在本技术实施例的瑕疵检测模型中，在采用网状网络结构对多尺度特征进行融合过程中，还可以融合空洞卷积技术，即瑕疵检测模型中用于特征融合的卷积神经网络层中包括一个或多个能够进行空洞卷积处理的卷积层，进而增大瑕疵检测模型的感受野，帮助瑕疵检测模型检测出布料图像中更多的瑕疵。以图2为例，普通卷积对应的两个图像中，位于下层的图像为原图，位于上层的图像为通过普通卷积处理提取的特征图，原图中颜色较深的区域为特征图的感受野；空洞卷积对应的两个图像中，位于下层的图像为原图，位于上层的图像为通过空洞卷积处理提取的特征图，原图中颜色较深的区域为特征图的感受野；由图2可知，空洞卷积的感受野比普通卷积的感受野覆盖原图中更多的图像区域。其中，普通卷积例如为空间卷积。
30.进一步可选的，在瑕疵检测模型中采用的网状网络结构是一个高分辨率网状网络结构，即在该网状网络结构中一方面对首次提取的原始特征图需要进行下采样处理得到多个尺度上的特征图，另一方面需要对不同尺度上的特征图进行自下而上的上采样处理，且上采样处理的次数大于下采样处理的次数，使得该网络网络结构不仅能够在不同特征尺度之间进行特征融合，还能够在每个特征尺度上进行更多特征融合，使得特征融合具有高分辨率的特性。由于高分辨率网状网络结构的图像上采样处理次数大于图像下采样处理次数，于是，瑕疵检测模型采用高分辨率网状网络结构能够在每个特征尺度上以及不同特征尺度之间进行多尺度特征融合处理过程中融合更多的高分辨率的图像特征，有利于进一步提高瑕疵检测的准确度。
31.本技术实施例提供的数字化布料处理系统，包括：松布设备10和位于边缘集群中的边缘计算设备20。在通过松布设备10中的松布机构对目标布料进行松布处理时，还利用设置在松布机构的松布路径上的视觉采集系统采集进入其可视范围内的每个布料区域的布料图像，并将采集到的多个布料图像发送至边缘计算设备20；边缘计算设备20通过采用网状网络结构的瑕疵检测模型执行针对目标布料瑕疵检测的任务。由此，在目标布料的松布环节便实现了布料瑕疵自动检测，提高了瑕疵检测的准确度和效率，降低人力成本。另外，瑕疵检测模型采用多尺度特征融合手段进行特征瑕疵检测，进一步在对多尺度特征融合时采用网状网络结构，能够使得多尺度特征融合处理过程中融合更多的图像特征，有利于进一步提高瑕疵检测的准确度。
32.值得注意的是，本技术实施例提供的数字化布料处理系统可以应用于各种布料的
瑕疵检测，特别是针对纯色布料具有较好的瑕疵检测效果，可以检测出纯色布料的多种尺寸大小的不同类型的瑕疵，例如，黑点、污渍、抽纱、破洞等瑕疵，另外，由于该瑕疵检测模型具有高分辨率、高准确度等效果，故在瑕疵检测过程中，还可以降低将飞花或褶皱等误识别为瑕疵的概率。
33.在本技术的上述或下述实施例中，数字化布料处理系统还包括对布料进行裁剪处理的裁剪设备30，裁剪设备30可与边缘计算设备20进行交互。具体而言，边缘计算设备20将目标布料的瑕疵地图提供给裁剪设备30，如图3中的
⑦
。裁剪设备30根据瑕疵地图，结合来自订单系统中的订单信息，对目标布料进行裁剪，得到符合订单要求的裁片，以将裁片用于服装加工，从而在边缘计算设备20和裁剪处理之间形成反馈闭环。
34.其中，订单系统维护和管理b(business)端用户或c(consumer)端用户提交的订单，例如，订单系统可以维护以下订单信息：待产服装的款式、尺寸规格、数量、原材料、质量要求、价格、下单时间、交付时间、下单用户名称等信息。具体应用时，裁剪设备30首先基于订单信息确定所需裁剪的裁片需要满足的订单要求，订单要求例如为裁片的款式要求、尺寸规格、数量、原材料或质量要求等。接着，裁剪设备30根据基于瑕疵地图将目标布料中的瑕疵布料区域裁剪掉，以及从目标布料中无瑕疵布料区域中裁剪出符合订单要求的裁片。最后，将裁片提供给后续制造环节的生产设备进行继续加工处理。其中，后续制造环节例如包括但不限于印花环节、缝制环节或整烫环节。
35.在本技术的上述或下述实施例中，数字化布料处理系统还包括执行生产排产任务的排产系统40，排产系统40可与边缘计算设备20进行交互。具体而言，边缘计算设备20还用于：根据瑕疵地图确定目标布料的质量等级，根据目标布料的质量等级生成排产引导信息，将排产引导信息提供给排产系统40，如图3中的
⑤
、
⑥
和
⑧
所示。排产系统40用于根据排产引导信息对后续依赖目标布料的待产订单进行排产处理，从而在边缘计算设备20和排产系统40之间形成反馈闭环。
36.示例性的，边缘计算设备20在根据瑕疵地图确定目标布料的质量等级时，可以统计目标布料中出现的瑕疵数量及其类型，并统计瑕疵与目标布料之间的面积占比，以及基于瑕疵数量及其类型、瑕疵与目标布料之间的面积占比等多个维度评估目标布料的质量等级。
37.例如，预先建立不同瑕疵数量与质量等级的映射关系、不同瑕疵类型与质量等级的映射关系以及瑕疵与目标布料之间的面积占比与质量等级的映射关系。基于上述映射关系，确定目标布料在不同维度下评估出来的质量等级，并对不同维度的质量等级对应的质量得分进行加权求平均值，得到目标布料的最终质量得分；根据目标布料的最终质量得分查询质量得分与质量等级的映射关系，确定与目标布料对应的最终质量等级。值得注意的是，若目标布料出现多种瑕疵类型，则基于瑕疵类型这一维度评估目标布料的质量等级时，可以只利用出现次数最多的瑕疵类型来评估目标布料的质量等级。
38.又例如，边缘计算设备20可以预先训练好用于基于瑕疵地图进行质量等级评估的布料质量评估模型，边缘计算设备20将目标布料的瑕疵地图输入至布料质量评估模型中，获取目标布料的质量等级。进一步可选的，布料质量评估模型基于瑕疵数量及其类型、瑕疵与目标布料之间的面积占比等多个维度准确评估目标布料的质量等级。
39.在本技术实施例中，边缘计算设备20根据目标布料的质量等级分析目标布料是否
需要进行报废处理还是可用于后续制造环节、目标布料可以用于哪些后续制造环节以及目标布料适合品质要求高的衣服还是品质要求一般的衣服，并将上述分析信息作为排产引导信息发送给排产系统40，排产系统40根据排产引导信息对后续依赖目标布料的待产订单进行排产处理。其中，待产订单是需要进行生产排程的服装生产订单。例如，若待产订单要求生产的是品质较高的成衣，若目标布料被报废处理，则排产系统40会安排待产订单延后生产；若目标布料的质量等级较高，则可以按照待产订单的订单要求合理安排待产订单生产。又例如，若待产订单要求生产的是品质一般的成衣，目标布料的质量等级较低，则可以按照待产订单的订单要求合理安排待产订单生产。
40.在本实施例中，边缘计算设备20将基于目标布料的质量等级生成的排产引导信息反馈到排产系统40，实现目标布料的质量等级对排产系统40的指导，促进排产合理性，提高数字化工厂的整体产能和效率。
41.在本技术的上述或下述实施例中，数字化布料处理系统还包括布料管理系统50，布料管理系统50可与边缘计算设备20进行交互。具体而言，边缘计算设备20还用于：将目标布料的质量等级提供给布料管理系统50，如图3中的
⑨
所示；布料管理系统50，用于根据目标布料的质量等级生成布料供应需求信息，并将布料供应需求信息提供给布料供应商，以供布料供应商后续按照布料供应需求信息提供目标布料。其中，布料管理系统50可以提供布料管理服务。例如，布料管理系统50根据目标布料的质量等级分析布料供应商当前提供的布料是否达标，以及在不达标的情况下期望布料供应商能够提供的高质量等级的布料，并根据上述分析信息生成布料供应需求信息提供给布料供应商，布料供应商基于布料供应需求信息确定是否需要加强布料生产环节的质量管控，并按照布料供应需求信息提供目标布料。
42.在本技术的上述或下述实施例中，数字化布料处理系统还包括中心调度节点60，该中心调度节点60部署在云端，例如部署在中心云或者传统的数据中心中，在实现形态上可以是云服务器、服务器阵列或虚拟机等。另外，中心调度节点60可以通过有线网络、或者无线网络分别与边缘计算设备20、生产设备或生产管理系统进行交互。其中，生产设备例如包括但不限于松布设备10和裁剪设备30。生产管理设备例如包括但不限于排产系统40和布料管理系统50。中心调度节点60与边缘计算设备20以及生产设备或生产管理系统可以形成云
‑
边
‑
端协同作业的网络系统，由中心调度节点60对整个生产环境中的生产设备、人员、生产线等资源进行全局调度和管理，并充分利用边缘计算设备20的计算能力，满足瑕疵检测的实时需求。
43.例如，中心调度节点60可以获取排产系统40上传的松布环节相关的排产计划信息，向需要参与松布任务的松布设备10下发松布任务，松布设备10执行相应的松布任务。同时，松布设备10可以向中心调度节点60定期上传自身的设备状态日志信息，以便中心调度节点60分析松布设备10是否出现故障，并基于故障分析结果生成针对松布设备10的排产引导信息发送给排产系统40，以供排产系统40更新松布环节相关的排产计划信息。当然，中心调度节点60与松布设备10还可以进行更为维度的交互，具体根据实际应用需求设置。
44.例如，中心调度节点60可以获取排产系统40上传的裁剪环节相关的排产计划信息，向需要参与裁剪任务的裁剪设备30下发裁剪任务，裁剪设备30执行相应的裁剪任务。同时，裁剪设备30可以向中心调度节点60定期上传自身的设备状态日志信息，以便中心调度
节点60分析裁剪设备30是否出现故障，并基于故障分析结果生成针对裁剪设备30的排产引导信息发送给排产系统40，以供排产系统40更新裁剪环节相关的排产计划信息。当然，中心调度节点60与裁剪设备30还可以进行更为维度的交互，具体根据实际应用需求设置。
45.例如，中心调度节点60可以结合对生产环境的生产状态数据进行大数据分析，并基于大数据分析结果生成排产引导信息发送给排产系统40，以供排产系统40优化生产环境的生产排程，以改善生产效率。当然，中心调度节点60与排产系统40还可以进行更为维度的交互，具体根据实际应用需求设置。
46.例如，中心调度节点60从边缘计算设备20获取各个布料供应商的历史布料瑕疵结果进行大数据分析，确定哪些布料供应商属于供货质量较好的供应商，哪些布料供应商属于供货质量较差的供应商，并基于大数据分析结果制定不同布料供应商的产品质量管控计划下发给布料管理系统，供布料管理系统50基于不同布料供应商的产品质量管控计划进行布料供应商管理。当然，中心调度节点60与布料管理系统50还可以进行更为维度的交互，具体根据实际应用需求设置。
47.值得说明的是，在边缘计算设备20上部署瑕疵检测模型可以满足瑕疵检测的实时需求。随着通信技术的不断发展，还可以在云端（例如中心调度节点60）上部署瑕疵检测模型，同样可以满足瑕疵检测的实时需求。例如，第五代移动通信技术（5th generation mobile communication technology，简称5g）是具有高速率、低时延和大连接特点的新一代宽带移动通信技术，是实现人机物互联的网络基础设施。借助5g通信技术，即便在云端部署瑕疵检测模型也能够瑕疵检测的实时需求。
48.在本技术的上述或下述实施例中，边缘计算设备20根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，具体包括：对任一布料图像，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，n是≥2的整数；基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
49.进一步可选的，为了提高瑕疵检测模型的识别准确度，可以对布料图像进行灰度均衡处理，再将灰度均衡处理后的布料图像输入至瑕疵检测模型。其中，灰度均衡处理是一种灰度的变换过程，将当前的灰度分布通过一个变换函数变换为范围更宽、灰度分布更均匀的图像。经过灰度均衡处理之后，布料图像的灰度分布更均匀，有利于提高瑕疵检测准确度。值得注意的是，对布料图像进行灰度均衡处理，能够进一步降低将飞花或褶皱等误识别为瑕疵的概率。
50.在本技术实施例中，n个尺度和待融合特征图的数量均与网状网络结构相关。网状网络结构中的节点越多，n个尺度和待融合特征图的数量也越多。每个尺寸上的待融合特征图的数量可以是一个或多个。进一步可选的，尺度越大，对应的待融合特征图的数量越多。
51.在一种可选的实施方式中，边缘计算设备20将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，包括：将布料图像输入瑕疵检测模型中，对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图；对最大尺度上的原始特征图依次进行n
‑
1次下采样，得到其余n
‑
1个尺度上的原始特征图；针对任一非最大尺度，对非最大尺度上的目标特征图进行上采样，得到其上一尺度上的
采样特征图，上一尺度上的采样特征图和其原始特征图形成上一尺度上的待融合特征图；其中，非最大尺度上的目标特征图包括其原始特征图，或者包括其原始特征图以及由其原始特征图和采样特征图进行融合得到的融合特征图。
52.在本技术实施例中，在对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图之后，可以对最大尺度上的原始特征图的n
‑
1个不同尺寸的区域进行特征提取，得到其余n
‑
1个尺度上的原始特征图。也可以对最大尺度上的原始特征图进行图像下采样，得到第二个原始特征图；接着，对第二个原始特征图进行图像下采样，得到第三个原始特征图，依次类推，对上一个原始特征图进行图像下采样，得到下一个原始特征图，直至得到其余n
‑
1个尺度上的原始特征图。例如，图4中的x
0,0
是布料图像经过特征提取得到的原始特征图；x
1,0
是对x
0,0
原始特征图进行图像下采样得到的原始特征图；x
2,0
是对x
1,0
原始特征图进行图像下采样得到的原始特征图；x
3,0
是对x
2,0
原始特征图进行图像下采样得到的原始特征图；x
4,0
是对x
3,0
原始特征图进行图像下采样得到的原始特征图。x
0,0
、x
1,0
、x
2,0
、x
3,0
、x
4,0
分别是四个不同尺寸的原始特征图，且x
0,0
原始特征图的尺寸大于x
1,0
原始特征图的尺寸，x
1,0
原始特征图的尺寸大于x
2,0
原始特征图的尺寸，x
2,0
原始特征图的尺寸大于x
3,0
原始特征图的尺寸，x
3,0
原始特征图的尺寸大于x
4,0
原始特征图的尺寸。假设布料图像的尺寸为h
×
w，x
0,0
原始特征图的尺寸为h
×
w
×
c1，x
1,0
原始特征图的尺寸为h/2
×
w/2
×
c2，x
2,0
原始特征图的尺寸为h/4
×
w/4
×
c3，x
3,0
原始特征图的尺寸为h/8
×
w/8
×
c4，x
4,0
原始特征图的尺寸为h/16
×
w/16
×
c5；其中，h为图像高度，w为图像宽度，c1、c2、c3、c4和c5为通道数。
53.在本技术实施例中，任一非最大尺度是指除最大尺度之外的其它特征尺度，继续以图4为例，x
0,0
原始特征图所对应的尺度为最大尺度，x
1,0
原始特征图所对应的尺度、x
2,0
原始特征图所对应的尺度、x
3,0
原始特征图所对应的尺度、x
4,0
原始特征图所对应的尺度均为非最大尺度。任一尺度的上一尺度大于该尺度，例如，x
4,0
原始特征图所对应的尺度的上一尺度为x
3,0
原始特征图所对应的尺度；x
3,0
原始特征图所对应的尺度的上一尺度为x
2,0
原始特征图所对应的尺度；x
2,0
原始特征图所对应的尺度的上一尺度为x
1,0
原始特征图所对应的尺度；x
1,0
原始特征图所对应的尺度的上一尺度为x
0,0
原始特征图所对应的尺度。
54.继续以图4为例，针对x
4,0
原始特征图所对应的尺度，该尺度上的目标特征图为x
4,0
原始特征图。
55.针对x
3,0
原始特征图所对应的尺度，该尺度上的目标特征图为x
3,0
原始特征图和x
3,1
融合特征图。x
3,1
融合特征图是该尺度上的待融合特征图进行融合处理得到的，该尺度上的待融合特征图至少包括x
4,0
原始特征图经过上采样得到的采样特征图和x
3,0
原始特征图。
56.针对x
2,0
原始特征图所对应的尺度，该尺度上的目标特征图为x
2,0
原始特征图、x
2,1
融合特征图和x
2,2
融合特征图。x
2,1
融合特征图和x
2,2
融合特征图均是该尺度上的待融合特征图进行融合处理得到的，该尺度上的待融合特征图至少包括x
3,0
原始特征图经过上采样得到的采样特征图、x
3,1
融合特征图经过上采样得到的采样特征图和x
2,0
原始特征图。
57.针对x
1,0
原始特征图所对应的尺度，该尺度上的目标特征图为x
1,0
原始特征图、x
1,1
融合特征图、x
1,2
融合特征图和x
1,3
融合特征图。x
1,1
融合特征图、x
1,2
融合特征图和x
1,3
融合特征图均是该尺度上的待融合特征图进行融合处理得到的，该尺度上的待融合特征图至少包括由x
2,0
原始特征图经过上采样得到的采样特征图、x
2,1
融合特征图经过上采样得到的采样特征图、x
2,2
融合特征图经过上采样得到的采样特征图和x
1,0
原始特征图。
58.针对x
0,0
原始特征图所对应的尺度，该尺度上的目标特征图为x
0,0
原始特征图、x
0,1
融合特征图、x
0,2
融合特征图、x
0,3
融合特征图和x
0,4
融合特征图。x
0,1
融合特征图、x
0,2
融合特征图、x
0,3
融合特征图和x
0,4
融合特征图均是该尺度上的待融合特征图进行融合处理得到的，该尺度上的待融合特征图至少包括x
1,0
原始特征图经过上采样得到的采样特征图、x
1,1
融合特征图经过上采样得到的采样特征图、x
1,2
融合特征图经过上采样得到的采样特征图、x
1,3
融合特征图经过上采样得到的采样特征图和x
0,0
原始特征图。
59.在本技术的上述或下述实施例中，边缘计算设备20基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，具体包括：基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
60.具体而言，网状网络结构包括与n个尺度对应的n层，且自上而下各层对应的尺度逐渐减小；每层中包括至少一个节点，每个节点表示对应尺度上的目标特征图或待融合特征，在特征融合之前该节点表示待融合特征，在特征融合之后该节点表示目标特征图；同一层中节点之间的跳跃链接关系，在该层中进行特征融合之前表示待融合特征图之间存在的融合关系，在该层中进行特征融合之后表示目标特征图之间存在的融合关系；相应地，相邻层节点之间的指向关系，在上一尺度所在层中进行特征融合之前表示下一尺度上的目标特征图与上一尺度上的待融合特征之间存在的上采样关系，在上一尺度所在层中进行特征融合之外表示下一尺度上的目标特征图与上一尺度上的目标特征图之间存在的融合关系。
61.于是，在一可选实施例中，边缘计算设备20基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，具体包括：对n个尺度中的任一非最小尺度，根据网状网络结构中与非最小尺度对应的特征图融合关系，采用空洞卷积在非最小尺度上的原始特征图和采样特征图之间进行融合处理，得到非最小尺度上的中间特征图；采用自注意力机制对非最小尺度上的中间特征图进行特征相关性计算，得到非最小尺度上的融合特征图；其中，非最小尺度上的融合特征图和原始特征图形成非最小尺度上的目标特征图，布料图像对应的瑕疵特征图是在最大尺度上最后融合得到的目标特征图。
62.图4为例，虚线箭头表示节点之间存在跳跃链接关系，即融合关系，斜向上的箭头表示节点之间存在上采样关系或融合关系，竖直向下的箭头表示节点之间存在下采样关系。值得注意的是，针对目标特征图所在的节点，在融合得到目标特征图时，与其有跳跃连接关系的节点和上采样关系的节点需要参与到目标特征图的融合任务中。具体而言，在需要融合的目标特征图时，获取与需要融合的目标特征图关联的有跳跃连接关系的节点对应的目标特征图，以及获取与需要融合的目标特征图有上采样关系的节点对应的目标特征图，将有上采样关系的节点对应的目标特征图的采样特征图和有跳跃连接关系的节点对应的目标特征图进行至少涉及空洞卷积的卷积处理，得到中间特征图；采用自注意力机制对中间特征图与其自身进行点乘运算，得到需要融合的目标特征图。
63.继续以图4为例，x
3,1
融合特征图的获取过程是：对x
4,0
原始特征图经过上采样得到的采样特征图和x
3,0
原始特征图进行至少涉及空洞卷积的卷积处理，得到中间特征图x
3,1
，接着采用自注意力机制对中间特征图x
3,1
与其自身进行点乘运算，得到x
3,1
融合特征图。
64.x
2,1
融合特征图的获取过程是：对x
3,0
原始特征图经过上采样得到的采样特征图和x
2,0
原始特征图进行至少涉及空洞卷积的卷积处理，得到中间特征图x
2,1
，接着采用自注意力机制对中间特征图x
2,1
与其自身进行点乘运算，得到x
2,1
融合特征图。
65.x
2,2
融合特征图的获取过程是：对x
3,1
融合特征图经过上采样得到的采样特征图、x
2,1
融合特征图和x
2,0
原始特征图进行至少涉及空洞卷积的卷积处理，得到中间特征图x
2,2
；接着采用自注意力机制对中间特征图x
2,2
与其自身进行点乘运算，得到x
2,2
融合特征图。在图4中，x
3,1
、x
2,1
、x
2,2
等中间特征图未示出。
66.依次类推，可以得到各个尺度上的融合特征图。在图4中，x
0,0
原始特征图所对应的尺度上最后融合得到的融合特征图是x
4,0
，x
4,0
是对x
1,3
融合特征图经过上采样得到的采样特征图、x
0,1
融合特征图、x
0,2
融合特征图、x
0,3
融合特征图和x
0,0
原始特征图进行至少涉及空洞卷积的卷积处理，得到中间特征图x
0,4
；接着采用自注意力机制对中间特征图x
0,4
与其自身进行点乘运算，得到x
0,4
融合特征图。x
0,4
融合特征图即为x
0,0
原始特征图所对应的尺度上最后融合得到的目标特征图，也即为瑕疵检测模型针对布料图像进行瑕疵检测所得的瑕疵特征图。
67.在本技术的上述或下述实施例中，边缘计算设备20根据多个瑕疵特征图生成目标布料对应的瑕疵地图，具体包括：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应布料区域中的疑似瑕疵区域及其轮廓信息；将疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从疑似瑕疵区域中得到目标瑕疵区域；根据目标瑕疵区域在对应布料区域中的位置，生成目标布料对应的瑕疵地图。
68.值得注意的是，通过疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对以确定目标瑕疵区域，可以进一步降低瑕疵误识别的概率。例如，以纯色布料的瑕疵检测为例，瑕疵轮廓匹配可以降低飞花或褶皱等误识别为瑕疵的概率。
69.在本技术实施例中，在根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应布料区域中的疑似瑕疵区域及其轮廓信息时，可以根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定每个瑕疵特征图中各像素点对应的目标瑕疵类型；根据各像素点对应的目标瑕疵类型以及各像素点在瑕疵特征图的位置信息，确定对应布料区域中的疑似瑕疵区域；对疑似瑕疵区域图像进行二值化处理，并对二值化处理后的疑似瑕疵区域图像进行轮廓提取处理，得到疑似瑕疵区域的轮廓信息；将疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从疑似瑕疵区域中得到目标瑕疵区域；根据目标瑕疵区域在对应布料区域中的位置，生成目标布料对应的瑕疵地图。
70.其中，在根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定每个瑕疵特征图中各像素点对应的目标瑕疵类型时，针对瑕疵特征图中每个像素点，瑕疵检测模型可以识别出该像素点属于各个瑕疵类型的概率，并将概率最大的瑕疵类型作为该像素点的目标瑕疵类型。
71.实际应用中，边缘计算设备20在训练瑕疵检测模型时，可以将预先标注的样本布料图像输入至初始瑕疵检测模型中，得到样本布料图像的模型输出结果；其中，样本布料图像的标注结果包括样本布料图像中各个像素点是否存在瑕疵以及瑕疵类型；根据样本布料图像的模型输出结果和对应的标注结果，计算目标损失函数；根据目标损失函数调整初始瑕疵检测模型的模型参数，以得到瑕疵检测模型。
72.本技术实施例中，模型训练过程中可以采用一种或多种损失函数。作为一种示例，为了提高瑕疵检测模型的识别准确度，边缘计算设备20还用于：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。
73.其中，缓解正负样本不均衡的损失函数例如为focal loss损失函数，focal loss损失函数在平衡交叉熵损失函数的基础上，增加一个调节因子降低易分类样本权重，聚焦于困难样本的训练。关于focal loss损失函数的更多介绍详见相关技术。
74.其中，在训练过程中关注难分样本的损失函数例如为ohem（online hard example mining cross
‑
entropy，在线困难样本挖掘）loss损失函数。使用ohem loss损失函数ohem loss将大量易分样本在训练过程中不回传损失函数，专注于训练难分样本。
75.其中，交叉熵损失函数例如为large margin softmax loss，large margin softmax loss是一种改进型的交叉熵损失函数，能够加大了模型学习的难度，逼迫模型不断学习更具区分性的特征，从而使得类间距离更大，类内距离更小。关于large margin softmax loss损失函数的更多介绍详见相关技术。
76.其中，关注模型的平均交并比的损失函数例如为dice loss。dice系数用来度量集合相似度的度量函数，通常用于计算两个样本之间的相似度。其中，平均交并比 (mean intersection over union,miou)是指计算真实值和预测值两个集合的交集和并集之比。
77.值得注意的是，若边缘计算设备20在训练瑕疵检测模型时采用多种不同维度的损失函数，则可以计算多个维度的损失函数，将多个不同维度的损失函数进行求和，得到目标损失函数。在基于目标损失函数调整模型参数时，可以判断目标损失函数是否大于预设损失值，若否，则停止模型训练，将当前训练得到的瑕疵检测模型作为训练好的瑕疵检测模型。若时，则继续进行模型训练直至目标损失函数小于预设损失值。其中，预设损失值是停止模型训练和继续模型训练的一个判断指标，预设损失值根据实际情形设置。
78.进一步的，边缘计算设备20在训练瑕疵检测模型时，还可以通过使用随机权重平均(stochastic weight averaging，swa)选取训练过程中的平均权重，增加模型的泛化性。
79.在上述系统实施例中，首先对目标布料进行松布处理并在松布处理过程中对目标布料进行瑕疵检测，之后，结合订单信息对目标布料进行裁剪得到服装裁片，将服装裁片用于服装加工，但整个处理逻辑并不限于此。上述系统还可以采用下述的工作方式，即先接收来自订单系统的用于服装生产的订单信息，订单信息包括但不限于待产服装的款式、尺寸规格、数量、原材料、质量要求、价格、下单时间、交付时间、下单用户名称等信息。根据该订单信息中诸如待产服装的款式、尺寸规格、数量、原材料和质量要求，可以确定待产服装的裁片信息，其中，裁片信息例如包括但不限于裁片的尺寸规格、轮廓形状、裁片的面料信息或裁片加工工艺。基于待产服装所需的裁片信息，定位出目标布料中用于裁剪出服装裁片的裁片区域。其中，裁片区域的数量可以是一个或多个。在定位出目标布料中的裁片区域之后，当目标布料进行松布处理过程中，针对裁片区域进行瑕疵检测，并对通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。
80.其中，通过瑕疵检测的裁片区域是指无瑕疵或存在少量瑕疵但在瑕疵允许范围内的质量合格的裁片区域，当然，未通过瑕疵检测的裁片区域指存在较多瑕疵的质量不合格
裁片区域。本技术实施例并不限制通过瑕疵检测的裁片区域的评估方式。例如，针对任一待评估的裁片区域，根据该裁片区域的瑕疵检测结果中诸如瑕疵数量及其类型、瑕疵与裁片区域之间的面积占比等多个维度评估裁片区域的质量等级，根据待评估的裁片区域的质量等级和预设的质量等级与质量合格的关联关系，确定待评估的裁片区域是否通过瑕疵检测。其中，基于多个维度的瑕疵检测信息评估裁片区域的质量等级的方式可以参见前述目标布料的质量等级评估方式，在此不再赘述。
81.在一种可能的实现方式中，数字化布料处理系统中各组件的交互过程是：边缘计算设备根据接收服装生产的订单信息，所述订单信息包括待产服装所需的裁片信息；根据所述裁片信息，确定目标布料上的裁片区域；松布设备用于对目标布料进行松布处理；在对所述目标布料进行松布处理过程中，采集裁判区域对应的布料图像并上报给边缘计算设备；边缘计算设备基于布料图像针对所述裁片区域进行瑕疵检测；以及将裁片区域的瑕疵检测结果发送给裁剪设备，以供裁剪设备基于裁片信息对目标布料上通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。在上述实施方式中，并不限定对裁片区域进行瑕疵检测的具体实现手段。可选地，可以采集所述裁片区域对应的布料图像；将所述布料图像输入采用网状网络结构进行多尺度融合的瑕疵检测模型中，根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图，所述瑕疵特征图反映所述裁片区域的瑕疵检测结果。关于裁片区域的瑕疵检测实现方式与前述实施例中布料瑕疵检测方式相同，可以参见前述实施例。
82.其中，在裁片区域进入到松布机构上进行松布处理时，可以通过视觉采集系统直接采集裁片区域对应的布料图像，并将布料图像发送给边缘计算设备进行瑕疵检测。或者，视觉系统可以采集进入其可视范围内的布料区域对应的初始布料图像，将该初始布料图像发送给边缘计算设备，边缘计算设备根据裁片信息从该初始布料图像中裁剪出裁片区域对应的布料图像。
83.进一步可选的，边缘计算设备根据裁片区域的瑕疵检测结果可以评估以下信息：目标布料可以生产多少件待产服装、是否可以生产出服装订单需要生产的服装数量、是否可以按照服装订单的交货日期正常交货或者是否会影响服装订单的裁剪工序正常排产，并将上述信息作为裁剪工序的排产引导信息发送至排产系统，以供排产系统更新服装订单在裁剪工序下的排产计划，实现裁剪工序的排产合理性，提高数字化工厂的整体产能和效率。关于边缘计算设备与排产系统的交互可以参见前述实施例。
84.进一步可选的，中心调度节点还可以基于生产线上裁剪设备的设备状态信息，调度空闲且无故障的裁剪设备执行针对通过瑕疵检测的裁片区域的裁剪任务。另外，执行裁剪任务的裁剪设备也可以向中心调度节点返回裁剪进度信息，以供中心调度节点实时掌握裁剪进度。中心调度节点的更多介绍可以参见前述实施例。
85.在上述实施方式中，首先结合订单信息中包含的裁片信息，锁定目标布料上的裁片区域，在对目标布料进行松布过程中，采集裁片区域对应的布料图像，结合布料图像自动针对裁片区域进行有针对性地瑕疵检测，可以减少进行瑕疵检测的布料数量，减少计算量，不仅可以提高瑕疵检测的准确度和效率，降低人力成本，还可以提高瑕疵检测的效率，提高数字化服装生产效率。
86.图5a为本技术一示例性实施例提供的一种布料瑕疵检测方法的流程示意图。如图
5a所示，该方法可以包括以下步骤：501a、在对目标布料进行松布处理过程中，针对目标布料采集多个布料图像，布料图像是目标布料的一个布料区域的图像。
87.502a、根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，瑕疵检测模型是采用网状网络结构进行多尺度融合的神经网络模型。
88.503a、根据多个瑕疵特征图生成目标布料对应的瑕疵地图。
89.在本技术的一些实施例中，根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，具体包括：对任一布料图像，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，n是≥2的整数；基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
90.在本技术的一些实施例中，网状网络结构包括与n个尺度对应的n层，且自上而下各层对应的尺度逐渐减小；每层中包括至少一个节点，每个节点表示对应尺度上的待融合特征图或目标特征图，同一层中节点之间的跳跃链接关系表示待融合特征图之间的融合关系，相邻层节点之间的指向关系表示下一尺度上的目标特征图与上一尺度上的待融合特征图或目标特征图之间存在的上采样关系。
91.在本技术的一些实施例中，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，包括：将布料图像输入瑕疵检测模型中，对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图；对最大尺度上的原始特征图依次进行n
‑
1次下采样，得到其余n
‑
1个尺度上的原始特征图；针对任一非最大尺度，对非最大尺度上的目标特征图进行上采样，得到其上一尺度上的采样特征图，上一尺度上的采样特征图和其原始特征图形成上一尺度上的待融合特征图；其中，非最大尺度上的目标特征图包括其原始特征图，或者包括其原始特征图以及由其原始特征图和采样特征图进行融合得到的融合特征图。
92.在本技术的一些实施例中，基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，包括：基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
93.在本技术的一些实施例中，基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，具体包括：对n个尺度中的任一非最小尺度，根据网状网络结构中与非最小尺度对应的特征图融合关系，采用空洞卷积在非最小尺度上的原始特征图和采样特征图之间进行融合处理，得到非最小尺度上的中间特征图；采用自注意力机制对非最小尺度上的中间特征图进行特征相关性计算，得到非最小尺度上的融合特征图；其中，非最小尺度上的融合特征图和原始特征图形成非最小尺度上的目标特征图，布料图像对应的瑕疵特征图是在最大尺度上最后融合得到的目标特征图。
94.在本技术的一些实施例中，根据多个瑕疵特征图生成目标布料对应的瑕疵地图，具体包括：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应布料区域中的疑似
瑕疵区域及其轮廓信息；将疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从疑似瑕疵区域中得到目标瑕疵区域；根据目标瑕疵区域在对应布料区域中的位置，生成目标布料对应的瑕疵地图。
95.在本技术的一些实施例中，上述方法还包括：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。
96.在本技术的一些实施例中，上述方法还包括：将瑕疵地图提供给裁剪设备，以供裁剪设备根据瑕疵地图，结合来自订单系统中的订单信息，对目标布料进行裁剪，得到符合订单要求的裁片，以将裁片用于服装加工。
97.在本技术的一些实施例中，上述方法还包括：根据瑕疵地图确定目标布料的质量等级，根据目标布料的质量等级生成排产引导信息，将排产引导信息提供给排产系统，以供排产系统根据排产引导信息对后续依赖目标布料的待产订单进行排产处理。
98.在本技术的一些实施例中，上述方法还包括：将目标布料的质量等级提供给布料管理系统；以供布料管理系统根据目标布料的质量等级生成布料供应需求信息，并将布料供应需求信息提供给布料供应商，以供布料供应商后续按照布料供应需求信息提供目标布料。关于布料瑕疵检测方法的具体实现方式已经在有关该数字化布料处理系统的实施例中进行了详细描述，此处将不做详细阐述说明。
99.图5b为本技术一示例性实施例提供的一种布料裁剪方法的流程示意图。如图5b所示，该方法可以包括以下步骤：501b、接收服装生产的订单信息，所述订单信息包括待产服装所需的裁片信息。
100.502b、根据所述裁片信息，确定目标布料上的裁片区域。
101.503b、在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测。
102.504b、对通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。
103.在本技术的一些实施例中，在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测，包括：采集所述裁片区域对应的布料图像；将所述布料图像输入采用网状网络结构进行多尺度融合的瑕疵检测模型中，根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图，所述瑕疵特征图反映所述裁片区域的瑕疵检测结果。
104.在本技术的一些实施例中，根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图，具体包括：将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，n是≥2的整数；基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
105.在本技术的一些实施例中，网状网络结构包括与n个尺度对应的n层，且自上而下各层对应的尺度逐渐减小；每层中包括至少一个节点，每个节点表示对应尺度上的待融合特征图或目标特征图，同一层中节点之间的跳跃链接关系表示待融合特征图之间的融合关系，相邻层节点之间的指向关系表示下一尺度上的目标特征图与上一尺度上的待融合特征图或目标特征图之间存在的上采样关系。
106.在本技术的一些实施例中，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，包括：将布料图像输入瑕疵检测模型中，对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图；对最大尺度上的原始特征图依次进行n
‑
1次下采样，得到其余n
‑
1个尺度上的原始特征图；针对任一非最大尺度，对非最大尺度上的目标特征图进行上采样，得到其上一尺度上的采样特征图，上一尺度上的采样特征图和其原始特征图形成上一尺度上的待融合特征图；其中，非最大尺度上的目标特征图包括其原始特征图，或者包括其原始特征图以及由其原始特征图和采样特征图进行融合得到的融合特征图。
107.在本技术的一些实施例中，基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，包括：基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
108.在本技术的一些实施例中，基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图，具体包括：对n个尺度中的任一非最小尺度，根据网状网络结构中与非最小尺度对应的特征图融合关系，采用空洞卷积在非最小尺度上的原始特征图和采样特征图之间进行融合处理，得到非最小尺度上的中间特征图；采用自注意力机制对非最小尺度上的中间特征图进行特征相关性计算，得到非最小尺度上的融合特征图；其中，非最小尺度上的融合特征图和原始特征图形成非最小尺度上的目标特征图，布料图像对应的瑕疵特征图是在最大尺度上最后融合得到的目标特征图。
109.在本技术的一些实施例中，上述方法还包括：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。在本技术的一些实施例中，上述方法还包括：根据多个裁片区域的瑕疵特征图生成所述目标布料对应的瑕疵地图。
110.在本技术的一些实施例中，根据多个裁片区域的瑕疵特征图生成所述目标布料对应的瑕疵地图，具体包括：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应裁片区域中的疑似瑕疵区域及其轮廓信息；将所述疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从所述疑似瑕疵区域中得到目标瑕疵区域；根据所述目标瑕疵区域在对应裁片区域中的位置，生成所述目标布料对应的瑕疵地图。
111.在本技术的一些实施例中，上述方法还包括：根据瑕疵地图确定目标布料的质量等级，根据目标布料的质量等级生成排产引导信息，将排产引导信息提供给排产系统，以供排产系统根据排产引导信息对后续依赖目标布料的待产订单进行排产处理。
112.在本技术的一些实施例中，上述方法还包括：将目标布料的质量等级提供给布料管理系统；以供布料管理系统根据目标布料的质量等级生成布料供应需求信息，并将布料供应需求信息提供给布料供应商，以供布料供应商后续按照布料供应需求信息提供目标布料。关于布料裁剪方法的具体实现方式已经在有关该数字化布料处理系统的实施例中进行了详细描述，此处将不做详细阐述说明。
113.图6a为本技术一示例性实施例提供的一种布料瑕疵检测装置的结构示意图。如图
6a所示，该布料瑕疵检测装置可以包括：采集模块61a，用于在对目标布料进行松布处理过程中，针对目标布料采集多个布料图像，布料图像是目标布料的一个布料区域的图像。
114.处理模块62a，用于根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，瑕疵检测模型是采用网状网络结构进行多尺度融合的神经网络模型；根据多个瑕疵特征图生成目标布料对应的瑕疵地图。
115.在本技术的一些实施例中，处理模块62a根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图时，具体用于：对任一布料图像，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，n是≥2的整数；基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
116.在本技术的一些实施例中，网状网络结构包括与n个尺度对应的n层，且自上而下各层对应的尺度逐渐减小；每层中包括至少一个节点，每个节点表示对应尺度上的待融合特征图或目标特征图，同一层中节点之间的跳跃链接关系表示待融合特征图之间的融合关系，相邻层节点之间的指向关系表示下一尺度上的目标特征图与上一尺度上的待融合特征图或目标特征图之间存在的上采样关系。
117.在本技术的一些实施例中，处理模块62a将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图时，具体用于：将布料图像输入瑕疵检测模型中，对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图；对最大尺度上的原始特征图依次进行n
‑
1次下采样，得到其余n
‑
1个尺度上的原始特征图；针对任一非最大尺度，对非最大尺度上的目标特征图进行上采样，得到其上一尺度上的采样特征图，上一尺度上的采样特征图和其原始特征图形成上一尺度上的待融合特征图；其中，非最大尺度上的目标特征图包括其原始特征图，或者包括其原始特征图以及由其原始特征图和采样特征图进行融合得到的融合特征图。
118.在本技术的一些实施例中，处理模块62a基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图时，具体用于：基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
119.在本技术的一些实施例中，处理模块62a基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图时，具体用于：对n个尺度中的任一非最小尺度，根据网状网络结构中与非最小尺度对应的特征图融合关系，采用空洞卷积在非最小尺度上的原始特征图和采样特征图之间进行融合处理，得到非最小尺度上的中间特征图；采用自注意力机制对非最小尺度上的中间特征图进行特征相关性计算，得到非最小尺度上的融合特征图；其中，非最小尺度上的融合特征图和原始特征图形成非最小尺度上的目标特征图，布料图像对应的瑕疵特征图是在最大尺度上最后融合得到的目标特征图。
120.在本技术的一些实施例中，处理模块62a根据多个瑕疵特征图生成目标布料对应
的瑕疵地图时，具体用于：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应布料区域中的疑似瑕疵区域及其轮廓信息；将疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从疑似瑕疵区域中得到目标瑕疵区域；根据目标瑕疵区域在对应布料区域中的位置，生成目标布料对应的瑕疵地图。
121.在本技术的一些实施例中，处理模块62a还用于：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。关于布料瑕疵检测方法的具体实现方式已经在有关该数字化布料处理系统的实施例中进行了详细描述，此处将不做详细阐述说明。
122.图6a的布料瑕疵检测装置可以执行图5a所示实施例的布料瑕疵检测方法，其实现原理和技术效果不再赘述。对于上述实施例中的布料瑕疵检测装置其中各个模块、单元执行操作的具体方式已经在有关该数字化布料处理系统的实施例中进行了详细描述，此处将不做详细阐述说明。
123.图6b为本技术一示例性实施例提供的一种布料裁剪装置的结构示意图。如图6b所示，该布料裁剪装置可以包括：接收模块61b，用于接收服装生产的订单信息，所述订单信息包括待产服装所需的裁片信息。处理模块62b，用于根据所述裁片信息，确定目标布料上的裁片区域。处理模块62b，还用于在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测。裁剪模块63b，用于对通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。
124.在本技术的一些实施例中，处理模块62b在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测时，具体用于：采集所述裁片区域对应的布料图像；将所述布料图像输入采用网状网络结构进行多尺度融合的瑕疵检测模型中，根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图，所述瑕疵特征图反映所述裁片区域的瑕疵检测结果。其中，关于处理模块62b根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图的详细实施方式，可参见前述实施例，在此不再赘述。
125.在本技术的一些实施例中，处理模块62b还用于：根据多个裁片区域的瑕疵特征图生成所述目标布料对应的瑕疵地图。进一步可选地，处理模块62b根据多个裁片区域的瑕疵特征图生成所述目标布料对应的瑕疵地图时，具体用于：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应裁片区域中的疑似瑕疵区域及其轮廓信息；将所述疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从所述疑似瑕疵区域中得到目标瑕疵区域；根据所述目标瑕疵区域在对应裁片区域中的位置，生成所述目标布料对应的瑕疵地图。
126.在本技术的一些实施例中，处理模块62b还用于：根据瑕疵地图确定目标布料的质量等级，根据目标布料的质量等级生成排产引导信息，将排产引导信息提供给排产系统，以供排产系统根据排产引导信息对后续依赖目标布料的待产订单进行排产处理。
127.在本技术的一些实施例中，处理模块62b还用于：将目标布料的质量等级提供给布料管理系统；以供布料管理系统根据目标布料的质量等级生成布料供应需求信息，并将布料供应需求信息提供给布料供应商，以供布料供应商后续按照布料供应需求信息提供目标
布料。关于布料裁剪装置的具体实现方式已经在有关该数字化布料处理系统的实施例中进行了详细描述，此处将不做详细阐述说明。
128.图7为本技术一示例性实施例提供的一种计算机设备的结构示意图。如图7所示，该计算机设备可以包括：视觉采集系统70、存储器71和处理器72。
129.存储器71，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器71可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
130.处理器72，与存储器71耦合，用于执行存储器71中的计算机程序，以用于：在对目标布料进行松布处理过程中，针对目标布料通过视觉采集系统70采集多个布料图像，布料图像是目标布料的一个布料区域的图像；根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图，瑕疵检测模型是采用网状网络结构进行多尺度融合的神经网络模型；根据多个瑕疵特征图生成目标布料对应的瑕疵地图。
131.在本技术的一些实施例中，处理器72根据瑕疵检测模型采用的网状网络结构，对多个布料图像分别进行多尺度特征融合处理，得到多个瑕疵特征图时，具体用于：对任一布料图像，将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图，n是≥2的整数；基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
132.在本技术的一些实施例中，处理器72将布料图像输入瑕疵检测模型中，针对布料图像进行多尺度特征提取，得到n个尺度上的待融合特征图时，具体用于：将布料图像输入瑕疵检测模型中，对布料图像进行首次特征提取，得到n个尺度中最大尺度上的原始特征图；对最大尺度上的原始特征图依次进行n
‑
1次下采样，得到其余n
‑
1个尺度上的原始特征图；针对任一非最大尺度，对非最大尺度上的目标特征图进行上采样，得到其上一尺度上的采样特征图，上一尺度上的采样特征图和其原始特征图形成上一尺度上的待融合特征图；其中，非最大尺度上的目标特征图包括其原始特征图，或者包括其原始特征图以及由其原始特征图和采样特征图进行融合得到的融合特征图。
133.在本技术的一些实施例中，处理器72基于网状网络结构，按照特征图尺度由小到大的顺序，对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图时，具体用于：基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图。
134.在本技术的一些实施例中，处理器72基于网状网络结构，按照特征图尺度由小到大的顺序，采用空洞卷积和自注意力机制对n个尺度上的待融合特征图进行自下而上的融合处理，得到布料图像对应的瑕疵特征图时，具体用于：对n个尺度中的任一非最小尺度，根据网状网络结构中与非最小尺度对应的特征图融合关系，采用空洞卷积在非最小尺度上的
原始特征图和采样特征图之间进行融合处理，得到非最小尺度上的中间特征图；采用自注意力机制对非最小尺度上的中间特征图进行特征相关性计算，得到非最小尺度上的融合特征图；其中，非最小尺度上的融合特征图和原始特征图形成非最小尺度上的目标特征图，布料图像对应的瑕疵特征图是在最大尺度上最后融合得到的目标特征图。
135.在本技术的一些实施例中，处理器72根据多个瑕疵特征图生成目标布料对应的瑕疵地图时，具体用于：根据每个瑕疵特征图中各像素点对应的瑕疵概率，确定对应布料区域中的疑似瑕疵区域及其轮廓信息；将疑似瑕疵区域的轮廓信息与瑕疵库中已有瑕疵的轮廓信息进行比对，从疑似瑕疵区域中得到目标瑕疵区域；根据目标瑕疵区域在对应布料区域中的位置，生成目标布料对应的瑕疵地图。
136.在本技术的一些实施例中，处理器72还用于：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。
137.进一步，如图7所示，该计算机设备还包括：通信组件73、显示器74、电源组件75、音频组件76等其它组件。图7中仅示意性给出部分组件，并不意味着计算机设备只包括图7所示组件。另外，图7中虚线框内的组件为可选组件，而非必选组件，具体可视计算机设备的产品形态而定。本实施例的计算机设备可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的计算机设备实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图7中虚线框内的组件；若本实施例的计算机设备实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图7中虚线框内的组件。
138.本技术实施例还提供一种计算机设备，该计算机设备的结构与图7所示的计算机设备的结构相同，但是该计算机设备的处理逻辑与图7所示的计算机设备的处理逻辑不同。具体而言，该计算机设备包括：视觉采集系统、存储器和处理器。处理器与存储器耦合，用于执行存储器中的计算机程序，以用于：接收服装生产的订单信息，所述订单信息包括待产服装所需的裁片信息；根据所述裁片信息，确定目标布料上的裁片区域；在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测；对通过瑕疵检测的裁片区域进行裁剪，得到服装裁片，以用于所述待产服装的加工过程。
139.在本技术的一些实施例中，处理器在对所述目标布料进行松布处理过程中，针对所述裁片区域进行瑕疵检测时，具体用于：采集所述裁片区域对应的布料图像；将所述布料图像输入采用网状网络结构进行多尺度融合的瑕疵检测模型中，根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图，所述瑕疵特征图反映所述裁片区域的瑕疵检测结果。其中，处理器根据所述网状网络结构对所述布料图像分别进行多尺度特征融合处理，得到瑕疵特征图的详细实施过程可参见前述实施例，在此不再赘述。
140.在本技术的一些实施例中，处理器还用于：采用多种损失函数对瑕疵检测模型进行模型训练，多种损失函数包括缓解正负样本不均衡的损失函数、在训练过程中关注难分样本的损失函数、交叉熵损失函数和关注模型的平均交并比的损失函数中的至少两种。在本技术的一些实施例中，上述方法还包括：根据多个裁片区域的瑕疵特征图生成所述目标布料对应的瑕疵地图。关于生成瑕疵地图以及对瑕疵地图的使用方式可参见前述实施例，在此不再赘述。
141.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现上述方法实施例中的各步骤。
142.相应地，本技术实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器能够实现上述方法实施例中的各步骤。
143.上述图7中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
144.上述图7中的显示器包括屏幕，其屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
145.上述图7中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
146.上述图7中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（mic），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
147.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
148.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
149.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
150.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
151.在一个典型的配置中，计算设备包括一个或多个处理器 (cpu)、输入/输出接口、网络接口和内存。
152.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
153.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd
‑
rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
154.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
155.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。