基于知识蒸馏的检测模型的压缩方法、系统和计算设备与流程

1.本发明的实施方式涉及人工智能技术领域，更具体地，本发明的实施 方式涉及一种基于知识蒸馏的检测模型的压缩方法、系统和计算设备。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上 下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.随着人工智能技术的快速发展，人工智能技术中的深度学习技术广泛 的应用于目标检测领域，特别是针对体积较小的小目标的检测已经成为了 目标检测领域的研究热点。目前，通常使用yolo v3网络模型对小目标 进行检测，可以得到较为准确的检测结果。然而，在实践中发现，由于 yolo v3网络模型的尺寸过大，因此，将yolo v3网络模型移植到小网 络模型中的过程中，可能出现yolo v3网络模型中的知识传递不充分的 情况。


技术实现要素：

4.在本上下文中，本发明的实施方式期望提供一种基于知识蒸馏的检测 模型的压缩方法、系统和计算设备。
5.在本发明实施方式的第一方面中，提供了一种基于知识蒸馏的检测模 型的压缩方法，包括：
6.基于教师网络对获取的目标图像进行计算，得到所述目标图像对应的 图像权重信息；
7.基于检测模型对所述目标图像进行计算，得到所述目标图像对应的特 征值；
8.基于损失函数、所述图像权重信息以及所述特征值对所述检测模型进 行知识蒸馏，得到压缩后的检测模型。
9.在本实施方式的一个实施例中，基于教师网络对获取的目标图像进行 计算，得到所述目标图像对应的图像权重信息，包括：
10.基于教师网络对获取的目标图像进行计算，得到所述目标图像对应的 掩码图；
11.获取所述教师网络输出的包含所述目标图像中前景区域的置信度；
12.基于所述置信度对所述掩码图进行计算，得到图像权重信息。
13.在本实施方式的一个实施例中，基于教师网络对获取的目标图像进行 计算，得到所述目标图像对应的掩码图，包括：
14.基于教师网络对获取的目标图像进行识别，得到所述目标图像中的预 测框信息；
15.基于所述目标图像中的真实标签信息对所述预测框信息进行计算，确 定所述目标图像中包含检测目标的前景区域以及除所述前景区域之外的 背景区域；
16.确定所述目标图像的前景区域对应的第一预设值，并且确定所述目标 图像的背景区域对应的第二预设值，以得到所述目标图像对应的包含所述 第一预设值和所述第二预设值的掩码图。
17.在本实施方式的一个实施例中，所述检测模型包含但不限于特征提取 层、特征融合层以及自适应层，基于检测模型对所述目标图像进行计算， 得到所述目标图像对应的特征值，包括：
18.基于所述特征提取层对所述目标图像进行计算，得到所述特征提取层 输出的第一特征值；
19.基于所述特征融合层对所述第一特征值进行计算，得到所述特征融合 层输出的第二特征值；
20.通过所述自适应层对所述第一特征值的维度和所述第二特征值的维 度分别进行调整，得到调整后的第一特征值和第二特征值，所述调整后的 第一特征值的维度与所述图像权重信息的维度相同，以及所述调整后的第 二特征值的维度与所述图像权重信息的维度相同。
21.在本实施方式的一个实施例中，基于损失函数、所述图像权重信息以 及所述特征值对所述检测模型进行知识蒸馏，得到压缩后的检测模型，包 括：
22.基于损失函数对所述图像权重信息和所述特征值进行计算，得到所述 特征值对应的总损失；
23.基于所述总损失，利用反向传播算法对所述检测模型进行知识蒸馏， 得到压缩后的检测模型。
24.在本实施方式的一个实施例中，所述检测模型还包含目标检测层，基 于损失函数对所述图像权重信息和所述特征值进行计算，得到所述特征值 对应的总损失，包括：
25.基于损失函数对所述图像权重信息和所述第一特征值进行计算，得到 所述特征提取层对应的第一蒸馏损失；
26.基于损失函数对所述图像权重信息和所述第二特征值进行计算，得到 所述特征融合层对应的第二蒸馏损失；
27.基于损失函数对所述目标检测层输出的检测结果进行计算，得到真实 损失；
28.对所述第一蒸馏损失、所述第二蒸馏损失以及所述真实损失进行计算， 得到总损失。
29.在本实施方式的一个实施例中，基于所述总损失，利用反向传播算法 对所述检测模型进行知识蒸馏，得到压缩后的检测模型，包括：
30.基于所述总损失，利用反向传播算法对所述检测模型中的每一层的模 型参数进行求导，得到每一层分别对应的新模型参数；
31.基于所述每一层分别对应的新模型参数对所述检测模型进行更新，得 到更新后的检测模型，以实现对所述检测模型的知识蒸馏。
32.在本发明实施方式的第二方面中，提供了一种基于知识蒸馏的检测模 型的压缩系统，包括：
33.计算单元，用于基于教师网络对获取的目标图像进行计算，得到所述 目标图像对应的图像权重信息；
34.所述计算单元，还用于基于检测模型对所述目标图像进行计算，得到 所述目标图像对应的特征值；
35.压缩单元，用于基于损失函数、所述图像权重信息以及所述特征值对 所述检测模
型进行知识蒸馏，得到压缩后的检测模型。
36.在本发明实施方式的第三方面中，提供了一种存储有程序的存储介质， 其中，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行 时能够实现第一方面中任一项所述的方法。
37.在本发明实施方式的第四方面中，提供了一种计算设备，包括第三方 面所述的存储介质。
38.根据本发明实施方式的基于知识蒸馏的检测模型的压缩方法、系统和 计算设备，能够基于教师网络对目标图像进行计算，得到目标图像对应的 图像权重信息，还可以基于检测模型对目标图像进行计算，得到目标图像 对应的特征值，由于教师网络为成熟的神经网络，因此可以利用教师网络 得到的图像权重信息以及损失函数对检测模型进行知识蒸馏，以使检测模 型在充分获得教师网络的知识的同时，还提升了检测模型的检测精度。
附图说明
39.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以 及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制 性的方式示出了本发明的若干实施方式，其中：
40.图1为本发明一实施例提供的基于知识蒸馏的检测模型的压缩方法的 流程示意图；
41.图2为本发明另一实施例提供的基于知识蒸馏的检测模型的压缩方法 的流程示意图；
42.图3为本发明一实施例提供的基于知识蒸馏的检测模型的压缩方法中 基于知识蒸馏的检测模型的结构示意图；
43.图4为本发明一实施例提供的基于知识蒸馏的检测模型的压缩系统的 结构示意图；
44.图5示意性地示出了本发明实施例的一种介质的结构示意图；图6示意性地示出了本发明实施例的一种计算设备的结构示意图。
45.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
46.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理 解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而 实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施 方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传 达给本领域的技术人员。
47.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、 设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式， 即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者 硬件和软件结合的形式。
48.根据本发明的实施方式，提出了一种基于知识蒸馏的检测模型的压缩 方法、系统和计算设备。
49.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限 制，以及任
何命名都仅用于区分，而不具有任何限制含义。
50.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精 神。
51.示例性方法
52.下面参考图1，图1为本发明一实施例提供的基于知识蒸馏的检测模 型的压缩方法的流程示意图。需要注意的是，本发明的实施方式可以应用 于适用的任何场景。
53.图1所示的本发明一实施例提供的基于知识蒸馏的检测模型的压缩方 法的流程，包括：
54.步骤s101，基于教师网络对获取的目标图像进行计算，得到所述目标 图像对应的图像权重信息；
55.步骤s102，基于检测模型对所述目标图像进行计算，得到所述目标图 像对应的特征值；
56.步骤s103，基于损失函数、所述图像权重信息以及所述特征值对所述 检测模型进行知识蒸馏，得到压缩后的检测模型。
57.本技术中提出的基于知识蒸馏的检测模型的压缩方法所针对的是基 于以机器学习尤其是深度学习为代表的人工智能所构建的检测模型，包括 但不限于图像分割、目标检测、人脸识别等各个适用不同应用场景的检测 模型，尤其是应用于小目标检测的应用场景。
58.本发明中能够基于教师网络对目标图像进行计算，得到目标图像对应 的图像权重信息，还可以基于检测模型对目标图像进行计算，得到目标图 像对应的特征值，由于教师网络为成熟的神经网络，因此可以利用教师网 络得到的图像权重信息以及损失函数对检测模型进行知识蒸馏，以使检测 模型在充分获得教师网络的知识的同时，还提升了检测模型的检测精度。
59.下面结合附图说明如何使检测模型在充分获得教师网络的知识的同时， 还提升了检测模型的检测精度：
60.本发明实施例中，知识蒸馏(knowledge distillation)可以为迁移学习 (transfer learning)中的一种算法，通过引入与教师网络(teacher model) 相关的软目标(soft
‑
target)作为总损失(total loss)的一部分，以诱导学生网 络(student model)的训练，从而实现将教师网络的知识迁移至学生网络中 的知识迁移(knowledge transfer)的目标，其中，教师网络的特点通常为： 复杂但推理性能优越，学生网络的特点通常为：精简且低复杂度。
61.在本发明实施例中，学生网络可以为检测模型，可以通过yolo v3网 络模型构建，可以通过知识蒸馏将教师网络中的知识迁移至检测模型中，以 使检测网络可以在保持小模型的同时充分获得教师网络的知识，提升了检 测模型的检测精度。
62.本发明实施例中，目标图像中可以包含待识别目标，可以通过教师网 络对目标图像中的待识别目标进行计算，得到目标图像对应的图像权重信 息，还可以通过检测模型对目标图像中的待识别目标进行计算，得到目标 图像对应的特征值，最后可以基于损失函数、图像权重信息以及特征值对 检测模型进行知识蒸馏，以实现通过知识蒸馏将教师网络中的知识迁移至检 测模型中提升了检测模型的检测精度。
63.其中，图像权重信息的计算方式可以为：通过教师网络对目标图像中 的待识别目
标进行识别，确定识别出的目标在目标图像中所处的区域，该 区域可以确定为前景区域，并且可以基于前景区域确定出目标图像中各个 位置与目标所在位置的置信度，任一位置的置信度越大可以表示该位置越 靠近目标图像中的目标，反之，则越远离目标图像中的目标，以及可以基 于目标图像中各个位置处的置信度，确定出目标图像对应的图像权重信息， 可见，图像权重信息中可以包含目标图像中各个位置相对于目标图像中目 标所在位置的置信度。
64.以及，特征值的计算方式可以为：通过检测模型对目标图像中的待识 别目标进行计算，可以得到目标图像对应的特征值，由于当前的检测模型 输出的特征值和教师网络输出的图像权重信息的维度是不相同的，因此， 可以将特征值输入包含1
×
1卷积组成的自适应层，该自适应层可以对特 征值的维度进行调整，以使自适应层输出的调整后的特征值的维度与图像 权重信息的维度相同，从而使得特征值与图像权重信息可以更好的进行对 比分析，提升知识蒸馏的准确性。
65.此外，知识蒸馏使用的损失函数可以为平方差损失函数或均方差损失 函数等，对此，本发明实施例不做限定；使用损失函数目的是为检测模型 后续的参数更新提供依据。
66.请参阅图2，图2为本发明另一实施例提供的基于知识蒸馏的检测模 型的压缩方法的流程示意图，图2所示的本发明另一实施例提供的基于知 识蒸馏的检测模型的压缩方法的流程包括：
67.步骤s201，基于教师网络对获取的目标图像进行计算，得到所述目标 图像对应的掩码图；
68.步骤s202，获取所述教师网络输出的包含所述目标图像中前景区域的 置信度；
69.步骤s203，基于所述置信度对所述掩码图进行计算，得到图像权重信 息。
70.实施上述的步骤s201～步骤s203，可以通过教师网络对目标图像进行 计算，得到目标图像对应的掩码图，并且可以计算得到目标图像中的前景 区域的置信度，以及将置信度与掩码图相结合，得到包含置信度的图像权 重信息，以使得到的图像权重信息中包含的内容更加丰富。
71.作为一种可选的实施方式，步骤s201基于教师网络对获取的目标图 像进行计算，得到所述目标图像对应的掩码图的方式具体可以包含以下步 骤：
72.基于教师网络对获取的目标图像进行识别，得到所述目标图像中的预 测框信息；
73.基于所述目标图像中的真实标签信息对所述预测框信息进行计算，确 定所述目标图像中包含检测目标的前景区域以及除所述前景区域之外的 背景区域；
74.确定所述目标图像的前景区域对应的第一预设值，并且确定所述目标 图像的背景区域对应的第二预设值，以得到所述目标图像对应的包含所述 第一预设值和所述第二预设值的掩码图。
75.其中，实施这种实施方式，可以基于真实标签信息对获取到的目标图 像中的预测框信息进行分析计算，确定出目标图像中的前景区域和背景区 域，进而对前景区域和背景区域分别进行赋值，以得到最终的掩码图，提 高了生成的掩码图的精确度。
76.本发明实施例中，可以通过教师网络对目标图像进行识别，识别出目 标图像中包含的一个或多个目标，并且可以根据识别出的一个或多个目标 生成预测框，预测框中可以包含识别出的任意一个目标；当识别出一个目 标时，可以生成该目标对应的一个预测框，
并且可以确定出该预测框在目 标图像中的位置信息，可以将确定出的预测框的位置信息确定为目标图像 中的预测框信息；当识别出多个目标时，可以生成多个目标对应的多个预 测框，其中，一个目标对应一个预测框，可以将确定出的多个预测框的位 置信息确定为目标图像中预测框信息；
77.由于教师网络也是对目标图像中的目标进行识别，从而确定出预测框 信息的，因此，可以通过目标图像中真实标签信息对教师网络得到的预测 框信息进行修正，以使最终得到的掩码图(mask
‑
map)更加准确。
78.其中，真实标签信息的确定方式可以为：确定出的目标图像中包含的 目标，生成该目标对应的包围框，以及可以将包围框在目标图像中的位置 信息以及该目标的类别信息共同确定为目标图像的真实标签信息，因此， 从真实标签信息中可以得到目标图像中包含目标的目标类别以及该目标 在目标图像中所处的位置信息。目标图像中包含的目标可以通过人工的方 式确定，可以通过人工的方式对目标图像中包含的目标进行标记，从而可 以根据标记确定出目标在目标图像中对应的包围框。
79.因此，可以将目标图像中的真实标签信息和目标图像对应的预测框信 息进行计算(例如可以将真实标签信息和预测框信息相乘)，即可以基于 真实标签信息确定目标图像中需要识别的目标所处的位置信息，并且根据 该位置信息对识别出的预测框信息进行调整，以使调整后的预测框信息可 以准确的标识出目标图像中的目标，因此，可以在目标图像中确定调整后 的预测框信息标识的区域，并可以将该区域确定为前景区域，即前景区域 中包含有目标图像中的目标，可见，目标图像中除前景区域之外的区域可 以确定为背景区域，即背景区域中不包含目标图像中的目标。
80.更进一步，为了对目标图像中的前景区域和背景区域进行区分，可以 对目标图像中的前景区域和背景区域分别进行赋值，且赋予前景区域的数 值和赋予背景区域的数值是不相同的，例如，可以确定前景区域对应的第 一预设值(如第一预设值可以为1)，还可以确定背景区域对应的第二预 设值(如第二预设值可以为1)，因此，可以将第一预设值赋予目标图像 中的前景区域，还可以将第二预设值赋予目标图像中的背景区域，从而得 到包含第一预设值和第二预设值的掩码图。
81.本发明实施例中，由于掩码图中只通过两个值来区分包含目标的前景 区域和不包含目标的背景区域，无法对前景信息中不同位置处的信息的重 要性进行区分，因此，为了对前景信息中不同位置处的信息相对于目标核 心的重要性进行区分，可以根据前景信息中任意位置处的信息相对于目标 核心位置的距离确定该位置处的置信度，可见，前景区域中越靠近目标核 心位置的信息置信度越大，越远离目标核心位置的信息置信度越小。
82.以及，基于确定的前景区域的置信度，可以对掩码图进行计算，得到 图像权重信息，图像权重信息中可以包含目标图像中任一位置与目标之间 的置信度，其中，图像权重信息(information
‑
map)的计算方式可以为：
83.information
‑
map＝confidence(teacher)_feature
‑
map*mask
‑
map
84.其中，confidence(teacher)_feature
‑
map可以为教师网络输出的置信度。
85.步骤s204，所述检测模型包含但不限于特征提取层、特征融合层以及 自适应层，基于所述特征提取层对所述目标图像进行计算，得到所述特征 提取层输出的第一特征值；
86.步骤s205，基于所述特征融合层对所述第一特征值进行计算，得到所 述特征融合
层输出的第二特征值；
87.步骤s206，通过所述自适应层对所述第一特征值的维度和所述第二特 征值的维度分别进行调整，得到调整后的第一特征值和第二特征值，所述 调整后的第一特征值的维度与所述图像权重信息的维度相同，以及所述调 整后的第二特征值的维度与所述图像权重信息的维度相同。
88.实施上述的步骤s204～步骤s206，可以通过检测模型中包含的特征提 取层、特征融合层以及自适应层对目标图像进行计算，以使最终得到的特 征值更加准确。
89.本发明实施例中，检测模型中可以包含特征提取层、特征融合层以及 自适应层，可以通过特征提取层从目标图像中提取出第一特征值，再通过 特征融合层对第一特征值进行融合计算，得到第二特征值，由于检测模型 和教师模型输出的信息维度可能存在不同，因此，为了更好地通过教师模 型输出的信息对检测模型进行训练，可以通过自适应层对第一特征值和第 二特征值分别进行维度调整的运算，以得到调整后的第一特征值和第二特 征值，且第一特征值的维度与图像权重信息的维度相同，以及第二特征值 的维度也与图像权重信息的维度相同。
90.步骤s207，基于损失函数对所述图像权重信息和所述特征值进行计算， 得到所述特征值对应的总损失；
91.步骤s208，基于所述总损失，利用反向传播算法对所述检测模型进行 知识蒸馏，得到压缩后的检测模型。
92.实施上述的步骤s207～步骤s208，可以先计算得到特征值对应的总损 失，进而可以基于总损失对检测模型进行知识蒸馏，以得到最终压缩后的 检测模型，提升了检测模型知识蒸馏的有效性。
93.本发明实施例中，损失函数可以为平方差损失函数或均方差损失函数 等，损失函数的公式可以为：
[0094][0095]
其中，y
i
可理解为真实标签，可理解为预测结果。
[0096]
作为一种可选的实施方式，所述检测模型还包含目标检测层，步骤 s207基于损失函数对所述图像权重信息和所述特征值进行计算，得到所述 特征值对应的总损失的方式具体可以包含以下步骤：
[0097]
基于损失函数对所述图像权重信息和所述第一特征值进行计算，得到 所述特征提取层对应的第一蒸馏损失；
[0098]
基于损失函数对所述图像权重信息和所述第二特征值进行计算，得到 所述特征融合层对应的第二蒸馏损失；
[0099]
基于损失函数对所述目标检测层输出的检测结果进行计算，得到真实 损失；
[0100]
对所述第一蒸馏损失、所述第二蒸馏损失以及所述真实损失进行计算， 得到总损失。
[0101]
其中，实施这种实施方式，可以分别计算得到特征提取层和特征融合 层的不同蒸馏损失，还可以基于得到的真实损失以及特征提取层和特征融 合层的不同蒸馏损失计算
得到最终的总损失，以使得到的总损失更加准确。
[0102]
本发明实施例中，对特征提取层的第一蒸馏损失l
backbone
的计算公式可以 为：
[0103][0104]
其中，n为图像权重信息中置信度不为0的目标图像的像素点个数的 总和，w、h以及c分别表示特征提取层输出的第一特征值的尺寸，h
xy
表示掩码图的取值，conf
t
为教师网络输出的置信度，f
backbone_adap
(s)
xyz
为学 生网络的特征提取层经过自适应层处理后输出的第一特征值，t
xyz
为教师 网络输出的图像权重信息。
[0105]
本发明实施例中，对特征融合层的第二蒸馏损失l
neck
的计算公式可以为
[0106][0107]
其中，f
neck_adap(s)xyz
可以为学生网络的特征融合层经过自适应层处理后输 出的第二特征值。
[0108]
以及，可以获取到学生网络通过目标检测层输出的最终的检测结果，通 过损失函数和真实标签信息可以对最终的检测结果进行计算，得到最终的真 实损失l
hard
。
[0109]
本发明实施例中，总损失l
loss
的计算方式可以为：
[0110]
l
loss
＝l
hard
(s，t) αl
backbone
(s，t) pl
neck
(s，t)
[0111]
其中，a和β可以用来平衡第一蒸馏损失l
backbone
、第二蒸馏损失l
neck
以及真实损失l
hard
之间的权重，此时设置为1。
[0112]
作为一种可选的实施方式，步骤s208基于所述总损失，利用反向传 播算法对所述检测模型进行知识蒸馏，得到压缩后的检测模型的方式具体 可以包含以下步骤：
[0113]
基于所述总损失，利用反向传播算法对所述检测模型中的每一层的模 型参数进行求导，得到每一层分别对应的新模型参数；
[0114]
基于所述每一层分别对应的新模型参数对所述检测模型进行更新，得 到更新后的检测模型，以实现对所述检测模型的知识蒸馏。
[0115]
其中，实施这种实施方式，可以基于总损失对检测模型中的每一层的 模型参数进行求导，得到每一层分别对应的新模型参数，进而可以基于每 一层分别对应的新模型参数对检测模型进行更新，以实现对检测模型的知 识蒸馏，以提升对检测模型进行知识蒸馏的效率。
[0116]
请一并参阅图3，图3为本发明一实施例提供的基于知识蒸馏的检测模 型的压缩方法中基于知识蒸馏的检测模型的结构示意图。其中，图3中包 含teacher model(教师网络)和student model(检测模型)，且教师网络和 检测模型中均包含有backbone(特征提取层)、neck(特征融合层)以及 detection(目标检测层)，input image可以为输入教师网络和检测模型中的 目标图像，教师网络可以对输入的目标图像进行识别，得到mask
‑
map(掩码 图)和confidence(teacher)(置信度)，并通过掩码图和置信度计算得到information
‑
map(图像权重信息)。
[0117]
以及，检测模型也可以对输入的目标图像进行识别：
[0118]
首先，可以通过特征提取层输出第一特征值，并通过adaptation layer(自 适应层)对第一特征值的维度进行调整，以使调整后的第一特征值的维度与 教师网络输出的图像权重信息的维度相同，并通过l2 loss(损失函数)对第 一特征值和图像权重信息进行计算，得到检测模型中特征提取层的第一蒸馏 损失；以及可以通过得到的第一蒸馏损失对检测模型中的特征提取层进行 distillation(知识蒸馏)。
[0119]
其次，可以通过特征融合层对第一特征值进行计算，输出第二特征值， 并通过adaptation layer(自适应层)对第二特征值的维度进行调整，以使调 整后的第二特征值的维度与教师网络输出的图像权重信息的维度相同，并通 过l2 loss(损失函数)对第二特征值和图像权重信息进行计算，得到检测模 型中特征融合层的第二蒸馏损失；以及可以通过得到的第二蒸馏损失对检测 模型中的特征融合层进行知识蒸馏。
[0120]
以及，可以通过目标检测层对第二特征值进行计算，输出最终的检测结 果，并通过detection loss(损失函数)对检测结果和ground truth label(真 实标签信息)进行计算，得到真实损失；以及可以通过得到的真实损失对检 测模型中的目标检测层进行知识蒸馏。
[0121]
最后，可以对第一蒸馏损失、第二蒸馏损失以及真实损失进行计算， 得到总损失，并将于总损失对全部的检测模型进行知识蒸馏，得到最终压 缩后的检测模型。
[0122]
本发明能够使检测模型在充分获得教师网络的知识的同时，还提升了 检测模型的检测精度。此外，本发明还可以使得到的图像权重信息中包含 的内容更加丰富。此外，本发明还可以提高生成的掩码图的精确度。此外， 本发明还可以使最终得到的特征值更加准确。此外，本发明还可以提升检 测模型知识蒸馏的有效性。此外，本发明还可以使得到的总损失更加准确。 此外，本发明还可以提升对检测模型进行知识蒸馏的效率。
[0123]
示例性系统
[0124]
在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本 发明示例性实施方式的一种基于知识蒸馏的检测模型的压缩系统进行说 明，该系统包括：
[0125]
计算单元401，用于基于教师网络对获取的目标图像进行计算，得到 所述目标图像对应的图像权重信息；
[0126]
所述计算单元401，还用于基于检测模型对所述目标图像进行计算， 得到所述目标图像对应的特征值；
[0127]
压缩单元402，用于基于损失函数、所述计算单元401得到的所述图 像权重信息以及所述特征值对所述检测模型进行知识蒸馏，得到压缩后的 检测模型。
[0128]
作为一种可选的实施方式，计算单元401基于教师网络对获取的目标 图像进行计算，得到所述目标图像对应的图像权重信息的方式具体为：
[0129]
基于教师网络对获取的目标图像进行计算，得到所述目标图像对应的 掩码图；
[0130]
获取所述教师网络输出的包含所述目标图像中前景区域的置信度；
[0131]
基于所述置信度对所述掩码图进行计算，得到图像权重信息。
[0132]
其中，实施这种实施方式，可以通过教师网络对目标图像进行计算， 得到目标图像对应的掩码图，并且可以计算得到目标图像中的前景区域的 置信度，以及将置信度与掩码图相结合，得到包含置信度的图像权重信息， 以使得到的图像权重信息中包含的内容更
加丰富。
[0133]
作为一种可选的实施方式，计算单元401基于教师网络对获取的目标 图像进行计算，得到所述目标图像对应的掩码图的方式具体为：
[0134]
基于教师网络对获取的目标图像进行识别，得到所述目标图像中的预 测框信息；
[0135]
基于所述目标图像中的真实标签信息对所述预测框信息进行计算，确 定所述目标图像中包含检测目标的前景区域以及除所述前景区域之外的 背景区域；
[0136]
确定所述目标图像的前景区域对应的第一预设值，并且确定所述目标 图像的背景区域对应的第二预设值，以得到所述目标图像对应的包含所述 第一预设值和所述第二预设值的掩码图。
[0137]
其中，实施这种实施方式，可以基于真实标签信息对获取到的目标图 像中的预测框信息进行分析计算，确定出目标图像中的前景区域和背景区 域，进而对前景区域和背景区域分别进行赋值，以得到最终的掩码图，提 高了生成的掩码图的精确度。
[0138]
作为一种可选的实施方式，所述检测模型包含但不限于特征提取层、 特征融合层以及自适应层，计算单元401基于检测模型对所述目标图像进 行计算，得到所述目标图像对应的特征值的方式具体为：
[0139]
基于所述特征提取层对所述目标图像进行计算，得到所述特征提取层 输出的第一特征值；
[0140]
基于所述特征融合层对所述第一特征值进行计算，得到所述特征融合 层输出的第二特征值；
[0141]
通过所述自适应层对所述第一特征值的维度和所述第二特征值的维 度分别进行调整，得到调整后的第一特征值和第二特征值，所述调整后的 第一特征值的维度与所述图像权重信息的维度相同，以及所述调整后的第 二特征值的维度与所述图像权重信息的维度相同。
[0142]
其中，实施这种实施方式，可以通过检测模型中包含的特征提取层、 特征融合层以及自适应层对目标图像进行计算，以使最终得到的特征值更 加准确。
[0143]
作为一种可选的实施方式，压缩单元402基于损失函数、所述图像权 重信息以及所述特征值对所述检测模型进行知识蒸馏，得到压缩后的检测 模型的方式具体为：
[0144]
基于损失函数对所述图像权重信息和所述特征值进行计算，得到所述 特征值对应的总损失；
[0145]
基于所述总损失，利用反向传播算法对所述检测模型进行知识蒸馏， 得到压缩后的检测模型。
[0146]
其中，实施这种实施方式，可以先计算得到特征值对应的总损失，进 而可以基于总损失对检测模型进行知识蒸馏，以得到最终压缩后的检测模 型，提升了检测模型知识蒸馏的有效性。
[0147]
作为一种可选的实施方式，所述检测模型还包含目标检测层，压缩单 元402基于损失函数对所述图像权重信息和所述特征值进行计算，得到所 述特征值对应的总损失的方式具体为：
[0148]
基于损失函数对所述图像权重信息和所述第一特征值进行计算，得到 所述特征提取层对应的第一蒸馏损失；
[0149]
基于损失函数对所述图像权重信息和所述第二特征值进行计算，得到 所述特征融合层对应的第二蒸馏损失；
[0150]
基于损失函数对所述目标检测层输出的检测结果进行计算，得到真实 损失；
[0151]
对所述第一蒸馏损失、所述第二蒸馏损失以及所述真实损失进行计算， 得到总损失。
[0152]
其中，实施这种实施方式，可以分别计算得到特征提取层和特征融合 层的不同蒸馏损失，还可以基于得到的真实损失以及特征提取层和特征融 合层的不同蒸馏损失计算得到最终的总损失，以使得到的总损失更加准确。
[0153]
作为一种可选的实施方式，压缩单元402基于所述总损失，利用反向 传播算法对所述检测模型进行知识蒸馏，得到压缩后的检测模型的方式具 体为：
[0154]
基于所述总损失，利用反向传播算法对所述检测模型中的每一层的模 型参数进行求导，得到每一层分别对应的新模型参数；
[0155]
基于所述每一层分别对应的新模型参数对所述检测模型进行更新，得 到更新后的检测模型，以实现对所述检测模型的知识蒸馏。
[0156]
其中，实施这种实施方式，可以基于总损失对检测模型中的每一层的 模型参数进行求导，得到每一层分别对应的新模型参数，进而可以基于每 一层分别对应的新模型参数对检测模型进行更新，以实现对检测模型的知 识蒸馏，以提升对检测模型进行知识蒸馏的效率。
[0157]
示例性介质
[0158]
在介绍了本发明示例性实施方式的方法和系统之后，接下来，参考图 5对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图5， 其示出的计算机可读存储介质为光盘50，其上存储有计算机程序(即程序 产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中 所记载的各步骤，例如，基于教师网络对获取的目标图像进行计算，得到 所述目标图像对应的图像权重信息；基于检测模型对所述目标图像进行计 算，得到所述目标图像对应的特征值；基于损失函数、所述图像权重信息 以及所述特征值对所述检测模型进行知识蒸馏，得到压缩后的检测模型； 各步骤的具体实现方式在此不再重复说明。
[0159]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限 于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可 擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介 质，在此不再一一赘述。
[0160]
示例性计算设备
[0161]
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来， 参考图6对本发明示例性实施方式的用于基于知识蒸馏的检测模型的压缩 的计算设备。
[0162]
图6示出了适于用来实现本发明实施方式的示例性计算设备60的框 图，该计算设备60可以是计算机系统或服务器。图6显示的计算设备60 仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0163]
如图6所示，计算设备60的组件可以包括但不限于：一个或者多个 处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系 统存储器602和处理单元601)的总
线603。
[0164]
计算设备60典型地包括多种计算机系统可读介质。这些介质可以是 任何能够被计算设备60访问的可用介质，包括易失性和非易失性介质， 可移动的和不可移动的介质。
[0165]
系统存储器602可以包括易失性存储器形式的计算机系统可读介质， 例如随机存取存储器(ram)6021和/或高速缓存存储器6022。计算设备 60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统 存储介质。仅作为举例，rom6023可以用于读写不可移动的、非易失性 磁介质(图6中未显示，通常称为“硬盘驱动器”)。尽管未在图6中示出， 可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器， 以及对可移动非易失性光盘(例如cd
‑
rom，dvd
‑
rom或者其它光介质) 读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数 据介质接口与总线603相连。系统存储器602中可以包括至少一个程序产 品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配 置以执行本发明各实施例的功能。
[0166]
具有一组(至少一个)程序模块6024的程序/实用工具6025，可以存 储在例如系统存储器602中，且这样的程序模块6024包括但不限于：操 作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例 中的每一个或某种组合中可能包括网络环境的实现。程序模块6024通常 执行本发明所描述的实施例中的功能和/或方法。
[0167]
计算设备60也可以与一个或多个外部设备604(如键盘、指向设备、 显示器等)通信。这种通信可以通过输入/输出(i/o)接口605进行。并 且，计算设备60还可以通过网络适配器606与一个或者多个网络(例如 局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。 如图6所示，网络适配器606通过总线603与计算设备60的其它模块(如 处理单元601等)通信。应当明白，尽管图6中未示出，可以结合计算设 备60使用其它硬件和/或软件模块。
[0168]
处理单元601通过运行存储在系统存储器602中的程序，从而执行各 种功能应用以及数据处理，例如，基于教师网络对获取的目标图像进行计 算，得到所述目标图像对应的图像权重信息；基于检测模型对所述目标图 像进行计算，得到所述目标图像对应的特征值；基于损失函数、所述图像 权重信息以及所述特征值对所述检测模型进行知识蒸馏，得到压缩后的检 测模型。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上 文详细描述中提及了基于知识蒸馏的检测模型的压缩系统的若干单元/模 块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上， 根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可 以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和 功能可以进一步划分为由多个单元/模块来具体化。
[0169]
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅 用于描述目的，而不能理解为指示或暗示相对重要性。
[0170]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的 对应过程，在此不再赘述。
[0171]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置 和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意 性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到 另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或
讨论的 相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或 单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0172]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
[0173]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。
[0174]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质 中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡 献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算 机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设 备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施 例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、 只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0175]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用 以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于 此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换， 并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利 要求的保护范围为准。
[0176]
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这 并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全 部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤， 将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。