一种基于隐私保护的视频压缩方法及装置与流程

1.本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种基于隐私保护的视频压缩方法及装置。


背景技术：

2.视频已经成为时下最为广泛的信息载体之一，随着用户对隐私保护的日渐重视，相关技术中提出了针对视频进行隐私处理的方案。
3.在相关技术中，由于视频本质上就是按照时间顺序依次播放的多帧图像，因此，采用对视频中包含的多个图像帧分别进行隐私处理的方式，实现对整个视频进行隐私处理的目的。进一步的，相关技术还会对隐私处理得到的图像帧进行视频压缩，以减小隐私视频文件占用的存储空间。


技术实现要素：

4.有鉴于此，本说明书一个或多个实施例提供一种基于隐私保护的视频压缩方法及装置。
5.为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
6.根据本说明书一个或多个实施例的第一方面，提出了一种基于隐私保护的视频压缩方法，包括：
7.获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含的生物特征区域进行脱敏，得到脱敏后特征区域；
8.将所述原始图像帧中包含的生物特征区域替换为所述脱敏后特征区域，得到脱敏后图像帧，并对所述脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异；
9.基于优化后的脱敏后图像进行视频压缩，以得到基于隐私保护的压缩视频。
10.根据本说明书一个或多个实施例的第二方面，提出了一种基于隐私保护的视频压缩方法，包括：
11.获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以缩小得到的不同脱敏后图像区域之间的图像信息差异；
12.确定脱敏后图像帧，所述脱敏后图像帧中对应于所述至少一部分图像区域的内容为经由脱敏和压缩率优化的所述脱敏后图像区域；
13.基于所述脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
14.根据本说明书一个或多个实施例的第三方面，提出了一种基于隐私保护的视频压缩管理，包括：
15.脱敏单元，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含的生物特征区域进行脱敏，得到脱敏后特征区域；
16.优化单元，将所述原始图像帧中包含的生物特征区域替换为所述脱敏后特征区域，得到脱敏后图像帧，并对所述脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异；
17.压缩单元，基于优化后的脱敏后图像进行视频压缩，以得到基于隐私保护的压缩视频。
18.根据本说明书一个或多个实施例的第四方面，提出了一种基于隐私保护的视频压缩装置，包括：
19.获取单元，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以缩小得到的不同脱敏后图像区域之间的图像信息差异；
20.确定单元，确定脱敏后图像帧，所述脱敏后图像帧中对应于所述至少一部分图像区域的内容为经由脱敏和压缩率优化的所述脱敏后图像区域；
21.压缩单元，基于所述脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
22.根据本说明书一个或多个实施例的第五方面，提出了一种电子设备，包括：
23.处理器；
24.用于存储处理器可执行指令的存储器；
25.其中，所述处理器通过运行所述可执行指令以实现如第一方面或第二方面所述的方法。
26.根据本说明书一个或多个实施例的第六方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面或第二方面所述方法的步骤。
附图说明
27.图1是一示例性实施例提供的一种基于隐私保护的视频压缩方法的流程图。
28.图2是一示例性实施例提供的另一种基于隐私保护的视频压缩方法的流程图。
29.图3是一示例性实施例提供的一种隐私保护模型训练方法的流程图。
30.图4是一示例性实施例提供的一种压缩率优化模型的训练方法的流程图。
31.图5是一示例性实施例提供的一种基于隐私保护的视频压缩方法的流程图。
32.图6是一示例性实施例提供的一种设备的结构示意图。
33.图7是一示例性实施例提供的一种基于隐私保护的视频压缩装置的框图。
34.图8是一示例性实施例提供的另一种基于隐私保护的视频压缩装置的框图。
具体实施方式
35.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
36.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
37.随着多媒体时代的到来，视频已经成为时下最为广泛的多媒体载体之一。相较于图像，视频能够承载更多的信息量，对其进行隐私处理，以避免其中的信息被泄露已经成为相关技术人员的重要研究课题。
38.在相关技术中，由于视频本质上由大量的图像组成(用于组成视频的图像也被称作图像帧)，因此，在需要对视频进行隐私处理(也被称为脱敏)时，通常将其拆分为多个图像帧，并分别对多个图像帧进行隐私处理，以实现对整个视频进行隐私处理的目的。在此基础上，相关技术还可以进一步对隐私处理得到的脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
39.然而，技术人员在实际应用上述方法之后发现，相较于未经由隐私处理的待保护视频，在对经由隐私处理得到的脱敏后图像帧进行视频压缩时，视频压缩率会大幅下降，进而占用更多的存储空间。
40.为此，本说明书提出了一种基于隐私保护的视频压缩方法，能够在对视频进行隐私保护的同时，优化视频文件的压缩率，避免相关技术中由于对图像帧的隐私处理，而降低视频压缩率的问题。
41.图1是本说明书一示例性实施例示出的一种基于隐私保护的视频压缩方法的流程图。如图1所示，该方法可以包括以下步骤：
42.步骤102，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含的生物特征区域进行脱敏，得到脱敏后特征区域。
43.实际上，相关技术中之所以在对视频中的图像帧进行脱敏之后，会出现视频压缩率下降的问题，是由于在完成脱敏操作之后，相邻图像帧之间的图像信息差异增大而导致的。具体的：
44.在对单个图像帧进行脱敏的过程中，会模糊其中的部分特征，以达到隐私保护的目的。该过程在针对视频的隐私处理过程中，会导致相邻两帧图像之间的图像信息差异相较于脱敏前被增大。而视频压缩的原理则为：将原先需要为各个图像帧单独记录的图像信息，转换为记录各个图像帧之间的变化信息，以此达到记录更少信息的目的。可见，在通过相关技术中的方式对视频中的图像帧进行脱敏后，由于相邻图像帧之间的图像信息差异增大，致使压缩视频对应的压缩文件需要占用更多的存储空间用于记录相邻图像帧之间的变化信息，进而降低了视频的压缩率。
45.有鉴于此，本说明书不仅会对视频中的原始图像帧进行脱敏，还会对脱敏得到的脱敏后图像帧进行压缩率优化，以使脱敏得到的脱敏后图像帧之间的图像信息差异缩小，进而避免由于脱敏后图像帧之间的图像信息差异过大，而导致视频压缩率增大的问题。
46.步骤104，将所述原始图像帧中包含的生物特征区域替换为所述脱敏后特征区域，得到脱敏后图像帧，并对所述脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异。
47.在本说明书中，可以将需要进行隐私保护的视频称作待保护视频，而将待保护视频中包含的图像帧称作原始图像帧。在实际脱敏的过程中，可以仅对原始图像帧中包含的生物特征区域进行脱敏，进而减少所需进行的脱敏区域，以提升脱敏效率。本说明书中的生物特征区域指的是：图像中用于表征生物特征的区域，例如，对于人脸图像，可以将人脸区域确定为生物特征区域，而对于指纹图像，可以将指纹所在的区域确定为生物特征区域。在实际操作中，可以先对原始图像帧进行生物识别，以从原始图像帧中识别出其中包含的生物特征区域，再对该生物特征区域进行脱敏操作。
48.在本说明书中，可以在完成针对生物特征区域的脱敏操作后，将原始图像帧中包含的生物特征区域替换为经由脱敏得到的脱敏后特征区域，以得到脱敏后图像帧。在实际操作中，可以在通过脱敏操作得到脱敏后特征区域的基础上，将脱敏后特征区域粘贴至相应原始图像帧中，以覆盖其中包含的生物特征区域，进而将粘贴得到的图像帧作为经由脱敏得到的脱敏后图像帧。
49.步骤106，基于优化后的脱敏后图像进行视频压缩，以得到基于隐私保护的压缩视频。
50.在得到脱敏后图像帧之后，即可对脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异。
51.在一实施例中，可以预先建立独立的压缩率优化模型，以用于对脱敏后图像帧进行压缩率优化。在训练压缩率优化模型的过程中，可以构建对应于该压缩率优化模型的图像信息损失函数，以用于约束压缩率优化模型中输出的多个脱敏后样本图像帧之间的图像信息差异。
52.在实际操作中，可以获取一样本视频，并将样本视频中包含的原始图像帧作为用于训练模型的样本图像帧。具体的，可以将多个样本图像帧作为压缩率优化模型的输入，以经由该压缩率优化模型处理后输出脱敏后样本图像帧。在该过程中，可以对压缩率优化模型进行不断调整，并将输入的样本图像帧的相关参数和输出的脱敏后样本图像帧的相关参数，代入图像信息损失函数中。其中，若将相关参数代入图像信息损失函数后，该函数并未实现收敛，则证明当前压缩率优化模型无法缩小图像帧之间的图像信息差异，则需要继续调整压缩率优化模型；相对应的，若将特征参数代入图像信息损失函数后，该函数实现收敛，则证明当前压缩率优化模型能够缩小图像帧之间的图像信息差异，进而达到优化压缩率的效果，此时，便可以认为压缩率优化模型训练完成。换言之，可以迭代执行对压缩率优化模型进行调整的操作，直至其所对应的图像损失函数实现收敛，即可确定压缩率优化模型训练完成。
53.在训练完成压缩率优化模型之后，即可将脱敏后图像帧输入该压缩率优化模型中，以由该压缩率优化模型对脱敏后图像帧进行调整后，输出优化后的脱敏后图像帧。应当理解的是，由于压缩率优化模型对应的图像信息损失函数约束了压缩率优化模型输出的多个脱敏后样本图像帧之间的图像信息差异，显然能够在实际处理时，使优化后的不同脱敏后图像帧之间的图像信息差异缩小，以达到优化压缩率的目的。
54.在另一实施例中，还可以在脱敏过程中，对原始图像帧中包含的生物特征区域进行压缩率优化，以缩小得到的不同脱敏后特征区域之间的图像信息差异。在实际操应用中，也可以预先建立一隐私保护模型，以通过该隐私保护模型同时实现针对生物特征区域的脱
敏和压缩率优化。
55.具体的，在模型训练之前，可以构建对应于隐私保护模型的全局损失函数，在该全局损失函数中包含脱敏损失函数和图像信息损失函数，其中，脱敏损失函数用于约束该隐私保护模型对输入的样本生物特征区域的脱敏效果，而图像信息损失函数用于约束该隐私保护模型输出的多个脱敏后样本特征区域之间的图像信息差异。
56.在完成全局损失函数的构建之后，即可获取一样本视频，并将样本视频包含的多个图像帧中的生物特征区域作为用于模型训练的样本生物特征区域。具体的，可以将多个样本生物特征区域作为隐私保护模型的输入，以经由该隐私保护模型处理后输出脱敏后样本特征区域。在该过程中，可以对隐私保护模型进行不断调整，并将输入的样本生物特征区域的相关参数和输出的脱敏后样本特征区域的相关参数，代入上述隐私保护模型所对应的全局损失函数中。其中，若将相关参数代入全局损失函数后，全局损失函数中包含的脱敏损失函数和图像信息损失函数存在任一者未实现收敛，则证明当前隐私保护模型无法对输入的样本生物特征区域同时实现脱敏和压缩率优化，因此，需要继续调整压缩率优化模型；相对应的，若将相关参数代入全局损失函数后，该函数中包含的脱敏损失函数和图像信息损失函数均实现收敛，则证明当前隐私保护模型能够同时实现针对样本生物特征区域的脱敏和压缩率优化，此时，便可以认为隐私保护模型训练完成。换言之，可以迭代执行对隐私保护模型进行调整的操作，直至其所对应的全局损失函数中包含的图像信息损失函数和脱敏损失函数均实现收敛，即可确定隐私保护模型训练完成。
57.在训练得到上述隐私保护模型之后，即可将待保护视频包含的多个相邻原始图像帧中的生物特征区域同时输入隐私保护模型，以由隐私保护模型对输入的生物特征区域进行脱敏和压缩率优化之后，输出脱敏后特征区域。
58.在本实施例中，相当于在对生物特征区域进行脱敏处理的同时，针对原始图像帧中的生物特征区域进行了额外的压缩率优化，使得输出的脱敏后特征区域之间的图像信息差异也较小。在此基础上，将原始图像帧中的生物特征区域替换为脱敏后特征区域，并对得到的脱敏后图像帧进行压缩率优化，能够最大限度地缩小脱敏后图像帧之间的图像信息差异，进而更好地优化视频压缩率。换言之，本实施例相当于分别从局部和全局两个角度，对原始图像帧进行了两次压缩率优化，最大限度地优化视频压缩率。
59.在本说明书中，上述图像信息损失函数用于约束模型输出的不同图像或不同区域之间的图像信息差异。在实际应用中，可以从多个维度约束该图像信息差异。例如，该图像信息损失函数可以为：用于表征不同图像间的内容差异的损失函数；还可以为：用于表征不同图像间的风格差异的损失函数；又可以为：用于表征不同图像的同一区域之间的光流的损失函数。当然，该图像信息损失函数也可以包含上述举例中的多个，该图像损失函数具体包含哪些损失函数可由本领域技术人员根据实际情况确定，本说明书对此不作限制。
60.需要声明的是，本说明书的技术方案可以应用于任一类型的电子设备，例如，既可以应用于智能手机、平板电脑等移动终端，也可以应用于pc(personal computer，个人计算机)、智能电视等固定终端。应当理解的是，只需具备一定计算能力，且存在对视频进行隐私处理和视频压缩需求的电子设备，均可作为本说明书技术方案的执行主体，具体将本说明书的技术方案应用于哪一类型的电子设备，可由本领域技术人员根据实际情况确定，本说明书对此不作限制。
61.由上述技术方案可知，本说明书在获取待保护视频包含的原始图像帧之后，即可对原始图像帧中包含的生物特征区域进行脱敏，以实现针对待保护视频的隐私保护。在通过脱敏操作将生物特征区域转换为脱敏后特征区域之后，即可将原始图像帧中包含的生物特征区域替换为脱敏后特征区域，以得到脱敏后图像帧。在此基础上，即可对脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异。
62.应当理解的是，本说明书相当于是在对原始图像帧中的生物特征区域进行脱敏处理的基础上，进一步针对得到的脱敏后图像帧进行了压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异。相关技术中正是由于脱敏操作造成了不同图像帧之间的图像信息差异过大，而导致在压缩过程中需要更多的存储空间用于记录不同图像帧之间的变化信息，进而造成视频压缩率不佳的问题。而本说明书在对原始图像帧中的生物特征区域进行脱敏之后，进一步对脱敏后图像帧进行了压缩率优化，降低了不同脱敏后图像帧之间的图像信息差异，使得在视频压缩的过程中，无需消耗过多的存储空间用于记录不同图像帧之间的变化信息，优化了视频压缩率。
63.进一步的，本说明书还可以在对生物特征区域进行脱敏时，对生物特征区域进行压缩率优化。在完成针对生物特征区域的脱敏和压缩率优化之后，再对脱敏后图像帧进行压缩率优化。换言之，从局部和全局的角度分别进行了压缩率优化，能够最大限度地优化视频压缩率。
64.在上一实施例中，是对原始图像帧中的生物特征区域进行脱敏，而对脱敏后图像帧进行压缩率优化，即脱敏操作针对图像局部、压缩率优化针对图像全局。而在实际应用中，脱敏操作和压缩率优化可以同时针对图像局部或图像全局。针对该种情况，本说明书提出了另一种基于隐私保护的视频压缩方法。在该方法中，大多操作方式，例如，如何训练模型、如何进行视频压缩等均与上一实施例相类似，均可参照上一实施例的介绍，在下文中不再赘述。
65.图2为本说明书一示例性实施例示出的另一种基于隐私保护的视频压缩方法的流程图，如图2所示，该方法可以包括以下步骤：
66.步骤202，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以缩小得到的不同脱敏后图像区域之间的图像信息差异。
67.在本说明书中，在获取待保护视频中包含的原始图像帧之后，即可对原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以缩小得到的不同脱敏后图像区域之间的图像信息差异。
68.在实际应用中，上述原始图像帧中包含生物特征区域的至少一部分图像区域可以根据实际需求确定，例如，该图像区域可以仅为生物特征区域；再例如，可以为整个原始图像帧；又例如，该图像区域可以为范围超出生物特征区域、但又并非是整个原始图像帧的图像区域。
69.步骤204，确定脱敏后图像帧，所述脱敏后图像帧中对应于所述至少一部分图像区域的内容为经由脱敏和压缩率优化的所述脱敏后图像区域。
70.在本说明书中，在上述至少一部分图像区域仅为生物特征区域的情况下，可以直接对原始图像帧中包含的生物特征区域进行脱敏和压缩率优化，以缩小不同脱敏后特征区
域之间的图像信息差异；相应的，可以将原始图像帧中的生物特征区域替换为经由脱敏和压缩率优化的脱敏后特征区域，以得到脱敏后图像帧。在实际操作中，可以如上一实施例所述，通过对原始图像帧进行生物识别的方式获取其中包含的生物特征区域。
71.而在上述至少一部分图像区域为整个原始图像帧的情况下，可以直接对整个原始图像帧进行脱敏和压缩率优化，以缩小得到的脱敏后图像帧之间的图像信息差异。在该情况下，由于是将整个原始图像帧作为上述至少一部分图像区域，因此，直接将经由脱敏和压缩率优化得到的图像帧确定为脱敏后图像帧即可。
72.在实际操作中，可以如上一实施例预先训练隐私保护模型，以使训练得到的隐私保护模型能够实现脱敏和压缩率优化。具体训练方式已在上一实施例中详细介绍，在本实施例中不再赘述，只不过在训练的过程中，需要将上一实施例中的“样本生物特征区域”替换为“样本原始图像帧中包含生物特征区域的至少一部分图像区域”。具体的，在至少一部分图像区域仅为生物特征区域的情况下，无需对上一实施例中的“样本生物特征区域”进行替换；在该至少一部分图像区域为整个原始图像帧的情况下，则替换为“样本原始图像帧”。而对于隐私保护模型对应的全局损失函数，仍包含脱敏损失函数和图像信息损失函数，其中，脱敏损失函数用于约束隐私保护模型对输入的样本图像区域(即样本原始图像帧中包含生物特征区域的至少一部分图像区域)的脱敏效果，图像信息损失函数用于约束隐私保护模型输出的多个脱敏后样本图像区域(即与样本原始图像帧中的至少一部分图像区域对应的脱敏后图像区域)之间的图像信息差异。
73.在完成训练之后，即可将原始图像帧中包含生物特征区域的至少一部分图像区域输入隐私保护模型中，以由隐私保护模型对该至少一部分图像区域进行调整后，输出脱敏后图像区域。
74.步骤206，基于所述脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
75.在完成针对上述至少一部分图像区域的脱敏和压缩率优化，并确定出脱敏后图像帧之后，即可基于脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
76.需要声明的是，与上一实施例相类似的，本实施例训练隐私保护模型时，所采用的图像信息损失函数也可以从多个维度约束图像信息差异。例如，该图像信息损失函数可以为：用于表征不同图像间的内容差异的损失函数；还可以为：用于表征不同图像间的风格差异的损失函数；又可以为：用于表征不同图像的同一区域之间的光流的损失函数。除此之外，本实施例的技术方案也可以应用于任一类型的电子设备，例如，既可以应用于智能手机、平板电脑等移动终端，也可以应用于pc(personal computer，个人计算机)、智能电视等固定终端。具体将本实施例的技术方案应用于哪一类型的电子设备，可由本领域技术人员根据实际情况确定，本说明书对此不作限制。
77.由上述技术方案可知，本实施例可以对原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以使脱敏得到的多个脱敏后图像区域之间的图像信息差异缩小。在此基础上，即可基于脱敏后图像区域确定出脱敏后图像帧，并基于脱敏后图像帧进行视频压缩。由于不同脱敏后图像帧之间的图像信息差异缩小，因此，可以避免相关技术中由于脱敏操作导致不同脱敏后图像帧之间图像信息差异增大，而导致压缩率降低的问题。
78.下面，以在“对生物特征区域进行脱敏和压缩率优化之后，再对脱敏后图像帧进行压缩率优化”为例，对本说明书的技术方案进行介绍。
79.图3为本说明书一示例性实施例示出的一种隐私保护模型训练方法的流程图。如图3所示，该方法可以包括以下步骤：
80.步骤301，获取隐私保护模型。
81.在本实施例中，可以优先获取用于模型训练的隐私保护基础模型，以作为样本数据初次输入的当前隐私保护模型。在实际操作中，可以在网络结构存储空间中搜索适用于隐私保护的目标网络结构，以作为本实施例中的隐私保护基础模型。
82.步骤302，构建对应于隐私保护模型的全局损失函数。
83.在获得隐私保护基础模型之后，可以构建对应隐私保护基础模型的全局损失函数，以用于对最终训练完成的隐私保护模型进行条件约束。
84.在本实施例中，隐私保护模型既需要实现针对生物特征区域的脱敏，又要实现不同生物特征区域之间的压缩率优化，因此，该全局损失函数中至少需要包含用于实现脱敏的约束条件和实现压缩率优化的约束条件。其中，两约束条件对应于不同的损失函数。
85.举例而言，该全局损失函数可以包括以下四部分损失函数：
86.1、语意内容损失函数(content loss)，用于约束经由隐私保护模型输出的多个脱敏后样本特征区域之间的语意内容保持一致；
87.2、图像风格损失函数(style loss)，用于约束经由隐私保护模型输出的多个脱敏后样本特征区域之间的图像风格保持一致；
88.3、光流损失函数(optical llow loss)，用于约束输入的多个样本生物特征区域之间的光流，与输出的多个脱敏后样本特征区域之间的光流保持接近；
89.4、脱敏损失函数(id loss)，用于约束输入的样本生物特征区域与输出的脱敏后样本特征区域的图像特征差距较大，以实现脱敏。
90.步骤303，获取样本视频中包含的样本原始图像帧。
91.在本实施例中，可以将任一视频作为样本视频，并将样本视频中包含的原始图像帧作为样本原始图像帧，以用于训练隐私保护模型。
92.步骤304，对样本原始图像帧进行生物识别。
93.在本实施例中，训练的隐私保护模型仅用于对生物特征区域进行脱敏和压缩率优化，因此，在进行模型训练之前，可以先对样本原始图像帧进行生物识别，以确定出其中包含的样本生物特征区域。
94.步骤305，将生物识别得到的样本生物特征区域输入隐私保护模型。
95.在获得多帧样本图像帧对应的生物特征区域之后，即可将相邻的多个生物特征区域(即相邻多个样本图像帧对应的生物特征区域)输入隐私保护基础模型中，以输出相对应的多个脱敏后样本特征区域。
96.步骤306，获取样本生物特征区域的相关参数和输出的脱敏后样本特征区域的相关参数。
97.步骤307，将获取的相关参数代入全局损失函数中。
98.在本实施例中，在获得输入的样本生物特征区域的相关参数和输出的脱敏后样本特征区域的相关参数后，即可将相关参数代入全局损失函数中，以判断当前隐私保护模型
是否训练完成。
99.举例而言，假设本实施例训练的模型为双帧隐私保护模型，那么，即可将相邻两帧样本原始图像帧对应的生物特征区域x1和x2作为隐私保护基础模型的输入，并基于此输出两帧连续的脱敏后样本特征区域y1和y2。
100.在此基础上，即可将y1和y2输入预训练好的vgg(visual geometry group，视觉几何组)网络中，以在其第五层得到两个输出co1和co2。在vgg网络中，第五层用于表征图像的语意空间，通过第五层输出的co1和co2则分别表征脱敏后样本特征区域y1和y2的语意内容。在上述content loss中可以表达出co1和co2的欧式距离，以通过两者的欧式距离表征y1和y2的语意内容差异。相对应的，当content loss收敛时，co1和co2的欧式距离较小，y1和y2的语意内容差异也较小。
101.在将y1和y2输入预训练好的vgg网络之后，还可以在其第七层得到两个输出so1和so2。在vgg网络中，第七层用于表征图像的风格，通过第七层输出的so1和so2则分别表征脱敏后样本特征区域y1和y2的风格。在上述style loss中可以表达出so1和so2的欧式距离，以通过两者的欧式距离表征y1和y2的风格差异。相对应的，当style loss收敛时，so1和so2的欧式距离较小，y1和y2的风格差异也较小。
102.还可以计算上述x1和x2之间的光流op1、y1和y2之间的光流op2，并在上述optical llow loss中表达出op1和op2之间的欧式距离。相对应的，在optical llow loss收敛时，op1和op2之间的欧式距离较小，输入的两个样本生物特征区域之间的光流与输出的两个脱敏后样本特征区域之间的光流较为接近。应当理解的是，光流表征的为不同图像之间的亮度变化，当两输入之间的光流与两输出之间的光流较为接近，意味着在经由隐私保护基础模型的调整后，x1和x2之间的亮度变化，与y1和y2之间的亮度变化较为接近，而由于x1和x2为视频中相邻两帧图像分别对应的生物特征区域，亮度较为接近，因此，相对应的，y1和y2之间的亮度也较为接近，避免了脱敏后样本特征区域之间的亮度过大而导致压缩率较低的问题(在脱敏过程中，会模糊图像特征，极大概率会导致相邻图像帧之间的亮度差异增大)。可见，通过限制光流之间变化差异，能够明显优化压缩率。
103.本实施例还可以将x1和x2、y1和y2均输入预先训练好的生物识别网络中，以使得到多组生物特征参数，并基于这多组生物特征参数在上述id loss中表达多个生物特征参数在特征空间中的距离。其中，在id loss收敛时，使多个生物特征参数在特征空间中的距离较大，以实现y1和y2相对于x1和x2脱敏。
104.应当理解的是，语意内容、图像风格、光流均为图像信息的一种，因此，上述content loss、style loss、optical llow loss均可视为上文所述的图像信息损失函数，本实施例构建这三个损失函数的目的便在于：缩小相邻生物特征区域之间在不同维度的图像信息差异；与此相对应的，上述id loss则用于约束输入的样本生物特征与输出的脱敏后样本特征区域之间的图像特征差异较大，以实现脱敏的效果。
105.步骤308，判断全局损失函数是否收敛；若是，则跳转至步骤309，否则，跳转至步骤310。
106.在本实施例中，唯有全局损失函数中包含的多个损失函数均收敛，该全局损失函数才视为收敛。因此，在确定全局损失函数收敛时，则证明全局损失函数中包含的多个损失函数分别约束的条件均已被当前隐私保护模型满足，可以将当前隐私保护模型作为训练完
成的隐私保护模型；而在确定全局损失函数尚未收敛时，则证明全局损失函数中的至少一部分损失函数约束的条件尚未被当前隐私保护模型满足，因此，需要进一步对当前隐私保护模型进行调整，直至调整后的隐私保护模型能够使全局损失函数收敛。
107.步骤309，确定隐私保护模型训练完成。
108.步骤310，对隐私保护模型进行调整，并跳转至步骤305。
109.正如上文所述，当确定全局损失函数尚未收敛时，即可对当前隐私保护模型进行调整，并进一步跳转至步骤305，将样本生物特征区域输入调整后的隐私保护模型中，以对其进行验证。在本实施例中，可以迭代执行上述调整和验证操作，直至全局损失函数收敛。
110.由上述技术方案可知，通过本实施例的技术方案，可以通过上述多个损失函数表征隐私保护模型的约束条件，以通过判断损失函数是否收敛的方式，对隐私保护模型不断调整，直至损失函数全部收敛，进而使得训练完成的隐私保护模型能够实现脱敏和压缩率优化的两重效果。
111.下面，介绍在图3所示的实施例的基础上，训练压缩率优化模型的过程。
112.图4为本说明书一示例性实施例示出的一种压缩率优化模型的训练方法的示意图。如图4所示，该方法可以包括以下步骤：
113.步骤401，获取压缩率优化模型。
114.与上一实施例相类似的，本实施例可以优先获取用于模型训练的压缩率优化基础模型，以作为初次训练时的当前压缩率优化模型。在实际操作中，同样可以在网络结构存储空间中搜索适用的目标网络结构，以作为本实施例中的压缩率优化基础模型。
115.步骤402，构建对应于压缩率优化模型的全局损失函数。
116.在获得压缩率优化基础模型之后，可以构建对应压缩率优化基础模型的全局损失函数，以用于对最终训练完成的压缩率优化模型进行条件约束。
117.在本实施例中，压缩率优化模型仅需实现针对脱敏后图像帧的压缩率优化，因此，该全局损失函数中只需要包含用于实现压缩率优化的约束条件即可。
118.举例而言，该全局损失函数可以包括以下三部分损失函数：
119.1、语意内容损失函数(content loss)，用于约束经由压缩率优化模型输出的多个脱敏后样本图像帧之间的语意内容保持一致；
120.2、图像风格损失函数(style loss)，用于约束经由压缩率优化模型输出的多个脱敏后样本图像帧之间的图像风格保持一致；
121.3、光流损失函数(optical llow loss)，用于约束输入的多个样本原始图像帧之间的光流，与输出的多个脱敏后样本图像帧之间的光流保持接近。
122.步骤403，获取基于隐私保护模型得到的脱敏后样本特征区域。
123.本实施例训练压缩率优化模型的过程，与上一实施例训练隐私保护模型的过程，为连续执行的两次训练。因此，在实际训练过程中，采用的为同一样本视频。在实际操作中，在训练完成上述隐私保护模型后，即可将基于训练完成的隐私保护模型得到的脱敏后样本特征区域作为本实施例的训练基础之一。
124.步骤404，将脱敏后样本特征区域粘贴至相应的样本原始图像帧。、
125.在本实施例中，训练的压缩率优化模型用于对脱敏后图像帧进行压缩率优化，因此，可以在通过上一实施例训练得到的隐私保护模型将样本原始图像帧中的样本生物特征
区域转换为脱敏后样本特征区域之后，将该脱敏后样本特征区域粘贴至相应样本原始图像帧，以覆盖其中包含的生物特征区域，进而得到脱敏后样本图像帧。
126.步骤405，将粘贴得到的脱敏后样本图像帧输入压缩率优化模型中。
127.承接上一实施例的举例，假设本实施例训练的也为基于两帧图像进行压缩率优化的压缩率优化模型，那么，将脱敏后样本特征区域y1和y2(此处指基于训练完成的隐私保护模型输出的y1和y2，而非基于中间训练过程中尚未调整完毕的隐私保护模型输出的y1和y2)粘贴至相应的样本原始图像帧之后，即可得到相邻的脱敏后样本图像帧y
′1和y
′2。
128.在此基础上，即可将y
′1和y
′2输入压缩率优化模型中，以输出对应的优化后的脱敏后样本图像帧。
129.步骤406，获取脱敏后样本图像帧的相关参数和输出的优化后的脱敏后样本图像帧的相关参数。
130.步骤407，将获取的相关参数代入损失函数中。
131.在本实施例中，在获得输入的脱敏后样本图像帧的相关参数和输出的优化后的脱敏后样本图像帧的相关参数后，即可将相关参数代入全局损失函数中，以判断当前压缩率优化模型是否训练完成。
132.承接上述举例，本实施例训练的模型也是基于双帧图像的压缩率优化模型，因此，在将上述脱敏后样本图像帧y
′1和y
′2输入当前压缩率优化模型之后，即可输出两帧连续的优化后的脱敏后样本图像帧y
″1和y
″2。
133.在此基础上，即可将y
″1和y
″2输入预训练好的vgg网络中，以在其第五层得到两个输出co
′1和co
′2。如上所述，在vgg网络中，第五层用于表征图像的语意空间，通过第五层输出的co
′1和co
′2则分别表征脱敏后样本图像帧y
″1和y
″2的语意内容。在上述content loss中可以表达出co
′1和co
′2的欧式距离，以通过两者的欧式距离表征y
″1和y
″2的语意内容差异。相对应的，当content loss收敛时，y
″1和y
″2的欧式距离较小，y
″1和y
″2的语意内容差异也较小。
134.在将y
″1和y
″2输入预训练好的vgg网络之后，还可以在其第七层得到两个输出so
′1和so
′2。如上所述，在vgg网络中，第七层用于表征图像的风格，通过第七层输出的so
′1和so
′2则分别表征脱敏后样本图像帧y
″1和y
″2的风格。在上述style loss中可以表达出so
′1和so
′2的欧式距离，以通过两者的欧式距离表征y
″i和y
″2的风格差异。相对应的，当style loss收敛时，so
′1和so
′2的欧式距离较小，y
″1和y
″2的风格差异也较小。
135.还可以计算上述y
′1和y
′2之间的光流op
′1、y
″1和y
″2之间的光流op
′2，并在上述optical llow loss中表达出op
′1和op
′2之间的欧式距离。相对应的，在optical llow loss收敛时，op
′1和op
′2之间的欧式距离较小，输入的两个脱敏后样本图像帧之间的光流与输出的两个优化后的脱敏后样本图像帧之间的光流较为接近。应当理解的是，光流表征的为不同图像之间的亮度变化，当两输入之间的光流与两输出之间的光流较为接近，意味着在经由压缩率优化模型的调整后，y
′1和y
′2之间的亮度变化，与y
″1和y
″2之间的亮度变化较为接近，而由于y
′1和y
′2为视频中的两帧图像分别对应的脱敏后样本图像帧，亮度较为接近，因此，相对应的，y
″1和y
″2之间的亮度也较为接近，避免了脱敏后样本图像帧之间的亮度过大而导致压缩率较低的问题(在脱敏过程中，会模糊图像特征，极大概率会导致相邻图像帧之间的亮度差异较大)。可见，通过限制光流之间变化差异，能够明显优化压缩率。
136.应当理解的是，相较于上一实施例，本实施例中的压缩率优化模型仅用于实现针对脱敏后图像帧的压缩率优化，因此，其对应的全局损失函数中仅包含对语意内容、图像风格、光流的约束，即仅包含图像信息损失函数，而不包含脱敏损失函数。
137.步骤408，判断全局损失函数是否收敛；若是，则跳转至步骤409，否则，跳转至步骤410。
138.在本实施例中，唯有全局损失函数中包含的多个损失函数均收敛，该全局损失函数才视为收敛。因此，在确定全局损失函数收敛时，则证明全局损失函数中包含的多个损失函数分别约束的条件均已被当前压缩率优化模型满足，可以将当前压缩率优化模型作为训练完成的压缩率优化模型；而在确定全局损失函数尚未收敛时，则证明全局损失函数中的至少一部分损失函数约束的条件尚未被当前压缩率优化模型满足，因此，需要进一步对当前压缩率优化模型进行调整，直至调整后的压缩率优化模型能够使全局损失函数收敛。
139.步骤409，确定压缩率优化模型训练完成。
140.步骤410，对当前压缩率优化模型进行调整，并跳转至步骤405。
141.正如上文所述，当确定全局损失函数尚未收敛时，即可对当前压缩率优化模型进行调整，并进一步跳转至步骤405，将脱敏后样本图像帧输入调整后的压缩率优化模型中，以对其进行验证。在本实施例中，可以迭代执行上述调整和验证操作，直至全局损失函数收敛。
142.由上述技术方案可知，通过本实施例的技术方案，可以通过上述多个损失函数表征压缩率优化模型的约束条件，以通过判断损失函数是否收敛的方式，对压缩率优化模型不断调整，直至损失函数全部收敛，进而使得训练完成的压缩率优化模型能够实现针对脱敏后图像帧的压缩率优化。
143.需要强调的是，本实施例是将上一实施例训练得到的隐私保护模型的输出作为本实施例中待训练的压缩率优化模型的输入，以对压缩率优化模型进行不断调整，两者是一个承接关系。
144.下面，介绍通过图3和图4的步骤训练得到的隐私保护模型和压缩率优化模型，对待保护视频进行视频压缩的过程。
145.图5为本说明书一示例性实施例示出的一种通过隐私保护模型和压缩率优化模型进行隐私处理和视频压缩的方法的流程图。如图5所示，该方法可以包括以下步骤：
146.步骤501，获取待保护视频中包含的原始图像帧。
147.在本实施例中，在获取到待保护视频之后，即可将其拆分为若干原始图像帧，以从图像维度对其进行脱敏处理。
148.步骤502，对所有原始图像帧进行生物识别。
149.由于通过图3所示步骤训练得到的隐私保护模型是针对样本原始图像帧中的生物特征区域进行脱敏和压缩率优化，因此，在开始隐私处理之前，本实施例也需要先对原始图像帧进行生物识别，以得到原始图像帧中的生物特征区域。假设待保护视频为包含人脸的视频，那么，即可在本步骤中，识别出原始图像帧中包含的人脸区域。
150.步骤503，将得到的生物特征区域输入隐私保护模型。
151.由于通过图3所示步骤训练得到的为双帧隐私保护模型，因此，在本步骤中，可以分批次将识别得到的生物特征区域输入隐私保护模型中。其中，每一批次包含相邻两个原
始图像帧对应的生物特征区域，例如，可以将第一帧和第二帧原始图像对应的生物特征区域同时输入隐私保护模型中，将第三帧和第四帧原始图像对应的生物特征区域同时输入隐私保护模型中。为方便表述，在后文中，将简称为第一帧生物特征区域、第二帧生物特征区域
……
152.步骤504，将输出的脱敏后特征区域粘贴至原始图像帧。
153.将生物特征区域分批次输入隐私保护模型之后，即可得到相对应的脱敏后特征区域。在此基础上，即可将各个脱敏后特征区域粘贴至相应的原始图像帧中，以覆盖其中的生物特征区域，粘贴得到的即为脱敏后图像帧。
154.承接上述举例，即可在本步骤中，将基于第一帧生物特征区域得到的第一帧脱敏后特征区域，粘贴至第一个原始图像帧中的生物特征区域中，其他图像帧也是类似。相应的，粘贴得到的对应于第一帧生物特征区域的脱敏后图像帧可以被称为第一帧脱敏后图像帧。
155.步骤505，将粘贴得到的脱敏后图像帧输入压缩率优化模型。
156.在本步骤中，可以按照步骤503中所分的批次，将脱敏后图像帧输入压缩率优化模型中，以优化同一批次的两个脱敏后图像帧之间的压缩率。
157.步骤506，针对输出的优化后的脱敏后图像帧进行视频压缩。
158.在基于压缩率优化模型对所有脱敏后图像帧进行压缩率优化之后，即可基于优化后的脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
159.由上述技术方案可知，本实施例利用通过上述实施例训练得到的隐私保护模型，对待保护视频包含的原始图像帧中的生物特征区域进行了脱敏和压缩率优化，并在此基础上，进一步利用通过上述实施例训练得到的压缩率优化模型，对脱敏后图像帧进行了全局性的压缩率优化，在实现针对视频的隐私保护的同时，对视频的压缩率进行了双重优化。
160.图6是一示例性实施例提供的一种设备的示意结构图。请参考图6，在硬件层面，该设备包括处理器602、内部总线604、网络接口606、内存608以及非易失性存储器610，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器602从非易失性存储器610中读取对应的计算机程序到内存608中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
161.请参考图7，基于隐私保护的视频压缩装置可以应用于如图6所示的设备中，以实现本说明书的技术方案。其中，该基于隐私保护的视频压缩装置可以包括：
162.脱敏单元701，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含的生物特征区域进行脱敏，得到脱敏后特征区域；
163.优化单元702，将所述原始图像帧中包含的生物特征区域替换为所述脱敏后特征区域，得到脱敏后图像帧，并对所述脱敏后图像帧进行压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异；
164.压缩单元703，基于优化后的脱敏后图像进行视频压缩，以得到基于隐私保护的压缩视频。
165.可选的，脱敏单元701被进一步用于：
166.在对所述原始图像帧中包含的生物特征区域进行脱敏的过程中，对所述生物特征区域进行压缩率优化，以缩小得到的不同脱敏后特征区域之间的图像信息差异。
167.可选的，脱敏单元701被进一步用于：
168.将相邻的多个原始图像帧的生物特征区域同时输入隐私保护模型，以由所述隐私保护模型对所述生物特征区域进行脱敏和压缩率优化后，输出所述脱敏后特征区域；
169.其中，所述隐私保护模型对应的全局损失函数中包含的脱敏损失函数和图像信息损失函数；所述脱敏损失函数用于约束所述隐私保护模型对输入的样本生物特征区域的脱敏效果，所述图像信息损失函数用于约束所述隐私保护模型输出的多个脱敏后样本生物特征区域之间的图像信息差异。
170.可选的，优化单元702被进一步用于：
171.将所述脱敏后图像帧输入压缩率优化模型，以由所述压缩率优化模型对所述脱敏后图像帧进行调整后，输出优化后的脱敏后图像帧；
172.其中，所述压缩率优化模型对应的图像信息损失函数用于约束所述压缩率优化模型输出的多个脱敏后样本图像帧之间的图像信息差异。
173.可选的，所述图像信息损失函数包括下述至少之一：
174.用于表征不同图像间的内容差异的损失函数；
175.用于表征不同图像间的风格差异的损失函数；
176.用于表征不同图像的同一区域之间的光流差值的损失函数。
177.请参考图8，基于隐私保护的视频压缩装置可以应用于如图6所示的设备中，以实现本说明书的技术方案。其中，该基于隐私保护的视频压缩装置可以包括：
178.获取单元801，获取待保护视频中包含的原始图像帧，并对所述原始图像帧中包含生物特征区域的至少一部分图像区域进行脱敏和压缩率优化，以缩小得到的不同脱敏后图像区域之间的图像信息差异；
179.确定单元802，确定脱敏后图像帧，所述脱敏后图像帧中对应于所述至少一部分图像区域的内容为经由脱敏和压缩率优化的所述脱敏后图像区域；
180.压缩单元803，基于所述脱敏后图像帧进行视频压缩，以得到基于隐私保护的压缩视频。
181.可选的，
182.获取单元801被进一步用于：对所述原始图像帧中包含的生物特征区域进行脱敏和压缩率优化，以缩小不同脱敏后特征区域之间的图像信息差异；
183.确定单元802被进一步用于：将所述原始图像帧中包含的生物特征区域替换为经由脱敏和压缩率优化的脱敏后特征区域，得到脱敏后图像帧。
184.可选的，
185.获取单元801被进一步用于：对所述原始图像帧进行脱敏和压缩率优化，以缩小不同脱敏后图像帧之间的图像信息差异；
186.确定单元802被进一步用于：将经由脱敏和压缩率优化得到的图像帧确定为脱敏后图像帧。
187.可选的，获取单元801被进一步用于：
188.将所述原始图像帧中包含生物特征区域的至少一部分图像区域输入隐私保护模
型，以由所述隐私保护模型对所述至少一部分图像区域进行调整后，输出脱敏后图像区域；
189.其中，所述隐私保护模型对应的全局损失函数中包含的脱敏损失函数和图像信息损失函数；所述脱敏损失函数用于约束所述隐私保护模型对输入的样本图像区域的脱敏效果，所述图像信息损失函数用于约束所述隐私保护模型输出的多个脱敏后样本图像区域之间的图像信息差异。
190.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
191.在一个典型的配置中，计算机包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
192.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
193.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
194.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
195.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
196.在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
197.应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
198.以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。