一种用于对视频流进行去雾的方法及装置与流程

1.本公开涉及视频处理和人工智能领域，更具体地涉及一种用于对视频流进行去雾的方法及装置。


背景技术：

2.港口是位于海、江、河、湖、水库等沿岸的运输枢纽，其具有水陆联运设备以及条件，以供船舶安全进出和停泊。港口是水陆交通的集结点和枢纽，是工农业产品和外贸进出口物资等的集散地，也是船舶停泊、装卸货物、上下旅客、补充给养等的场所。港口由于靠近水系，因此经常会出现大雾情况，这可能会对货物检测以及停泊规划等造成一定影响。因此，对于例如从港口获取的视频流，需要进行去雾处理以便于后续应用。
3.另一方面，人工智能技术可以高效地实现对视频的处理。但是，人工智能需要利用大量的数据来提高模型的鲁棒性以及抗干扰能力。在云边协同的情况下，通过mec(multi-access edge computing，多接入边缘计算)可以获得多方数据以便于训练得到鲁棒的模型，但同时也需要解决保证数据的安全性的问题。
4.现有的去雾方法大多为单纯的图像去雾，这样会将视频帧之间的联系割裂开来，可能导致最终的结果出现抖动，不利于视频的后续处理。
5.因此，存在对能够克服上述现有技术缺陷的实现视频流去雾的方法和装置的需求。


技术实现要素：

6.在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
7.根据本公开的第一方面，提供了一种用于对待检测的视频流进行去雾的方法，其中，所述方法在边缘端执行，所述方法包括：对所述待检测的视频流进行分帧和特征提取，以得到所述待检测的视频流的各个帧的特征向量；将各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值；对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值；以及基于所述全局大气光成分值，对所述待检测的视频流进行去雾。
8.根据本公开的第二方面，提供了一种用于对待检测的视频流进行去雾的装置，其中，所述装置被布置在边缘端，所述装置包括：输入处理模块，所述输入处理模块被配置为对所述待检测的视频流进行分帧和特征提取，以得到所述待检测的视频流的各个帧的特征向量；模型去雾模块，所述模型去雾模块被配置为：将各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值，以及对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值；以及输出处理模块，所述输出处理模块被配置为基于所述全局大气光成分值，对所述待检测的视频流进行去雾。
9.根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据本公开的第一方面所述的方法。
10.根据本公开的第四方面，提供了一种用于对待检测的视频流进行去雾的装置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据本公开的第一方面所述的方法。
11.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现根据本公开的第一方面所述的方法。
12.利用本公开提出的方法和装置能够基于云边协同对视频流进行去雾处理，具有安全、鲁棒等优点。
13.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得更为清楚。
附图说明
14.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
15.参照附图，根据下面的详细描述，可以更清楚地理解本公开，其中：
16.图1示出了根据本公开的实施例的云边协同系统的整体架构；
17.图2示出了根据本公开的实施例的在边缘端执行的方法的流程图；
18.图3示出了根据本公开的实施例的在云端执行的方法的流程图；
19.图4示出了根据本公开的实施例的用于得到全局大气光成分值的方法的流程图；
20.图5示出了根据本公开的实施例的用于对待检测的视频流进行去雾的方法的流程图；
21.图6示出了可以实现根据本公开的实施例的计算设备的示例性配置。
具体实施方式
22.参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本公开的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本公开，本公开是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本公开。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
23.图1示出了根据本公开的实施例的云边协同系统100的整体架构。如图1所示，该云边协同系统100可以包括云端110和边缘端120。此外，如图1所示，该云边协同系统100可以耦合到一个或多个港口，以对该一个或多个港口的视频流数据进行处理。
24.云端110可以包括模型存储模块111和模型训练模块112。其中，模型训练模块112可以被配置为对回归模型进行训练，模型存储模块111可以被配置为回归模型的存储以及下发。
25.边缘端120可以包括输入处理模块121、模型存储模块122、模型去雾模块123和输
出处理模块124。其中，输入处理模块121可以被配置为对输入到边缘端120的数据等进行处理。在根据本公开的实施例中，输入处理模块121可以被配置为对视频流进行分帧和特征提取以得到视频流的各个帧的特征向量。在根据本公开的实施例中，输入处理模块121还可以被配置为对提取得到的各个帧的特征向量进行加密，以便于安全地传输到云端。模型存储模块122可以被配置为存储例如从云端下发的经训练的回归模型以及存储数据等。模型去雾模块123可以被配置为基于回归模型得到全局大气光成分值，以便于对视频流进行去雾。具体而言，在根据本公开的实施例中，模型去雾模块123可以被配置为将视频流的各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值，以及对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值，比较判断的具体细节将在后文详述。输出处理模块124可以被配置为基于全局大气光成分值对视频流进行去雾。在根据本公开的实施例中，输出处理模块124还可以被配置为将最终得到的加密结果进行解密，以得到解密的去雾图像。
26.图2示出了根据本公开的实施例的在边缘端执行的方法的流程图。
27.如图2所示，在s201处，可以接收用户上传的数据。在根据本公开的实施例中，可以对数据进行预处理，诸如去噪、矫正等。
28.在s202处，可以通过卷积神经网络(cnn)等进行特征维度压缩以提取特征向量。在根据本公开的实施例中，cnn优选地为vgg16，提取出的特征向量为128维向量。
29.在s203处，可以对提取出的特征向量进行加密，以保证数据到云端的安全传输。在根据本公开的实施例中，可以对特征向量进行同态加密，诸如利用paillier算法进行加密，以便于后续数据处理。
30.在s204处，可以判断是否需要将数据上传到云端。在根据本公开的实施例中，可以根据需求来选择是否将加密后的数据进行上传到云端以供进行训练，例如，边缘端的用户可以自行选择是否要上传数据。
31.如果需要将数据上传到云端，则在s205处，可以进行数据的上传。接着在s206处，可以判断边缘端是否存在经训练的回归模型
32.如果不需将数据上传到云端，则接着在s206处，可以判断边缘端是否存在经训练的回归模型。
33.如果边缘端不存在经训练的回归模型，则在s207处，可以请求云端下发经训练的回归模型。接着在s208处，可以利用边缘端本地存储的回归模型进行推理。
34.如果边缘端存在经训练的回归模型，则在s208处，可以利用边缘端本地存储的回归模型进行推理。
35.图3示出了根据本公开的实施例的在云端执行的方法的流程图。
36.如图3所示，在s301处，可以对上传到云端的特征向量进行划分，以将其分为训练集以及测试集。在根据本公开的实施例中，上传到云端的特征向量可以是经同态加密的特征向量。
37.在s302处，可以利用训练集对回归模型进行训练。考虑到同态加密数据的特性，选择回归模型进行模型训练，其中该回归模型的输入为经同态加密的特征向量，输出为大气光成分的估计值。在根据本公开的实施例中，回归模型优选地为4层回归模型，各层节点数分别为128、64、32、1。
38.这里，采用式(1)来描述雾对视频流中的图像造成的影响：
39.i(x)＝j(x)t(x) a(1-t(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
40.其中，x表示视频流的帧的特征向量，i(x)表示去雾前的图像，j(x)是要恢复的无雾的图像，a表示大气光成分，t(x)为透射率。
41.在s303处，可以利用测试集对经训练的模型进行测试。
42.在s304处，可以判断经训练的模型是否满足精度要求，以判断模型是否能够下发。
43.如果经训练的模型满足精度要求，则在s305处，可以将经训练的模型下发到边缘端。
44.如果经训练的模型不满足精度要求，则可以回到s302处，再次进行训练。
45.在根据本公开的实施例中，在得到经训练的回归模型之后，在再次从边缘端收集到足够的数据的情况下，云端可以对经训练的模型进行fine tune，并将更新的模型下发到边缘端。
46.图4示出了根据本公开的实施例的用于基于回归模型得到全局大气光成分值的方法的流程图。
47.如图4所示，在s401处，可以将基于待检测的视频流得到的各帧的特征向量输入到回归模型，以得到各帧的大气光成分估计值a。
48.在s402处，可以判断当前帧是否为首帧。
49.如果当前帧为首帧，则在s405处可以更新全局大气光成分值a*，即将全局大气光成分值a*设置为该当前帧的大气光成分估计值a。
50.如果当前帧不是首帧，则在s403处可以计算当前帧的大气光成分估计值a与全局大气光成分值a*之间的差值δ：
51.δ＝|a*-a|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
52.接着，在s404处可以判断该差值δ是否大于阈值t。
53.如果δ》t，则在s405处可以将全局大气光成分值a*更新为该当前帧的大气光成分估计值a。
54.如果δ≤t，则可以回到s401，计算下一帧的大气光成分估计值，并进行后续的s402至s405的判断。
55.在s405处更新全局大气光成分值a*之后，可以回到s401，计算下一帧的大气光成分估计值，并进行后续的s402至s405的判断。
56.可以对视频流的各帧进行上述步骤，直至遍历视频流的所有帧为止。此时得到的全局大气光成分值a*是最终的大气光成分值，可用于根据式(1)对视频流进行去雾处理。
57.图5示出了根据本公开的实施例的用于对待检测的视频流进行去雾的方法的流程图，该方法可以在边缘端处执行。具体而言，该方法可以包括如下步骤：
58.在s501处，可以对待检测的视频流进行分帧和特征提取，以得到待检测的视频流的各个帧的特征向量；
59.在s502处，可以将各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值；
60.在s503处，可以对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值；
61.在s504处，可以基于全局大气光成分值，对待检测的视频流进行去雾。
62.图6示出了能够实现根据本公开的实施例的计算设备600的示例性配置。
63.计算设备600是能够应用本公开的上述方面的硬件设备的实例。计算设备600可以是被配置为执行处理和/或计算的任何机器。计算设备600可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。
64.如图6所示，计算设备600可以包括可以经由一个或多个接口与总线602连接或通信的一个或多个元件。总线602可以包括但不限于，工业标准架构(industry standard architecture，isa)总线、微通道架构(micro channel architecture，mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。计算设备600可以包括例如一个或多个处理器604。一个或多个处理器604可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器例如可以被配置为实现如前文所述的方法。
65.计算设备600还可以包括随机存取存储器(ram)610和只读存储器(rom)612。rom 612可以以非易失性方式存储待执行的程序、实用程序或进程。ram 610可提供易失性数据存储，并存储与计算设备600的操作相关的指令。
66.计算设备600还可以包括或被连接至非暂态存储设备614，该非暂态存储设备614可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。
67.综上所述，根据本公开的第一方面，提供了一种用于对待检测的视频流进行去雾的方法，其中，所述方法在边缘端执行，所述方法包括：对所述待检测的视频流进行分帧和特征提取，以得到所述待检测的视频流的各个帧的特征向量；将各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值；对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值；以及基于所述全局大气光成分值，对所述待检测的视频流进行去雾。
68.在根据本公开的实施例中，所述比较判断包括对每个帧执行以下步骤：判断当前帧是否为视频流的首帧；如果当前帧是首帧，则将全局大气光成分值设置为当前帧的大气光成分估计值；如果当前帧不是首帧，则判断当前帧的大气光成分估计值与全局大气光成分值之间的差值是否大于阈值；如果所述差值大于所述阈值，则将全局大气光成分值更新为当前帧的大气光成分估计值；如果所述差值不大于所述阈值，则不改变全局大气光成分值。
69.在根据本公开的实施例中，所述回归模型被配置为在云端进行训练并下发到边缘端，所述回归模型的输入为特征向量，所述回归模型的输出为大气光成分估计值。
70.在根据本公开的实施例中，所述方法还包括：获取训练视频流；对所述训练视频流进行分帧和特征提取，以得到所述训练视频流的各个帧的特征向量；以及将所述训练视频流的各个帧的特征向量上传到云端，以用于在云端进行所述回归模型的训练和测试。
71.在根据本公开的实施例中，所述训练视频流的各个帧的特征向量包括训练集和测
试集，所述训练集被配置为在云端训练所述回归模型，所述测试集被配置为在云端验证经训练的所述回归模型是否满足精度要求。
72.在根据本公开的实施例中，特征向量在被上传到云端或被输入到所述回归模型之前被加密。
73.根据本公开的第二方面，提供了一种用于对待检测的视频流进行去雾的装置，其中，所述装置被布置在边缘端，所述装置包括：输入处理模块，所述输入处理模块被配置为对所述待检测的视频流进行分帧和特征提取，以得到所述待检测的视频流的各个帧的特征向量；模型去雾模块，所述模型去雾模块被配置为：将各个帧的特征向量输入回归模型，以得到各个帧的大气光成分估计值，以及对各个帧的大气光成分估计值逐个进行比较判断，以得到全局大气光成分值；以及输出处理模块，所述输出处理模块被配置为基于所述全局大气光成分值，对所述待检测的视频流进行去雾。
74.在根据本公开的实施例中，所述比较判断包括对各个帧的大气光成分估计值逐个执行以下步骤：判断当前帧是否为视频流的首帧；如果当前帧是首帧，则将全局大气光成分值设置为当前帧的大气光成分估计值；如果当前帧不是首帧，则判断当前帧的大气光成分估计值与全局大气光成分值之间的差值是否大于阈值；如果所述差值大于所述阈值，则将全局大气光成分值更新为当前帧的大气光成分估计值；如果所述差值不大于所述阈值，则不改变全局大气光成分值。
75.在根据本公开的实施例中，所述装置还包括模型存储模块，所述模型存储模块被配置为存储从云端下发的所述回归模型，其中，所述回归模型被配置为在云端进行训练并下发到边缘端，所述回归模型的输入为特征向量，所述回归模型的输出为大气光成分估计值。
76.在根据本公开的实施例中，所述装置还被配置为：获取训练视频流；利用所述输入处理模块对所述训练视频流进行分帧和特征提取，以得到所述训练视频流的各个帧的特征向量；以及将所述训练视频流的各个帧的特征向量上传到云端，以用于在云端进行所述回归模型的训练和测试。
77.在根据本公开的实施例中，所述训练视频流的各个帧的特征向量包括训练集和测试集，所述训练集被配置为在云端训练所述回归模型，所述测试集被配置为在云端验证经训练的所述回归模型是否满足精度要求。
78.在根据本公开的实施例中，特征向量在被上传到云端或被输入到所述回归模型之前被加密。
79.根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据本公开的第一方面所述的方法。
80.根据本公开的第四方面，提供了一种用于对待检测的视频流进行去雾的装置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据本公开的第一方面所述的方法。
81.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现根据本公开的第一方面所述的方法。
82.根据本公开的方法和装置，可以在考虑到视频连续帧的相关性的同时，提高去雾
的抗干扰性；并且，保证了在云边协同的情况下，即使数据上传到云端，也不会造成原始数据的泄密，有效保证了数据的安全性。本公开的方法和装置可以有效提高港口视频类的去雾效果，便于后续基于视频检测、规划等。
83.提供本公开的主题作为用于执行本公开中描述的特征的装置、系统、方法和程序的示例。但是，除了上述特征之外，还可以预期其他特征或变型。可以预期的是，可以用可能代替任何上述实现的技术的任何新出现的技术来完成本公开的部件和功能的实现。
84.另外，以上描述提供了示例，而不限制权利要求中阐述的范围、适用性或配置。在不脱离本公开的精神和范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以在其他实施例中被结合。
85.类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。