视频边框识别方法、装置、可读介质及电子设备与流程

1.本公开涉及计算机技术领域，具体地，涉及一种视频边框识别方法、装置、可读介质及电子设备。


背景技术：

2.现实场景中，经常需要对带边框的视频进行边框识别操作，例如，视频发布平台中，经常遇到用户上传的视频带有边框的情况，若要使该视频既能在适用于竖版视频的设备上发布，也能在适用于横版视频的设备上发布，通常需要先对该带有边框的视频中的视频边框进行有效识别，确定该带有边框的视频的主体区域(即去除边框后的视频图像区域)，然后根据该主体区域进行尺寸调整，以满足适用于竖版视频的设备的播放需求，或者满足适用于横版视频的设备的播放需求。然而，目前的视频边框识别方法通常存在边框位置识别结果准确性较差，不利于视频主体位置确定的问题。


技术实现要素：

3.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
4.本公开提供一种视频边框识别方法、装置、可读介质及电子设备。
5.第一方面，本公开提供一种视频边框识别方法，所述方法包括：
6.获取待识别的目标视频，并将所述目标视频划分为多个子视频；
7.从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
8.将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
9.其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
10.第二方面，本公开提供一种视频边框识别装置，所述装置包括：
11.第一获取模块，被配置为获取待识别的目标视频，并将所述目标视频划分为多个子视频；
12.第二获取模块，被配置为从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
13.确定模块，被配置为将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
14.其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
15.第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现以上第一方面所述方法的步骤。
16.第四方面，本公开提供一种电子设备，包括：
17.存储装置，其上存储有计算机程序；
18.处理装置，用于执行所述存储装置中的所述计算机程序，以实现以上第一方面所述方法的步骤。
19.上述技术方案，通过将所述目标视频划分为多个子视频；从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；然后通过预设边框识别模型获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置；这样，通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，能够实现视频的深层语义特征和浅层空间特征的有效融合，再根据所述待定特征图预测所述目标位置，能够有效提升边框位置识别结果的准确性。
20.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
21.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
22.图1是本公开一示例性实施例示出的一种视频边框识别方法的流程图；
23.图2是根据本公开图1所示实施例示出的一种预设边框识别模型的框图；
24.图3是根据本公开图2所示实施例示出的一种视频边框识别方法的流程图；
25.图4是本公开一示例性实施例示出的一种边框识别方法的识别过程示意图；
26.图5是本公开一示例性实施例示出的一种预设边框识别模型的训练方法流程图；
27.图6是本公开一示例性实施例示出的一种视频边框识别装置的框图；
28.图7是本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
29.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
30.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，
和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
31.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
32.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
33.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
34.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
35.在详细介绍本公开的具体实施方式之前，首先对本公开的应用场景进行以下说明，本公开可以应用于视频边框的识别过程中，一种常见的视频边框识别场景为在进行横板视频与竖版视频之间的版本板换时，通常需要先识别到原始视频中视频的主体区域，在该主体区域的基础上添加适用于目标版本的边框，或者调整该视频主体区域的像素比，以得到满足播放需求的目标版本，然而，相关技术中的视频边框识别方法通常是从视频抽取若干帧图片，然后逐帧检测是否含有边框，最后再通过后处理算法，通过人工制定的识别条件(例如抽取的每帧都有边框，则确定存在边框，或者抽取的多帧中有边框的图片占有总抽取量的百分之九十，则确定整个视频存在边框等)，从图片检测结果中汇总推断出视频是否含有边框以及整个视频的边框位置，例如，如果一个视频中某些片段有边框，有些片段没有边框，相关技术中的边框识别方法则很容易将其中有边框部分的视频的边框当作整体视频的边框，基于该识别结果进行后续的视频版本变换容易造成对无边框部分的误裁剪，从而不利于提升整个视频的观感效果。发明人发现，相关技术中的边框识别方法之所以会存在边框识别结果准确性较差的问题，主要是由于每次检测只是针对单帧的静态图像，多次检测之前彼此独立，模型无法感知视频的动态变化，不能结合视频的时序信息和时空变化特征。
36.为了解决以上技术问题，本公开提供了一种视频边框识别方法、装置、可读介质及电子设备，该视频边框识别方法通过将该目标视频划分为多个子视频；从每个该子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；然后通过预设边框识别模型获取该多帧待识别图像对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框；并在确定该目标视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据该待定特征图预测该目标位置；这样，通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，达到对视频的深层语义特征和浅层空间特征进行有效融合的效果，再根据该待定特征图预测该目标位置，能够有效提升边框位置识别结果的准确性。
37.下面结合具体实施例对本公开的技术方案进行详细阐述。
38.图1是本公开一示例性实施例示出的一种视频边框识别方法的流程图；如图1所
示，该方法可以包括以下步骤：
39.步骤101，获取待识别的目标视频，并将该目标视频划分为多个子视频。
40.本步骤中，可以按照目标视频的时序，将该目标视频划分为前段视频，中间视频和后段视频；例如，一个15秒的视频，将前3秒作为一个子视频，后4秒作为一个子视频，中间8秒作为一个子视频，其中，将前3秒的子视频作为前段视频，将中间8秒的子视频作为中间视频，将后后4秒的子视频作为后段视频。
41.步骤102，从每个该子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像。
42.其中，不同的子视频对应的预设数量可以相同，也可以不同。
43.示例地，仍以上述步骤101所示示例为例，在前段视频和后段视频中各抽取3帧待识别图像，在该中间视频中抽取5帧待识别图像，得到11帧待识别图像。
44.步骤103，将该多帧待识别图像输入预设边框识别模型，以使该预设边框识别模型输出边框识别结果，该边框识别结果用于表征该目标视频是否存在边框，以及在该目标视频存在边框的情况下，该边框的目标位置。
45.其中，该预设边框识别模型用于，获取该多帧待识别图像对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框；并在确定该目标视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据该待定特征图预测该目标位置。
46.需要说明的是，可以通过该预设边框识别模型对每个子视频对应的预设数量个待识别图像进行多次卷积操作，以实现多尺度特征提取，得到每个子视频对应的多个不同尺度的特征图，从而得到该特征图集合，这些不同尺度的特征图按照尺度大小排序后可以构成特征金字塔。其中，在该特征金字塔中，位于低层(浅层)的特征图具有丰富的细节信息，位于高层(深层)的特征图具有丰富的语义信息，可以理解，特征图的层级越高，空间分辨率越小，其损失的细节越多，包含的语义信息越丰富。
47.本步骤中，可以通过该空间分辨率最小的特征图确定该目标视频是否存在边框，并在确定该目标视频存在边框的情况下，才对该特征图集合中不同尺度的特征图进行融合，根据融合后的待定特征图确定边框的目标位置，在确定该目标视频不存在边框的情况下，无需进行特征融合，仅输出用于表征该目标视频不存在边框的识别结果即可。这样通过语义丰富的深层特征确定是否存在边框，能够有效提升确定结果的准确性，并只有在确定存在边框的情况下，才融合不同尺度的特征图，进行位置识别，能够有效提升模型效率，并且能够有效保证识别到的边框位置的准确性。
48.另外，本步骤中，所述的通过对该特征图集合中不同尺度的特征图进行融合的实施方式，可以是通过对空间分辨率较小的特征图进行上采样和卷积操作，以得到与空间分辨率较大的特征图尺度相同的特征图，然后对该空间分辨率较大的特征图与通过上采样和卷积操作后得到的特征图进行拼接，上采样和多次卷积操作，从而得到该待定特征图；在得到该待定特征图后，可以直接根据该待定特征图进行边框位置预测，以得到该边框的目标位置，还可以对该待定特征图进行行池化处理以得到第一目标特征图，对该待定特征图进行列池化处理，以得到第二目标特征图，然后根据第一目标特征图和该第二目标特征图预测该边框的目标位置。
49.以上技术方案，能够通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，达到对视频的深层语义特征和浅层空间特征进行有效融合的效果，再根据该待定特征图预测该目标位置，能够有效提升边框位置识别结果的准确性。
50.图2是根据本公开图1所示实施例示出的一种预设边框识别模型的框图；如图2所示，该预设边框识别模型包括主干网络模块201，特征融合模块202，第一分类模块203和第二分类模块204，该主干网络模块201包括多级特征提取子网络，不同级的该特征提取子网络用于提取不同尺度的特征图；该主干网络模块201与该特征融合模块202和该第一分类模块203耦合，该特征融合模块202还与该第二分类模块204耦合。
51.需要说明的是，该主干网络模块可以是resnet(残差网路)，例如可以是resnet50，resnet101等，以resnet50为例，该多级特征提取子网络可以是resnet50中的stage1(第一阶段)，stage2(第二阶段)，stage3(第三阶段)，stage4(第四阶段)，以及stage5(第五阶段)，stage1至stage 5用于提取不同尺度的特征图，其中stage 5输出的特征图为空间分辨率最小的特征图。
52.进一步地，该预设边框识别模型的对待识别图像的处理流程可以参见以下图3所示，图3是根据本公开图2所示实施例示出的一种视频边框识别方法的流程图，如图3所示，该预设边框识别模型用于：
53.步骤301，获取每帧待识别图像对应的多通道特征图。
54.其中，该对多通道特征图可以是r通道特征图，g通道特征图，以及b通道特征图，也可以是r通道特征图，g通道特征图，b通道特征图，以及a通道特征图中的至少两个，该a通道特征图用来衡量图像的透明度。
55.示例地，以图4为例，图4是本公开一示例性实施例示出的一种边框识别方法的识别过程示意图，在前段视频和后段视频中各抽取3帧待识别图像，在该中间视频中抽取5帧待识别图像，得到11帧待识别图像，可以获取每帧待识别图像的r通道特征图，g通道特征图以及b通道特征图，得到前段视频对应的9个特征图(每帧三个，三帧9个)，即得到该前段视频对应的多通道特征图，同理可以得到后段视频和中间视频对应的多通道特征图。
56.步骤302，将多个该子视频对应的多通道特征图进行拼接后输入该主干网络模块，以使多级该特征提取子网络输出多个指定尺度的特征图，以得到该特征图集合。
57.其中，该多个指定尺度的特征图包括第一尺度的第一特征图，第二尺度的第二特征图和第三尺度的第三特征图，该第一尺度小于该第二尺度，该第二尺度小于该第三尺度。
58.示例地，在该主干网络模块为resnet50的情况下，该第一特征图可以是stage5(第五阶段)输出的特征图，该多通道特征图均为128
×
128的特征图，该第一尺度可以是4
×
4，该第二特征图可以是stage4(第四五阶段)输出的特征图，该第二尺度可以是8
×
8，该第三特征图可以是stage3(第三阶段)输出的特征图，该第三尺度可以是16
×
16。仍以图4为例，可以将前段视频对应的9个特征图进行concat(拼接处理)之后，输入至该stage1(第一阶段)，将后段视频对应的9个特征图进行拼接之后，输入至该stage1(第一阶段)，将中间视频对应的15个特征图(每帧3个，5帧15个特征图)进行拼接之后，输入至该stage1(第一阶段)，其中，若该通道特征图均为128
×
128的特征图，该stage1(第一阶段)输出的特征图可以为64
×
64的特征图，然后由stage3(第三阶段)，stage4(第四阶段)，stage5(第五阶段)分别输
出不同尺度的多个子视频的特征图，以得到stage3(第三阶段)，stage4(第四阶段)，stage5(第五阶段)对应特征图集合。
59.步骤303，通过该第一分类模块根据该特征图集合中该空间分辨率最小的特征图确定该目标视频是否存在边框。
60.本步骤中，仍以图4为例，可以将特征图集合中stage5(第五阶段)输出的特征图进行拼接之后，再进行多次卷积操作，然后通过gap层或者全连接层得到是否存在边框的识别结果。
61.可选地，该第一分类模块还可以以该根据该特征图集合中的空间分辨率最小的特征图确定该目标视频的边框类别。该边框类别可以包括纯白边框，图像边框，纯黑边框，其他边框等。
62.仍以图4为例，可以将特征图集合中stage5(第五阶段)输出的特征图进行concat之后，再进行多次卷积操作，然后通过另一个gap(全局平均池化)层或者另一个全连接层得到边框类别的识别结果。
63.步骤304，在确定该目标视频存在边框的情况下，通过该特征融合模块对该多个指定尺度的特征图进行融合，以得到该待定特征图；
64.本步骤中，可以将多个该子视频对应的该第一特征图拼接后进行卷积操作和上采样处理，以得到与该第二特征图尺度相同的第一指定特征图；将多个该子视频对应的该第二特征图拼接后进行卷积操作，以得到第二指定特征图；根据该第一指定特征图和该第二指定特征图确定与该第三特征图尺度相同的第三指定特征图；对该第三指定特征图和该第三特征图进行卷积操作和上采样处理，以得到目标尺度的该待定特征图，该目标尺度可以是与多通道特征图相同的尺度，也可以是多通道特征图的长宽的一半，还可以是其他尺度。
65.示例地，仍以图4为例，对该stage5(第五阶段)输出的3个子视频(前段视频，后段视频以及中间视频)对应的第一特征图拼接后，进行1
×
1的卷积操作和2倍的上采样处理，然后在进行1
×
1的卷积操作，得到8
×
8的第一指定特征图，对该stage4(第四阶段)输出的3个子视频对应的第二特征图拼接后，进行一次卷积操作，以得到第二指定特征图，对该第一指定特征图进行一次卷积操作后与该第二指定特征图进行拼接，然后进行多次卷积处理后再进行2倍的上采样处理，以得到16
×
16的第三指定特征图，对该stage3(第三阶段)输出的16
×
16的3个子视频对应的第三特征图进行拼接后，进行一次卷积操作，然后与该第三指定特征图进行拼接后继续进行卷积操作，并在进行多次卷积操作之后进行4倍的上采样处理，在4倍的上采样之后再进行1
×
1的卷积操作，得到该待定特征图。
66.步骤305，通过该第二分类模块对该待定特征图进行行池化处理以得到第一目标特征图，对该待定特征图进行列池化处理，以得到第二目标特征图。
67.本步骤中，可以获取该待定特征图中每行元素的均值，以得到该第一目标特征图；获取该待定特征图中每列元素的均值，以得到该第二目标特征图。
68.示例地，若该待定特征图f的尺寸为h
×w×
c，则可以通过以下公式计算该第一目标特征图中的第i个元素标特征图中的第i个元素可以通过以下公式计算该第二目标特征图中的第j个元素图中的第j个元素其中，0《i《h，0《j《w，
i,j
为c层待定特征图中某一层
中第i行第j列的元素。
69.步骤306，根据该第一目标特征图预测该边框中角点的纵坐标，根据该第二目标特征图预测该述边框中角点的横坐标。
70.其中，该第二分类模块包括第一分类器，第二分类器，第三分类器和第四分类器，本步骤中，可以将该第一目标特征图分别输入该第一分类器和该第二分类器，以使该第一分类器输出视频的左上角的纵坐标，该第二分类器输出视频的右下角的纵坐标。将该第二目标特征图分别输入该第三分类器和该第四分类器，以使该第三分类器输出视频左上角的横坐标，该第四分类器输出视频右下角的横坐标。
71.以上技术方案，能够通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，达到对视频的深层语义特征和浅层空间特征进行有效融合的效果，再根据该待定特征图预测该目标位置，能够有效提升边框位置识别结果的准确性。
72.图5是本公开一示例性实施例示出的一种预设边框识别模型的训练方法流程图；如图5所示，以上图1-4中所示的预设边框识别模型可以通过以下步骤训练得到：
73.s1，获取多个视频样本数据，该视频样本数据中包括样本视频，该样本视频是否存在边框的第一标注数据以及边框位置的第二标注数据。
74.s2，将每个该样本视频划分为多个子视频样本，并从每个该子视频样本中抽取预设数量帧待识别图像样本，以得到多帧待识别图像样本。
75.本步骤中，可以按照时序，将每个样本视频划分为多个子视频样本；在抽帧时，不同的子视频样本对应的预设数量可以相同，也可以不同。
76.s3，将该多帧待识别图像样本输入预设初始模型，以使该预设初始模型获取该多帧待识别图像样本对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框的预测概率；在确定该样本视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图样本，对该待定特征图样本进行行池化处理以得到第一目标特征图样本，并对该待定特征图进行列池化处理，以得到第二目标特征图样本；根据该第一目标特征图样本和该第二目标特征图样本确定该边框的预测位置。
77.其中，该预设初始模型可以包括初始主干网络，由该初始主干网络提取多帧该待识别图像样本对应的不同尺度的特征图，以得到该特征图集合。
78.s4，根据该预测概率和该第一标注数据通过第一预设损失函数获取第一损失值，根据该预测位置和该第二标注数据通过第二预设损失函数获取第二损失值。
79.其中，该第一预设损失函数和第二预设损失函数均可以是交叉熵损失函数。
80.s5，根据该第一损失值和该第二损失值对该预设初始模型进行迭代训练，以得到该预设边框识别模型。
81.本步骤中，根据第一损失值和该第二损失值调整该预设初始模型的模型参数，然后继续进行迭代计算，直至得到的损失函数满足预设阈值要求时，停止迭代，将更新后的预设初始模型作为预设边框识别模型。
82.以上技术方案，能够训练出识别效率较高，识别结果可靠性较强的边框识别模型，由于该预设边框识别模型能够对不同尺度的特征图进行融合，从而能够对视频的深层语义
特征和浅层空间特征进行有效融合，因此能够有效提升边框位置识别结果的准确性。
83.图6是本公开一示例性实施例示出的一种视频边框识别装置的框图；如图6所示，该装置可以包括：
84.第一获取模块601，被配置为获取待识别的目标视频，并将该目标视频划分为多个子视频；
85.第二获取模块602，被配置为从每个该子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
86.确定模块603，被配置为将该多帧待识别图像输入预设边框识别模型，以使该预设边框识别模型输出边框识别结果，该边框识别结果用于表征该目标视频是否存在边框，以及在该目标视频存在边框的情况下，该边框的目标位置；
87.其中，该预设边框识别模型用于，获取该多帧待识别图像对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框；并在确定该目标视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据该待定特征图预测该目标位置。
88.以上技术方案，通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，达到对视频的深层语义特征和浅层空间特征进行有效融合的效果，再根据该待定特征图预测该目标位置，能够有效提升边框位置识别结果的准确性。
89.可选地，该预设边框识别模型包括主干网络模块，特征融合模块，第一分类模块和第二分类模块，该主干网络模块包括多级特征提取子网络，不同级的该特征提取子网络用于提取不同尺度的特征图；该主干网络模块与该特征融合模块和该第一分类模块耦合，该特征融合模块还与该第二分类模块耦合；该预设边框识别模型用于：
90.获取每帧待识别图像对应的多通道特征图；
91.将多个该子视频对应的多通道特征图进行拼接后输入该主干网络模块，以使多级该特征提取子网络输出多个指定尺度的特征图，以得到该特征图集合；
92.通过该第一分类模块根据该特征图集合中该空间分辨率最小的特征图确定该目标视频是否存在边框；
93.在确定该目标视频存在边框的情况下，通过该特征融合模块对该多个指定尺度的特征图进行融合，以得到该待定特征图；
94.通过该第二分类模块对该待定特征图进行行池化处理以得到第一目标特征图，对该待定特征图进行列池化处理，以得到第二目标特征图；
95.根据该第一目标特征图预测该边框中角点的横坐标，根据该第二目标特征图预测该述边框中角点的纵坐标。
96.可选地，该多个指定尺度的特征图包括第一尺度的第一特征图，第二尺度的第二特征图和第三尺度的第三特征图，该第一尺度小于该第二尺度，该第二尺度小于该第三尺度，该预设边框识别模型用于：
97.将多个该子视频对应的该第一特征图拼接后进行卷积操作和上采样处理，以得到与该第二特征图尺度相同的第一指定特征图；
98.将多个该子视频对应的该第二特征图拼接后进行卷积操作，以得到第二指定特征
图；
99.根据该第一指定特征图和该第二指定特征图确定与该第三特征图尺度相同的第三指定特征图；
100.对该第三指定特征图和该第三特征图进行卷积操作和上采样处理，以得到与该多通道特征图尺度相同的该待定特征图。
101.可选地，该预设边框识别模型用于：
102.获取该待定特征图中每行元素的均值，以得到该第一目标特征图；
103.获取该待定特征图中每列元素的均值，以得到该第二目标特征图。
104.可选地，该第二分类模块包括第一分类器，第二分类器，第三分类器和第四分类器，该预设边框识别模型用于：
105.将该第一目标特征图分别输入该第一分类器和该第二分类器，以使该第一分类器输出视频的左上角的纵坐标，该第二分类器输出视频的右下角的纵坐标；
106.将该第二目标特征图分别输入该第三分类器和该第四分类器，以使该第三分类器输出视频左上角的横坐标，该第四分类器输出视频右下角的横坐标。
107.可选地，该第一获取模块601，被配置为：
108.按照该目标视频的时序，将该目标视频划分为前段视频，中间视频和后段视频。
109.可选地，该预设边框识别模型，还用于：
110.根据该特征图集合中的空间分辨率最小的特征图确定该目标视频的边框类别。
111.可选地，该预设边框识别模型通过以下方式训练得到：
112.获取多个视频样本数据，该视频样本数据中包括样本视频，该样本视频是否存在边框的第一标注数据以及边框位置的第二标注数据；
113.将每个该样本视频划分为多个子视频样本，并从每个该子视频样本中抽取预设数量帧待识别图像样本，以得到多帧待识别图像样本；
114.将该多帧待识别图像样本输入预设初始模型，以使该预设初始模型获取该多帧待识别图像样本对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框的预测概率；并在确定该样本视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图样本，对该待定特征图样本进行行池化处理以得到第一目标特征图样本，并对该待定特征图进行列池化处理，以得到第二目标特征图样本；根据该第一目标特征图样本和该第二目标特征图样本确定该边框的预测位置；
115.根据该预测概率和该第一标注数据通过第一预设损失函数获取第一损失值，根据该预测位置和该第二标注数据通过第二预设损失函数获取第二损失值；
116.根据该第一损失值和该第二损失值对该预设初始模型进行迭代训练，以得到该预设边框识别模型。
117.以上技术方案，能够训练出识别效率较高，识别结果可靠性较强的边框识别模型，由于该预设边框识别模型能够对不同尺度的特征图进行融合，从而能够对视频的深层语义特征和浅层空间特征进行有效融合，因此能够有效提升边框位置识别结果的准确性。
118.下面参考图7，其示出了适于用来实现本公开实施例的电子设备700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接
收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
119.如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
120.通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
121.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
122.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
123.在一些实施方式中，可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前
已知或未来研发的网络。
124.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
125.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别的目标视频，并将该目标视频划分为多个子视频；从每个该子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；将该多帧待识别图像输入预设边框识别模型，以使该预设边框识别模型输出边框识别结果，该边框识别结果用于表征该目标视频是否存在边框，以及在该目标视频存在边框的情况下，该边框的目标位置；其中，该预设边框识别模型用于，获取该多帧待识别图像对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框；并在确定该目标视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据该待定特征图预测该目标位置。
126.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
127.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
128.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取待识别的目标视频，并将该目标视频划分为多个子视频的模块”。
129.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
130.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
131.根据本公开的一个或多个实施例，示例1提供了一种视频边框识别方法，所述方法包括：
132.获取待识别的目标视频，并将所述目标视频划分为多个子视频；
133.从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
134.将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
135.其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
136.根据本公开的一个或多个实施例，示例2提供了示例1所述的方法，所述预设边框识别模型包括主干网络模块，特征融合模块，第一分类模块和第二分类模块，所述主干网络模块包括多级特征提取子网络，不同级的所述特征提取子网络用于提取不同尺度的特征图；所述主干网络模块与所述特征融合模块和所述第一分类模块耦合，所述特征融合模块还与所述第二分类模块耦合；所述预设边框识别模型用于：
137.获取每帧待识别图像对应的多通道特征图；
138.将多个所述子视频对应的多通道特征图进行拼接后输入所述主干网络模块，以使多级所述特征提取子网络输出多个指定尺度的特征图，以得到所述特征图集合；
139.通过所述第一分类模块根据所述特征图集合中所述空间分辨率最小的特征图确定所述目标视频是否存在边框；
140.在确定所述目标视频存在边框的情况下，通过所述特征融合模块对所述多个指定尺度的特征图进行融合，以得到所述待定特征图；
141.通过所述第二分类模块对所述待定特征图进行行池化处理以得到第一目标特征图，对所述待定特征图进行列池化处理，以得到第二目标特征图；
142.根据所述第一目标特征图预测所述边框中角点的纵坐标，根据所述第二目标特征图预测所述述边框中角点的横坐标。
143.根据本公开的一个或多个实施例，示例3提供了示例2所述的方法，所述多个指定尺度的特征图包括第一尺度的第一特征图，第二尺度的第二特征图和第三尺度的第三特征图，所述第一尺度小于所述第二尺度，所述第二尺度小于所述第三尺度，所述通过所述特征融合模块对所述多个指定尺度的特征图进行融合，以得到所述待定特征图，包括：
144.将多个所述子视频对应的所述第一特征图拼接后进行卷积操作和上采样处理，以得到与所述第二特征图尺度相同的第一指定特征图；
145.将多个所述子视频对应的所述第二特征图拼接后进行卷积操作，以得到第二指定特征图；
146.根据所述第一指定特征图和所述第二指定特征图确定与所述第三特征图尺度相同的第三指定特征图；
147.对所述第三指定特征图和所述第三特征图进行卷积操作和上采样处理，以得到目标尺度的所述待定特征图。
148.根据本公开的一个或多个实施例，示例4提供了示例2所述的方法，所述通过所述第二分类模块对所述待定特征图进行行池化处理以得到第一目标特征图，对所述待定特征图进行列池化处理，以得到第二目标特征图，包括：
149.获取所述待定特征图中每行元素的均值，以得到所述第一目标特征图；
150.获取所述待定特征图中每列元素的均值，以得到所述第二目标特征图。
151.根据本公开的一个或多个实施例，示例5提供了示例2所述的方法，所述第二分类模块包括第一分类器，第二分类器，第三分类器和第四分类器，所述根据所述第一目标特征图预测所述边框中角点的纵坐标，根据所述第二目标特征图预测所述述边框中角点的横坐标，包括：
152.将所述第一目标特征图分别输入所述第一分类器和所述第二分类器，以使所述第一分类器输出视频的左上角的纵坐标，所述第二分类器输出视频的右下角的纵坐标；
153.将所述第二目标特征图分别输入所述第三分类器和所述第四分类器，以使所述第三分类器输出视频左上角的横坐标，所述第四分类器输出视频右下角的横坐标。
154.根据本公开的一个或多个实施例，示例6提供了示例1所述的方法，所述获取待识别的目标视频，并将所述目标视频划分为多个子视频，包括：
155.按照所述目标视频的时序，将所述目标视频划分为前段视频，中间视频和后段视频。
156.根据本公开的一个或多个实施例，示例7提供了示例1所述的方法，所述预设边框识别模型，还用于：
157.根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频的边框类别。
158.根据本公开的一个或多个实施例，示例8提供了示例1-7任一项所述的方法，其特征在于，所述预设边框识别模型通过以下方式训练得到：
159.获取多个视频样本数据，所述视频样本数据中包括样本视频，所述样本视频是否存在边框的第一标注数据以及边框位置的第二标注数据；
160.将每个所述样本视频划分为多个子视频样本，并从每个所述子视频样本中抽取预设数量帧待识别图像样本，以得到多帧待识别图像样本；
161.将所述多帧待识别图像样本输入预设初始模型，以使所述预设初始模型获取所述多帧待识别图像样本对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框的预测概率；并在确定所述样本视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图样本，对所述待定特征图样本进行行池化处理以得到第一目标特征图样本，并对所述待定特征图进行列池化处理，以得到第二目标特征图样本；根据所述第一目标特征图样本和所述第二
目标特征图样本确定所述边框的预测位置；
162.根据所述预测概率和所述第一标注数据通过第一预设损失函数获取第一损失值，根据所述预测位置和所述第二标注数据通过第二预设损失函数获取第二损失值；
163.根据所述第一损失值和所述第二损失值对所述预设初始模型进行迭代训练，以得到所述预设边框识别模型。
164.根据本公开的一个或多个实施例，示例9提供了一种视频边框识别装置，所述装置包括：
165.第一获取模块，被配置为获取待识别的目标视频，并将所述目标视频划分为多个子视频；
166.第二获取模块，被配置为从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
167.确定模块，被配置为将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
168.其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
169.根据本公开的一个或多个实施例，示例10提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现以上示例1-8中任一项所述方法的步骤。
170.根据本公开的一个或多个实施例，示例11提供了一种电子设备，包括：
171.存储装置，其上存储有计算机程序；
172.处理装置，用于执行所述存储装置中的所述计算机程序，以实现以上示例1-8中任一项所述方法的步骤。
173.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
174.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
175.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此
处将不做详细阐述说明。