一种基于语义级时序关联建模的视频时序动作定位方法

1.本发明涉及计算机视觉领域，具体是涉及一种基于语义级时序关联建模的视频时序动作定位方法。


背景技术：

2.视频时序动作定位是计算机视觉领域的基本任务之一，其任务目的是在长视频中定位其中人为动作发生的起始时间、终止时间、及其相应类别。它在现实生活中具有重要的应用价值和意义，例如视频检索、视频推荐等。在深度学习的推动下，智能视频分析领域得以蓬勃发展，本发明主要面向的是基于深度学习的视频时序动作定位任务，基于深度学习算法自动检测视频中人为动作发生的时序区间。对视频进行时序动作定位，实现视频数据的自动化处理，在智能监控、虚拟现实、机器人控制等领域有着广阔的应用前景，对于推动智能视频分析技术的发展具有重大意义。
3.时序动作定位的关键任务是建模不同时间戳之间的时序关联。根据时序关系建模的尺度，目前的方法可以分为三种类型：局部级别、提议级别和全局级别方法。局部级方法包括基于锚框的回归方法和基于帧级的匹配方法。基于锚框的回归方法是在视频片段上均匀分布预定义的不同尺寸锚框，通过挖掘锚框内视频片段的上下文信息从而回归动作片段。此类方法由于受限于锚框的尺寸，无法生成时序更加灵活的提议片段。基于帧级匹配的方法首先评估视频每帧为动作起始和终止的概率，然后匹配起始——终止帧从而生成动作片段，因此此类方法可以预测更加时序尺度灵活的定位片段。但是局部级方法只挖掘了视频中相邻帧之间的联系，从而使动作边界概率对视频中的噪声场景非常敏感，导致错误的边界划分。提议级方法通过在每个提案中的不同时间戳上采样视频特征，构建提案的特征表示，以捕获更多的时间上下文。他们在提案特征图上利用二维卷积网络，或采用图卷积网络来建模提案之间的关系。全局级别方法采用“查询和检索”过程或利用视觉transformer对全局时序相关性进行编码。
4.但是现实场景中，一段包含动作片段的视频通常还带有一些与动作不相关的背景帧，它们通常不能够为视频理解提供有效的信息，甚至会带来干扰。现有方法都不能很好的避免这些背景帧对动作片段定位的影响，无法避免背景帧的干扰。


技术实现要素：

5.针对上述问题，本发明提出了一种基于语义级时序关联建模的视频时序动作定位方法，本发明从两个角度研究了视频中前景(动作片段)和背景(非动作帧)之间的语义级关联：1)语义内相似性：对于前景片段，从其他动作片段中学习语义内相似度可以提取更多支持性线索。2)语义间相似性：对于背景片段，捕捉它们与前景之间的语义间距离有助于区分它们与动作的相似外观或运动模式，从而抑制假阳性检测和背景的干扰。
6.为了实现上述目的，本发明提供一种基于语义级时序关联建模的视频时序动作定位方法，包括以下步骤：
7.s1、利用视频特征提取单元对输入的视频进行片段级特征提取与编码；
8.s2、利用前景掩码生成模块建模视频的全局时序关联，预测生成动作前景(动作主体和边界)的掩码；
9.s3、利用掩码引导transformer模块中的自注意力机制计算语义级时序关联，提取动作的特征同时抑制背景干扰；
10.s4、利用时序动作定位预测输出模块预测动作完整性图和边界置信度图，用于时序动作提议和评估；
11.s5、对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于语义级关联建模的视频时序动作定位方法；
12.s6、利用所述基于语义级关联建模的视频时序动作定位方法在新的视频序列中定位动作目标。
13.优选的，所述步骤s1具体包括以下步骤：
14.s11、将原始未经剪辑的长视频视为一个帧集合然后按规则的帧间隔δ将其分割为一个片段集合其中ls＝lv/δ；
15.s12、将每个片段输入到预训练的双流网络tsn中，提取每个片段的特征通过这种方式，获得片段特征序列
16.s13、采用线性插值将每个视频统一到相同的时序长度，视频特征提取单元输出表示为的视频特征，包含t个特征单元，由后续模块共享。
17.优选的，所述步骤s2具体包括以下步骤：
18.s21、利用全局感知注意力模块建模视频的全局时序关联；输入视频特征f，添加正弦位置编码，然后利用线性变换将视频特征投影到三个不同特征表达，即查询键和值利用这三个特征进行自注意力计算，学习视频片段之间的时序交互，输出全局关联建模的将输入到具有relu激活函数、残差连接和层归一化的前馈神经网络中，最后输出由全局上下文建模的特征
19.s22、利用全局上下文建模的特征fg预测动作主体前景掩码和动作边界前景掩码；首先利用堆叠的一维时序卷积和sigmoid激活函数预测每一个视频片段动作主体、起始和结束的概率其次，将概率序列设定阈值进行二值化操作，得到前景掩码序列这些序列中的第i元素si∈{0,1}表示第i个片段的前景二进制概率，然后，在时序维度上将前景掩码序列复制t次，得到二维前景掩码图；最后，为了引入前景周围的动作运动趋势信息，在二维掩码图上利用膨胀核对前景掩码图进行膨胀操作，得到膨胀后的前景掩码图
20.优选的，所述步骤s21具体为：对输入视频特征添加正弦位置编码，得到经过位置编码后视频特征f'；利用该特征进行自注意力计算，计算过程具体为：
21.q＝w
qf′
,k＝w
kf′
,v＝wvf
′
[0022][0023]
其中为网络中可学习权值，d＝c/m表示每个注意力头的维度，ln表示层归一化。自注意力机制输出全局关联建模的视频特征然后与特征f'按元素相加，之后送入带有relu激活函数的前馈神经网络，增强特征的非线性表达能力，将结果与按元素相加，从而获得全局上下文建模的特征
[0024]
优选的，所述步骤s22前景掩码预测过程中动作主体的二值化阈值设置为0.4，边界掩码二值化阈值设置为0.5，膨胀核的大小设置为kernel＝(3,3)。
[0025]
优选的，所述步骤s3具体包括以下步骤：
[0026]
s31、对输入视频特征序列f添加位置编码，进行线性映射将其映射到四个新的特征矩阵分别表示视频的查询特征、值特征、动作开始键特征和动作结束键特征；然后，计算查询特征和两个键特征的余弦相似度，输出动作起始相似度和动作结束相似度
[0027]
s32、基于前景掩码图，构造掩码操作m(
·
)，然后将掩码结果与动作起始相似度sms、动作结束相似度sme的hadamard积，得到掩码引导映射
[0028]
s33、使用softmax函数将掩码引导映射进行归一化，然后与值矩阵相乘，从视频的动作片段中捕获语义关联得到动作起始和动作结束增强特征将所述动作起始和动作结束增强特征拼接起来并使用一个一维卷积层将特征的通道数从2c'降低到c；利用残差连接和前馈神经网络来增强非线性得到边界增强特征利用动作主体前景掩码图得到动作主体增强特征
[0029]
优选的，所述余弦相似度的计算过程为：
[0030][0031][0032]
所述掩码引导的过程为：首先构造掩码操作，然后将掩码结果与动作相似度映射计算hadamard积，公式表示为：
[0033][0034]
gms＝m(ms)
°
sms[0035]
gme＝m(me)
°
sme[0036]
其中m(
·
)表示掩码操作，
°
表示hadamard乘积。
[0037]
优选的，所述步骤s4具体包括以下步骤：
[0038]
s41、在动作完整性回归模块中，输入动作主体增强特征fa，首先利用一维卷积预
测每帧的动作概率，得到动作概率特征其次，在pa上对所有候选提案的起始、中心和结束区域内的进行特征采样，构造动作完整性特征图其中t
×
t
×
n表示所有任意起始和结束时间的所有候选提案，n是每个提案的采样点数；最后，将fma输入堆叠的二维卷积神经网络中执行卷积操作，并使用sigmoid激活函数预测动作完整性置信图
[0039]
s42、在动作边界分类模块中，输入动作边界增强特征fb，首先在f
bf
上采样构造候选提案的边界特征图包含t
×
t个候选提案的边界特征；然后利用一个三维卷积层将采样点的特征进行融合；最后利用堆叠的二维卷积层预测输出候选提案的动作边界置信度图
[0040]
优选的，所述步骤s5具体包括以下步骤：
[0041]
s51、利用服务器执行所述视频特征提取单元，得到视频的特征序列f；
[0042]
s52、利用服务器执行所述前景掩码生成模块预测输出动作主体前景掩码图和动作边界前景掩码图ma,ms,me；
[0043]
s53、利用服务器执行所述掩码引导transformer模块基于前景掩码图，利用自注意力机制建模每一帧与动作片段的语义级时序关联，输出动作主体增强特征fa和动作边界增强特征fb；
[0044]
s54、利用服务器执行所述时序动作定位预测输出模块，将动作主体增强特征fa输入给动作完整性回归模块，预测动作完整性置信度图pc；同时将动作边界增强特征fb送入边界分类模块，输出动作边界置信度图p
s,e
；
[0045]
s55、利用服务器进行网络训练，采用端到端的方式训练模型的整体损失函数的数学表达式为：
[0046]
l＝l
mask
λ1l
comple
λ2l
start
λ3l
end
[0047]
其中，l
mask
＝l
bl
(ga,sa) l
bl
(gs,ss) l
bl
(ge,se)为掩码生成模块的损失，其加权平衡参数设置为1；为动作完整性模块的损失，其加权平衡参数设置为λ1＝1；是动作起始边界分类损失，为动作结束边界分类损失，它们的加权平衡因子为λ2＝λ3＝1；
[0048]
s56、利用服务器优化目标函数，获取局部最优网络参数；将步骤s55中的损失函数l作为目标函数，使用adamw优化器迭代更新网络参数，使目标损失函数降低直至收敛到局部最优，至此训练结束，得到训练完成的基于语义级时序关联建模的视频时序动作定位网络的权重。
[0049]
优选的，所述步骤s6具体包括以下步骤：
[0050]
s61、将新的视频首先送入视频特征提取单元，提取视频特征；然后利用前景掩码生成模块，生成视频中动作的前景掩码图；之后将视频特征和前景掩码图输入掩码引导
transformer模块，建立视频的语义级时序关联，输出动作主体和动作边界增强的视频特征；最后将动作主体和动作边界增强的视频特征送入时序动作定位预测输出模块，输出动作完整性置信度图pc和动作边界置信度图p
s,e
；
[0051]
s62、在动作完整性置信度图pc和动作边界置信度图p
s,e
的右上角区域中，对pc每一行、p
s,e
每一列求平均值，得到动作起始分数序列和动作结束分数序列然后将每个候选动作提案(ti,tj)的动作起始分数动作结束分数动作完整性分数进行融合，具体为：
[0052]
s63、采用soft-nms算法，通过分数衰减函数消除冗余，得到稀疏的候选动作提案集合其中p
i,j
'是最终的置信度得分，n'是最终候选建议的个数；
[0053]
s64、利用untrimmednet预测的新视频的排名前二的动作类别标签和相应的分数，与步骤s63输出的候选动作提案的置信度分数相乘，得到最终的针对该视频的时序动作定位结果其中(ti,tj)代表预测的动作起始时间为ti、结束时间为tj的视频片段，它对应的动作类别为c，置信度分数为s
i,j
。
[0054]
与现有技术相比，本发明的有益效果是：
[0055]
本发明提供的一种基于语义级时序关联建模的视频时序动作定位方法通过建模视频中每一帧与动作片段的语义级时序关联，学习提取更有效地视频特征，从而完成视频时序动作定位任务，利用前景掩码引导transformer的注意机制计算每一帧与前景的语义级相似度，捕获语义关联。前景预测可以根据学习到的动作线索细化其动作边界；同时，背景预测可以根据学习到的语义鸿沟来抑制假阳性预测和背景干扰。在众多困难的实际场景中都可以准确地定位视频中的动作片段，在activitynet验证集上auc值达到了68.85％，在thumos验证集上所有类别的平均检测精度map达到了48.4％，超越了现有的多数算法，具有非常好的效果。
附图说明
[0056]
图1为本发明一种基于语义级时序关联建模的视频时序动作定位方法的算法框架图；
[0057]
图2为本发明由前景概率序列预测前景掩码图的流程图；
[0058]
图3为本发明的掩码引导transformer模块单元图；
[0059]
图4为本发明时序动作定位预测输出模块单元图。
具体实施方式
[0060]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
针对现有技术中存在的问题与不足，本发明设计了一种全新的视频时序动作定位深度神经网络框架，它利用前景掩码作为先验知识来建模每一帧与动作片段之间的语义级
关联，从而增强视频的特征表示，进一步提高动过定位的准确性。首先，我们设计了前景掩码生成模块，自适应性地生成前景掩码，表示视频中与动作相关帧的位置。该前景掩码在后续中用于指引transformer模块建模与动作帧的语义级关联。然后，我们提出了一种掩码引导的transformer模块，该模块利用前景掩码来引导注意力机制学习语义层次的相似性，为前景构建语义内相似度以从其他动作片段中挖掘支持性线索，同时对背景片段和动作帧之间的语义鸿沟进行建模，以更好地区分背景内容。最后，我们在一个统一的框架中融合了两个模块，实现一个端到端的时序动作定位深度神经网络。
[0062]
本发明提出的一种基于语义级时序关联建模的视频时序动作定位方法，包括以下步骤：
[0063]
s1、利用视频特征提取单元对输入的视频进行片段级特征提取与编码；
[0064]
s2、利用前景掩码生成模块建模视频的全局时序关联，预测生成动作前景(动作主体和边界)的掩码；表示在整个视频中与动作相关帧的位置，后续用于掩码指导transformer模块建模语义级关联；
[0065]
s3、利用掩码引导transformer模块中的自注意力机制计算语义级时序关联，即计算每一帧与动作片段的语义级相似度，提取动作的特征同时抑制背景干扰；
[0066]
s4、利用时序动作定位预测输出模块预测动作完整性图和边界置信度图，用于时序动作提议和评估；
[0067]
s5、对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于语义级关联建模的视频时序动作定位方法；
[0068]
s6、利用所述基于语义级关联建模的视频时序动作定位方法在新的视频序列中定位动作目标。
[0069]
下面对每一步骤进行详细的说明介绍。
[0070]
步骤s1、利用视频特征提取单元对输入的视频进行片段级特征提取与编码。如图1中的i单元，它接受原始的长视频作为输入，将视频分割为一些小片段，对每个片段进行特征提取，从而获取视频的特征序列。主要步骤为：
[0071]
s11、将原始未经剪辑的长视频视为一个帧集合然后按规则的帧间隔δ将其分割为一个片段集合其中ls＝lv/δ；
[0072]
s12、将每个片段输入到预训练的双流网络tsn中，提取每个片段的特征通过这种方式，获得片段特征序列
[0073]
s13、采用线性插值将每个视频统一到相同的时序长度，视频特征提取单元输出表示为的视频特征，包含t个特征单元，由后续模块共享。
[0074]
步骤s2、利用前景掩码生成模块建模视频的全局时序关联，预测生成动作前景(动作主体和边界)的掩码；表示在整个视频中与动作相关帧的位置，后续用于掩码指导transformer模块建模语义级关联。如图1中的ii模块所示为本发明所设计的前景掩码生成模块单元，主要步骤为：
[0075]
s21、利用全局感知注意力模块建模视频的全局时序关联；输入视频特征f，添加正弦位置编码，然后利用线性变换将视频特征投影到三个不同特征表达，即查询键
和值利用这三个特征进行自注意力计算，学习视频片段之间的时序交互，建模全局的时序关联，具体为：
[0076][0077]
其中，d＝c/m表示每个注意力头的维度，ln表示层归一化；
[0078]
自注意力机制输出的视频特征将其输入前馈神经网络，并经过残差链接，得到全局上下文建模的视频特征具体为：
[0079][0080]
其中，mlp表示带有relu激活函数的前馈神经网络；
[0081]
s22、利用全局上下文建模的特征fg预测动作主体前景掩码和动作边界前景掩码；首先利用三个并联的一维时序卷积和sigmoid激活函数预测每一个视频片段动作主体、起始和结束的概率如图2所示为由前景概率序列预测前景掩码图的流程图，其次，基于概率序列生成动作前景掩码图，具体地，将概率序列设定阈值进行二值化操作，实现方法是判断每一个小片段是否大于某一阈值，如果大于则将该片段的概率二值化为1，否则为0，最后将前景掩码序列在时序维度复制得到前景掩码图，这些过程用公式表示为：
[0082][0083][0084]
ma,ms,me＝φ(rearrange(sa,ss,se))
[0085]
其中，hm表示堆叠的一维时序卷积层；αm是前景的二进制概率阈值，动作主体的二值化阈值设置为0.4，动作边界的二值化阈值设置为0.5，rearrange表示对掩码序列进行复制操作；φ为膨胀卷积核，核的大小设置为kernel＝(3,3)；
[0086]
为了使用前景掩码指导后续transformer的注意力机制建模语义级时序关联，由于注意力图是二维的，每一维度的大小都为视频的长度t，因此在时序维度上将前景掩码序列复制t次，得到二维前景掩码图，该前景掩码图代表与动作相关的帧所在的位置；最后，为了引入动作片段周围关于动作变化趋势的信息，利用3
×
3的膨胀核将对掩码图进行膨胀操作，得到膨胀后的前景掩码图
[0087]
步骤s3、利用掩码引导transformer模块中的自注意力机制计算语义级时序关联，即计算每一帧与动作片段的语义级相似度，提取动作的特征同时抑制背景干扰。如图3所示为本发明的所设计的掩码引导transformer模块单元图，主要步骤为：
[0088]
s31、对输入视频特征序列f添加位置编码，利用可学习的进行线性映射，将其映射到四个新的特征矩阵中，分别表示视频的查询特征、值特征、动作开始键特征和动作结束键特征；然后，计算查询特征和两个键特征的余弦相似度，输出动作起始相似度和动作结束相似度
[0089]
s32、根据步骤s22生成的前景掩码图，构造掩码操作m(
·
)，具体为：
[0090][0091]
然后计算掩码结果与动作起始相似度sms、动作结束相似度sme的hadamard积，得到掩码引导映射该过程实现了利用前景掩码来指导transformer的注意力机制建模语义级别联系；
[0092]
s33、使用softmax函数将掩码引导映射进行归一化，然后与视频的值特征矩阵相乘，得到动作起始和动作结束增强特征捕获了视频的动作片段的语义关联；此过程，对于前景片段可以学习视频中其他动作片段的相关信息和支持线索，对于背景片段可以捕获它与动作帧的语义鸿沟；然后，将这两种类型的特征进行拼接后送入一维卷积层进行信息融合，并将通道数数从2c'降低到c；然后将此特征与添加位置编码的视频特征按元素相加，送入前馈神经网络来增强特征的非线性表达能力，输出得到边界增强特征同理，动作掩码引导的transformer模块通过建模视频每帧与动作主体的相关性输出动作主体增强特征
[0093]
其中，步骤s31中余弦相似度的计算过程为：
[0094][0095][0096]
所述掩码引导的过程为：首先构造掩码操作，然后将掩码结果与动作相似度映射计算hadamard积，公式表示为：
[0097][0098]
gms＝m(ms)
°
sms[0099]
gme＝m(me)
°
sme[0100]
其中m(
·
)表示掩码操作，
°
表示hadamard乘积。
[0101]
具体地，所述步骤s33具体为：将掩码引导映射归一化，与值矩阵相乘从视频的动作片段中捕获语义关联，输出动作起始和动作结束增强特征将两者拼接送入一维卷积压缩通道维度，然后与原始视频特征按元素相加；将结果送入前馈神经网络，在经过残差链接输出边界增强特征，这些过程的公式化表示为：
[0102][0103][0104][0105][0106]
其中[
·
]表示拼接操作，ffn表示前馈神经网络，表示逐元素相加。
[0107]
步骤s4、利用时序动作定位预测输出模块预测动作完整性图和边界置信度图，用于时序动作提议和评估。如图4所示位本发明所设计的时序动作定位预测输出模块单元图，主要步骤为：
[0108]
s41、在动作完整性回归模块中，输入动作主体增强特征fa，首先利用一维卷积预测每帧的动作概率，得到动作概率特征其次，在pa上对所有候选提案的起始、中心和结束区域内的进行特征采样，构造动作完整性特征图其中t
×
t
×
n表示所有任意起始和结束时间的所有候选提案，n是每个提案的采样点数；设置为n＝32，最后，将fma输入堆叠的二维卷积神经网络中执行卷积操作，并使用sigmoid激活函数预测动作完整性置信图它表所有候选提案的动作完整性分数；该过程具体表示为：
[0109]
pa＝f
(conv1d)
(f
af
)
[0110]
fma＝sample(pa)
[0111]
pc＝sigmoid(f
(conv2d)
(fma))
[0112]
其中，f
(conv1d)
(
·
)是一维卷积操作，f
(conv2d)
(
·
)为二维卷积操作，sample(
·
)表示特征采样过程；
[0113]
s42、在动作边界分类模块中，输入动作边界增强特征fb，首先在f
bf
上采样构造候选提案的边界特征图包含t
×
t个候选提案的边界特征，同样采样点个数为n＝32然后利用一个三维卷积层将32个采样点的特征进行融合压缩为n＝1；最后利用堆叠的二维卷积层预测输出候选提案的动作边界置信度图该过程具体表示为：
[0114]
fmb＝sample(f
bf
)
[0115]
p
s,e
＝sigmoid(f
conv2d
(f
conv3d
(fmb)))
[0116]
其中，f
(conv3d)
(
·
)表示三维卷积操作。
[0117]
步骤s5、对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于语义级关联建模的视频时序动作定位方法。如图1所示为本发明一种基于语义级时序关联建模的视频时序动作定位方法的算法框架图，主要步骤为：
[0118]
s51、将训练集的视频输入服务器，执行视频特征提取单元，得到视频的特征序列f；
[0119]
s52、利用服务器执行前景掩码生成模块预测输出动作主体前景掩码图和动作边界前景掩码图ma,ms,me；
[0120]
s53、利用服务器执行掩码引导transformer模块，基于前景掩码图，利用自注意力机制建模每一帧与动作片段的语义级时序关联，输出动作主体增强特征fa和动作边界增强特征fb；
[0121]
s54、利用服务器执行时序动作定位预测输出模块，将动作主体增强特征fa输入给动作完整性回归模块，预测动作完整性置信度图pc；同时将动作边界增强特征fb送入边界分类模块，输出动作边界置信度图p
s,e
；
[0122]
s55、利用服务器进行网络训练，采用端到端的方式训练；前景掩码生成模块损失的数学表达为：
[0123]
l
mask
＝l
bl
(ga,sa) l
bl
(gs,ss) l
bl
(ge,se)
[0124]
其中，)为加权二元逻辑回归损失；ga,gs,ge表示真实的动作前景掩码，α

＝t/∑(gi)和α-＝t/∑(1-gi)是权重平衡因子；
[0125]
动作完整性回归损失的数学表达为：
[0126][0127]
其中，表示真实的提案与动作实例的iou的最大值，pa是真实的动作概率序列；
[0128]
动作完整性回归损失的数学表达为：
[0129][0130][0131]
其中，表示真实的动作边界概率置信度；
[0132]
总体整个模型的损失函数的数学表达为：
[0133]
l＝l
mask
λ1l
comple
λ2l
start
λ3l
end
[0134]
其中λ1,λ2,λ3是用来平衡三个损失的超参数，设置为λ1,λ2,λ3＝1；
[0135]
s56、利用服务器优化目标函数，获取局部最优网络参数；将步骤s55中的损失函数l作为目标函数，使用adamw优化器迭代更新网络参数，使目标损失函数降低直至收敛到局部最优，至此训练结束，得到训练完成的基于语义级时序关联建模的视频时序动作定位网络的权重。
[0136]
步骤s6、利用所述基于语义级关联建模的视频时序动作定位方法在新的视频序列中定位动作目标。主要步骤为：
[0137]
s61、将新的视频首先送入视频特征提取单元，提取视频特征；然后利用前景掩码生成模块，生成视频中动作的前景掩码图；之后将视频特征和前景掩码图输入掩码引导transformer模块，建立视频的语义级时序关联，输出动作主体和动作边界增强的视频特征；最后将动作主体和动作边界增强的视频特征送入时序动作定位预测输出模块，输出动作完整性置信度图pc和动作边界置信度图p
s,e
；
[0138]
s62、在动作完整性置信度图pc和动作边界置信度图p
s,e
的右上角区域中，对pc每一行、p
s,e
每一列求平均值，得到动作起始分数序列和动作结束分数序列然后将每个候选动作提案(ti,tj)的动作起始分数动作结束分数动作完整性分数进行融合，具体为：
[0139]
s63、采用soft-nms算法，通过分数衰减函数消除冗余，得到稀疏的候选动作提案集合其中p
i,j
'是最终的置信度得分，n'是最终候选建议的个数；
[0140]
s64、利用untrimmednet预测的新视频的排名前二的动作类别标签和相应的分数，与步骤s63输出的候选动作提案的置信度分数相乘，得到最终的针对该视频的时序动作定位结果其中(ti,tj)代表预测的动作起始时间为ti、结束时间为
tj的视频片段，它对应的动作类别为c，置信度分数为s
i,j
。
[0141]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。