一种视频文本检测方法、系统及介质与流程

本技术涉及计算机视觉，尤其涉及一种视频文本检测方法、系统及介质。

背景技术：

1、在智能视频监控、自动驾驶及多媒体内容检索等应用场景中，从动态视频序列中准确检测并定位文本区域是实现高层语义理解的关键前置环节。然而，区别于静态图像文本检测，视频文本检测任务面临目标形态非刚性形变、光照条件突变以及帧间大位移运动等多重动态干扰，使得同一文本实例在连续时间序列中频繁呈现几何扭曲、运动模糊及局部遮挡等退化现象，严重削弱了单帧图像中文本视觉信息的完整性与可辨识性。

2、目前，主流视频文本检测方法普遍沿袭静态图像检测范式，将预训练的静态检测网络以逐帧独立处理的方式应用于视频序列。该类方法在实际部署中面临以下缺陷：当文本区域因摄像机运动或载体移动而发生形变时，其边缘结构被破坏；当采集过程引入运动模糊时，其高频纹理被削弱；当局部遮挡发生时，其判别性区域被截断；上述任何单一退化因素均会导致当前帧中可见的文本特征不足以支撑完整定位。而基于单帧图像的检测方法仅依赖当前帧中可见区域的有限特征进行判断，当可见区域因形变而扭曲、因模糊而退化或因遮挡而缺失时，其分割结果易出现断裂、残缺或定位偏移，致使检测完整性下降。上述问题使得现有单帧检测方法在形变、模糊、遮挡等复杂视频场景中难以维持稳定的检测性能。

技术实现思路

1、本技术提供了一种视频文本检测方法、系统及介质，解决现有视频文本检测方法在处理文本形变、运动模糊及局部遮挡场景时检测不稳定、漏检率高的问题，提升复杂视频场景下文本检测的准确性。

2、本技术提供了一种视频文本检测方法，包括：

3、获取包含文本信息的视频帧序列；

4、将所述视频帧序列输入预设的视频文本检测模型，以提取各视频帧的多尺度特征图；

5、基于各所述多尺度特征图，确定当前视频帧对应的当前帧文本实例，并预测各所述当前帧文本实例分别对应的第一跟踪卷积权重；

6、从预设的历史存储数据中获取所述当前视频帧的上一视频帧对应的各上一帧文本实例对应的第二跟踪卷积权重及第一文本中心偏移量；

7、基于各所述当前帧文本实例与所述上一帧文本实例之间的掩膜交并比，将各所述当前帧文本实例与各所述上一帧文本实例进行匹配，确定对应的实例对；

8、将所述实例对中的所述第一跟踪卷积权重与所述第二跟踪卷积权重进行跨帧融合，得到各所述当前帧文本实例在所述当前视频帧对应的融合跟踪卷积权重；

9、基于所述多尺度特征图、所述融合跟踪卷积权重及第一文本中心偏移量，确定所述当前帧文本实例的文本检测结果。

10、本技术通过获取包含文本信息的视频帧序列能够完整留存视频内文本形变、运动模糊、局部遮挡对应的原始像素信息，为后续多尺度特征提取提供完整输入素材，将视频帧序列输入预设视频文本检测模型提取多尺度特征图可同步捕获小尺寸文字细节与大尺度文本整体轮廓，覆盖不同形变程度文本的特征表达，依托多尺度特征图预测当前帧文本实例及对应第一跟踪卷积权重可把单帧文本外观、形态特征编码进权重载体，承载单帧文本像素级特征信息，调取上一帧第二跟踪卷积权重与第一文本中心偏移量能够留存前序帧文本的时序位置、形态特征，搭建跨帧时序关联的数据基础，依靠掩膜交并比完成前后帧文本实例匹配可依托像素级分割结果精准建立同一文本实例的跨帧对应关系，规避边界框匹配受遮挡、形变干扰产生的配对偏差，对匹配实例对的两类跟踪卷积权重执行跨帧融合可将单帧瞬时特征与历史时序特征结合，补充文本运动、遮挡过程中缺失的形态信息，依托多尺度特征图、融合跟踪卷积权重与历史中心偏移量生成检测结果可借助时序加权后的实例专属卷积权重适配文本动态变化，补全模糊、遮挡区域的文本特征表达，降低文本漏检数量。区别于现有方法中将视频帧作为独立图像逐帧处理、缺乏跨帧信息补偿机制的技术路径，本技术以跟踪卷积权重承载文本时序特征并通过掩膜匹配完成跨帧权重融合，将文本检测与跨帧时序建模整合至单阶段流程，使检测结果的稳定性不再完全依赖当前帧的视觉信息完整性，从而实现视频文本在形变、模糊、遮挡等场景下的连续检测。

11、进一步地，本技术所述视频文本检测模型的训练过程，包括：

12、获取视频帧训练样本及所述视频帧训练样本对应的标注信息；其中，所述标注信息包括所述视频帧训练样本中各训练文本实例的分类标注、边界框标注及实例分割标注；

13、将所述视频帧训练样本输入所述视频文本检测模型，经特征提取网络、参数预测网络和掩膜生成网络依次处理后，得到各训练候选文本实例的预测分类置信度、预测跟踪卷积权重、预测文本中心偏移量及预测文本分割掩膜；

14、基于所述预测分类置信度与所述分类标注计算第一损失，基于所述预测文本中心偏移量与所述边界框标注计算第二损失，基于所述预测文本分割掩膜与所述实例分割标注计算第三损失，以所述第一损失、所述第二损失与所述第三损失的加权和作为联合损失，迭代训练直至所述联合损失满足预设收敛条件，得到训练好的视频文本检测模型。

15、这样，携带多维度标注的训练样本可同步提供文本类别、空间范围、像素轮廓三类监督依据，完整覆盖形变、遮挡文本的特征约束维度，多网络层级串行处理样本可同步输出文本类别、时序权重、位置偏移、像素掩膜四类预测结果，同步搭建检测与时序跟踪的预测分支，三类损失分别约束文本像素分类精度、实例中心位置回归偏差、像素级轮廓还原程度，加权联合损失同步平衡单帧检测与时序跟踪的优化目标，迭代收敛过程持续修正跟踪卷积权重的时序融合逻辑，让模型学习遮挡、形变场景下文本实例的时序特征关联规律，整套训练流程同步完成检测与时序匹配的协同优化，使模型权重适配视频文本动态变化场景，从训练源头降低复杂场景下文本漏检的概率。

16、进一步地，所述基于各所述当前帧文本实例与所述上一帧文本实例之间的掩膜交并比，将各所述当前帧文本实例与各所述上一帧文本实例进行匹配，确定对应的实例对，包括：

17、根据各所述当前帧文本实例对应的第一跟踪卷积权重和所述当前视频帧的多尺度特征图，生成各所述当前帧文本实例的当前帧粗糙掩膜；

18、根据各所述上一帧文本实例对应的所述第二跟踪卷积权重和上一视频帧的多尺度特征图，生成各所述上一帧文本实例的上一帧粗糙掩膜；

19、针对每一所述当前帧文本实例，计算所述当前帧粗糙掩膜与各所述上一帧粗糙掩膜之间的掩膜交并比；

20、当所述掩膜交并比大于预设阈值时，确定所述当前帧文本实例与对应的上一帧文本实例为匹配的实例对。

21、通过依托当前帧跟踪卷积权重结合多尺度特征生成粗糙掩膜，可还原文本像素级真实轮廓，规避传统矩形边界框仅能表征规整矩形范围、在文本局部遮挡时产生匹配失真的缺陷；同时采用历史跟踪卷积生成上一帧粗糙掩膜，统一前后帧文本实例的表征形式，保障掩膜交并比计算基准完全一致。以粗糙掩膜之间的掩膜交并比量化像素重叠程度，精准衡量同一文本跨帧形态重合度，能够适配文本倾斜、形变、局部遮挡导致轮廓残缺的复杂场景；通过预设掩膜交并比阈值筛选匹配实例对，可剔除轮廓差异过大的错误配对，避免无关文本参与时序权重融合。该像素级匹配逻辑仅将同源文本的卷积权重用于时序特征融合，大幅降低非同源文本特征带来的干扰，有效减少文本漏检问题，稳定模糊、形变工况下跨帧文本的关联跟踪效果，可适配任意形态文本的连续动态跟踪场景。

22、进一步地，所述将所述实例对中的所述第一跟踪卷积权重与所述第二跟踪卷积权重进行跨帧融合，得到各所述当前帧文本实例在所述当前视频帧对应的融合跟踪卷积权重，包括：

23、将所述实例对中的所述第二跟踪卷积权重进行非线性变换，得到变换跟踪卷积权重；

24、将所述变换跟踪卷积权重与所述第一跟踪卷积权重进行融合，得到所述当前帧文本实例在所述当前视频帧对应的融合跟踪卷积权重。

25、通过对历史帧第二跟踪卷积权重施加非线性变换可拟合文本跨帧形变、运动模糊带来的特征分布偏移，修正历史权重与当前帧文本特征的分布差异，弱化帧间外观变化造成的特征断层，将变换后的历史权重与当前帧第一跟踪卷积权重合并计算融合权重可同步留存文本瞬时帧视觉特征与多帧累积时序特征，补齐局部遮挡场景下单帧文本缺失的像素特征信息，融合后的权重携带多帧连贯的文本形态表征，后续依托该权重生成文本掩膜时可补足模糊、遮挡区域缺失的轮廓特征，降低复杂动态场景中文本实例丢失匹配链路的概率，该融合方式借助非线性映射适配文本时序外观变化，依靠双权重信息叠加补充单帧图像缺损特征，缓解复杂视频场景文本漏检问题。

26、进一步地，所述基于各所述多尺度特征图，确定当前视频帧对应的当前帧文本实例，并预测各所述当前帧文本实例分别对应的第一跟踪卷积权重，包括：

27、对所述多尺度特征图进行跨尺度融合，得到融合特征图；

28、根据所述融合特征图中的特征点，确定各所述当前帧文本实例；

29、针对每一所述当前帧文本实例，根据所述当前帧文本实例对应的所述特征点的融合特征，预测所述当前帧文本实例对应的第一跟踪卷积权重。

30、这样，多尺度特征图跨尺度融合能够整合细粒度文字纹理与粗粒度文本整体轮廓，补齐运动模糊、局部遮挡下单一尺度丢失的文本特征，依托融合特征图内特征点划分当前帧文本实例可借助完整多尺度特征区分密集、形变文本的独立实例边界，避免不同文本像素发生混淆，依托实例对应特征点的融合特征推导第一跟踪卷积权重可将文本完整尺度特征编码至权重参数内部，让权重同时承载小尺寸文字细节与文本整体形态信息，权重携带的多层级特征可适配视频中各类形变、模糊文本的外观表达，后续跨帧匹配与掩膜生成环节可依托完整特征权重还原缺损文本轮廓，减少复杂场景下文本实例识别断裂的情况，该流程依靠多尺度特征整合提升单帧文本实例区分度，为后续时序权重融合提供信息完备的单帧特征载体。

31、进一步地，所述基于所述多尺度特征图、所述融合跟踪卷积权重及第一文本中心偏移量，确定所述当前帧文本实例的文本检测结果，包括：

32、对所述融合特征图进行卷积处理，生成掩膜基础特征图；

33、根据所述第一文本中心偏移量，对所述融合特征图进行位置校准，得到校准融合特征图；

34、根据各所述当前帧文本实例的融合跟踪卷积权重，生成与各所述当前帧文本实例对应的动态分割参数；利用各所述当前帧文本实例对应的动态分割参数，对所述校准融合特征图进行卷积处理，生成各所述当前帧文本实例的文本分割掩膜；

35、根据各所述当前帧文本实例的文本分割掩膜，确定所述当前帧文本实例的文本检测结果。

36、通过卷积处理融合特征图生成掩膜基础特征图可提取适配像素分割任务的局部细节纹理特征，依托历史文本中心偏移量完成特征图位置校准可补偿文本帧间运动位移，消除大运动、模糊场景下实例位置错位带来的分割偏差，由融合跟踪卷积权重生成专属动态分割参数可让每个文本实例拥有适配自身时序形态变化的卷积核，依托实例专属动态参数对校准后特征图卷积生成分割掩膜可针对形变、遮挡区域自适应调整特征提取侧重，还原残缺文本像素轮廓，依靠分割掩膜输出最终检测结果可脱离固定矩形框约束，完整还原任意形状文本边界，整套流程结合时序位置补偿与实例专属动态卷积参数，弥补动态视频内文本形变、遮挡造成的像素信息缺失，减少文本实例漏检数量。

37、通过对分割掩膜执行上采样操作能够还原至原图尺寸，消除下采样带来的文本边缘像素丢失问题，二值化处理恢复掩膜可区分文本有效像素与背景像素，剔除模糊区域产生的过渡杂散像素干扰，依托二值掩膜内连通像素区域提取文本边界可贴合弯曲、局部遮挡文本的真实轮廓，不受标准矩形框轮廓限制，基于提取到的完整文本边界输出检测结果可完整保留形变文本的边缘信息，还原遮挡场景下残存的文本像素范围，完整像素轮廓信息可避免因边界截取不全造成的文本实例判定丢失，整套后处理流程逐级还原、提纯文本像素信息，补足视频文本形变、模糊场景下边缘特征缺损，降低文本漏检的发生频次。

38、进一步地，所述第一文本中心偏移量是将所述上一视频帧对应的上一帧多尺度特征图输入参数预测网络后预测得到的。

39、基于上一帧多尺度特征图送入参数预测网络直接预测第一文本中心偏移量，能够充分复用上一帧已提取的文本多维度特征信息，无需额外新增图像编码分支，减少模型参数量与计算开销；借助网络自主学习文本中心偏移映射关系，可精准拟合文本平移、轻微形变带来的中心位置变化，偏移预测精度更高；利用历史帧特征推导偏移量，能够为后续跨帧文本掩膜交并比匹配提供精准的文本位置先验，缩小前后帧文本实例的匹配搜索范围，降低错配、漏配概率，进一步提升视频文本时序跟踪的连续性与检测准确度。

40、本技术另一实施例还提供了一种视频文本检测系统，所述视频文本检测系统用于执行如本技术所述的视频文本检测方法。

41、本技术另一实施例还提供了一种计算机可读存储介质，包括：存储的计算机程序，其中，在所述计算机程序运行时，控制所述计算机可读存储介质所在的设备执行如本技术所述的视频文本检测方法。