基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置

技术特征：
1.基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，包括下述步骤：基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，将感兴趣区域进行超像素分割成若干超像素；根据第一帧和当前帧的超像素，以及当前帧前一帧和当前帧的超像素，分别构建两条吸收马尔科夫链，计算出当前帧每个超像素的两个吸收时间，并对吸收时间加权，根据加权后的吸收时间确定超像素的初始前景标签和背景标签；构建短期时空线索和长期时空线索对超像素标签进行优化；所述短期时空线索用于描述目标短时间内外观变化，基于视频序列中当前帧的前几帧的分割结果，校正当前帧中被误分割为前景的孤立背景超像素；所述长期时空线索用于描述目标长久稳定外观特征，构造从第一帧到当前帧的长期外观模型，若当前帧中有多个区域被同时分割为目标，则比较这多个区域与长期外观模型的相似度，选择最相似的区域作为分割结果；基于当前帧超像素的前景标签和超像素间的邻接关系，绘制目标的前景骨架；基于与目标外观相似的干扰物，绘制目标的背景骨架；基于残差网络和编码解码框架构造骨架映射网络，用语义分割和视频分割的通用数据集训练骨架映射网络，并将前景骨架、背景骨架、当前帧的图像信息输入骨架映射网络，输出当前帧的视频分割结果。2.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，所述基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，具体为：在视频序列的第一帧，人工标定目标的位置和大小，即用鼠标在第一帧图像上，画出与目标在上、下、左、右四个方向相切的矩形框，将矩形框的左上角坐标用(x,y)表示，将矩形框的宽用w表示，高用h表示，x、y、w、h四个参数包含矩形框的所有空间信息；基于孪生网络，预测后续帧中的跟踪结果，将每帧的跟踪结果用(x,y,w,h)表示，并将跟踪结果存入文本文件；将每帧跟踪结果所在矩形框的长和宽进行扩展，得到每帧的感兴趣区域，如果扩展后的感兴趣区域边界超出图像范围，则将图像边界作为感兴趣区域的边界。3.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，所述计算出当前帧每个超像素的两个吸收时间，并对吸收时间加权，根据加权后的吸收时间确定超像素的初始前景标签和背景标签，具体包括下述步骤：将构造的吸收马尔科夫链记做g，g包括多个顶点和多个边；顶点的构造规则为：将感兴趣区域内的每个超像素都表示一个顶点，根据吸收马尔科夫链的构造原理，将所有顶点分类为吸收态顶点和瞬态顶点；边的构造规则为：将g中所有边分成帧内边和帧间边两类；所有在同一帧中一跳和两跳内相邻的超像素，均以帧内边相连，一跳相邻的超像素即某超像素的所有邻居超像素，两跳相邻的超像素即某超像素的所有邻居的邻居超像素；通过光流法寻找两帧中特征相似、位置相近的对应超像素，并用帧间边连接，边的权重为两个超像素的相似性；当前帧和第一帧建立吸收马尔科夫链时，根据顶点的构造规则，第一帧感兴趣区域内的背景超像素被标记为吸收态顶点，第一帧感兴趣区域内的前景超像素和当前帧感兴趣区域内所有超像素被标记为瞬态顶点；根据边的构造规则，构造当前帧与第一帧中两帧内部
的帧内边，和连接当前帧与第一帧的帧间边，并根据超像素间的相似性，计算边的权重；最后根据吸收马尔科夫链的吸收原则，得到第一条吸收马尔科夫链当前帧感兴趣区域内所有超像素的吸收时间h1；当前帧和前一帧建立吸收马尔科夫链时，根据顶点的构造规则，当前帧的前一帧感兴趣区域内的背景超像素被标记为吸收态顶点，当前帧的前一帧感兴趣区域内的前景超像素和当前帧感兴趣区域内所有超像素被标记为瞬态顶点；根据边的构造规则，分别构造当前帧与前一帧中两帧内部的帧内边，并构造连接当前帧与前一帧的帧间边，根据超像素间的相似性，计算边的权重；最后根据吸收马尔科夫链的吸收原则，得到第二条吸收马尔科夫链当前帧感兴趣区域内所有超像素的吸收时间h2；根据h1和h2得到当前帧感兴趣区域内所有超像素的吸收时间h，h由h1和h2线性组合得出；基于当前帧感兴趣区域内所有超像素的吸收时间h，计算平均吸收时间超像素吸收时间大于的，标记为前景，吸收时间小于的，标记为背景。4.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，基于短期时空线索对超像素标签优化具体为：通过存储你器存储当前帧前t帧的视频分割结果，分割结果用0-1矩阵表示，0代表背景像素，1代表前景像素；基于前t帧的分割结果，统计在当前帧中标签为前景，而在当前帧的前t帧中标签均为背景的像素；将矩阵中所有值为1的像素点表示为集合s，并把s中所有像素对应的超像素用集合supers表示，集合supers中，所有超像素的标签均为前景，当supers中某一超像素的所有一跳、两跳内相邻的超像素标签均为背景时，则认为该超像素标签划分错误，将该超像素标签更正为背景。5.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，基于长期时空线索对超像素标签优化具体为：利用当前帧感兴趣区域内超像素的前景标签，构造无向图；将当前帧中所有前景超像素作为无向图的顶点，用边连接两跳内相邻的前景超像素，所述无向图中连通区域的个数即为当前帧分割出候选区域的个数；基于长期时空线索，利用从第一帧到当前帧的前一帧中目标的累计表观特征构造目标的表观模型f
k-1
；对当前帧分割出的所有候选区域，构造表观模型n为当前帧候选区域的个数，通过比较与f
k-1
的相似性，选取与f
k-1
相似度最高的候选区域，该区域内的超像素标签仍保持为前景，其余区域的超像素标签更正为背景；将当前帧与f
k-1
相似度最高的区域的表观特征记做f
k
'，更新当前帧的目标的表观模型，更新后当前帧目标的表观模型记做f
k
，f
k
用于在下一帧中基于长期时空线索的标签优化。6.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，所述基于当前帧超像素的前景标签和超像素间的邻接关系，电饭锅绘制目标的前景
骨架，具体为：对于每个前景超像素，先筛选出与其一跳相邻的所有前景超像素，然后根据超像素间的位置关系，只连接位于其最上端的一跳相邻的前景超像素，若无，则连接位于其最下端的一跳内相邻的前景超像素，若均无，则按照先左后右的顺序连接其最左端或最右端的前景超像素；按照此规律连接，得到目标的前景骨架；所述基于与目标外观相似的干扰物，绘制目标的背景骨架，具体为：基于长期时空线索选取了与目标表观模型最相似的一块连通区域保持前景标签不变，其他连通区域的超像素，将其原本的前景标签更改为背景；将所有更改标签的超像素，按照提取前景骨架相同的策略提取其背景骨架；若某帧在标签优化前仅有一块连通区域，则该帧目标无背景骨架。7.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，所述将前景骨架、背景骨架、当前帧的图像信息输入骨架映射网络，输出当前帧的视频分割结果，具体为：骨架映射网络的核心为残差网络和编码解码结构，将残差网络中的resnet50作为骨干网络，提取图像的深度特征，该网络使用标准的显著性目标检测数据集，语义分割的数据集进行预训练；在预训练结束后，使用视频分割中常用数据集训练网络，该网络通过交叉熵损失函数计算损失；骨架映射网络的输入由前景骨架、背景骨架、当前帧的图像信息组成，该骨架映射网络将上述三种输入沿着通道的维度串联，组成五维张量；前景骨架标注图和背景骨架标注图均为灰度图，前景骨架标注图和背景骨架标注图各占一个维度，w和h为视频序列中每帧的宽和高；骨架映射网络的输出为与输入图像大小相等的响应图，响应值分布在0-1之间，代表每个像素点属于前景或者背景的概率，响应值越接近1，像素点属于前景的概率就越大。8.基于吸收马尔科夫链和骨架映射网络的视频分割系统，其特征在于，包括超像素分割模块、吸收马尔科夫链构建模块、优化模块、骨架获取模块以及视频分割模块；所述超像素分割模块，基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，将感兴趣区域进行超像素分割成若干超像素；所述吸收马尔科夫链构建模块，用于根据第一帧和当前帧的超像素，以及当前帧前一帧和当前帧的超像素，分别构建两条吸收马尔科夫链，计算出当前帧每个超像素的两个吸收时间，并对吸收时间加权，根据加权后的吸收时间确定超像素的初始前景标签和背景标签；所述优化模块，用于构建短期时空线索和长期时空线索对超像素标签进行优化；所述短期时空线索用于描述目标短时间内外观变化，基于视频序列中当前帧的前几帧的分割结果，校正当前帧中被误分割为前景的孤立背景超像素；所述长期时空线索用于描述目标长久稳定外观特征，构造从第一帧到当前帧的长期外观模型，若当前帧中有多个区域被同时分割为目标，则比较这多个区域与长期外观模型的相似度，选择最相似的区域作为分割结果；所述骨架获取模块，基于当前帧超像素的前景标签和超像素间的邻接关系，绘制目标
的前景骨架；基于与目标外观相似的干扰物，绘制目标的背景骨架；所述视频分割模块，基于残差网络和编码解码框架构造骨架映射网络，用语义分割和视频分割的通用数据集训练骨架映射网络，并将前景骨架、背景骨架、当前帧的图像信息输入骨架映射网络，输出当前帧的视频分割结果。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于吸收马尔科夫链和骨架映射网络的视频分割方法。10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于吸收马尔科夫链和骨架映射网络的视频分割方法。

技术总结
本发明公开了基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置，方法包括下述步骤：提取目标的感兴趣区域并对该区域进行超像素分割；根据当前帧、第一帧、上一帧的超像素建立吸收马尔科夫链，初步判断当前帧超像素的标签；提出长期、短期时空线索，优化超像素标签；根据超像素标签，获取表达目标形态的前景骨架和表达干扰物体信息的背景估计；构造骨架映射网络，将前景骨架、背景骨架和当前帧图像，作为骨架映射网络的输入，输出目标的最终分割结果。本发明可以较好地分割出复杂场景下目标的边缘轮廓，应对视频分割中的剧烈形变，相似背景等挑战，且不需要长时间训练神经网络，对计算机硬件的需求较低。计算机硬件的需求较低。计算机硬件的需求较低。


技术研发人员：梁云 郑晋图 张宇晴 翁诗彤 肖磊 林毅申
受保护的技术使用者：华南农业大学
技术研发日：2022.03.31
技术公布日：2022/7/5