一种基于视频目标追踪的微流体分析方法及装置与流程

技术特征：
1.一种基于视频目标追踪的微流体分析方法，其特征在于，包括：获取微流体视频；将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；根据所述目标的追踪结果，对所述目标进行信息提取。2.根据权利要求1所述的方法，其特征在于，所述获取微流体视频还包括：将所述视频的每一帧调整为设置的高度和宽度。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标的追踪结果，对所述目标进行信息提取，包括：1)提取目标的数量，具体方法为：根据追踪结果中上标l的最大取值确定视频中出现的目标的数量，其中，表示第t帧中第l个目标的视频掩码矩阵，该矩阵为二值矩阵；2)提取目标的大小，具体方法为：选取任一目标距离视频帧中心点最近的一帧，对所述目标在该帧中的追踪结果提取边界，对所述边界利用椭圆曲线进行拟合，拟合得到的椭圆的长短轴平均值即为所述目标的测量直径；其中中取值为0的元素和取值为1元素的交界处构成边界；3)提取目标的速度，具体方法为：对任一目标在所述视频中对应的每个提取边界，对每个边界利用椭圆曲线进行拟合；记所述目标在第t帧时拟合椭圆的中心位置坐标为令所述目标在视频中从第t1帧到第t2帧进行运动，视频的拍摄帧率fhz，则所述目标的速度计算表达式如下：4.根据权利要求1所述的方法，其特征在于，在所述根据预设的微流体视频目标追踪模型，获取所述视频中各帧的所述目标的追踪结果之前，还包括：训练所述微流体视频目标追踪模型；其中，所述训练所述微流体视频目标追踪模型包括：获取微流体视频数据集，对所述视频数据集中每条视频逐帧标注追踪目标；将所述视频数据集及对应标注结果组成标记数据集，将所述标记数据集划分为训练集和测试集；构建一个深度卷积目标追踪神经网络模型；利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型。5.根据权利要求4所述的方法，其特征在于，所述对所述视频数据集中每条视频逐帧标注追踪目标，包括：将所述视频数据集的各帧中出现的同一气泡或液滴标记为同一追踪目标；对每一帧中的每个追踪目标分别建立对应的真实标注二值矩阵，所述二值矩阵中取值
为1的位置表示所述目标在对应视频帧中占据所述位置对应的像素点，所述二值矩阵中取值为0的位置表示所述目标在对应视频帧中未占据所述位置对应的像素点；对每一帧中的每个追踪目标分别建立对应的真实尺寸框，所述真实尺寸框为包含所述目标真实标注二值矩阵中所有取值为1位置对应像素点的最小矩形框。6.根据权利要求5所述的方法，其特征在于，所述深度卷积目标追踪神经网络模型包括：特征提取单元、候选区域提出单元和输出单元；其中，所述特征提取单元用于提取输入的当前视频帧的特征矩阵；所述候选区域用于根据特征矩阵和真实尺寸框，从候选的标准尺寸框中选出候选尺寸框并计算每个候选尺寸框对应的目标特征矩阵；所述输出单元用于根据候选候选尺寸框对应的目标特征矩阵，结合所述当前视频帧的前一帧，获取所述当前视频帧中目标的追踪结果。7.根据权利要求6所述的方法，其特征在于，所述利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型，包括：1)对训练集和测试集中每条视频进行预处理，所述预处理包括对每条视频的每一帧进行标准化处理和归一化处理；所述标准化处理包括设置每条视频的统一的像素高度和宽度分别为h和w；所述归一化处理包括对每条视频中每一帧的各像素值进行归一化；2)从预处理完毕的训练集中随机选取一个批次的视频帧，将所述一个批次的视频帧作为当前视频帧集合输入深度卷积目标追踪神经网络模型；将当前视频帧集合中每一帧对应的前一帧作为参考帧，所有参考帧组成参考帧集合，将参考帧集合输入深度卷积目标追踪神经网络模型；当前视频帧集合和参考帧集合输入深度卷积目标追踪神经网络模型后，该模型中的特征提取单元对每个当前视频帧输出为一个大小为h
s
×
w
s
的特征矩阵；3)每个特征矩阵输出到候选区域提出单元，候选区域提出单元对特征矩阵的每个位置提出k个标准尺寸框；通过计算标准尺寸框与真实尺寸框之间的交并比iou，构建训练时的正样本和负样本；其中，视频帧中任意两个尺寸框t和g之间的iou计算表达式如下：式中，area(g)和area(t)分别代表尺寸框g和尺寸框t所占像素点的集合；若任一标准尺寸框与该帧所有真实尺寸框之间的交并比的最大值大于设定的正样本阈值iou
pos
，则该标准尺寸框为一个正样本；否则该标准尺寸框为一个负样本；4)候选区域提出单元输出每个标准尺寸框区域包含目标的概率以及该标准尺寸框相对于其对应真实尺寸框中心点和长宽的坐标偏移量相对于其对应真实尺寸框中心点和长宽的坐标偏移量其中i代表特征矩阵中的列位置，j代表特征矩阵中的行位置，l代表标准尺寸框的序号；和分别为第l个标准尺寸框左上点相对于对应真实尺寸框左上点的横坐标和纵坐标偏差，和分别为第l个标准尺寸框相对于对应真实尺
寸框高和宽的偏差：对于作为正样本的标准尺寸框，将该标准尺寸框对应的的真实值记为1；对于作为负样本的标准尺寸框，将该标准尺寸框对应的的真实值汜为0；将概率小于设定概率阈值η
proposal
的标准尺寸框舍弃，保留的标准尺寸框按照对应的进行偏移，将偏移后的标准尺寸框作为候选尺寸框；5)对各候选尺寸框按照对应的从大到小的顺序进行排序，排序后从第1个候选尺寸框开始，依次将每个候选尺寸框作为当前候选尺寸框，去掉当前候选尺寸框之后序列中所有候选尺寸框中与当前候选尺寸框iou大于设定的交并比阈值iou
overlap
的候选尺寸框；遍历完成后，将每个保留的候选尺寸框对应的特征矩阵区域归一化到大小为s
×
s的目标特征矩阵，5≤s≤9；6)将目标特征矩阵输入到输出单元，所述输出单元包含判断回归、掩码判断、目标嵌入三个子单元；其中，判断回归子单元对每个目标特征矩阵对应的候选尺寸框计算包含目标的概率p
′
l
和该候选尺寸框相对于对应真实尺寸框中心点和长宽的偏移量(δx
′
l
，δy
′
l
，δh
′
l
，δw
′
l
)，1≤l≤n
l
，n
l
为模型候选区域提出单元保留的候选尺寸框数量，保留p
′
l
大于设定的保留概率阈值η
′
proposal
的候选尺寸框所对应的目标特征矩阵；对保留的目标特征矩阵，通过将该目标特征矩阵对应的候选尺寸框的偏移量(δx
′
l
，δy
′
l
，δh
′
l
，δw
′
l
)加在(x
′
l
，y
′
l
，h
′
l
，w
′
l
)上对该目标特征矩阵进行修正；其中，δx
′
l
和δy
′
l
为标准尺寸框左上点相对于真实尺寸框左上点的横坐标和纵坐标偏差，δh
′
l
和δw
′
l
为标注尺寸框相对于真实尺寸框高和宽的偏差；掩码判断子单元将经过判断回归子单元后的目标特征矩阵转化为数值在0到1之间的一个掩码矩阵将掩码矩阵值大于设定的掩码概率η
mask
的位置对应在输入视频帧中的像素点作为对应目标占据的像素点；目标嵌入子单元将经过判断回归子单元后的目标特征矩阵展开成向量后进行压缩至256维并归一化；将参考帧的第m个向量与当前帧中的第n个向量进行点乘得到分数矩阵s
m，n
，s
m，n
中保留数值大于设定的向量阈值η
track
的部分，其余部分置为0；按照s
m，n
中数值从大到小的顺序寻找并标记相邻两帧中出现同一目标，实现在视频中对目标的追踪；7)根据损失函数计算模型输出与真实标注之间的误差；其中，损失函数表达式如下：
其中，n
p
为当前帧最后保留的候选框数量，n
c
为前一帧最后保留的候选框数量；8)重复步骤2)至7)，将训练集中的每条视频帧输入当前模型并计算损失函数，然后通过反向传播算法进行训练，更新模型参数，得到当前训练完毕的模型记为model
old
；9)将测试集中的每条视频帧输入model
old
进行测试，得到测试集上的平均损失loss
old
；然后将model
old
作为新的当前模型；10)重复步骤2)至7)，将训练集中的每条视频帧输入model
old
并计算损失函数，然后通过反向传播算法进行训练，更新模型参数，得到更新后的当前训练完毕的模型记为model
new
；11)将测试集中的每条视频帧输入model
new
进行测试，得到测试集上的平均损失记作loss
new
；12)训练停止判定：若loss
new
≤loss
old
，则将当前model
new
模型记为新的model
old
，将当前loss
new
记为loss
old
，然后重新返回10)；若loss
new
＞loss
old
，则停止模型训练并将当前model
old
作为最后训练完毕的微流体视频目标追踪模型。8.一种基于视频目标追踪的微流体分析装置，其特征在于，包括：获取模块，用于获取微流体视频；微流体追踪模块，用于将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；分析模块，用于根据所述目标的追踪结果，对所述目标进行信息提取。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。

技术总结
本公开提出一种基于视频目标追踪的微流体分析方法及装置，属于微流体分析领域。其中所述方法包括：获取微流体视频；将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；根据所述目标的追踪结果，对所述目标进行信息提取。本公开利用深度卷积神经网络，快速分析高速摄影机在微流体装置观察窗处拍摄微流体的视频，得到微流体装置中气泡或液滴的大小、速度和形态等相关视觉信息，运算速度快，分析结果准确，适用于大小不同的气泡或液滴。或液滴。或液滴。


技术研发人员：邱彤 张书源 王凯 黄新烨 魏奕新
受保护的技术使用者：清华大学
技术研发日：2021.11.24
技术公布日：2022/3/7