一种基于动作管道在线关联的智联生产线行为识别方法与流程

1.本发明涉及智联生产线人机交互协同领域，具体涉及一种基于动作管道在线关联的智联生产线行为识别方法。


背景技术：

2.在新一代人工智能技术和信息与通信技术的推动下，汽车、电子、家电等行业正在从大规模定制化生产向大规模个性化定制方向转变，这给生产线的组织、信息处理、系统运行和人机物协同等方面提出了新的挑战。其中，机器如何理解操作人员意图，对操作人员进行行为识别是智联生产线在人机交互协同中的一个难点。
3.智联生产线行为识别目前主要通过视觉方法来实现，具体是利用计算机视觉中的时空动作检测任务，采用“动作检测”代指智联生产线中的“行为识别”，其检测包含行为时空位置的确定以及目标行为类别的确定。时空动作检测任务以视觉传感器获取的视觉信息作为输入，通过检测模型以检测框的形式输出帧级动作检测结果，帧级动作检测结果包含检测框在一帧图像中的空间位置及其动作类别；然后通过关联算法输出视频级动作检测结果，视频级动作检测结果包含动作管道在视频中的时空位置及其类别，其中动作管道由连续帧上的检测框构成。
4.在产品生产过程中，人和机器需要实时进行交互，所以无法等待视频录制结束再输出检测结果，需要实时准确地产生动作管道的输出，无法获知未来时刻的帧级检测框，也无法对过去的动作管道关联进行修改。由于生产线视频背景的复杂性，类间分布的差异性，运动或散焦导致的视角变化及模糊，时空动作检测仍然是一个极具挑战性的任务，目前仅依赖相邻帧的帧级检测框空间重叠程度进行贪婪关联的算法，难以应对生产线的多人协作与生产动作复杂等情况。


技术实现要素：

5.有鉴于此，本发明提出了一种基于动作管道在线关联的智联生产线行为识别方法，采用多标准相似性匹配的动作管道在线关联算法，能够得到更精准的视频级动作检测结果。
6.为实现上述目的，本发明技术方案如下：
7.本发明的一种基于动作管道在线关联的智联生产线行为识别方法，包括以下步骤：
8.步骤1，在初始时刻，获取智联生产线上视频信息对应的帧级动作检测结果，所述帧级动作检测结果包含多个候选检测框以及候选检测框的类别置信度得分；对候选检测框进行非最大值抑制，去除重叠程度较高的检测框，保留m
t＝1
个检测框，并按照置信度得分进行排序；以保留的m
t＝1
个检测框分别作为动作管道的第一帧检测框，创建m
t＝1
个动作管道，动作管道的得分为对应检测框的类别置信度得分，按照动作管道的得分对动作管道进行排序，动作管道初始化完毕；
9.步骤2，在当前时刻，获取智联生产线上视频信息对应的帧级动作检测结果，所述帧级动作检测结果包含多个候选检测框以及候选检测框的类别置信度得分；对当前时刻的候选检测框进行非最大值抑制，去除重叠程度较高的检测框，保留n个检测框，并按照置信度得分进行排序；
10.步骤3，计算当前时刻仍然存活的动作管道与步骤2得到的n个检测框之间的关联得分矩阵，其中，第i个动作管道与第j个检测框的关联得分具体为：
[0011][0012]
其中，label为动作类别一致性得分；λc为类别置信度得分confidence的权重，λs为空间重叠度得分overlap的权重，λa为外观相似度得分appearance的权重，λr为时空关系得分relation的权重；
[0013]
步骤4，当前时刻仍然存活的动作管道按照上一时刻管道得分的顺序，与步骤2得到的n个检测框依次进行匹配；
[0014]
其中，第i个动作管道在时刻t的管道得分计算公式为：
[0015][0016]
其中，表示动作管道i在时刻t的管道得分，k表示最后k次关联，i表示管道序号，表示管道i在t时刻的关联得分；
[0017]
对于其中一个动作管道具体匹配过程如下：
[0018]
筛选出与该动作管道最后k个检测框的平均交并比超过阈值的所有候选检测框；针对筛选出的所有候选检测框，按照关联得分矩阵，得到与该动作管道关联得分最高的检测框，将该检测框增加到该动作管道中，并将该检测框与该动作管道在该时刻的关联得分作为该动作管道在该时刻的关联得分，之后将该检测框从该时刻的候选检测框和关联得分矩阵中删除，进行下一个动作管道的匹配；
[0019]
如果对于一个动作管道，没有任何空间重叠程度超过阈值的候选检测框，则在t时刻不增加任何检测框，如果连续k个时刻均没有新增检测框，则认定该动作管道死亡；
[0020]
对于新增了检测框的动作管道，利用该动作管道在当前时刻的关联得分计算公式更新其管道得分；
[0021]
步骤5，对所有存活的动作管道按照管道得分进行排序；输出当前时刻所有存活动作管道的时空位置及其类别；利用下一时刻对当前时刻进行更新，用更新后的当前时刻，返回执行步骤2。
[0022]
其中，第i个动作管道在t时刻的关联得分计算公式如下：
[0023][0024]
其中，k为与动作管道i最后k个检测框的平均交并比超过阈值的所有候选检测框总数。
[0025]
其中，类别置信度得分confidence为候选检测框与管道关于当前类别的置信度之和；空间重叠度得分overlap为候选检测框与管道最后k个检测框的交并比均值；外观相似度得分appearance以及时空关系得分relation分别对候选检测框与管道最后k个检测框包含的外观特征和时空特征向量采用l2范数计算。
[0026]
其中，动作类别一致性得分计算方式如下：
[0027][0028]
其中i为管道序号，j为检测框序号，φ
l
为管道或者检测框关于类别l的类别置信度得分，ψ
l
为管道与检测框类别不一致的惩罚项，此式在动作类别一致性得分计算的过程中，同步对管道进行时间校准，时间校准如下：
[0029][0030]
其中l
*
为最佳类别，l为类别，c为数据集所有类别的集合，l
tude
为动作管道类别，l
det
为检测框类别。
[0031]
其中，m为20。
[0032]
其中，k为5。
[0033]
有益效果：
[0034]
本发明采用视觉传感器获取生产线视频数据，经帧级动作检测模型实时检测输出检测框，采用包含类别一致性、类别置信度、空间重叠程度、外观相似性以及时空相似性的多标准相似性匹配的原则对检测框进行在线关联，实时输出视频级行为识别结果，即动作管道，提升了行为识别的准确性，尤其是对于空间位置变化大、速度快的行为类别，其识别效果取得了明显提升，更加适应智联生产线上的复杂应用场景。
附图说明
[0035]
图1是本发明采用的多标准相似匹配的动作管道在线关联方法(msrt)的架构图。
[0036]
图2为实时在线动作检测关联方法(road)、微型动作管道关联方法(act)和本发明的多标准相似匹配的动作管道在线关联方法(msrt)的检测结果对比图。
[0037]
图3为实时在线动作检测关联方法(road)的架构图。
[0038]
图4为微型动作管道关联方法(act)的架构图。
具体实施方式
[0039]
下面结合附图并举实施例，对本发明进行详细描述。
[0040]
本发明提出了一种基于动作管道在线关联的智联生产线行为识别方法，采用多标准相似性匹配的动作管道在线关联算法，算法示意图参见图3，根据动作管道关联算法惯
例，动作管道的生成针对一个特定动作类别独立进行，不同动作类别间互不影响。帧级动作检测模型采用的数据集包含c类动作，各动作类别并行进行如下步骤；
[0041]
步骤1，在初始时刻(t＝1)，获取智联生产线上视频信息对应的帧级动作检测结果，所述帧级动作检测结果包含多个候选检测框以及候选检测框的类别置信度得分；对候选检测框进行非最大值抑制，去除重叠程度较高的检测框，保留m
t＝1
个检测框(本实施例m
t＝1
取20)，并按照置信度得分进行排序；以保留的m
t＝1
个检测框分别作为动作管道的第一帧检测框，创建m
t＝1
个动作管道，动作管道的得分为对应检测框的类别置信度得分，按照动作管道的得分对动作管道进行排序，动作管道初始化完毕；
[0042]
步骤2，在t时刻(t＞1)获取智联生产线上视频信息对应的帧级动作检测结果，所述帧级动作检测结果包含多个候选检测框以及候选检测框的类别置信度得分；其中，第j个候选检测框记为第j个候选检测框的类别置信度得分为对当前时刻的候选检测框进行非最大值抑制，去除重叠程度较高的检测框，保留n个检测框，并按照置信度得分进行排序；
[0043]
步骤3，考虑动作类别一致性得分label、类别置信度得分confidence、空间重叠度得分overlap、外观相似度得分appearance以及时空关系得分relation，计算t时刻仍然存活的m
t
个动作管道与步骤2得到的n个检测框之间的关联得分矩阵，其中，第i个动作管道与第j个检测框的关联得分具体为：
[0044][0045]
其中，λc为类别置信度得分confidence的权重，λs为空间重叠度得分overlap的权重，λa为外观相似度得分appearance的权重，λr为时空关系得分relation的权重；
[0046]
动作类别一致性得分计算方式如下：
[0047][0048]
其中i为管道序号，j为检测框序号，φ
l
为管道或者检测框关于类别l的类别置信度得分，ψ
l
为管道与检测框类别不一致的惩罚项，此式在动作类别一致性得分计算的过程中，同步对管道进行时间校准，时间校准如下：
[0049][0050]
其中l
*
为最佳类别，l为类别，c为数据集所有类别的集合，l
tude
为动作管道类别，l
det
为检测框类别。
[0051]
类别置信度得分confidence为候选检测框与管道关于当前类别的置信度之和；空间重叠度得分overlap为候选检测框与管道最后k个检测框的交并比均值；外观相似度得分
appearance以及时空关系得分relation分别对候选检测框与管道最后k个检测框包含的外观特征和时空特征向量采用l2范数计算。
[0052]
步骤4，m
t
个动作管道按照上一时刻管道得分的顺序，与步骤2得到的n个检测框依次进行匹配；
[0053]
其中，第i个动作管道在时刻t的管道得分计算公式为：
[0054][0055]
其中，表示动作管道i在时刻t的管道得分，k表示最后k次关联，i表示管道序号，表示管道i在t时刻的关联得分。
[0056]
对于其中一个动作管道具体匹配过程如下：
[0057]
筛选出与该动作管道最后k个检测框(本实施例k默认为5)的平均交并比超过阈值的所有候选检测框；针对筛选出的所有候选检测框，按照关联得分矩阵，得到与该动作管道关联得分最高的检测框，将该检测框增加到该动作管道中，并将该检测框与该动作管道在该时刻的关联得分作为该动作管道在该时刻的关联得分，之后将该检测框从该时刻的候选检测框和关联得分矩阵中删除，进行下一个动作管道的匹配；
[0058]
动作管道i的在t时刻的关联得分计算方式如下：
[0059][0060]
其中，k为与动作管道i最后k个检测框的平均交并比超过阈值的所有候选检测框总数。
[0061]
如果对于一个动作管道，没有任何空间重叠程度超过阈值的候选检测框，则在t时刻不增加任何检测框，如果连续k个时刻均没有新增检测框，则认定该动作管道死亡；
[0062]
对于新增了检测框的动作管道，利用公式(4)更新其管道得分。
[0063]
步骤5，对所有存活的动作管道按照管道得分进行排序；输出当前时刻所有存活动作管道的时空位置及其类别；利用t 1对t更新，得到当前t，返回执行步骤2。
[0064]
为了表现本在线关联算法相比传统关联算法的优势，在ucf101－24行为检测数据集上进行了对比实验，结果如图2所示
[0065]
可以看出基于多标准相似匹配的动作管道在线关联算法(msrt)的检测精准度整体上比实时在线动作检测算法(road)和微型动作管道关联算法(act)高，尤其是对于滑雪，滑水等空间位移变化大、运动速度快的行为动作。
[0066]
原因在于：
[0067]
1)实时在线动作检测算法(road)算法，图3所示，贪婪，易陷入局部最优；得分只考虑置信度，阈值只考虑空间重叠过于简单；多类别互不影响(管道重叠、计算量大)；检测关联、管道类别确定、时间校准分步进行，计算量大。
[0068]
2)微型动作管道关联算法(act)，图4所示，在实时在线动作检测模型(road)的基础上改造为微型动作管道算法，不是对单独的帧级检测进行关联，而是对7帧长度的微型管道检测进行关联。主要是采用了软非极大值抑制，非极大值抑制过程中不对重叠的候选检
测框进行删减，而是改变其置信度得分；然后是将提出两个微型管道的交并比计算方法，重叠时间内的交并比加和除以重叠时间长度；最后关联完毕后在时间上进行平均，将n个重叠的微型管道组合成一个完整管道。
[0069]
3)基于多标准相似匹配的动作管道在线关联算法(msrt)取消了硬性的交并比阈值，替代为一个多相似度关联模块，将多种判断依据进行综合利用，采样速率对多种关联算法结果的影响实验如表1所示。
[0070]
表1采样速率对多种关联算法结果的影响实验
[0071][0072]
本发明基于多标准相似性匹配的动作管道在线关联算法(msrt)的关联标准不仅考虑新增检测框与动作管道中原有检测框的空间重叠程度，还综合考虑两个检测框外观相似程度、时空关系相似程度以及各自的帧级动作得分，提升关联匹配的准确度。为了避免陷入贪婪算法容易出现的局部最优问题，msrt算法采用候选检测池的机制，在新增检测框时，与动作管道中的最后数个检测框进行匹配，而不是仅与动作管道中的最后一个检测框进行匹配，从而实现高效、精准的在线时空动作检测，进而更好的保证生产线中人机交互的实时性和准确性。本发明所提的在线关联算法具有如下要求：
[0073]
新增检测框与要关联的动作管道最后k个检测框的平均空间重叠程度即平均交并比必须超过阈值；
[0074]
一个检测框不能同时关联给多个动作管道；
[0075]
关联匹配依据的得分综合考虑空间重叠、外观相似以及时空关系相似；
[0076]
预留最后k帧的检测框候选池。
[0077]
基于多标准相似匹配的动作管道在线关联方法(msrt)不仅考虑新增检测框与动作管道中原有检测框的空间重合程度，还综合考虑检测框各自的帧级检测得分，检测框之间的外观相似性以及时空关系相似性，提升匹配准确度。
[0078]
对于同样的帧级检测结果，采用实时在线动作检测关联算法(road)、微型动作管
道关联算法(act)和基于多标准相似匹配的动作管道在线关联算法(msrt)进行了对比。其中，漏关联阈值为实时在线动作检测默认的3次检测，交并比＝0指去掉交并比，只依赖帧级检测的类别置信度得分。根据结果分析可知：采样频率越低，基于多标准相似匹配的动作管道在线关联算法(msrt)相比其他2种算法的优势越大；在密集采样时，带有交并比阈值的算法表现相对较好，这是因为交并比阈值避免了错位关；而当采样频率较低时，带有交并比阈值的网络模型随着阈值的提高表现得越来越差，这是因为交并比硬性阈值导致产生了错误关联和管道分裂。
[0079]
上述实验表明，基于多标准相似匹配的动作管道在线关联算法，能够对空间位移变化剧烈的行为进行精准地在线检测和关联，能够适应复杂智联生产线上的工作要求。
[0080]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。