一种基于分裂注意力的人-物交互关系分类方法与流程

一种基于分裂注意力的人
‑
物交互关系分类方法
技术领域
1.本发明涉及计算机视觉技术领域，具体涉及一种基于分裂注意力的人
‑
物交互关系分类方法。


背景技术：

2.人
‑
物交互关系分类是计算机视觉领域的研究热点之一，其不仅具有重要的理论意义，而且具有广阔的应用前景。目前交互关系分类方法主要是从视频或者图像中精确的提取人体动作和空间上的特征表达，对人体行为进行建模。在对特征进行计算的过程中，通常使用带步长的卷积来减少图像空间的维度，这必然会丢失大量的空间信息。然而，对于下游任务，空间信息是至关重要的。针对交互关系的判别问题，现有的技术主要通过提取动作特征和空间特征去表达“人
‑
物”对之间的特征关系；针对提取的特征对于交互关系区分度较低的问题，现有技术主要通过多种特征融合以丰富特征的表达效果。
3.在基于图像的人体动作识别方面，最近的文献主要使用局部特征、全局特征或不同维度的特征表达，提高特征质量、增加特征之间的区分度，从而提高分类效果。例如授权专利：基于多特征融合的人体交互行为识别方法、系统及装置.中国专利110619261a[p],2019.12.27。但这类方法仅将高层特征进行不同方式的融合，缺乏对低层特征的考虑，忽略了低层特征包含的更多位置、空间等细节信息。
[0004]
在人
‑
物交互关系分类方面，近期文献主要使用attention机制以及多分支思想学习人
‑
物交互中的动作特征与空间特征，从而实现对人
‑
物交互关系分类。这一类方法需要使用注意力机制，但是受限于较小的感受野和单通道特征，必然会损失掉大量的空间信息，而对于目标检测和分类任务，空间信息是至关重要的。


技术实现要素：

[0005]
发明目的：针对现有技术中存在的问题，本发明提供一种基于分裂注意力的人
‑
物交互关系分类方法，能够在不增加计算开销的前提下，更加精确地对相似交互关系进行人
‑
物交互关系分类。
[0006]
技术方案：本发明提供了一种基于分裂注意力的人
‑
物交互关系分类方法，包括如下步骤：
[0007]
步骤1：输入带标签的图像数据，对图像数据进行像素平均并映射成三通道的特征向量；
[0008]
步骤2：构建基础网络块、特征分裂模块以及实例级自注意力模块，将基础网络块、特征分裂模块和实例级自注意力模块组成分裂注意力神经网络；
[0009]
步骤3：利用基础网络块取提图像的底层特征，将底层特征输入分裂注意力神经网络中，网络中将提取到的外观特征与底层特征融合，得到人和物的外观特征bp；
[0010]
步骤4：利用基础网络块提取图像的底层特征，并通过对特征进行裁剪、卷积、池化后得到人的局部动作特征，将图像映射为双通道二值图并提取"人
‑
物"对的空间特征，将空
间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络，得到能够减少空间歧义的"人
‑
物"对的空间特征cp；
[0011]
步骤5：将bp与cp通过自注意力机制进行特征融合，得到最终分类结果。
[0012]
进一步地，所述步骤2中基础网络块结构如下：所述基础网络块由4个不同深度的残差块组成的resnet
‑
50主干网以及一个独立的残差模块组成；
[0013]
所述resnet
‑
50主干网结构为：首先构建一个两层的基础模块，包括步长为2的二维卷积层与最大池化层；再构建五个深度不同的残差块，深度分别为64，128，256，512，512；利用基础模块与前四个残差块生成resnet
‑
50作为基础网络；
[0014]
所述独立的残差模块不在resnet
‑
50中，用于分别处理人、物两种目标的特征。
[0015]
进一步地，所述步骤2中的特征分裂模块具体结构为：依次设置的卷积层、relu激活操作、特征分裂层、平均池化、连接层、relu激活操作、全连接层、softmax、注意力分裂层、特征融合；具体步骤为：
[0016]
s1.1：将底层特征输入独立的残差模块，并在1和2维上计算平均值，得到通道数为512的特征向量；
[0017]
s1.2：通过所述特征分裂层将s1.1中特征向量按通道切分为多个子特征向量，并将子特征向量按通道相加融合，再将融合后的特征向量进行归一化和可覆盖的relu激活操作，
[0018]
得到特征向量t1；
[0019]
s1.3：将特征分裂模块中所有的全连接层，都设置为1
×
1的二维卷积操作；
[0020]
s1.4:将卷积层的卷积操作设置为三个3
×
3的二维卷积，减小特征在卷积过程中丢失的空间信息；
[0021]
s1.5：将特征向量t1转换为(batch,2,channels)，只将特征的第二维设置为2，再通过softmax操作将特征形状转换为(batch,
‑
1,1,1)，得到注意力向量；
[0022]
s1.6：通过注意力分裂层将s1.4中注意力向量按通道切分为多个子注意力向量；
[0023]
s1.7：将子特征向量与相应的子注意力向量相乘，再通过相加融合，得到已增大感受野的特征向量。
[0024]
进一步地，所述步骤2中实例级自注意力模块具体结构为：卷积层、池化层，归一化操作、自注意力层、全连接层；具体步骤为：
[0025]
s2.1：将底层特征输入独立的残差模块，并在1和2维上计算平均值，得到通道数为512的特征向量；
[0026]
s2.2：将通道数为512的特征向量送入池化层，并将特征转换为第二、三维大小为1的特征向量，将其与输入的原始特征做元素级的相乘，得到注意力向量；
[0027]
s2.3：将s2.2中注意力向量进行归一化操作得到特征向量x；
[0028]
s2.4：将s2.3中特征向量x输入自注意力层，得到特征向量x1；
[0029]
s2.5：将特征向量x1输入全连接层，使用池化代替全连接中带步长的卷积，得到通道数为1024的注意力向量。
[0030]
进一步地，所述步骤3中具体步骤为：
[0031]
s3.1：将步骤1的三通道的特征向量输入基础网络resnet
‑
50中，通过卷积和池化操作得到底层的全局特征；
[0032]
s3.2：对所述全局特征进行边缘填充后经过两次卷积与池化，再将得到的特征张量扁平化得到图像的外观特征；
[0033]
s3.3：利用步骤1中得到的人和物的目标框，对s3.2中外观特征裁剪得到人和物相应的局部特征r；
[0034]
s3.4：将人和物的局部特征r分别输入到步骤2构建的特征分裂模块中，得到人和物局部的外观特征r1；
[0035]
s3.5：将人和物的局部特征r输入到步骤2中构建的独立的残差模块中，并在第一、二维计算平均值进行降维，得到人和物局部的外观特征r2；
[0036]
s3.6：利用两个通道数为512的1
×
1卷积，分别与外观特征r2进行softmax操作，得到人和物局部的外观特征r3；
[0037]
s3.7：将人和物局部的外观特征r1与r3按通道进行拼接，再输入到步骤2中构建的实例级自注意力模块，并利用自注意力机制突出显示图像中的相关区域，得到精确的人和物的外观特征bp。
[0038]
进一步地，所述步骤4中具体步骤为：
[0039]
s4.1：将步骤1的三通道的特征向量输入基础网络resnet
‑
50中，通过卷积和池化操作得到底层的全局特征；
[0040]
s4.2：将步骤1中得到的人和物的目标框作为参考框，对全局特征进行双通道二值映射，并从双通道二值图中提取"人
‑
物"对的空间特征；
[0041]
s4.3：利用步骤1中得到的人的目标框，对s4.1底层的全局特征裁剪得到人的局部特征，再通过卷积与池化得到人的局部动作特征；
[0042]
s4.4：将s4.3中人的局部动作特征与s4.2中"人
‑
物"对的空间特征按通道拼接，再与s4.3中人的局部特征相加融合，得到跨通道的特征张量；
[0043]
s4.5：将跨通道的特征张量分别输入特征分裂模块与实例级自注意力模块，得到"人
‑
物"对的空间特征cp。
[0044]
进一步地，所述步骤5的具体方法为：
[0045]
s5.1：将步骤3与步骤4得到的人和物的外观特征bp和"人
‑
物"对的空间特征cp经过相乘融合，再使用两个通道数为1024的卷积降低特征维度，得到特征向量k；
[0046]
s5.2：利用自注意力机制增强特征向量k的内部相关性，再将其映射到结果空间，得到分类结果与相应的置信度。
[0047]
有益效果：
[0048]
本发明方法基于人
‑
物交互数据集，利用分裂注意力神经网络和外观
‑
空间特征融合对“人
‑
物”的交互关系进行分类。使用三分支网络结构分别提取人的外观特征、物体的外观特征、“人
‑
物”对的空间特征；将裁剪后的局部特征输入到分裂注意力网络，提取人与物体局部外观特征，得到增大感受野以及跨通道的局部外观特征向量；对“人
‑
物”对提取不同维度的空间特征，基于目标框通使用双通道二值图对空间特征进行裁剪与映射，得到“人
‑
物”对的局部空间特征；通过两个全局平均池化，得到最终分类结果。
[0049]
与现有的分类方案相比，本发明具有以下优点：
[0050]
第一，对图像中的将目标框作为参考框，并在其中构建两个通道，每个通道内边界框内具有值1，在其他地方具有值0。从这种形式的二值图中提取的空间特征，可以获得更精
确的空间特征表达，同时可以消除空间布局相似的不同行为的歧义。
[0051]
第二，使用特征分裂模块将特征按通道切分为多个子特征，有效的增大感受野，基于全局使用自注意力机制关注部分重要特征，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。
[0052]
第三，融合人、物的外观特征与“人物”对的空间特征，同时使用池化代替带步长的卷积，从空间层面提高特征的有效性，并且有效的增强对相似人
‑
物交互关系特征的辨别力，有利于进一步消除相似空间布局不同交互行为的歧义，提高人
‑
物交互关系分类的准确性。
附图说明
[0053]
图1为本发明的总体流程图；
[0054]
图2为具体实施例中分裂注意力神经网络的实例注意力模块的具体结构图；
[0055]
图3为具体实施例中分裂注意力神经网络的具体结构图。
具体实施方式
[0056]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0057]
如图1所示，本发明主要是为了解决现有技术中相似的人
‑
物交互关系进行区分，提供了一种基于分裂注意力的人
‑
物交互关系分类方法，包括如下步骤：
[0058]
步骤1：输入带标签的图像数据，对图像进行像素平均并映射成三通道的特征向量集合ap，具体包括以下步骤：
[0059]
步骤1.1：通过摄像设备获取图像数据，并对获取的图像数据进行标记，将图像数据划分为训练集、测试集和验证集，三者的比例为3:2:1。
[0060]
步骤1.2：使用faster_rnn方法检测与识别图像中的目标，主要包含人、物体；记录目标类别与目标位置；
[0061]
步骤1.3：将rgb图像转换为像素矩阵q，再对像素矩阵进行像素平均，最后将像素矩阵映射为三通道的特征向量。具体公式如下：
[0062]
ap＝q
‑
[[[102.9801，115.9465，122.7717]]]
[0063]
步骤2：构建基础网络块、特征分裂模块以及实例级自注意力模块，将基础网络块、特征分裂模块和实例级自注意力模块组成分裂注意力神经网络。分裂注意力神经网络的模型结构图参见附图3。
[0064]
基础网络块结构如下：基础网络块由4个不同深度的残差块组成的resnet
‑
50主干网以及一个独立的残差模块block组成；
[0065]
resnet
‑
50主干网结构为：首先构建一个两层的基础模块，包括步长为2的二维卷积层与最大池化层；再构建五个深度不同的残差块，深度分别为64，128，256，512，512；利用基础模块与前四个残差块生成resnet
‑
50作为基础网络；
[0066]
独立的残差模块不在resnet
‑
50中，用于分别处理人、物两种目标的特征。
[0067]
步骤2.1：定义一个1
×
1的2d卷积作为残差单元，构建五个不同深度的残差块，将残差单元的卷积核大小设置为3*3像素，步长设置为1个像素，将第一个、第四个和第五个残
差块的深度设置为3，将第二个残差块的深度设置为4，将第三个残差块的深度设置为6。
[0068]
步骤2.2：构建一个十层的特征分裂模块s_module，其模块结构依次为：卷积层、relu激活操作、特征分裂层、平均池化、连接层、relu激活操作、全连接层、softmax、注意力分裂层、特征融合，具体步骤为：
[0069]
s2.2.1：将底层特征输入独立的残差模块，并在1和2维上计算平均值，得到通道数为512的特征向量；
[0070]
s2.2.2：通过所述特征分裂层将s2.2.1中特征向量按通道切分为多个子特征向量，并将子特征向量按通道相加融合，再将融合后的特征向量进行归一化和可覆盖的relu激活操作，得到特征向量t1；
[0071]
s2.2.3：将特征分裂模块中所有的全连接层，都设置为1
×
1的二维卷积操作；
[0072]
s2.2.4：将卷积层的卷积操作设置为三个3
×
3的二维卷积；
[0073]
s2.2.5：将特征向量t1转换为(batch,2,channels)，只将特征的第二维设置为2，再通过softmax操作将特征形状转换为(batch,
‑
1,1,1)，得到注意力向量；
[0074]
s2.2.6：通过注意力分裂层将s2.2.4中注意力向量按通道切分为多个子注意力向量；
[0075]
s2.2.7：将子特征向量与相应的子注意力向量相乘，再通过相加融合，得到已增大感受野的特征向量。
[0076]
步骤2.3：构建一个实例注意力模块ins_moudule。实例级自注意力模块具体结构为：卷积层、池化层，归一化操作、自注意力层、全连接层。参见附图2，具体步骤为：
[0077]
s2.3.1：将底层特征输入独立的残差模块，并在1和2维上计算平均值，得到通道数为512的特征向量；
[0078]
s2.3.2：将通道数为512的特征向量送入池化层，并将特征转换为第二、三维大小为1的特征向量，将其与输入的原始特征做元素级的相乘，得到注意力向量；
[0079]
s2.3.3：将s2.3.2中注意力向量进行归一化操作得到特征向量x；
[0080]
s2.3.4：将s2.3.3中特征向量x输入自注意力层，得到特征向量x1；
[0081]
s2.3.5：将特征向量x1输入全连接层，使用池化代替全连接中带步长的卷积，得到通道数为1024的注意力向量。
[0082]
步骤3：利用基础网络块提取图像的底层特征，将底层特征输入分裂注意力神经网络中，网络中将提取到的外观特征与底层特征融合，得到人和物的外观特征bp。具体包括以下步骤：
[0083]
步骤3.1：定义循环变量i2，用于遍历三通道的特征向量集合ap，i2∈[1,len(ap)]，i2赋初值为1；
[0084]
步骤3.2：遍历ap，如果i2≤len(ap)，跳转到步骤3.3，否则结果遍历操作，跳转到步骤3.10；
[0085]
步骤3.3：将ap[i2]进行步长为2的2d卷积降低特征维度，得到低层特征向量a，对特征向量a的每一维度进行边缘填充，得到特征向量a2，对特征向量a2进行3
×
3的最大池化操作，得到人、物的外观特征向量a3，具体公式如下：
[0086]
[0087][0088][0089]
其中，g(i，j)表示二维卷积核，h(p，k)表示输入的特征向量，α∈a2，d表示α的邻域；
[0090]
步骤3.4：利用基础网络块从特征向量a3中提取人和物的外观特征，再输入到独立残差块中，得到辨别性能更好的人和物的外观特征e；
[0091]
步骤3.5：定义h_b、o_b分别表示ap[i2]中人的目标像框、物体的目标框，使用h_b、o_b对特征向量e进行剪裁得到人的外观特征img_h
i2
、物体外观特征向量img_o
i2
；
[0092]
步骤3.6：将img_h
i2
、img_o
i2
分别按通道切分为两个子向量组，并使用两个全局平均池化，融合跨通道的特征向量组，得到通道数为512的特征向量spl_h
i2
、spl_o
i2
，具体公式如下：
[0093]
spl_h
i2
＝concat(sc1，sc2，...，sc
n1
)w
h
[0094]
spl_o
i2
＝concat(sc1，sc2，..，sc
n1
)w
o
[0095]
其中，concat表示向量拼接函数，w
h
、w
o
分别表示人和物体的权重矩阵；
[0096]
步骤3.7：使用两个1
×
1的二维卷积，消除人和物的外观特征中的空间歧义，并利用自注意力机制增强外观特征之间的相关性，得到通道数为512的特征向量img_g
i2
、img_p
i2
，具体公式如下：
[0097][0098]
其中，g(i，j)表示二维卷积核，h(p，k)表示输入的特征向量，c(p，k)表示输出的特征向量；
[0099]
步骤3.8：将低层特征img_g
i2
和跨通道的局部特征spl_h
i2
、spl_o
i2
相加融合，得到特征向量c1、c2，计算img_pi2和特征向量c1、c2的矢量点积，得到以实例为中心的注意力特征向量ins_h
i2
、ins_o
i2
，具体公式如下：
[0100]
ins_h
i2
＝img_p
i2
·
c1
[0101]
ins_o
i2
＝img_p
i2
·
c2；
[0102]
步骤3.9：令i2＝i2 1，跳转到步骤3.2；
[0103]
步骤3.10：得到已增大感受野的跨通道特征向量集bp＝{[ins_h0，ins_o0]，[ins_h1，ins_o1]，...，[ins_h
m
，ins_o
m
]}，其中，ins_h
m
、ins_o
m
分别表示序号为m的图像经过映射后的人、物的外观特征向量，满足m＝len(ap)。
[0104]
步骤4：利用基础网络块提图像的底层特征，并通过对特征进行裁剪、卷积、池化后得到人的局部动作特征，将图像映射为双通道二值图并提取"人
‑
物"对的空间特征，将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络，得到能够减少空间歧义的"人
‑
物"对的空间特征cp。具体包括以下步骤：
[0105]
步骤4.1：定义循环变量i3，用于遍历三通道的特征向量集合ap，i3∈[1,len(ap)]，i3赋初值为1；
[0106]
步骤4.2：遍历ap，如果i3≤len(ap)，跳转到步骤4.3，否则结果遍历，跳转到步骤4.13；
[0107]
步骤4.3：定义hbox＝{h1,h2,...,h
k
}、obox＝{o1,o2,...,o
m
}分别表示序号为i3的图像中人的目标框集合、物体的目标框集合，其中，k、m分别表示目标框的数量；
[0108]
步骤4.4：将ap[i3]输入到基础网络resnet
‑
50中，通过卷积和池化操作得到底层的全局特征，再利用hbox对全局特征进行裁剪，得到人的局部特征向量loc_h
i3
；
[0109]
步骤4.5：将hbox、obox两类目标框依次组合成“人
‑
物”对集合pairs＝{[h1,o1],[h1,o2],...,[h
k
,o
m
]}，其中，[h
k
,o
m
]表示第k
×
m个“人
‑
物”交互对，满足len(pairs)＝k
×
m；
[0110]
步骤4.6：定义循环变量i4，用于遍历“人
‑
物”对集合pairs，i4∈[1,len(pairs)]，i4赋初值为1；
[0111]
步骤4.7：遍历pairs，如果i4≤len(pairs)，跳转到步骤4.8，否则结束遍历，跳转到步骤4.11；
[0112]
步骤4.8：定义box
i4
表示序号为i4的“人
‑
物”对的目标框，利用box
i4
对ap[i3]的特征向量进行二值映射，并提取双通道二值图中“人
‑
物”对的空间特征，得到“人
‑
物”对的空间特征向量q
i4
，具体公式如下：
[0113][0114]
f
i4
＝s(n)＝(t
·
h)[n]＝∑g(x)h(k)
[0115]
其中，g(x)表示ap[i3]的双通道二值图，h(k)表示卷积核；
[0116]
步骤4.9：将人的局部特征向量loc_h
i3
输入独立残差块，通过映射得到人的动作特征，将人的动作特征与“人
‑
物”对的空间特征向量q
i4
按通道拼接，再与人的局部特征loc_h
i3
相加融合，得到跨通道的特征张量；
[0117]
步骤4.10：将跨通道的特征张量分别输入特征分裂模块与实例级自注意力模块，得到"人
‑
物"对的空间特征sp
i4
；
[0118]
步骤4.11：令i4＝i4 1，跳转到步骤4.7；
[0119]
步骤4.12：得到pairs中所有“人
‑
物”对的空间特征集合sp_ho
i3
＝{sp1,sp2,
…
,sp
n
}，其中，sp
n
表示序号为n的“人
‑
物”对空间特征，满足n＝len(pairs)；
[0120]
步骤4.13：令i3＝i3 1，跳转到步骤4.2；
[0121]
步骤4.14：构造集合ap包含的所有图像中“人
‑
物”对的空间特征集cp＝{sp_ho1,sp_ho2,...,sp_ho
m
}，其中，sp_ho
m
表示序号为m的图像中存在的“人
‑
物”对的空间特征集合。
[0122]
步骤5：将bp与cp通过自注意力机制进行特征融合，得到最终分类结果。具体包括以下步骤：
[0123]
步骤5.1：定义循环变量i5，用于分别遍历bp、cp，i5∈[1,len(bp)]，i5赋初值为1；
[0124]
步骤5.2：遍历bp、cp，如果i5≤len(bp)，跳转到步骤5.3，否则结束遍历操作，跳转到步骤5.6；
[0125]
步骤5.3：将人和物的外观特征bp[i5][0]、bp[i5][1]分别与cp[i5]相乘融合，再使用两个通道数为1024的卷积降低特征维度，通过自注意力机制增强特征之间的相关性，
得到跨通道的空间特征spt_hs
i5
、spt_hos
i5
，具体公式如下：
[0126]
spt_hs
i5
＝softmax(bp[i5][o])
×
cp[i5]
[0127][0128]
其中，d
k
是bp[i5][1]的维度，softmax指softmax函数；
[0129]
步骤5.4：对跨通道的空间特征spt_hs
i5
、spt_hos
i5
作全连接操作，并且映射到结果空间分别计算置信度h_s
i5
、ho_s
i5
，得到全连接结果对应的类别action_h
i5
、interact
i5
，其中，action_h
i5
、action_ho
i5
分别表示人的动作、“人
‑
物”对的交互关系分类结果；
[0130]
步骤5.5：构造“人
‑
物”交互关系分类结果集合re＝{[action_h1,action_ho1,h_s1,ho_s1],[action_h2,action_ho2,h_s2,ho_s2],...,[action_h
n
,action_ho
n
,h_s
n
,ho_s
n
]}，其中，action_h
n
、h_s
n
、action_ho
n
、ho_s
n
分别表示序号为n的“人
‑
物”对中人的动作和相应的置信度、“人
‑
物”对的交互关系和相应的置信度，满足len(re)＝len(bp)；
[0131]
步骤5.6：令i5＝i5 1，跳转到步骤5.2；
[0132]
步骤5.7：在re集合中以ho_s为关键字降序排序，取置信度最高的相应分类为最终分类结果。
[0133]
为了更好的说明本方法的有效性，通过对28个类别、82783张图像数据，使用双通道的二值图，提取“人
‑
物”对的局部空间特征，再利用分裂注意力神经网络提取人、物体的外观特征，对提取到的特征进行相乘融合，通过两个平均池化层，得到最终的分类结果。基于分裂注意力网络的人
‑
物交互关系分类方法的准确率相较于现有的基于单一通道特征的方法提升了4.11％，对28个类别、82783张图像数据的分类准确度达到了48.41％。
[0134]
表1实验结果对比表
[0135][0136]
本发明创造性的提出了一种利用分裂注意力增大感受野以及提取跨通道特征的方法，使用池化代替带步长卷积来增强对空间特征的提取能力，通过低层特征与高层特征、外观特征与空间特征的融合，得到人物交互关系的最终分类结果。
[0137]
本发明提出的一种基于分裂注意力的人
‑
物交互关系分类方法，不但可以用于人与物之间的交互关系，也可以用于物与物之间、人与人之间的交互关系分类。
[0138]
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。