交互检测方法和电子设备

摘要: 本技术属于图像处理领域,尤其涉及一种交互检测方法和电子设备。背景技术:1、交互检测的目标是在图像中同时定位第一对象和第二对象,并识别两者之间的交互关系,例如,可...
交互检测方法和电子设备

本技术属于图像处理领域,尤其涉及一种交互检测方法和电子设备。

背景技术:

1、交互检测的目标是在图像中同时定位第一对象和第二对象,并识别两者之间的交互关系,例如,可以对人体、物体之间的交互关系进行检测,也可以对人体与动物之间的交互关系、或者动物与物体之间的交互关系进行检测。

2、现有技术中,交互检测方法通过预训练好的视觉语言模型实现,然而视觉语言模型偏向全局语义表达,难以准确识别出人体、物体之间的交互动作,检测准确度较低。

技术实现思路

1、本技术实施例提供了一种交互检测方法和电子设备,能够准确识别出不同对象之间的交互动作,提高交互检测的准确度。

2、第一方面,本技术实施例提供了一种交互检测方法,包括:

3、基于待检测图像,确定图像块特征,所述待检测图像包含处于交互状态的第一对象和第二对象;

4、对所述待检测图像进行目标检测,得到第一对象特征和第二对象特征,并基于所述第一对象特征和所述第二对象特征,生成对象组特征和检测先验向量,所述对象组特征包含所述第一对象和所述第二对象的视觉特征,所述检测先验向量用于表征所述第一对象特征和所述第二对象特征的目标检测信息;

5、利用正交残差解耦模块对所述图像块特征进行处理,得到全局通用特征,并基于所述全局通用特征对应的正交投影算子,对所述图像块特征进行划分,得到全局通用分量和正交残差分量;

6、利用所述正交残差解耦模块基于所述全局通用分量,对所述正交残差分量和所述图像块特征进行整合,得到目标图像块特征,并基于所述检测先验向量和所述正交残差分量,对所述对象组特征进行更新,得到目标对象组特征;

7、基于所述目标图像块特征、所述目标对象组特征和所述检测先验向量的视觉编码结果,进行动作分类,得到所述第一对象和所述第二对象的交互动作。

8、可选地,在所述得到目标对象组特征之后,所述交互检测方法还包括:

9、确定多个候选正交残差解耦模块,所述正交残差解耦模块和各个所述候选正交残差解耦模块顺序排列;

10、确定与所述正交残差解耦模块连接的视觉编码层;

11、利用所述视觉编码层对所述目标图像块特征、所述目标对象组特征和所述检测先验向量进行处理,得到视觉编码结果,并基于所述视觉编码结果更新所述图像块特征和所述对象组特征;

12、基于所述正交残差解耦模块的下一所述候选正交残差解耦模块更新所述正交残差解耦模块,并返回执行所述利用正交残差解耦模块对所述图像块特征进行处理,得到全局通用特征的步骤,直至返回次数为所述多个候选正交残差解耦模块的数量。

13、可选地,所述基于所述目标图像块特征、所述目标对象组特征和所述检测先验向量的视觉编码结果,进行动作分类,得到所述第一对象和所述第二对象的交互动作,包括:

14、确定多个与所述正交残差解耦模块、所述候选正交残差解耦模块连接的所述视觉编码层;

15、利用分层融合模块对各个所述视觉编码层对应的所述视觉编码结果进行融合,得到融合后特征;

16、基于所述融合后特征,进行动作分类,得到所述第一对象和所述第二对象的交互动作。

17、可选地,所述基于所述目标图像块特征、所述目标对象组特征和所述检测先验向量的视觉编码结果,进行动作分类,得到所述第一对象和所述第二对象的交互动作,包括:

18、获取多个动作文本提示,所述动作文本提示指示所述第一对象和所述第二对象的动作类别;

19、针对各个所述动作文本提示,对所述动作文本提示进行编码,得到动作文本特征;

20、对所述目标图像块特征、所述目标对象组特征和所述检测先验向量进行视觉编码,得到视觉编码结果,并计算各个所述动作文本特征与所述视觉编码结果的特征相似度;

21、基于所述特征相似度,在多个所述动作文本特征中确定目标动作文本特征,并基于所述目标动作文本特征对应的所述动作类别,确定所述第一对象和所述第二对象的交互动作。

22、可选地,所述基于所述特征相似度,在多个所述动作文本特征中确定目标动作文本特征,包括:

23、确定所述第一对象的第一置信度;

24、确定所述第二对象的第二置信度;

25、基于所述第一置信度、所述第二置信度和所述特征相似度,在多个所述动作文本特征中确定目标动作文本特征。

26、可选地,所述正交残差解耦模块通过以下步骤进行训练:

27、基于样本图像,确定样本图像块特征,所述样本图像包含具有样本动作的第一样本对象和第二样本对象;

28、对所述样本图像进行目标检测,得到第一样本对象特征和第二样本对象特征,并基于所述第一样本对象特征和所述第二样本对象特征生成样本对象组特征和样本检测先验向量;

29、利用所述正交残差解耦模块对所述样本图像块特征、所述样本对象组特征和所述样本检测先验向量进行处理,得到第一样本目标图像块特征和第一样本目标对象组特征;

30、基于所述第一样本目标图像块特征、所述第一样本目标对象组特征和所述样本检测先验向量的视觉编码结果,确定多个第一样本动作分数;

31、基于所述第一样本动作分数和所述样本动作,确定第一损失函数,并基于所述第一损失函数训练所述正交残差解耦模块,得到训练好的所述正交残差解耦模块。

32、可选地,所述基于所述第一样本目标图像块特征、所述第一样本目标对象组特征和所述样本检测先验向量的视觉编码结果,确定多个第一样本动作分数,包括:

33、获取多个样本动作文本提示;

34、针对各个所述样本动作文本提示,对所述样本动作文本提示进行编码,得到样本动作文本特征;

35、对所述第一样本目标图像块特征、所述第一样本目标对象组特征和所述样本检测先验向量进行视觉编码,得到第一样本视觉编码结果,并计算各个所述样本动作文本特征与所述第一样本视觉编码结果的第一相似度;

36、基于所述第一相似度,确定多个第一样本动作分数。

37、可选地,所述正交残差解耦模块包含多个顺序排列的正交残差解耦模块,每个所述正交残差解耦模块均连接有对应的视觉编码层,在所述得到训练好的所述正交残差解耦模块之后,所述正交残差解耦模块的训练步骤还包括:

38、按照多个所述正交残差解耦模块的排列顺序,从多个训练好的所述正交残差解耦模块选取当前正交残差解耦模块;

39、利用所述当前正交残差解耦模块对所述样本图像块特征、所述样本对象组特征和所述样本检测先验向量进行处理,得到第二样本目标图像块特征和第二样本目标对象组特征;

40、利用所述当前正交残差解耦模块对应的所述视觉编码层对所述第二样本目标图像块特征、所述第二样本目标对象组特征和所述样本检测先验向量进行处理,得到第二样本视觉编码结果,并基于所述第二样本视觉编码结果更新所述样本图像块特征和所述样本对象组特征;

41、基于所述当前正交残差解耦模块的下一所述正交残差解耦模块更新所述当前正交残差解耦模块,并返回执行所述利用所述当前正交残差解耦模块对所述样本图像块特征、所述样本对象组特征和所述样本检测先验向量进行处理,得到第二样本目标图像块特征和第二样本目标对象组特征的步骤,直至返回次数为多个所述正交残差解耦模块的数量减一;

42、利用分层融合模块对各个所述视觉编码层对应的所述第二样本视觉编码结果进行融合,得到样本融合后特征;

43、基于所述样本融合后特征,确定多个第二样本动作分数,并基于所述多个第二样本动作分数与所述样本动作的差异,训练所述分层融合模块。

44、可选地,所述基于所述样本融合后特征,确定多个第二样本动作分数,包括:

45、获取多个样本动作文本提示;

46、针对各个所述样本动作文本提示,对所述样本动作文本提示进行编码,得到样本动作文本特征;

47、计算各个所述样本动作文本特征与所述样本融合后特征的第二相似度;

48、基于所述第二相似度,确定多个第二样本动作分数。

49、可选地,所述基于所述多个第二样本动作分数与所述样本动作的差异,训练所述分层融合模块,包括:

50、基于所述第一样本对象的第一样本置信度、所述第二样本对象的第二样本置信度和所述多个第二样本动作分数,确定多个第三样本动作分数;

51、基于所述多个第三样本动作分数和所述样本动作,确定第二损失函数;

52、基于所述多个第二样本动作分数和所述多个第三样本动作分数,确定第三损失函数;

53、基于所述第二损失函数和所述第三损失函数,训练所述分层融合模块。

54、可选地,所述利用所述正交残差解耦模块基于所述全局通用分量,对所述正交残差分量和所述图像块特征进行整合,得到目标图像块特征,包括:

55、对所述全局通用分量依次进行线性变换和激活函数处理,得到门控系数;

56、基于所述门控系数,调整所述正交残差分量,得到交互增量特征;

57、基于所述交互增量特征和所述图像块特征,得到目标图像块特征。

58、可选地,所述基于所述检测先验向量和所述正交残差分量,对所述对象组特征进行更新,得到目标对象组特征,包括:

59、对所述对象组特征进行投影处理,得到查询分量;

60、对所述检测先验向量和所述查询分量进行交叉注意力处理,得到更新查询向量;

61、对所述更新查询向量和所述正交残差分量进行交叉注意力处理,得到注意力特征;

62、基于所述注意力特征与所述查询分量的差,确定交互残差特征;

63、基于所述交互残差特征和所述对象组特征的和,确定目标对象组特征。

64、第二方面,本技术实施例提供了一种交互检测装置,包括:

65、第一确定单元,用于基于待检测图像,确定图像块特征,所述待检测图像包含处于交互状态的第一对象和第二对象;

66、目标检测单元,用于对所述待检测图像进行目标检测,得到第一对象特征和第二对象特征,并基于所述第一对象特征和所述第二对象特征,生成对象组特征和检测先验向量,所述对象组特征包含所述第一对象和所述第二对象的视觉特征,所述检测先验向量用于表征所述第一对象特征和所述第二对象特征的目标检测信息;

67、第一处理单元,用于利用正交残差解耦模块对所述图像块特征进行处理,得到全局通用特征,并基于所述全局通用特征对应的正交投影算子,对所述图像块特征进行划分,得到全局通用分量和正交残差分量;

68、第二处理单元,用于利用所述正交残差解耦模块基于所述全局通用分量,对所述正交残差分量和所述图像块特征进行整合,得到目标图像块特征,并基于所述检测先验向量和所述正交残差分量,对所述对象组特征进行更新,得到目标对象组特征;

69、动作分类单元,用于基于所述目标图像块特征、所述目标对象组特征和所述检测先验向量的视觉编码结果,进行动作分类,得到所述第一对象和所述第二对象的交互动作。

70、第三方面,本技术实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使得所述电子设备实现如第一方面任一项所述的交互检测方法。

71、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的交互检测方法。

72、本技术实施例针对待检测图像,首先对待检测图像进行目标检测,得到第一对象特征和第二对象特征,并基于第一对象特征和第二对象特征,生成对象组特征和检测先验向量。之后,利用正交残差解耦模块对所述图像块特征进行处理,得到全局通用特征,全局通用特征承载了待检测图像的场景、背景等全局通用语义,这样,基于全局通用特征对应的正交投影算子,对图像块特征进行划分,得到全局通用分量同样承载了待检测图像的场景、背景等全局通用语义,而正交残差分量则不包含任何全局背景冗余信息,只存储区分交互动作的局部细粒度信息,例如人的手部接触位置、肢体姿态、人与物体接触边界等。之后,利用正交残差解耦模块基于全局通用分量,对正交残差分量和图像块特征进行整合,得到目标图像块特征,在目标图像块特征中,图像块特征仍然保存,全局语义不会丢失,而正交残差分量则增强了目标图像块特征中的局部细粒度信息。从而在保持全局语义稳定性的同时增强交互相关局部差异。另外,目标对象组特征基于检测先验向量和正交残差分量更新,能够进一步增强交互动作的局部细粒度信息。因此,基于目标图像块特征、目标对象组特征和检测先验向量的视觉编码结果,进行动作分类,能够提高对局部交互动作的识别准确度,进而得到第一对象和第二对象的交互动作,提高了交互检测的准确度。