一种多模态视频AI的游览者兴趣识别方法及装置与流程

本申请涉及图像识别领域，更具体的说，是涉及一种多模态视频ai的游览者兴趣识别方法及装置。

背景技术：

1、在展会、商场等公共场所，商家或展位主办方通常希望了解游览者对其展位的兴趣程度，以便优化展示内容或提供个性化服务。传统的兴趣识别方法多依赖于人工观察或问卷调查，这种方式效率低下且主观性强，难以实时获取准确数据。近年来，随着计算机视觉技术的发展，一些基于图像识别的兴趣分析方法逐渐被提出，例如通过面部表情识别游览者的情绪状态。然而，这些方法往往忽略了游览者的行为轨迹特征，导致识别结果不够全面和准确。

2、现有技术中，虽然存在一些基于行为轨迹的兴趣分析方法，但多集中于简单的停留时间统计或路径分析，未能深入挖掘游览者细微动作与兴趣之间的关联。例如，游览者在展位前的头部转向或肩部动作变化可能隐含其兴趣倾向，但这些信息尚未被有效捕捉和利用。因此，亟需一种能够实时、准确识别游览者兴趣的方法，以提升展位互动效果和商业价值。

技术实现思路

1、鉴于上述问题，提出了本申请以便提供一种多模态视频ai的游览者兴趣识别方法及装置，以通过分析游览者的行为轨迹特征，高效、准确地判断其对展位的兴趣程度。

2、为了实现上述目的，现提出具体方案如下：

3、一种多模态视频ai的游览者兴趣识别方法，包括：

4、实时监控游览者在当前时间段内的头部移动轨迹，所述头部移动轨迹为所述游览者的移动轨迹；

5、构建所述头部移动轨迹的头部移动曲线段；

6、第一矩形为展位边界，所述第一矩形与过道相接的边为第一线段；

7、在当前时间段内所述头部移动曲线段的切线与所述第一线段的夹角为第一夹角，所述第一夹角小于等于90度；

8、当监控到所述第一夹角大于第一预设角度时，确定所述游览者对所述展位感兴趣。

9、可选的,该方法还包括：

10、实时监控所述游览者在所述当前时间段内两肩的移动轨迹；

11、构建所述两肩移动轨迹的两肩移动曲线段；

12、当监控到所述第一夹角大于第一预设角度时，将所述游览者在当前时间段内两肩的移动曲线段图像输入至预先建立的兴趣识别模型，输出兴趣识别结果。

13、可选的，所述兴趣识别模型的建立过程，包括：

14、获取两肩移动曲线段图像集，所述两肩移动曲线段图像集包括多张游览者不感兴趣情况下的两肩移动曲线段图像，以及多张游览者感兴趣情况下的两肩移动曲线段图像；

15、以所述两肩移动曲线段图像集作为训练样本，以所述多张游览者感兴趣情况下的两肩移动曲线段图像作为游览者兴趣判定的样本标签，训练得到兴趣识别模型。

16、可选的，所述实时监控游览者在当前时间段内的头部移动轨迹和两肩移动轨迹，包括：

17、通过展会现场的摄像头获取所述游览者在当前时间段内的运动视频；

18、以游览者运动视频中所述游览者的头部作为特征点，生成头部移动轨迹；

19、以游览者运动视频中所述游览者的两肩作为特征点，生成两肩移动轨迹。

20、可选的，生成所述头部移动轨迹和所述两肩移动轨迹，包括：

21、与所述第一矩形相邻且公共边为所述第一线段的矩形为第二矩形；

22、所述第二矩形的其中两条边垂直于所述第一线段且长度为所述过道的宽；

23、所述第二矩形为第一范围；

24、以头部活动动作中在进入所述第一范围的头部位置作为始端点，并以所述头部活动动作离开所述第一范围的头部位置作为末端点，构建头部移动曲线段。

25、以两肩活动动作中在进入所述第一范围的两肩位置作为始端点，并以所述两肩活动动作离开所述第一范围的两肩位置作为末端点，构建两肩移动曲线段。

26、可选的，当监控到所述第一夹角大于第一预设角度时，确定所述游览者对所述展位感兴趣之后，还包括：

27、统计单位时间内感兴趣游览者的数量。

28、一种多模态视频ai的游览者兴趣识别装置，包括：

29、头部移动监控单元，用于实时监控游览者在当前时间段内的头部移动轨迹，所述头部移动轨迹为所述游览者的移动轨迹；

30、头部移动曲线段构建单元，用于构建所述头部移动轨迹的头部移动曲线段；

31、第一线段构建单元，第一矩形为展位边界，所述第一矩形与过道相接的边为第一线段；

32、夹角构建单元，在当前时间段内所述头部移动曲线段的切线与所述第一线段的夹角为第一夹角，所述第一夹角小于等于90度；

33、感兴趣状态判定单元，用于当监控到所述第一夹角大于第一预设角度时，确定所述游览者对所述展位感兴趣。

34、可选的，该装置还包括：

35、兴趣模型识别单元，用于当监控到在所述第一夹角大于第一预设角度时，将所述游览者在当前时间段内两肩的移动轨迹图像输入至预先建立的兴趣识别模型，输出兴趣识别结果。

36、一种多模态视频ai的游览者兴趣识别设备，包括存储器和处理器；

37、所述存储器，用于存储程序；

38、所述处理器，用于执行所述程序，实现如上所述的一种多模态视频ai的游览者兴趣识别方法的各个步骤。

39、一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的一种多模态视频ai的游览者兴趣识别方法的各个步骤。

40、借由上述技术方案，本申请通过实时监控游览者在当前时间段内的头部移动轨迹，所述头部移动轨迹为所述游览者的移动轨迹，构建所述头部移动轨迹的头部移动曲线段，第一矩形为展位边界，所述第一矩形与过道相接的边为第一线段，在当前时间段内所述头部移动轨迹与所述第一线段平行线的夹角为第一夹角，当监控到所述第一夹角大于第一预设角度时，确定所述游览者对所述展位感兴趣。由此可见，当游览者对展位感兴趣时，会向展位移动，即头部向展位移动，则游客的头部的移动轨迹与展位形成的夹角将大于预设角度，接近或等于90度；同时游客的身体将转向展位以观看展品，即游客两肩将出现转向展位的轨迹，通过捕捉头部及两肩的轨迹即可分析游客是否对展位感兴趣，提高了兴趣判定效率。

1.一种多模态视频ai的游览者兴趣识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，所述兴趣识别模型的建立过程，包括：

4.根据权利要求2所述的方法，其特征在于，所述实时监控游览者在当前时间段内的头部移动轨迹和两肩移动轨迹，包括：

5.根据权利要求3所述的方法，其特征在于，构建所述头部移动轨迹的头部移动曲线段和构建所述两肩移动轨迹的两肩移动曲线段，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，

7.一种多模态视频ai的游览者兴趣识别装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，还包括：

9.一种多模态视频ai的游览者兴趣识别设备，其特征在于，包括存储器和处理器；

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一项的一种多模态视频ai的游览者兴趣识别方法的各个步骤。