基于人脸识别的多场景AI跟屏交互装置及控制方法与流程

本发明涉及人脸识别交互领域，具体为基于人脸识别的多场景ai跟屏交互装置及控制方法。

背景技术：

1、随着人工智能、人脸识别以及智能显示技术的发展，基于用户身份识别实现内容自适应展示的交互装置逐渐应用于智慧展馆、商业展示、智能会议、教育培训及公共服务等场景。现有技术通常通过摄像头采集用户人脸图像，利用人脸识别算法确定用户身份，并根据识别结果调整显示内容，实现用户与显示终端之间的智能交互。然而，现有基于人脸识别的跟屏交互装置大多针对固定空间内的单用户交互场景设计，在复杂多变的实际应用环境中仍存在不足。例如，在大型展厅或商业展示区域中，多个用户可能同时进入显示区域，且用户之间存在快速靠近、交叉移动、短暂停留等情况，现有装置通常依据单次人脸识别结果确定跟踪对象，容易因人员遮挡、视角变化或多个目标距离接近导致跟踪对象频繁切换，使显示内容无法持续跟随目标用户移动；在智慧教室或会议展示场景中，用户可能在观看过程中转身讨论、低头操作设备或短暂离开摄像范围，而现有系统仅依赖实时人脸图像进行身份判断，容易出现识别中断后重新匹配的问题，导致交互内容恢复位置错误；在商场导览、机场服务终端等开放场景中，由于环境光照变化、人员流动范围大以及用户停留时间不确定，传统跟屏方式难以判断当前用户是否仍具有交互意图，容易出现屏幕内容跟随无关人员移动或频繁触发切换的问题。

2、因此，设计提高多用户、多遮挡及动态场景交互稳定性的基于人脸识别的多场景ai跟屏交互装置及控制方法是很有必要的。

技术实现思路

1、针对现有技术的不足，本发明提供了基于人脸识别的多场景ai跟屏交互装置及控制方法，具备提高多用户、多遮挡及动态场景交互稳定性的优点，解决了上述背景技术中的问题。

2、为实现上述提高多用户、多遮挡及动态场景交互稳定性的目的，本发明提供如下技术方案：基于人脸识别的多场景ai跟屏交互控制方法，包括以下步骤：

3、采集交互区域内多个摄像节点获取的人脸图像、人体姿态、头部方向及视线位置，对不同视角下的人脸特征可见程度、人体遮挡关系及移动状态进行分析，建立用户身份关联信息，根据遮挡前后的面部特征变化、姿态连续性及空间位置变化判断身份保持状态，当身份特征缺失时调用对应用户的历史识别信息进行补偿，生成目标用户识别结果；

4、依据目标用户识别结果获取对应用户的位置变化、移动速度、朝向变化及屏幕观看状态，建立用户状态跟踪关系，根据连续采集周期内用户位置变化与显示区域之间的偏差，判断用户是否处于持续交互状态，当检测到多人进入同一区域时，结合不同用户的身份信息、观看行为及操作反馈确定候选交互对象；

5、利用候选交互对象的状态跟踪结果，分析用户视线落点、停留时间、内容响应及操作行为之间的对应关系，计算不同用户对当前显示内容的交互需求，当多个用户存在同时关注或交互请求时，根据用户状态变化趋势调整交互对象优先级，并更新屏幕跟随控制目标；

6、根据更新后的屏幕跟随控制目标，获取用户运动方向、预测位置及当前显示区域覆盖范围，确定显示内容调整方向及跟随参数，当用户移动过程中出现遮挡、转向或距离变化时，根据身份保持结果及用户状态跟踪结果修正显示位置；

7、将跟屏控制过程中的身份识别结果、对象切换记录、位置偏差及显示响应结果进行关联分析，提取身份保持异常、交互对象误判及跟随偏移对应的影响因素，更新身份关联信息、用户状态跟踪关系及屏幕控制参数，形成多场景下的人脸识别跟屏控制策略。

8、优选的，建立用户身份关联信息的过程为：

9、获取不同摄像节点在同一时间范围内采集的人脸区域图像，对各摄像节点对应的人脸清晰区域、面部关键区域完整程度以及采集角度进行检测，确定不同视角下可用于身份识别的有效面部区域；

10、根据人体姿态检测结果获取用户头部旋转角度、身体朝向变化及人员之间的遮挡关系，将同一空间位置范围内不同摄像节点获取的人脸特征信息进行对应比较，确定属于同一用户的关联特征；

11、读取用户进入交互区域后的连续采集信息，根据用户位置变化方向、人体轮廓变化及面部特征保持程度建立身份关联记录，当检测到同一用户在不同摄像节点之间发生切换时，根据位置变化连续性及姿态变化一致性保持用户身份对应关系；

12、根据不同摄像节点对应的识别结果、遮挡状态及采集质量调整身份关联记录中的识别可信程度，形成用于身份保持判断的用户身份关联信息。

13、优选的，生成目标用户识别结果的过程为：

14、读取用户身份关联信息中的面部特征状态、空间位置变化记录及人体姿态变化记录，对遮挡发生前后的用户状态进行比较，获取面部区域缺失范围、姿态变化幅度及移动方向变化情况；

15、根据用户遮挡持续时间、位置变化距离以及人体姿态连续程度判断当前用户身份是否保持，当面部特征无法满足识别条件时，调用对应用户历史采集周期内的人脸特征、移动状态及观看位置信息进行补偿判断；

16、将补偿后的身份特征与当前采集的人体位置、头部方向及视线区域进行匹配，判断当前用户是否与原目标用户保持一致；

17、根据身份保持判断结果更新用户身份关联信息，当判断结果满足身份连续条件时保持原目标用户控制状态，当判断结果不满足身份连续条件时重新筛选候选用户并生成新的目标用户识别结果。

18、优选的，建立用户状态跟踪关系的过程为：

19、获取目标用户识别结果对应的空间位置、人体姿态以及显示终端采集的观看反馈信息，按照连续采集周期记录用户位置移动距离、移动方向变化及头部朝向变化；

20、根据用户位置变化与显示区域之间的相对关系，确定用户当前观看范围及屏幕覆盖区域，当用户靠近、远离或横向移动时，分析显示区域与用户视线方向之间的偏移情况；

21、结合用户头部方向变化、视线停留区域以及屏幕内容响应情况，判断用户当前是否处于有效观看状态，并根据观看状态变化调整用户状态跟踪参数；

22、根据连续周期内的位置变化趋势、观看状态变化及姿态变化结果建立用户状态跟踪关系。

23、优选的，结合不同用户的身份信息、观看行为及操作反馈确定候选交互对象的过程为：

24、读取用户状态跟踪关系中的位置变化记录、观看状态记录及屏幕响应结果，计算用户当前位置与显示区域之间的变化情况，判断用户是否持续处于显示交互范围；

25、获取多人同时进入交互区域时对应的身份关联信息，分别检测不同用户的观看时间、视线停留位置、操作触发次数以及与显示内容之间的响应关系；

26、根据用户观看行为变化及操作反馈结果区分主动交互用户、辅助观看用户以及短暂停留用户，并按照不同用户对应的交互状态确定候选交互对象；

27、当多个用户均满足交互条件时，根据用户状态跟踪关系中的移动趋势、观看稳定程度及历史交互记录调整候选对象排序，并将确定后的候选交互对象发送至屏幕跟随控制过程。

28、优选的，计算不同用户对当前显示内容的交互需求的过程为：

29、读取候选交互对象对应的状态跟踪结果，获取各候选用户在显示区域内的视线落点变化、观看持续时间、头部朝向调整次数以及操作触发记录；

30、根据用户视线落点与当前显示内容区域之间的位置关系，判断用户关注区域变化情况，并结合用户停留时间、内容切换反馈及操作响应状态分析用户对当前显示内容的关注程度；

31、对不同候选用户对应的观看行为、操作行为及显示反馈结果进行比较，确定用户行为变化与显示内容响应之间的对应关系；

32、根据候选用户的关注区域稳定程度、内容交互次数以及响应反馈结果生成用户交互需求判断结果，当检测到用户关注区域发生变化时，更新对应用户的交互需求。

33、优选的，更新屏幕跟随控制目标的过程为：

34、获取多个候选交互对象对应的用户状态跟踪结果及交互需求判断结果，读取各用户的位置变化趋势、观看持续程度以及当前交互请求状态；

35、根据不同用户在连续采集周期内的状态变化情况，比较用户进入显示范围时间、关注区域稳定时间以及操作响应频率，确定不同用户对应的交互优先程度；

36、当原交互对象持续移动离开显示区域、观看状态降低或交互行为减少时，结合其他候选用户的交互需求变化情况重新调整交互对象优先级；

37、根据调整后的优先级结果更新屏幕跟随控制目标，并同步修改目标用户身份关联信息、状态跟踪关系及显示响应条件。

38、优选的，根据身份保持结果及用户状态跟踪结果修正显示位置的过程为：

39、读取更新后的屏幕跟随控制目标对应的身份保持结果、用户状态跟踪关系及当前位置变化信息，获取用户移动方向、移动速度及距离显示终端的变化情况；

40、根据用户连续移动过程中的位置变化趋势，预测用户下一交互位置，并结合当前显示区域覆盖范围判断用户视线区域与屏幕显示位置之间的偏差；

41、当检测到用户发生转向、遮挡或距离变化导致原显示位置无法满足观看需求时，调用身份保持结果及用户状态跟踪结果进行目标位置修正；

42、根据修正后的用户位置及观看方向调整显示内容布局、跟随方向以及响应时间参数；

43、完成跟随参数调整后，重新采集用户观看状态及显示反馈结果，对显示位置调整效果进行检测，并更新屏幕跟随控制参数。

44、优选的，形成多场景下的人脸识别跟屏控制策略的过程为：

45、获取跟屏控制过程中保存的身份识别记录、目标用户切换记录、用户位置偏差数据以及显示内容响应结果，对不同异常情况对应的控制过程进行分类；

46、根据身份识别异常发生时间、遮挡持续时间、用户移动状态变化以及对象切换结果，分析导致目标用户保持失败的影响因素；

47、结合用户状态跟踪关系中的位置变化误差、观看状态变化以及屏幕响应延迟，判断交互对象误判及跟随偏移产生的原因，并确定对应调整方向；

48、根据异常分析结果更新身份关联信息中的用户保持条件、用户状态跟踪关系中的状态判断参数以及屏幕跟随控制过程中的响应阈值；

49、在完成参数更新后，对不同应用场景下的多人交互、遮挡切换及用户移动过程进行验证，根据验证结果调整跟屏控制参数，形成多场景下的人脸识别跟屏控制策略。

50、基于人脸识别的多场景ai跟屏交互装置，包括：

51、身份保持模块：采集多摄像节点的人脸及人体状态信息，结合遮挡前后特征变化保持用户身份连续性，生成目标用户识别结果；

52、状态跟踪模块：根据目标用户的位置、姿态及观看状态变化建立用户状态跟踪关系，判断用户持续交互状态并筛选候选交互对象；

53、需求判定模块：分析候选用户的视线、停留及操作反馈信息，确定不同用户对显示内容的交互需求，并调整交互优先级；

54、屏幕控制模块：依据目标用户运动趋势及预测位置调整显示内容跟随方向和响应参数，修正用户移动过程中的屏幕位置；

55、更新策略模块：关联分析身份识别、对象切换及跟随偏差结果，更新身份关联、状态跟踪及控制参数，形成多场景跟屏控制策略。

56、与现有技术相比，本发明提供基于人脸识别的多场景ai跟屏交互装置及控制方法，具备以下有益效果：

57、本发明通过融合多摄像节点人脸采集、人体姿态分析、视线检测以及用户状态跟踪技术，建立了面向复杂交互环境的连续身份保持机制，能够在用户侧脸、局部遮挡、人员交叉移动以及摄像视角变化等情况下保持目标用户识别连续性，避免传统人脸识别方法因短时特征缺失导致跟屏对象错误切换的问题；通过结合用户位置变化、观看行为、视线停留区域及操作反馈信息，对多人同时进入交互区域时的真实交互需求进行判断，实现主动交互用户与辅助观看用户的区分，提高多用户环境下屏幕响应对象选择的准确性；通过预测用户移动趋势并结合显示区域覆盖范围动态调整显示内容位置、跟随方向及响应参数，使屏幕能够适应用户靠近、远离、横向移动、转向以及遮挡切换等动态场景，提高跟屏交互过程的连续性和稳定性；通过对身份识别异常、对象切换记录、位置偏差及显示响应结果进行关联分析，能够根据历史控制效果自动优化身份保持条件、状态跟踪参数以及屏幕控制阈值，降低因环境变化、用户行为变化及设备响应差异造成的控制误差，从而提升基于人脸识别的ai跟屏交互系统在展厅展示、智能终端、公共交互屏、商业显示设备及多用户协同场景中的适应能力和交互可靠性。