融合投屏显示与空中手势控制的玻璃介质智能交互系统的制作方法

本发明涉及人机交互，具体是融合投屏显示与空中手势控制的玻璃介质智能交互系统。

背景技术：

1、随着无接触智能交互技术的发展，融合投屏显示与空中手势控制的玻璃介质交互系统，已在政务服务、公共展厅、涉密办公等场景广泛应用。但现有该类系统仍存在核心缺陷，无法同时满足高精度安全防护与流畅交互体验的需求。

2、一是防护分层参数固定，无法根据现场人群行为动态调整，场景适配性差；

3、二是界面防护全局统一，无法针对不同敏感等级控件差异化管控，防护精度与操作便利性存在固有矛盾；

4、三是手势确权与协同判别机制单一，复杂场景误判漏判率高，且未与防护分层形成联动优化闭环。

技术实现思路

1、（一）解决的技术问题

2、为了解决上述技术问题，本发明的目的在于提供融合投屏显示与空中手势控制的玻璃介质智能交互系统，克服现有玻璃介质投屏手势交互系统分层固化、防护粒度粗糙、手势管控精度不足且缺乏联动闭环的缺陷，实现人群自适应动态分层、控件级精准防护、语义级手势确权并形成双向优化闭环，兼顾防护安全与人机交互体验。

3、（二）技术方案

4、为了实现上述目的，本发明提供如下技术方案：一种融合投屏显示与空中手势控制的玻璃介质智能交互系统，所述系统包括：

5、投屏分层构建模块，将交互界面投射至玻璃介质表面，以玻璃投屏面为基准构建三维空中交互防护分层空间；

6、人群分层调控模块，采集多模态人群行为数据并解析交互意图，自适应调整三维空中交互防护分层空间的防护分层的层级数量与空间边界距离；

7、界面层厚校正模块，响应界面切换指令，结合界面控件敏感等级与现场人群风险特征，对防护分层执行区域差异化非均匀层厚校正；

8、手势确权反馈模块，构建全局交互意图势能场，完成空中手势操作确权与双手协同行为分级判别，并利用判别结果反向校正防护分层参数。

9、优选的，所述采集多模态人群行为数据并解析交互意图的过程具体为：基于视觉骨架提取算法检测多人人体关节点坐标，计算关节点时域运动速度与加速度特征，过滤肢体瞬时抖动噪声；融合人体姿态朝向、人体包围盒尺寸、人脸关注区域的表观特征，以及环境群体音频活跃度特征，构建单人多模态融合特征向量；将单人多模态融合特征向量输入行为语义分类模型，输出单人员多类行为语义置信度分布；基于空间密度聚类划分人群子簇，经簇级加权融合生成全局人群行为占比向量与群体性异常行为置信度。

10、优选的，所述自适应调整防护分层参数的过程具体为：构建场景自适应权重映射矩阵，对交互类行为配置正分层权重，对通行类行为配置负分层权重，并依据场景类型放大对应核心行为权重；将全局人群行为占比向量与权重矩阵运算，经归一化后生成人群交互分层意图系数；当群体性异常行为置信度超过阈值时，强制切换为疏散优先分层逻辑；融合基准边界参数、人群交互强度与人员密度计算分层边界距离，结合场地分层上限自适应调整层级数量，并经时序滤波输出稳定的动态分层参数。

11、优选的，所述区域差异化非均匀层厚校正的过程具体为：遍历解析交互界面全部可操作控件，按保密管理规则划分为多级敏感等级，采集控件二维坐标生成初始界面敏感拓扑；结合现场人群聚集密度、高危异常标签上浮对应区域控件的综合防护等级，生成双维度敏感拓扑数据集；将控件沿屏幕法向延伸生成三维柱状交互子域，依据子域边界分割防护分层，建立二维控件与三维分层空间的双向映射关系；以控件综合敏感等级为核心权重，结合基准层厚逐区域计算收缩后的防护层厚度，同步纳入人群交互强度、人员密度与安全指令进行多因子联动校正。

12、优选的，所述层厚校正后还包括边界平滑处理：采用敏感等级加权非对称平滑滤波，高敏感区域执行小幅平滑以保留边界隔离强度，普通交互区域执行深度平滑以消除空间割裂感；对连续帧层厚曲面执行时序融合降噪，最终生成全域连续渐变的非均匀厚度防护分层曲面。

13、优选的，所述全局交互意图势能场构建与手势确权的过程具体为：综合手部法向距离、手势指向垂直度、形态匹配度计算单手部基础意图势能，叠加分层权限、控件敏感等级与人群风险系数，构建全域连续分布的交互意图势能场；识别势能场主峰值点位，判定对应手部为首位合法操作人员并授予核心操作权限，其余次峰位点标记为待校验干扰目标。

14、优选的，所述双手协同行为分级判别的过程具体为：提取主操作手与待判别手部的操作目标、动作类型、执行时序、多控件联动逻辑构成操作语义特征，将语义特征与绑定控件敏感等级的协同行为范式库做相似度匹配；针对不同敏感等级控件自适应调整语义匹配判定阈值；结合全局交互势能场空间分布校验多手部空间位置关联性，并依托人体骨架拓扑结构校验双臂同源性；综合操作语义匹配程度与手部空间关联程度完成协同行为分级判定，依据判定结果分别授予协同操作权限、拦截干扰手势或赋予低等级只读访问权限。

15、优选的，所述判别结果反向校正防护分层参数的过程具体为：对合法协同操作区域适度放宽防护层厚度；对恶意干扰区域局部收紧分层边界；现场出现群体性高危风险时统一启用全域最高防护等级分层策略。

16、本发明还提供一种融合投屏显示与空中手势控制的玻璃介质智能交互方法，所述方法用于执行所述的融合投屏显示与空中手势控制的玻璃介质智能交互系统。

17、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现所述的融合投屏显示与空中手势控制的玻璃介质智能交互系统。

18、（三）有益效果

19、与现有技术相比，本发明的有益效果是：

20、通过多模态人群行为语义解析驱动分层参数实时调整，在人群交互需求旺盛时自动拓宽分层边界、提升操作自由度，在通行动线为主的场景下自动收紧分层空间、强化隔离防护，群体性异常场景下可一键切换疏散优先逻辑。彻底克服了现有技术分层参数固化、无法适配现场人流动态变化的缺陷，使防护空间始终匹配现场真实交互需求，在保障空间防护安全性的前提下，最大化提升了用户操作流畅度。

21、依托界面敏感拓扑与三维分层空间的双向映射机制，结合控件固有保密等级与现场人群风险双维度特征，对不同交互区域执行差异化层厚校正：高敏感控件区域深度收缩强化隔离，通用操作区域保留基准层厚保障协同。打破了传统界面防护“全局一刀切收缩”的局限，解决了“高敏感区防护强度不足、通用区操作体验受阻”的固有矛盾，在同等安全等级下显著提升了交互操作便利性，实现了防护精度与操作手感的双向优化。

22、通过全局交互意图势能场完成全域最优的首位操作确权，避免了传统单只手部孤立打分易陷入局部最优的缺陷；引入“操作语义匹配+空间场强关联”的三级双手判别机制，突破了现有技术仅校验物理同源性的局限，可精准区分合法双手协同、无关干扰与跨主体可疑操作，同时适配不同控件敏感等级动态调整判别阈值。在多用户并行操作、多人围观干扰的复杂场景下，既显著降低了合法协同操作的误拦截概率，也有效提升了恶意跨主体干扰的识别准确率。