一种基于认知负荷的工业HMI防抖重构与数据流调度方法

本发明属于工业人机交互，具体涉及一种基于认知负荷的工业hmi防抖重构与数据流调度方法。

背景技术：

1、在大型电网调度中心、复杂数控机床、无人系统监控平台等安全关键工业场景中，操作者通常需要同时监视大量传感器读数、趋势曲线、报警信息、任务状态和控制入口。工业人机界面（human-machine interface，hmi）是操作者获取系统状态、识别异常工况并发出控制指令的主要交互入口。随着工业系统自动化程度和传感器数量的提升，hmi 所承载的信息密度持续增加。当紧急工况发生时，报警信息、遥测数据和控制提示会在短时间内集中涌入界面，容易造成操作者认知负荷升高，进而引发关键告警漏读、操作响应延迟或误操作。

2、认知负荷是指操作者在完成感知、判断、决策和操作任务时所消耗的心理资源。脑电（eeg）和眼动数据被用于估计操作者的工作记忆负荷、注意分配状态和视觉搜索压力。基于该类生理或行为数据构建连续型认知负荷相关指数，可以为 hmi 的动态调节提供工程状态依据。与此同时，在工业 hmi 系统中，界面上显示的对象通常对应持续刷新的遥测数据流、告警数据流和辅助状态数据流；图形界面中的曲线、图标、纹理、顶点缓冲和着色器等也会占用 cpu、网络、队列、显存和 gpu 渲染资源。因此，工业 hmi 的应急简化不应只理解为少显示几个控件，还涉及数据流调度和图形资源生命周期管理。

3、现有技术已经提出了多种与认知负荷、hmi 调整和界面信息调度相关的方案。现有技术中针对用户认知负荷变化的 hmi 调整方案，通常通过采集用户状态、设备运行状态、环境感知信息及交互行为等数据，对用户当前的认知负荷或任务负荷进行评估，根据评估结果对界面信息的显示优先级、提示方式或交互请求执行不同的处理，并对视觉、听觉或触觉等方面的输出策略进行动态调整，以减少高认知负荷状态下非必要的信息干扰。

4、然而现有方案多侧重于界面信息显示和交互策略的调整，对于工业 hmi 中界面元素、数据流与图形资源之间的关联管理，以及认知负荷变化下数据流调度与图形渲染的协同控制考虑不足。缺少能够将界面元素、数据流标识和图形资源对象进行关联管理的统一映射机制，以及统一的状态触发和一致性更新机制。同时，在高认知负荷状态下，如何削减非关键工业数据的传输和处理开销，并避免辅助界面图形资源的频繁销毁和重建，仍有进一步改进空间。

5、针对数据流调度和图形渲染资源管理，现有技术中也存在大量面向网络流量控制、监控系统信息显示、图形处理管线和图形资源复用的方案。但是，这些方案通常分别解决网络通信、控制室显示、图形处理或缓存管理问题，未将操作者认知负荷状态作为统一触发源，也未将关键/非关键数据流削减与 hmi 图形资源保留式重构结合起来。在现有 hmi简化方案中，即使非关键控件被隐藏，其背后的非关键遥测数据仍可能持续进入用户态接收进程、ui 线程或渲染线程，造成队列积压、cpu 占用和渲染刷新负担。另一方面，若采用销毁控件、释放纹理、重建顶点缓冲等方式进行界面切换，则在恢复正常状态时容易产生gpu 资源重建和显存重新分配开销，导致恢复阶段帧时间尖峰和界面卡顿。

6、此外，现有自适应 hmi 或信息调度方案通常未显式建立“界面元素优先级—数据流标识—图形资源对象”之间的关联映射，因此即便界面层已经弱化或隐藏某些辅助元素，其对应的非关键数据流仍可能继续全量进入接收队列或渲染线程；相反，单独的数据限速或丢弃策略也难以保证与界面重构和图形资源生命周期控制同步。这种缺少映射协同的设计容易被拆解为独立的显示控制、网络限流或图形缓存管理措施，难以形成面向安全关键工业 hmi 的统一闭环控制。

7、进一步地，在缺少三元映射关系的方案中，界面显示控制、数据流削减和图形资源管理即使分别存在，也可能因状态源、策略版本或更新时序不同而产生错配。例如，辅助界面元素已经弱化但其非关键数据流仍全量进入用户态队列，或者非关键数据流已经削减但对应辅助界面仍以完整状态显示。

8、综上，现有技术已经分别公开了认知负荷评估、驾驶舱或车辆 hmi 调整、人机功能分配、界面信息调度、眼动或多生理指标负荷判定、网络数据处理以及图形渲染资源管理等技术内容。但是，尚未见到一种面向安全关键工业 hmi 的统一闭环方案，能够将多模态认知负荷相关指数、双阈值迟滞防抖状态机、关键数据流保留、非关键数据流削减以及gpu/显存保留式界面重构协同结合起来，从而在操作者高认知负荷状态下同时降低视觉信息负担和系统处理负担，并在恢复正常状态时减少界面资源重建导致的卡顿。

技术实现思路

1、鉴于上述，本发明旨在解决现有技术中工业 hmi 在高认知负荷场景下存在的界面频繁切换、非关键数据持续占用处理资源、普通隐藏或销毁控件方式造成恢复延迟以及图形资源重建开销较大的问题，提出一种基于认知负荷的工业hmi防抖重构与数据流调度方法，通过 eeg特征与眼动特征构建连续型认知负荷相关指数 ccci，通过迟滞状态机抑制临界波动引起的界面抖动，在紧急状态下保留关键界面元素和关键数据流，削减非关键数据流，并通过gpu/显存保留式界面重构减少辅助界面恢复时的资源重建开销。

2、为实现上述发明目的，实施例提供的一种基于认知负荷的工业hmi防抖重构与数据流调度方法，包括以下步骤：

3、对eeg数据和眼动数据提取特征后构建连续型认知负荷相关指数；

4、基于认知负荷相关指数，通过双阈值迟滞状态机调整工业控制状态，并在工业控制状态调整为紧急状态时，基于界面元素、数据流标识和图形资源对象之间的三元映射关系，通过同一界面元素绑定的控制策略同步实现数据流调度和工业hmi重构，具体包括：保留关键数据流，削减非关键数据流，保持关键数据流对应的核心界面层，弱化或折叠非关键数据流对应的辅助界面层。

5、优选地，对eeg数据和眼动数据提取特征后构建连续型认知负荷相关指数，包括：

6、提取特征包括：基于eeg数据提取 频段能量比，基于眼动数据提取瞳孔正向扩张微分、注视停留比例、扫视路径熵惩罚；

7、利用认知负荷模型基于提取特征构建连续型认知负荷相关指数。

8、优选地，基于认知负荷相关指数，通过双阈值迟滞状态机调整工业控制状态，包括：

9、双阈值迟滞状态机基于认知负荷相关指数实现的状态转移规则为：

10、

11、其中，为进入紧急状态的上阈值，为恢复正常状态的下阈值，为当前时刻的认知负荷相关指数，表示时刻状态，为时刻状态；

12、依据上述状态转移规则调整工业控制状态。

13、优选地，所述界面元素、数据流标识和图形资源对象之间的三元映射关系形成映射记录，每条记录中，每类界面元素至少具有界面优先级、关联数据流标识、图形资源对象标识和紧急状态的控制策略，所述控制策略同时包含数据流调度策略和图形资源渲染控制参数。

14、优选地，所述关键数据流包括安全告警、核心工况参数、紧急操作入口、设备保护信号；

15、所述非关键数据流包括历史趋势刷新、辅助图表、低优先级日志、非紧急传感器数据、装饰性三维组件数据。

16、优选地，通过降采样、限速、丢弃或延迟处理实现非关键数据流的削减。

17、优选地，所述控制策略部署于用户态队列、边缘网关、网络接口层、tc ingress（traffic control ingress，流量控制入站挂载点）层、xdp（express data path，快速数据路径）层或ebpf（extended berkeley packet filter，扩展伯克利数据包过滤器）映射表控制层。

18、优选地，采用gpu或显存保留式重构界面，初始化阶段为核心界面层和辅助界面层创建gpu顶点缓冲对象、纹理对象、顶点数组对象和着色器程序，当进入紧急状态时，辅助界面层元素不释放gpu顶点缓冲对象、纹理对象、顶点数组对象或着色器程序，只改变着色器程序的uniform变量，使辅助界面层透明化、弱化或折叠。

19、优选地，所述方法还包括：对于未被识别、未完成优先级标注或分类结果存在冲突的数据流默认按关键数据流处理。

20、优选地，所述方法还包括：

21、若 eeg 数据或眼动数据缺失、ccci 输出异常、双阈值迟滞状态机不可用或控制策略更新失败，进入预设安全兜底策略，至少保持关键数据流全量放行，并暂停非关键数据流削减或按照非关键流削减率采用最低限度削减。

22、与现有技术相比，本发明具有的有益效果至少包括：

23、本发明将认知负荷相关连续状态、双阈值迟滞防抖、关键/非关键数据流调度以及gpu/显存保留式界面重构结合为统一闭环，使工业 hmi 在操作者高认知负荷场景下不仅能够减少非关键界面干扰，还能够同步降低非关键数据和图形资源重建对系统处理链路的影响。