基于神经辐射场与认知图谱的数字孪生交互系统的制作方法

本发明涉及数字孪生与人机交互，尤其涉及基于神经辐射场与认知图谱的数字孪生交互系统。

背景技术：

1、数字孪生技术通过为物理实体创建虚拟映射，实现对物理世界的实时监测、仿真分析与优化决策，广泛应用于智能制造、智慧医疗、智慧城市等场景。现有数字孪生系统在三维场景表征方面主要依赖预构建的cad模型或三维扫描数据（如三角网格、点云）等显式表征方式，在语义认知方面主要依赖传统知识图谱技术进行静态事实的存储与检索，在人机交互方面主要采用鼠标键盘或简单语音指令等命令式输入方式，在计算资源方面主要采用云端集中式处理或边缘端独立处理方案。

2、然而，上述现有技术同时也存在相应的缺陷：

3、显式三维表征存储开销大且难以动态更新，预渲染光照贴图无法响应动态光照变化，用户视角受限；

4、传统知识图谱难以对时序演化知识进行显式建模，且难以与多模态感知数据融合，命令式交互缺乏对用户全身姿态的实时感知和潜在意图的预测能力；

5、云端集中式处理网络延迟高，边缘端独立处理算力不足，现有协同方案的静态任务卸载策略无法适应动态变化的网络带宽和计算负载，导致数字孪生系统难以同时满足高保真场景表征、深度语义理解、自然人机交互和实时计算响应的综合需求。

6、由此，提出基于神经辐射场与认知图谱的数字孪生交互系统，以应对上述提到的问题。

技术实现思路

1、本发明的目的在于：为了解决上述问题，而提出的基于神经辐射场与认知图谱的数字孪生交互系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于神经辐射场与认知图谱的数字孪生交互系统，包括：

4、数据采集与关键帧筛选模块，用于通过分布式摄像头阵列采集多视角rgb视频流和深度数据，基于信息增益对原始场景数据序列进行关键帧筛选，获取关键帧图像集合；

5、神经辐射场重建模块，用于基于多分辨率哈希网格编码和多尺度特征融合网络训练神经辐射场模型，获取目标场景的隐式三维场表征，并基于隐式三维场表征进行可微分体积渲染生成渲染图像；

6、认知知识图谱构建与推理模块，用于基于隐式三维场表征和领域文档数据构建时序知识图谱，利用关系图注意力网络进行语义推理，生成场景语义理解结果；

7、姿态估计与意图预测模块，用于融合惯性测量数据和视觉观测数据进行全身姿态估计，基于动作历史序列和任务上下文进行意图预测，生成用户交互意图信息；

8、物理仿真与交互响应模块，用于基于用户交互意图信息利用位置动力学求解器进行物理仿真，更新场景状态并生成交互响应结果；

9、多智能体协同决策模块，用于为虚拟环境中各数字实体建立数字孪生体智能体，通过多智能体强化学习算法进行联合策略优化，生成并执行协同行为策略；

10、协同计算调度模块，用于将计算任务表示为计算图并进行动态分割，利用深度q网络根据实时监测指标动态调整边缘端与云端之间的计算任务分配，并对传输至用户交互终端的视频流进行自适应码率控制。

11、优选地，所述基于信息增益进行关键帧筛选包括：初始化关键帧集合并将视频流首帧加入其中；对后续每帧图像利用预训练图像特征提取器提取特征表示，基于帧特征向量与已选关键帧集合中各帧特征向量之间的欧氏距离计算信息增益；将信息增益与预设信息增益阈值进行比较，仅当信息增益超过阈值时将当前帧加入关键帧集合；当关键帧集合中的帧数量达到预设数量时停止筛选。

12、优选地，所述对关键帧图像集合中的各帧图像进行辐射度校准和畸变校正；辐射度校准通过预先拍摄标准色卡标定各相机的辐射响应系数，将各相机采集的图像映射到统一的辐射空间；畸变校正采用径向畸变和切向畸变联合校正，消除因镜头光学特性产生的几何形变。

13、优选地，所述获取隐式三维场表征还包括：引入形变场网络，形变场网络以空间位置和时间参数作为输入，输出空间位移偏移量，将观测空间坐标映射至标准空间坐标，在标准空间中进行密度和颜色的查询与渲染，使隐式三维场表征能够表达包含非刚性运动物体的动态场景；当检测到某区域的形变梯度超过预设的形变阈值时，将区域自动分裂为独立的神经子场，各神经子场分别进行密度和颜色的查询与渲染，以支持拓扑结构发生变化的动态场景的表征。

14、优选地，所述构建时序知识图谱还包括：检测新采集数据中产生的新事实与当前时序知识图谱之间的差异，仅对受影响的子图区域重新计算节点嵌入表示，并通过图卷积网络的消息传递将更新传播至与受影响子图相关联的实体节点，实现时序知识图谱的增量差分更新；基于时序图神经网络以各节点的历史状态序列作为输入，通过自回归方式生成未来时间步的节点状态预测，输出设备状态变化趋势和异常事件发生概率。

15、优选地，所述生成用户交互意图信息还包括：对估计得到的全身姿态数据施加物理信息约束损失项，物理信息约束损失项为关节角度偏离允许范围的惩罚项与关节力矩偏离雅可比矩阵和外力乘积的惩罚项的加权和，以软惩罚方式抑制不符合人体运动学规律的姿态估计结果；采集用户手部rgb图像，利用手部关键点检测网络输出手部关键点坐标，结合逆运动学求解消除手指自遮挡导致的深度歧义，将手指级精细姿态数据补充至全身姿态数据中。

16、优选地，所述进行物理仿真还包括：

17、引入可学习的材料本构模型，以应变、应变率、温度和材料参数作为输入，通过前馈神经网络输出应力，替代传统线性本构模型计算材料响应；基于隐式三维场表征的密度场进行连续碰撞检测，根据接触深度和材料刚度计算反馈力，通过力反馈设备将反馈力施加于用户手部，同时通过高频振动模拟接触表面的纹理感受。

18、优选地，所述建立数字孪生体智能体还包括：通过模仿学习从专家演示数据中提取策略先验获取初始行为策略；在虚拟仿真环境中利用近端策略优化算法对初始行为策略进行强化学习微调，近端策略优化算法通过对新旧策略概率比率进行裁剪约束策略更新幅度，以优势函数估计值加权的裁剪概率比率的期望值为优化目标，优化后通过域随机化和残差学习缩小仿真与真实世界之间的差距。

19、优选地，所述生成计算调度策略和传输控制参数还包括：基于长短期记忆网络对用户历史位置、速度和加速度序列进行编码，预测用户未来视角位置轨迹，根据预测结果提前在边缘计算节点缓存中预渲染和预加载对应视角的场景数据，缓存采用边缘节点、区域节点和中心云三级内容分发结构；计算新旧神经辐射场模型参数的差异，对差异参数进行稀疏化处理后仅传输非零差异项至各边缘计算节点，各边缘计算节点在本地模型参数上应用补丁更新。

20、综上所述，由于采用了上述技术方案，本发明的有益效果是：

21、1、本发明通过采用多分辨率哈希网格编码使空间查询计算复杂度降低至常数量级，将神经辐射场训练时间从小时级压缩至分钟级，并支持用户从任意视角进行连续渲染，克服了传统显式表征视角受限的问题；构建包含概念层、实例层、规则层和时序层的四层时序知识图谱，结合关系图注意力网络和神经符号融合推理框架，使系统能够对场景实体关系进行多跳因果推理。

22、2、本发明通过采用惯性测量单元与视觉传感器融合的扩展卡尔曼滤波方案进行全身姿态估计，并基于transformer编码器结合任务上下文进行交互意图预测，提升了姿态估计精度和交互响应的主动性；采用基于深度q网络的动态计算图分割策略，根据实时网络带宽和计算负载动态调整边缘端与云端的任务分配，结合注视点渲染和可扩展视频编码，降低了系统端到端计算延迟并在有限带宽下保障了视频流的基本流畅性。