分层混合时空同步的文物多传感器数据融合系统及方法
本发明属于数据融合，具体地说，是涉及一种分层混合时空同步的文物多传感器数据融合系统及方法。
背景技术：
1、文物数字化是文化遗产保护的关键技术环节，其核心在于通过多传感器协同采集获取文物完整、准确的多维信息。随着文物保护要求及数字化精度标准的持续提升，单一传感器已难以满足复杂场景下的数据获取需求，多模态数据采集技术应运而生。
2、在现有技术体系中，多传感器数据融合包含数据采集控制、时间同步、空间配准及多层次融合等核心环节。在数据采集控制方面，主流方案多采用基于规则的自适应控制策略，通过预设阈值触发采集参数调整，在环境相对稳定的工作条件下能够实现基本采集需求。然而，当采集环境复杂多变或被采集对象存在显著个体差异时，固定规则驱动方式难以做出最优响应。
3、时间同步是多传感器数据融合的基础前提，其精度直接影响融合结果的可靠性。当前业界普遍采用硬件触发与软件协议相结合的分层同步架构。在硬件层面，基于fpga设计的精密触发电路能够产生纳秒级精度的同步脉冲信号，通过专用触发线路向各传感器分发；在软件层面，改进的ieee 1588精确时间协议通过主从时钟架构，利用双向消息交换机制计算时钟偏移量和传输延迟，并结合温度补偿算法修正晶体振荡器随温度变化引起的频率漂移。
4、空间配准环节解决不同传感器坐标系之间的统一问题。现有技术通常采用多层次标定策略，依次完成传感器内参标定、手眼标定及世界坐标系标定，并以激光雷达坐标系为基准，通过联合标定方法求解各传感器相对于基准坐标系的变换矩阵。在数据融合层面，特征级融合因能在保留原始数据有效信息的同时兼顾融合效率而获得广泛应用，跨模态注意力机制使网络能够自主学习并调整各模态数据的融合权重。
5、然而，随着文物数字化应用场景的不断拓展及对融合精度要求的持续提升，上述技术方案在原理层面的固有特性使其逐渐显现出深层次局限性。硬件触发虽能提供极高的瞬时同步精度，但触发时序在传感器初始化后即行固定，缺乏对实时环境变化的响应能力；软件协议层的精确时间协议虽具备一定自适应能力，但对网络延迟变化敏感度较高，在复杂网络环境下难以始终维持理想的同步精度，两个层次之间缺乏有效协同机制。此外，传统标定方法得到的变换矩阵通常被视为恒定参数，而传感器使用过程中的微小位移、环境温度变化引起的机械结构形变等因素，均会导致配准精度随时间衰减。更值得关注的是，现有特征级融合方案在处理跨模态数据时，往往难以充分挖掘各传感器数据之间的时序相关性，不同模态数据在时间维度上的关联信息未能得到有效利用。
6、上述多重矛盾相互交织，使得如何在保证时间同步精度的前提下提升系统对复杂环境的适应性，如何在空间配准中引入动态校正机制以维持长期稳定性，以及如何在特征级融合中有效融合多模态数据的时空关联信息，成为当前文物多传感器数据融合领域面临的关键技术挑战。
技术实现思路
1、本发明的目的在于提供一种分层混合时空同步的文物多传感器数据融合系统及方法，主要解决现有技术中硬件触发与软件协议两个同步层次缺乏有效协同、时间同步精度难以在复杂网络环境下保持稳定的问题。
2、为实现上述目的，本发明采用的技术方案如下：
3、一种分层混合时空同步的文物多传感器数据融合系统，包括自适应采集控制模块、分层混合同步模块、动态空间配准模块以及多层次融合模块；
4、所述自适应采集控制模块与所述分层混合同步模块通信连接，用于根据环境状态信息生成采集控制指令并向各传感器分发触发信号；
5、所述分层混合同步模块包括硬件触发单元和软件协议单元，所述硬件触发单元设置有基于fpga的精密触发电路，用于产生纳秒级精度的同步脉冲信号，所述软件协议单元设置有改进的ieee 1588精确时间协议处理模块，用于通过主从时钟架构实现时钟偏差校正；
6、所述动态空间配准模块设置有变换矩阵动态更新单元，用于根据实时监测的传感器状态参数对预先标定的坐标变换矩阵进行在线校正；
7、所述多层次融合模块设置有时序关联特征提取单元，用于从各传感器采集的原始数据中提取时序关联特征并进行特征级融合。
8、进一步地，在本发明中，所述自适应采集控制模块包括环境感知单元、状态评估单元、决策单元以及执行单元；所述环境感知单元用于采集采集现场的照度参数、温度参数、湿度参数以及振动参数；所述状态评估单元用于根据预设的质量评估指标对当前采集数据进行实时评估；所述决策单元用于根据所述环境感知单元和所述状态评估单元输出的综合信息生成最优采集动作；所述执行单元用于将所述决策单元生成的动作指令转换为对应的传感器控制信号并下发执行。
9、基于上述系统，本发明还提供了一种分层混合时空同步的文物多传感器数据融合方法，包括以下步骤：
10、s1，根据环境状态信息生成采集控制指令并向各传感器分发触发信号；
11、s2，通过硬件触发单元产生纳秒级精度的同步脉冲信号；
12、s3，通过软件协议单元实现时钟偏差校正，时钟偏差校正基于主从时钟架构实现；
13、s4，根据实时监测的传感器状态参数对预先标定的坐标变换矩阵进行在线校正；
14、s5，从各传感器采集的原始数据中提取时序关联特征并进行特征级融合。
15、进一步地，所述步骤s1的具体实现方法如下：
16、s11，利用环境感知单元采集采集现场的照度参数、温度参数、湿度参数以及振动参数；
17、s12，通过状态评估单元根据预设的质量评估指标对当前采集数据进行实时评估；
18、s13，通过决策单元根据综合信息生成最优采集动作；
19、s14，通过执行单元将动作指令转换为对应的传感器控制信号并下发执行。
20、进一步地，所述决策单元设置有智能控制模块，所述智能控制模块采用部分可观察马尔可夫决策过程模型进行建模，其状态空间由传感器位姿参数、环境特征参数以及数据质量指标参数共同构成，其动作空间由运动控制参数、参数调整参数以及采集模式切换参数共同构成，其奖励函数综合考虑覆盖度指标、采集效率指标以及数据质量指标三个维度的加权组合。
21、进一步地，所述步骤s4的具体过程如下：
22、s41，对各传感器的内部参数进行标定，获取各传感器的内参矩阵和畸变系数；
23、s42，标定传感器与机械臂末端之间的相对位姿关系；
24、s43，建立统一的世界坐标系，并将各传感器的测量数据转换到该世界坐标系下；
25、s44，根据位移监测传感器阵列实时监测的各传感器微小位移量计算对应的坐标变换矩阵修正量。
26、进一步地，所述步骤s5的具体过程如下：
27、s51，对各传感器原始数据进行像素级融合，并从各模态数据中提取时序关联特征；
28、s52，采用时序卷积网络结构对各模态数据的时间序列进行编码；
29、s53，采用注意力机制对不同模态的时序特征进行对齐和关联，进行决策级融合。
30、进一步地，所述时序关联特征的提取方法如下：
31、根据各模态数据在当前时刻的特征表示计算跨模态注意力权重矩阵，计算方式采用查询-键-值注意力机制，查询向量由当前模态的特征向量经线性变换得到，键向量和值向量由其他模态的特征向量经线性变换得到，通过计算查询向量与键向量的相似度得到注意力分数，再经归一化处理后对值向量进行加权求和得到融合后的特征表示；
32、根据融合结果的重建误差或下游任务的识别准确率动态调整各模态数据的融合权重。
33、与现有技术相比，本发明具有以下有益效果：
34、（1）本发明通过分层混合同步模块实现硬件触发单元与软件协议单元的有机协同：硬件触发单元基于现场可编程门阵列的精密触发电路产生纳秒级精度的同步脉冲信号，软件协议单元通过主从时钟架构实现时钟偏差校正，并设置同步协调单元实时监测两个层次的同步状态、动态调整同步参数以保持时序一致性。由此，本发明在保留硬件触发瞬时高精度优势的同时引入软件协议的自适应校正能力，并有效化解了两个层次之间的时序冲突，从而在复杂多变的环境中持续维持高精度、高稳定的时间同步，为多传感器数据的可靠融合奠定了坚实基础。
35、（2）本发明通过动态空间配准模块设置变换矩阵动态更新单元和位移监测传感器阵列，实时监测各传感器的微小位移量，据此计算坐标变换矩阵修正量，并对预先标定的坐标变换矩阵进行在线校正。由此，本发明能够及时补偿传感器安装位置偏移及环境因素引起的配准误差，有效抑制空间配准精度的长期衰减，显著提升多传感器数据在长时间、连续采集场景下的空间一致性与配准长期稳定性，满足文物数字化长时间作业的需求。
36、（3）本发明通过多层次融合模块设置时序关联特征提取单元，采用时序卷积网络对各模态数据的时间序列进行编码，并结合跨模态注意力机制对不同模态的时序特征进行对齐与关联，同时根据融合结果的重建误差或下游任务识别准确率动态调整各模态数据的融合权重。由此，本发明能够充分挖掘并利用多模态数据之间的时序相关性与跨模态关联信息，实现特征级、决策级的深度融合，有效提高融合结果的准确性与信息完整性，提升文物多维信息重建质量。
37、（4）本发明通过自适应采集控制模块设置环境感知单元、状态评估单元、决策单元和执行单元，实时采集现场照度、温度、湿度及振动等环境参数，依据数据质量评估结果，采用基于深度强化学习算法的智能控制模块生成最优采集动作并下发控制信号。由此，本发明能够根据实时环境变化与数据质量状况动态调整采集策略，增强系统对复杂采集环境及被采集对象个体差异的适应性，有效保障采集数据的完整性、一致性与质量，提升系统整体采集效率。