异步多模态数据时间戳对齐与数据帧构建及验证方法与流程

本发明涉及异步多模态数据融合，尤其涉及异步多模态数据时间戳对齐与数据帧构建及验证方法。

背景技术：

1、随着在线监测与智能分析技术的发展，多参数、多模态协同检测已成为环境监测、工业过程控制等领域的重要技术方向。以水质监测为例，水质评价通常依赖ph、电导率、浊度以及光谱等多指标联合判断，不同检测机理的传感器分别从电化学、光学散射、光谱吸收等维度对水体状态进行表征，形成异步多模态数据流。

2、中国发明专利，公布号为cn117294376a，公布日为2023-12-26，公布了一种多模态数据时间戳同步方法、装置、电子设备及存储介质，属于通信技术领域。所述方法包括：接收多模态数据中的各模态数据经标准化协议封装后的标准化传输包，所述标准化传输包携带有时间戳；根据所述标准化传输包携带的时间戳，确定所述各模态数据的绝对时间戳；根据所述各模态数据的绝对时间戳，对所述多模态数据进行时间戳同步。该申请能够提高多模态数据时间戳同步的兼容性和通用性，提高同步效率。

3、该发明的不足之处在于，其缺乏参考时间序列，易导致多模态数据间无法建立一一对应的样本索引关系，难以形成多模态数据帧。

技术实现思路

1、发明目的：本发明的目的在于提供异步多模态数据时间戳对齐与数据帧构建及验证方法，其便于形成多模态数据帧。

2、技术方案：

3、异步多模态数据时间戳对齐与数据帧构建及验证方法，包括：

4、获取互相异步的多个数据流；

5、构建参考时间序列；

6、针对所述参考时间序列中的每个参考时间点，在多个所述数据流中分别执行最近邻时间戳匹配，寻找与所述参考时间点时间距离最近的数据点，得到多个所述数据流对应的匹配索引及时间偏差；

7、计算每个所述参考时间点对应的时间偏差的最大值，得到最大时间偏差，若所述最大时间偏差小于等于预设时间容差窗口，判定所述参考时间点对应的多模态数据帧对齐成功；

8、将多个所述数据流中与所述参考时间点对应的数据点组合为多模态数据帧；

9、构建时间戳对齐评价指标，定量验证时间戳对齐效果。

10、具体的，本发明的异步多模态数据时间戳对齐与数据帧构建及验证方法，其通过构建参考时间序列，便于多个数据流之间建立一一对应的样本索引关系，从而便于形成多模态数据帧。

11、可选的，所述构建参考时间序列，包括：

12、以固定采样间隔构建参考时间轴；

13、或者，以某个所述数据流的时间戳作为参考时间流。

14、可选的，多个所述数据流包括ph数据流、电导率数据流、浊度数据流以及光谱数据流，当以某个所述数据流的时间戳作为参考时间流时，选取所述电导率数据流的时间戳作为参考时间流。

15、可选的，所述预设时间容差窗口为所述电导率数据流的平均采样周期的一半。

16、可选的，所述最近邻时间戳匹配通过下式计算匹配索引：

17、,

18、其中，为第m类数据流对应第k个参考时间点的匹配索引；表示在j的取值范围内遍历搜索，取最小值对应的索引；为第m类数据流第j个数据点的时间戳；为第k个参考时间点。

19、可选的，多个所述数据流对应的时间偏差通过下式计算：

20、，

21、其中，为第m类数据流在第k个参考时间点处的时间偏差；为第m类数据流中，与第k个参考时间点最匹配的数据点的时间戳。

22、可选的，所述多模态数据帧可表示为：

23、，

24、，

25、其中，为第k个多模态数据帧；为第k帧对齐后的ph值；为第k帧对齐后的电导率值；为第k帧对齐后的浊度值；为第k帧对齐后，第i个波长处的吸光度值；表示光谱的各波长点，n为波长总数；表示在ph数据流中，与第k个参考时间点最匹配的测量值；表示电导率数据流的第k个数据点的测量值；表示在浊度数据流中，与第k个参考时间点最匹配的测量值；表示在光谱数据流中，与第k个参考时间点最匹配的吸光度向量。

26、可选的，最终得到的多模态数据集可表示为：

27、，

28、其中，表示整个对齐后的多模态数据集；为成功对齐的多模态数据帧的总数量。

29、可选的，所述时间戳对齐评价指标包括多个所述数据流的平均采样周期、平均最大时间偏差、全局的最大时间偏差、时间偏差标准差以及对齐成功率。

30、可选的，所述对齐成功率通过下式计算：

31、，

32、其中，表示对齐成功率；表示参考时间点的总数。

33、有益效果：

34、（1）本发明的异步多模态数据时间戳对齐与数据帧构建及验证方法，其通过构建参考时间序列，便于多个数据流之间建立一一对应的样本索引关系，从而便于形成多模态数据帧。

35、（2）本发明的异步多模态数据时间戳对齐与数据帧构建及验证方法，其多模态数据帧将低维标量参数和高维向量参数组合在同一样本中，使后续算法可以直接进行特征级融合、决策级融合或光谱补偿建模。相比仅分别导出多个csv文件，本发明的异步多模态数据时间戳对齐与数据帧构建及验证方法便于明确不同数据流之间的样本对应关系，使互相异步的多个数据流从“独立传感器结果”转化为“可直接用于融合的数据结构”。

36、（3）本发明的异步多模态数据时间戳对齐与数据帧构建及验证方法，其通过构建多个数据流的平均采样周期、平均最大时间偏差、全局的最大时间偏差、时间偏差标准差以及对齐成功率等的时间戳对齐评价指标，便于定量验证时间戳对齐效果。

1.异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，包括：

2.根据权利要求1所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述构建参考时间序列，包括：

3.根据权利要求2所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，多个所述数据流包括ph数据流、电导率数据流、浊度数据流以及光谱数据流，当以某个所述数据流的时间戳作为参考时间流时，选取所述电导率数据流的时间戳作为参考时间流。

4.根据权利要求3所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述预设时间容差窗口为所述电导率数据流的平均采样周期的一半。

5.根据权利要求1所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述最近邻时间戳匹配通过下式计算匹配索引：

6.根据权利要求5所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，多个所述数据流对应的时间偏差通过下式计算：

7.根据权利要求1所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述多模态数据帧可表示为：

8.根据权利要求7所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，最终得到的多模态数据集可表示为：

9.根据权利要求1所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述时间戳对齐评价指标包括多个所述数据流的平均采样周期、平均最大时间偏差、全局的最大时间偏差、时间偏差标准差以及对齐成功率。

10.根据权利要求9所述的异步多模态数据时间戳对齐与数据帧构建及验证方法，其特征在于，所述对齐成功率通过下式计算：