面向智慧养老的跨模态时序数据对齐与行为融合的系统、方法及存储介质与流程

本发明涉及多模态数据处理与时序分析的，特指一种面向智慧养老的跨模态时序数据对齐与行为融合的系统、方法及存储介质。

背景技术：

1、随着物联网、人工智能技术的快速发展，现代智能化系统需要处理来自多种数据源的海量数据，这些数据通常具有以下特点：1、数据来源多样化，包括传感器数据、视频数据、门禁系统、业务数据库等多种类型，数据格式与存储方式各不相同；2、时间粒度不一致，不同设备的时间精度不同，时间戳格式也不同，导致时间对齐困难；3、时钟偏差问题，各设备时钟存储漂移和偏差，同一时刻的记录在不同数据源中时间戳可能相差数秒甚至数分钟；4、语义割裂问题，来自不同数据源的记录在语义上相互管理，但在物理存储上相互独立。

2、针对智慧养老场景，门禁设备与视频监控设备长期运行，通常是24小时不间断运行，设备时钟漂移具有隐蔽性、累积性以及差异性，现有的时间同步方法比如ntp（networktime protocol，网络时间协议），只能消除当前时刻的偏差，无法预测和补偿设备的长期漂移趋势。在智慧养老场景中，老人的行为具有时间连续性、空间约束性（指活动范围有限，同一空间内的行为记录高度相关）以及多源语义割裂性（同一行为分散记录在门禁系统、视频系统以及护理系统中），现有的一种做法是按时间排序进行拼接，但由于数据具有时间偏差以及数据源的差异，使得融合结果不准确，现有的另一种做法是基于固定规则进行匹配，该固定规则缺乏适应性，难以处理复杂的语义关联。因此有必要进行改进。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供一种面向智慧养老的跨模态时序数据对齐与行为融合的系统、方法及存储介质，解决现有的时间同步方法只能消除当前时刻的偏差，无法预测和补偿设备的长期漂移趋势的问题，还解决实际排序处理使得融合结果不准确以及固定规则匹配缺乏适应性、难以处理复杂的语义关联的问题。

2、为实现上述目的，本发明提供的一种技术方案是：

3、本发明提供了一种面向智慧养老的跨模态时序数据对齐与行为融合的方法，包括如下步骤：

4、获取设定时间范围内的合法使用的多源异构数据，所获取的多源异构数据包括门禁系统的通行记录数据、视频监控系统的视频监控数据、护理管理系统的用药记录数据、护理管理系统的护理记录数据以及护理管理系统的访客记录数据；

5、对获取的多源异构数据的时间戳进行时间校准，以得到时间对齐的多源异构数据；

6、对时间对齐的多源异构数据基于时间维度、空间维度以及实体维度进行聚类融合处理，以得到各对应实体的行为相关数据集合；

7、针对每一实体的行为相关数据集合，按照时间顺序构建行为时间线；

8、将所述行为时间线转换为结构化报告并保存。

9、本发明面向智慧养老的跨模态时序数据对齐与行为融合的方法的进一步改进在于，对获取的多源异构数据的时间戳进行时间校准包括如下步骤：

10、对门禁系统、视频监控系统以及护理管理系统的设备时钟偏差进行检测，以得到设备时钟漂移率；

11、获取门禁系统、视频监控系统以及护理管理系统的历史校准数据；

12、利用时间校准函数计算时间偏差修正量，所述时间校准函数为：

13、δt=w_source×k_source+w_drift×drift+w_history×δt_history，其中，δt表示时间偏差修正量，单位为s，w_source表示数据源权重系数，k_source表示数据源基础偏差系数，单位为s，w_drift表示漂移率权重，drift表示设备时钟漂移率，单位为s/h，w_history为历史权重，δt_history表示历史校准偏差的指数加权平均值，单位为s；

14、利用时间偏差修正量对多源异构数据的时间戳进行校准；

15、对校准后的时间戳根据动态时间窗口划分规则确定对应的时间窗口，将多源异构数据根据时间窗口进行对齐操作，进而得到时间对齐的多源异构数据。

16、本发明面向智慧养老的跨模态时序数据对齐与行为融合的方法的进一步改进在于，对时间对齐的多源异构数据基于时间维度、空间维度以及实体维度进行聚类融合处理包括如下步骤：

17、在取得个人同意的情况下，对时间对齐的多源异构数据中的视频数据进行人脸特征提取，进而通过人脸特征提取的结果将视频数据与实体对应关联；

18、利用聚类函数对多源异构数据进行聚类融合处理进而得到聚类结果，所述聚类函数为：c=w1·(δt/t_ref)+w2·(δs/s_ref)+w3·(1-δe)，其中，c表示聚类距离，c为无量纲数值；w1、w2、w3分别表示时间维度权重、空间维度权重以及实体维度权重，且w1+w2+w3=1；δt表示时间维度下的时间距离，单位为s，t_ref表示预设的时间参考尺度，单位为s；δs表示空间维度下的空间距离，单位为m，s_ref表示预设的空间参考尺度，单位为m；δe表示实体维度下的实体相似度，取值范围为[0,1]，(1-δe)表示实体维度下的实体距离；δt/t_ref、δs/s_ref以及(1-δe)均为无量纲数值，c的取值范围为[0,1]。

19、本发明面向智慧养老的跨模态时序数据对齐与行为融合的方法的进一步改进在于，还包括：

20、针对聚类结果进行置信度计算；

21、针对聚类结果进行时间冲突检测以及空间冲突检测，针对检测到的冲突行为以置信度排序进行处理，保留置信度排序高的行为，删除置信度排序低的行为；

22、针对置信度相同的冲突行为，依据数据源优先级进行处理，护理管理系统的数据优先级>视频监控系统的数据>门禁系统的数据。

23、本发明面向智慧养老的跨模态时序数据对齐与行为融合的方法的进一步改进在于，还包括：

24、获取合法使用的视频监控系统的抓拍图像；

25、在取得个人同意的情况下，对抓拍图像进行人脸特征提取，进而通过人脸特征提取的结果将抓拍图像与实体对应关联；

26、获取所述抓拍图像的时间和拍摄所述抓拍图像的摄像头的名称；

27、根据摄像头的名称定位视频监控数据的存储通道，结合设定的视频截取时间范围，提取对应的视频帧进而生成视频片段；

28、将生成的视频片段与实体及时间进行关联存储。

29、为实现上述目的，本发明提供的另一种技术方案是：一种存储介质，所述存储介质上存储有面向智慧养老的跨模态时序数据对齐与行为融合的方法的程序，

30、所述面向智慧养老的跨模态时序数据对齐与行为融合的方法的程序被处理器执行时实现所述的面向智慧养老的跨模态时序数据对齐与行为融合的方法的步骤。

31、为实现上述目的，本发明提供的又一种技术方案是：一种面向智慧养老的跨模态时序数据对齐与行为融合的系统，包括：

32、数据采集单元，用于获取设定时间范围内的合法使用的多源异构数据，所获取的多源异构数据包括门禁系统的通行记录数据、视频监控系统的视频监控数据、护理管理系统的用药记录数据、护理管理系统的护理记录数据以及护理管理系统的访客记录数据；

33、时间校准单元，与所述数据采集单元连接，所述时间校准单元用于对获取的多源异构数据的时间戳进行时间校准，以得到时间对齐的多源异构数据；

34、聚类融合单元，与所述时间校准单元连接，所述聚类融合单元用于对时间对齐的多源异构数据基于时间维度、空间维度以及实体维度进行聚类融合处理，以得到各对应实体的行为相关数据集合；

35、处理单元，与所述聚类融合单元连接，所述处理单元用于对每一实体的行为相关数据集合，按照时间顺序构建行为时间线；还用于将所述行为时间线转换为结构化报告并保存。

36、本发明面向智慧养老的跨模态时序数据对齐与行为融合的系统的进一步改进在于，所述时间校准单元包括偏差检测模块、历史数据采集模块、校准处理子模块以及对齐处理子模块；

37、所述偏差检测模块用于对门禁系统、视频监控系统以及护理管理系统的设备时钟偏差进行检测，以得到设备时钟漂移率；

38、所述历史数据采集模块用于获取门禁系统、视频监控系统以及护理管理系统的历史校准数据；

39、所述校准处理子模块与所述偏差检测模块和所述历史数据采集模块连接，所述校准处理子模块用于利用时间校准函数计算时间偏差修正量，所述时间校准函数为：δt=w_source×k_source+w_drift×drift+w_history×δt_history，其中，δt表示时间偏差修正量，单位为s，w_source表示数据源权重系数，k_source表示数据源基础偏差系数，单位为s，w_drift表示漂移率权重，drift表示设备时钟漂移率，单位为s/h，w_history为历史权重，δt_history表示历史校准偏差的指数加权平均值，单位为s；所述校准处理子模块还用于利用时间偏差修正量对多源异构数据的时间戳进行校准；

40、所述对齐处理子模块与所述校准处理子模块连接，所述对齐处理子模块用于对校准后的时间戳根据动态时间窗口划分规则确定对应的时间窗口，将多源异构数据根据时间窗口进行对齐操作，进而得到时间对齐的多源异构数据。

41、本发明面向智慧养老的跨模态时序数据对齐与行为融合的系统的进一步改进在于，所述聚类融合单元包括人脸识别模块以及聚类处理子模块；

42、所述人脸识别模块用于在取得个人同意的情况下，对时间对齐的多源异构数据中的视频数据进行人脸特征提取，进而通过人脸特征提取的结果将视频数据与实体对应关联；

43、所述聚类处理子模块与所述人脸识别模块连接，所述聚类处理子模块用于利用聚类函数对多源异构数据进行聚类融合处理进而得到聚类结果，所述聚类函数为：c=w1·(δt/t_ref)+w2·(δs/s_ref)+w3·(1-δe)，其中，c表示聚类距离，c为无量纲数值；w1、w2、w3分别表示时间维度权重、空间维度权重以及实体维度权重，且w1+w2+w3=1；δt表示时间维度下的时间距离，单位为s，t_ref表示预设的时间参考尺度，单位为s；δs表示空间维度下的空间距离，单位为m，s_ref表示预设的空间参考尺度，单位为m；δe表示实体维度下的实体相似度，取值范围为[0,1]，(1-δe)表示实体维度下的实体距离；δt/t_ref、δs/s_ref以及(1-δe)均为无量纲数值，c的取值范围为[0,1]。

44、本发明面向智慧养老的跨模态时序数据对齐与行为融合的系统的进一步改进在于，还包括视频智能截取单元，所述视频智能截取单元与所述数据采集单元连接；

45、所述数据采集单元还用于获取合法使用的视频监控系统的抓拍图像；

46、所述视频智能截取单元用于在取得个人同意的情况下，对抓拍图像进行人脸特征提取，进而通过人脸特征提取的结果将抓拍图像与实体对应关联；还用于获取所述抓拍图像的时间和拍摄所述抓拍图像的摄像头的名称；还用于根据摄像头的名称定位视频监控数据的存储通道，结合设定的视频截取时间范围，提取对应的视频帧进而生成视频片段，并将生成的视频片段与实体及时间进行关联存储。

47、本发明面向智慧养老的跨模态时序数据对齐与行为融合的系统及方法的有益效果为：

48、本发明的面向智慧养老的跨模态时序数据对齐与行为融合的系统及方法，针对智慧养老场景下的多源异构数据的时间对齐与行为刻画问题，实现多源异构数据的精准对齐和行为刻画，从而生成完整、准确、可解释、实时的老人行为时间线报告。

49、本发明针对多源异构数据的时间戳进行时间校准，实现时间对齐，具体是通过建立时间校准机制解决设备长期运行产生的时钟漂移问题，通过时间校准函数和动态时间窗口，有效消除时钟偏差影响，实现毫秒级时间对齐精度。

50、本发明针对老人行为分散记录在多系统中的问题，实现视频图像、门禁记录、业务数据的统一融合，通过聚类融合处理实现自动识别和关联同一老人的完整行为，每个行为均记录了完整的数据来源、置信度和融合依据，支持结果追溯和解释。

51、本发明针对老人行为语义割裂的问题，构建完整的行为时间线，支持结构化报告生成，便于护理人员和家属了解老人生活状态。

52、本发明通过并行数据获取和流水线处理，支持实时数据融合和报告生成。

53、本发明还提供了视频智能截取功能，将监控抓拍图像与原始视频录像进行关联，实现对关键事件视频的自动截取和存储。