一种多源异构设备运动数据去重与融合方法与流程

本申请涉及运动数据融合，尤其涉及一种多源异构设备运动数据去重与融合方法。

背景技术：

1、随着智能运动设备的普及，用户的运动数据采集已从单一设备扩展到多设备并行的模式。用户在跑步机上运动时，跑步机硬件实时采集速度、距离、电流等数据，同时手机应用通过蓝牙采集心率、步频等数据，智能手环则独立记录加速度、心率等数据并在联网后上传。不同设备采用各自的数据格式和时间参考体系，例如跑步机等设备以运动开始后的秒级偏移量为时间参考，手环设备则以绝对时间戳为时间参考。这种多源异构的数据采集模式在丰富运动数据维度的同时，也对数据的去重、融合和完整性保障提出了挑战。

2、现有技术中，存在针对单一设备类型的去重方案，通过设备标识、用户标识和时间信息对同一设备上传的重复运动记录进行识别和拦截，能够在一定程度上避免同设备重复存储的问题；但是，当同一运动被跑步机和手机应用分别记录并上传时，由于两种数据来源分属不同设备类型，现有方案无法识别此类跨数据源的重复记录，导致数据库中同一运动存在多条重复存储；并且，现有技术在识别到重复记录时缺乏对数据质量的量化评估，仅基于简单的先到先得或后到覆盖策略进行决策，造成高质量数据被低质量数据覆盖，降低运动数据记录质量；同时，对于手环离线补传、蓝牙断联或弱网络环境下产生的补偿数据，现有技术仅将其作为独立记录存储或简单全量覆盖已有数据，导致原始数据中已有的高质量部分被覆盖，导致运动数据记录不完整性。

3、因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

4、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种多源异构设备运动数据去重与融合方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

2、本申请提供一种多源异构设备运动数据去重与融合方法，包括：

3、接收来自至少一种运动设备的上传数据，并基于所述上传数据对已存储的运动数据执行同设备与跨数据源重复检测，获取重复记录；

4、基于所述重复记录与所述上传数据，分别计算重复记录质量评分与上传数据质量评分；所述数据质量评分包括数据完整度、数据覆盖率、传感器数据丰富度和数据可信度；

5、计算评分差值，并在所述评分差值大于预设替换阈值时得到替换数据与第一补偿数据，在所述评分差值的绝对值不大于预设替换阈值时得到待融合数据，在所述评分差值小于预设替换阈值的负值时，得到第二补偿数据；所述评分差值为所述上传数据质量评分与所述重复记录质量评分之差；

6、当得到替换数据时，用所述替换数据替换所述已存储的运动数据中的所述重复记录；

7、当得到待融合数据时，将待融合的两条数据各自的细粒度运动序列按时间轴进行对齐，在对齐后的时间轴上，将一条数据缺失而另一条数据存在的字段值进行交叉补齐，生成融合后的完整运动数据序列；

8、当得到第二补偿数据时，基于用户标识和设备指纹查找所述已存储的运动数据中的未完成的运动数据，作为原始运动数据，并在查找到所述原始运动数据后，与所述第二补偿数据比对，将所述第二补偿数据中属于缺失时间段的部分补充到所述原始运动数据，得到更新的原始运动数据。

9、本申请提供的技术方案可以包括以下有益效果：

10、本申请多源异构设备运动数据去重与融合方法，能够通过同设备与跨数据源两级重复检测，在数据写入前准确识别来自不同设备、不同数据源的重复运动记录，有效解决多设备并行记录场景下的数据重复存储问题；并且，通过构建包含数据完整度、秒级数据覆盖率、传感器数据丰富度和反作弊可信度的多维度质量评分体系，对重复记录进行量化评估并依据评分差值自动决策处理路径，使上传数据在质量显著优于已有记录时执行替换、在质量相近但各有优势时执行融合、在质量显著劣于已有记录时仅作补偿保留，从而在保证存储数据整体质量最优的同时，避免了单一决策模式带来的数据损失；同时，针对融合路径，通过将不同设备来源的细粒度运动序列按时间轴对齐并进行交叉补齐，使融合后的数据在每一时间点兼具多设备的数据采集优势；针对补偿路径，通过定位未完成的原始运动记录并仅将缺失部分增量写入，在实现断点续传的同时避免了对已有高质量数据的覆盖，保证运动数据记录的完整性和连续性。

11、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种多源异构设备运动数据去重与融合方法，其特征在于，包括：

2.根据权利要求1所述多源异构设备运动数据去重与融合方法，其特征在于，所述接收来自至少一种运动设备的上传数据，并基于所述上传数据对已存储的运动数据执行同设备与跨数据源重复检测，获取重复记录的步骤，包括：

3.根据权利要求2所述多源异构设备运动数据去重与融合方法，其特征在于，所述基于设备类型，并通过用户标识、设备指纹、运动起始时间、运动类型与运动状态，进行同设备重复检测的步骤，包括：

4.根据权利要求2所述多源异构设备运动数据去重与融合方法，其特征在于，所述在未检测到设备重复时，通过用户标识、运动起始时间、运动里程、数据来源类型与运动类型，进行跨数据源重复检测，得到重复记录的步骤，包括：

5.根据权利要求1所述多源异构设备运动数据去重与融合方法，其特征在于，所述质量评分的计算公式为：

6.根据权利要求1所述多源异构设备运动数据去重与融合方法，其特征在于，所述计算评分差值，并在所述评分差值大于预设替换阈值时得到替换数据与第一补偿数据，在所述评分差值的绝对值不大于预设替换阈值时得到待融合数据，在所述评分差值小于预设替换阈值的负值时，得到第二补偿数据的步骤，包括：

7.根据权利要求1所述多源异构设备运动数据去重与融合方法，其特征在于，所述当得到待融合数据时，将待融合的两条数据各自的细粒度运动序列按时间轴进行对齐，在对齐后的时间轴上，将一条数据缺失而另一条数据存在的字段值进行交叉补齐，生成融合后的完整运动数据序列的步骤，包括：

8.根据权利要求7所述多源异构设备运动数据去重与融合方法，其特征在于，所述遍历所述时间轴序列每一时间点的步骤，包括：

9.根据权利要求2所述多源异构设备运动数据去重与融合方法，其特征在于，所述当得到第二补偿数据时，基于用户标识和设备指纹查找所述已存储的运动数据中的未完成的运动数据，作为原始运动数据，并在查找到所述原始运动数据后，与所述第二补偿数据比对，将所述第二补偿数据中属于缺失时间段的部分补充到所述原始运动数据，得到更新的原始运动数据的步骤，包括：

10.根据权利要求9所述多源异构设备运动数据去重与融合方法，其特征在于，在所述根据所述第二补偿数据中的用户标识和设备指纹，从已存储的运动数据中查找状态为未完成的运动数据作为原始运动数据的步骤中，当所述第二补偿数据的设备类型为手环设备且其运动类型为硬件端离线补传类型时，包括：