面向标注数据轻量化的深度学习自适应压缩方法与流程

摘要: 本发明涉及数据压缩,尤其涉及面向标注数据轻量化的深度学习自适应压缩方法。背景技术:1、随着分布式采集节点在工业检测、智能终端记录及边缘数据标注场景中的广泛部署,...
面向标注数据轻量化的深度学习自适应压缩方法与流程

本发明涉及数据压缩,尤其涉及面向标注数据轻量化的深度学习自适应压缩方法。

背景技术:

1、随着分布式采集节点在工业检测、智能终端记录及边缘数据标注场景中的广泛部署,大量结构化标注数据需要在周期性条件下汇聚至中心侧进行存储、分析或再利用。然而,在实际运行过程中,受限于带宽资源、传输窗口长度及上传预算控制,数据处理节点往往无法将全部本地标注数据完整上传,只能通过压缩或筛选方式进行缩减。现有技术中,多采用固定比例压缩、简单按评分截断或基于字段重要性排序的方式进行数据裁剪,但该类方法通常仅从单条数据的局部价值出发,忽略标注数据之间的结构关联关系,容易在压缩过程中破坏时序链条、语义依赖或空间上下文结构,导致上传后的数据在整体结构层面出现断裂或失真。同时,在多节点并行上传的场景下,缺乏统一的结构价值衡量与资源分配机制,也可能造成不同节点上传数据在结构参数空间中高度重叠,而某些结构区间长期处于覆盖不足状态。因此,如何在有限上传资源约束下,实现兼顾结构完整性与体量控制的自适应压缩,成为本领域亟需解决的技术问题。

2、为解决以上问题,本技术设计了面向标注数据轻量化的深度学习自适应压缩方法。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足,提供了面向标注数据轻量化的深度学习自适应压缩方法,在数据处理节点侧基于分布差异、结构稀缺性及预测不确定性生成优先级标识,通过构建异构标注结构图并识别桥接单元,实现结构保持约束下的稀疏保留;在云端侧基于结构摘要生成竞价申请,通过跨区域结构缺口匹配与投票反馈机制确定压缩配额。

2、为实现上述目的,本发明提供如下技术方案:

3、面向标注数据轻量化的深度学习自适应压缩方法,应用于数据传输系统的数据处理节点,所述数据传输系统还包括云端服务器,所述云端服务器对应由多个数据处理节点构成的传输区域,所述方法包括:

4、对当前周期的本地标注数据进行处理,生成优先级标识,基于所述优先级标识对所述本地标注数据进行稀疏保留,得到轻量化标注数据;

5、将所述轻量化标注数据对应的结构摘要发送至所在传输区域的云端服务器,以使所述云端服务器连通其他传输区域的云端服务器生成对应的压缩配额;

6、接收所在传输区域的云端服务器返回的压缩配额,并根据所述压缩配额对所述轻量化标注数据进行压缩,所述压缩配额用于指示当前周期内允许所述数据处理节点上传的标注数据资源额度,所述标注数据资源额度至少包括以下允许上传的数据量、目标压缩率和压缩后数据大小上限。

7、所述本地标注数据的获取包括:通过所述数据处理节点连接的数据采集设备采集原始数据,并对所述原始数据进行数据预处理、模型预标注处理和标注结果结构化编码处理,以得到所述本地标注数据,其中所述数据预处理通过对所述原始数据进行去噪处理、尺寸归一化处理和数据格式转换处理实现;所述模型预标注处理通过调用预训练深度学习模型对预处理后的原始数据进行目标检测、分类和分割推理运算生成标注结果实现;所述标注结果结构化编码处理通过将所述标注结果转换为预设标注数据结构并进行字段标准化编码和索引映射编码实现。

8、对当前周期的本地标注数据进行处理,生成优先级标识,包括:

9、计算当前周期的本地标注数据与历史周期标注数据之间的分布差异度;

10、计算所述本地标注数据在预设标注空间中的稀缺度指标;

11、计算所述本地标注数据对应的模型预测不确定性指标;

12、通过加权算法将所述分布差异度、稀缺度指标和模型预测不确定性指标进行组合,生成综合优先级评分,并根据所述综合优先级评分生成所述优先级标识。

13、基于所述优先级标识对所述本地标注数据进行稀疏保留,包括:

14、根据所述优先级标识从当前周期的本地标注数据中确定初始锚点集合,其中所述初始锚点集合中的各标注单元对应的综合优先级评分大于或等于预设锚点阈值;

15、针对所述当前周期的本地标注数据构建异构标注结构图,所述异构标注结构图以标注单元为图节点,并基于标注单元之间的空间邻接关系、时序连续关系和语义依赖关系中的至少两种关系构建图边;

16、基于所述异构标注结构图,分别计算所述初始锚点集合中各图节点的结构断裂风险指标,根据各图节点的结构断裂风险指标确定对应的邻域扩展层级,并在所述异构标注结构图中根据所述邻域扩展层级生成各图节点的分层邻域候选集合;

17、在各图节点的分层邻域候选集合中识别桥接单元,所述桥接单元为在至少三个不同图节点对应的分层邻域候选集合中重复出现的标注单元;

18、根据所述桥接单元对应的邻域扩展层级确定最终保留的标注单元,并将所述最终保留的标注单元作为所述轻量化标注数据。

19、根据所述桥接单元对应的邻域扩展层级确定最终保留的标注单元,包括:

20、基于每一桥接单元所在的至少三个不同图节点对应的分层邻域候选集合,确定桥接单元对应的关联锚点集合,并根据所述关联锚点集合中各图节点的邻域扩展层级生成桥接单元对应的桥接保留层级参数;

21、以所述桥接单元为中心,在所述异构标注结构图中根据所述桥接保留层级参数提取与所述关联锚点集合连通的桥接联动候选标注单元,并基于所述桥接联动候选标注单元的路径覆盖次数、对应图节点的结构断裂风险指标以及标注单元对应的综合优先级评分,确定桥接联动保留标注单元;

22、对由各桥接单元确定的桥接联动保留标注单元进行去重合并和结构冗余裁剪,并将裁剪后的桥接联动保留标注单元、桥接单元以及关联锚点集合作为所述最终保留的标注单元。

23、根据所述压缩配额对所述轻量化标注数据进行压缩,包括:

24、根据所述压缩配额解析当前周期对应的允许上传的数据量、目标压缩率和压缩后数据大小上限,并生成压缩控制参数;

25、基于所述压缩控制参数对所述轻量化标注数据执行分级压缩处理,所述分级压缩处理至少包括:字段量化压缩、索引编码压缩、冗余字段裁剪和结构摘要替换。

26、面向标注数据轻量化的深度学习自适应压缩方法,应用于数据传输系统的云端服务器,每个云端服务器对应由多个数据处理节点构成的传输区域,所述数据传输系统还包括多个数据处理节点,所述数据处理节点用于对当前周期的本地标注数据进行轻量化处理,生成对应的结构摘要,并根据云端服务器返回的压缩配额对轻量化后的标注数据进行压缩,所述方法包括:

27、接收当前传输区域内的数据处理节点发送的结构摘要,结合历史结构摘要生成竞价申请;

28、将所述竞价申请转发至其他云端服务器,每个其他云端服务器对所述竞价申请进行投票操作,生成投票反馈结果;

29、根据所述竞价申请和所述投票反馈结果,确定当前传输区域内每个数据处理节点在当前周期中的压缩配额,并将所述压缩配额转发至各数据处理节点。

30、接收当前传输区域内的数据处理节点发送的结构摘要,结合历史结构摘要生成竞价申请,包括:

31、对所述传输区域内的多个数据处理节点在当前周期中发送的结构摘要分别生成摘要签名,其中所述摘要签名用于表征各自轻量化标注数据的索引分布;

32、根据所述摘要签名,计算各数据处理节点的结构索引分布在结构参数空间中的分布熵,其中所述分布熵用于衡量对应轻量化标注数据结构覆盖的均匀性,其中所述结构参数空间根据所述历史结构摘要进行确定;

33、对所述传输区域内全部数据处理节点的摘要签名进行聚合,构建当前周期摘要特征集合;

34、根据所述分布熵,计算各数据处理节点的结构索引分布在所述当前周期摘要特征集合中的结构范围;

35、根据所述结构范围和摘要签名生成各数据处理节点的竞价申请。

36、所述投票操作,包括:

37、接收来自其他传输区域的云端服务器转发的竞价申请,每个竞价申请包括其他传输区域内至少一个数据处理节点对应的结构范围和摘要签名;

38、根据本云端服务器所属传输区域内的当前周期摘要特征集合,建立结构缺口集合;

39、对每一竞价申请中的结构范围与所述结构缺口集合进行匹配,若匹配程度大于或等于预设的匹配阈值,则生成投票支持指令。

40、根据所述竞价申请和所述投票反馈结果,确定当前传输区域内每个数据处理节点在当前周期中的压缩配额,包括:

41、汇总当前传输区域对应云端服务器所转发的各竞价申请对应的投票反馈结果,统计每个数据处理节点对应竞价申请获得的投票支持指令数量;

42、获取各数据处理节点在当前周期对应的分布熵和结构范围,并基于所述投票支持指令数量、分布熵和结构范围计算各数据处理节点的配额优先值,其中所述配额优先值与投票支持指令数量和分布熵正相关;

43、根据各数据处理节点的配额优先值进行归一化分配,确定各数据处理节点在当前周期中的压缩配额,并使当前传输区域内各数据处理节点的压缩配额总和小于或等于云端服务器在当前周期对应的压缩预算总量。

44、与现有技术相比,本发明的有益效果是:

45、本发明通过在数据处理节点侧引入基于综合优先级的锚点筛选与异构标注结构图构建机制,并结合桥接单元识别与联动保留策略,在压缩前阶段实现对结构关键节点及连通路径的定向保留,使轻量化标注数据在体量受控条件下仍保持较好的局部结构完整性和跨单元关联能力;同时在云端侧基于结构摘要构建竞价申请并通过结构缺口匹配与投票机制分配压缩配额,使上传资源分配从数据量导向转为结构覆盖导向,减少多节点之间的结构重叠,提高整体结构利用效率,在有限带宽和预算约束下提升数据传输质量与资源配置合理性。