基于模块化算子的智能数据标注系统及相关设备的制作方法

摘要: 本发明涉及数据标注,尤其涉及一种基于模块化算子的智能数据标注系统及相关设备。背景技术:1、随着国内人工智能技术在各行业的深入推广,大规模多模态数据集的构建已成为...
基于模块化算子的智能数据标注系统及相关设备的制作方法

本发明涉及数据标注,尤其涉及一种基于模块化算子的智能数据标注系统及相关设备。

背景技术:

1、随着国内人工智能技术在各行业的深入推广,大规模多模态数据集的构建已成为制约行业专家模型和智能体发展的首要瓶颈。高质量、大规模且具备多样性的多模态数据集,是注入行业知识、训练专业能力模型的基础。然而,数据集制作属于典型的劳动密集型工作,具有规模庞大、人员众多且环节复杂的特点,整个流程涉及数据采集、清洗、标注、转换和质量评估等多个环节,且在数据规模、标注精度和项目成本之间存在难以兼顾的权衡关系。

2、针对上述问题,现有技术主要沿三种途径展开探索。第一种是半自动化方法,结合人工与自动化工具,由自动化工具对数据进行初步标注和处理,再由人工进行审核和修正。第二种是完全自动化方法,完全依赖机器学习算法或自动化工具,通过模型自学习和自调节完成标注。第三种是虚拟合成方法,利用模拟技术、生成对抗网络等手段创造虚拟样本以扩充数据集。上述现有技术在减少人力消耗方面取得了一定成效。

3、然而,上述现有技术仍存在三方面固有缺陷。第一,半自动化和自动化方法中,辅助工具与人工审核环节之间存在紧耦合关系,当标注任务的数据类型或业务规则发生变化时,需要对整个流程重新设计和调整,系统缺乏低成本迭代的能力,导致维护成本居高不下。第二,完全自动化方法过度依赖预训练模型的泛化能力,在面对专业领域或长尾场景时,标注结果存在明显的准确性偏差,且缺乏有效的质量保障机制,无法平衡标注规模与标注质量。第三,现有方案普遍采用固化的处理流程,无法根据不同数据特性动态调整标注策略,在处理多模态、多场景数据时效率低下,难以实现标注精度、处理速度和成本控制之间的最优平衡,且系统解耦程度低,即使在目标场景相似的情况下,为了应对新增数据特性也常常需要对系统整体重构,极大增加了工业应用成本。

4、为解决上述现有技术中系统维护成本高、质量保障缺失、处理流程固化且缺乏动态调整能力的问题,本发明提供了一种基于模块化算子的智能数据标注系统。该系统通过模块化算子的统一接口设计、基于有向无环图的动态编排机制、多层次的质量控制体系以及智能化的人机协同优化策略,旨在构建一套既能快速提供精确多模态标注、又能便捷应对场景更新频繁的数据标注解决方案。

技术实现思路

1、本发明旨在解决现有技术的不足,具体提供了一种基于模块化算子的智能数据标注系统及相关设备,具体如下:

2、1)第一方面,本发明提供一种基于模块化算子的智能数据标注系统,具体技术方案如下:

3、包括算子库层、编排引擎层、执行调度层和质量控制层;

4、算子库层用于:定义每个算子与编排引擎层、执行调度层和质量控制层之间的交互规范;

5、编排引擎层用于:读取工作流配置文件并将工作流配置文件转换为内部图结构表示,根据内部图结构表示生成有向无环图结构,有向无环图结构中包含算子节点和条件节点;

6、执行调度层用于:根据有向无环图结构调用算子库层中对应的算子,对输入数据进行处理并生成标注结果;

7、质量控制层用于:获取各算子执行后的输出结果进行质量检查,并将质量检查结果反馈至执行调度层,触发任务重新分配或人工复核。

8、本发明提供的一种基于模块化算子的智能数据标注系统的有益效果如下:

9、通过算子库层定义每个算子与编排引擎层、执行调度层和质量控制层之间的交互规范,使不同功能、不同实现方式的算子能够以模块化形式独立存在,当标注任务的数据类型或业务规则发生变化时,只需替换对应的算子而无需重构整个系统,从而降低了系统维护成本;编排引擎层读取工作流配置文件并将其转换为内部图结构表示,根据内部图结构表示生成包含算子节点和条件节点的有向无环图结构,使标注流程能够根据具体任务特点进行灵活配置和动态调整,支持条件分支等复杂控制逻辑,避免了固化处理流程导致的效率低下问题;执行调度层根据有向无环图结构调用算子库层中对应的算子对输入数据进行处理并生成标注结果,保证各算子按照正确的数据流向顺序执行,完成标注任务;质量控制层获取各算子执行后的输出结果进行质量检查,并将质量检查结果反馈至执行调度层触发任务重新分配或人工复核,建立有效的质量保障机制,克服了完全自动化方法中准确性偏差和质量保障缺失的缺陷。该系统在保证标注精度的前提下,降低了系统维护成本,缩短了场景适配周期,提升了标注效率。

10、2)第二方面,本发明还提供一种基于模块化算子的智能数据标注方法,具体技术方案如下:

11、采用上述任一项基于模块化算子的智能数据标注系统,方法包括:

12、通过算子库层定义每个算子与编排引擎层、执行调度层和质量控制层之间的交互规范;

13、通过编排引擎层读取工作流配置文件并将工作流配置文件转换为内部图结构表示,根据内部图结构表示生成有向无环图结构,有向无环图结构中包含算子节点和条件节点;

14、通过执行调度层根据有向无环图结构调用算子库层中对应的算子,对输入数据进行处理并生成标注结果;

15、通过质量控制层获取各算子执行后的输出结果进行质量检查,并将质量检查结果反馈至执行调度层,触发任务重新分配或人工复核。

16、3)第三方面,本发明还提供一种电子设备,电子设备包括处理器,处理器与存储器耦合,存储器中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使电子设备实现上述一种基于模块化算子的智能数据标注方法。

17、4)第四方面,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述一种基于模块化算子的智能数据标注方法。

18、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。

1.一种基于模块化算子的智能数据标注系统,其特征在于,包括算子库层、编排引擎层、执行调度层和质量控制层;

2.根据权利要求1所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述编排引擎层从所述工作流配置文件读取出算子定义信息、连接关系信息和条件分支信息;当所述工作流配置文件的语法正确性和语义完整性验证通过后,从所述算子定义信息中提取每个算子的标识符、类型、版本和参数设定;从所述连接关系信息中提取算子之间的数据流向映射规则;从所述条件分支信息中提取分支判断逻辑;将所述数据流向映射规则和所述分支判断逻辑,以及从所述算子定义信息中提取到的每个算子的标识符、类型、版本和参数设定,整合为内部图结构表示。

3.根据权利要求2所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述编排引擎层在将所述工作流配置文件映射为所述内部图结构表示后,从所述内部图结构表示中提取所有算子节点、条件节点以及各节点之间的数据流向关系;所述编排引擎层按照数据流向关系为每个节点添加有向边,所述有向边从数据输出端指向数据接收端;所述编排引擎层在添加有向边后,对包含所述算子节点、所述条件节点和所述有向边的图结构执行拓扑排序,根据拓扑排序结果检测所述图结构中是否存在环路,若存在环路则调整所述图结构中节点之间的连接关系以消除环路,将消除环路后的图结构作为所述有向无环图结构。

4.根据权利要求3所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述执行调度层在根据所述有向无环图结构调用所述算子库层中对应的算子时,按照所述有向无环图结构中各节点的拓扑顺序依次获取待执行的目标算子;在执行所述目标算子之前,所述执行调度层根据所述目标算子的资源需求信息从资源池中为所述目标算子分配对应的计算资源,所述计算资源包括cpu资源、gpu资源和内存资源;所述执行调度层在所述目标算子执行完成后释放所述目标算子占用的计算资源,将所述目标算子的执行状态记录至状态管理数据库,并将所述目标算子的输出结果作为输入数据传递给所述有向无环图结构中所述目标算子的下游节点,直到所述有向无环图结构中所有算子节点执行完毕,获得标注结果。

5.根据权利要求4所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述质量控制层具体用于:检查所述输出结果中边界框标注数据的左上角横坐标是否大于或等于零、左上角纵坐标是否大于或等于零、右下角横坐标是否小于或等于图像宽度、右下角纵坐标是否小于或等于图像高度,并检查边界框的宽度和高度是否大于零;若任一项检查不通过,则所述质量控制层将所述输出结果标记为质量异常并将质量异常的样本推送至所述执行调度层的人工任务分配器,触发人工复核;所述质量控制层在所述人工复核完成后获取复核后的标注数据,将所述复核后的标注数据作为所述标注结果输出。

6.根据权利要求1所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述算子库层中设置有算子注册表,所述算子注册表用于存储已注册算子的元信息;所述算子库层在系统启动时扫描指定的算子目录,读取所述算子目录中各算子对应的配置文件,根据所述配置文件提取各算子的元信息并将各算子实例注册到所述算子注册表中;所述算子库层在监测到所述算子目录中新增算子配置文件时,读取新增的所述算子配置文件并提取对应的元信息,将对应的算子实例注册到所述算子注册表中。

7.根据权利要求1所述的一种基于模块化算子的智能数据标注系统,其特征在于,所述质量控制层中还设置有主动学习引擎,所述主动学习引擎用于在所述执行调度层对输入数据进行处理之前,从未标注样本集中选取待处理的输入数据;所述主动学习引擎根据已标注样本的特征分布计算未标注样本的多样性得分,并根据所述执行调度层中已训练模型对未标注样本的预测结果计算未标注样本的不确定性得分;所述主动学习引擎将所述多样性得分和所述不确定性得分进行加权求和,得到每个未标注样本的综合得分,将综合得分最高的未标注样本推送至所述执行调度层的任务队列中。

8.一种基于模块化算子的智能数据标注方法,其特征在于,采用权利要求1至7任一项所述的一种基于模块化算子的智能数据标注系统,方法包括:

9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求8所述的一种基于模块化算子的智能数据标注方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求8所述的一种基于模块化算子的智能数据标注方法。