一种基于人工智能的数据质量智能管控系统的制作方法

本发明涉及数据质量管控，具体为一种基于人工智能的数据质量智能管控系统。

背景技术：

1、企业数据管理涉及数据存储、数据去重、数据分类、数据加密和访问控制等环节，数据库中持续累积的相似数据和冗余文件占用存储空间，需要进行识别与清理。企业内部各部门数据具有不同敏感性等级，财务数据、人事数据、研发数据之间需要相互隔离，防止跨部门数据泄露。人工智能模型在数据特征提取、相似度判别和自动分类方面具有较高的准确率，可替代人工执行数据质量管控。然而，企业数据受限于商业机密或者隐私数据无法使用语言大模型的api，需要进行本地部署大模型管理数据，配备相应的数据安全机制。

2、现有技术存在以下问题：1、企业数据包含商业机密和隐私信息，无法通过云端大语言模型应用程序编程接口进行数据质量管理，本地部署方案未覆盖数据传输全链路的加密机制，数据在模块间传输时存在明文泄露风险；2、企业数据库中文件格式多样，大语言模型无法直接识别工程文件、配置文件和依赖文件等非标准格式，导致人工智能数据处理范围受限；3、人工智能执行数据清理时缺少人为复核的安全缓冲环节，模型误判导致关键数据被直接删除且不可恢复；4、各部门数据使用需求存在差异，单一评分体系无法反映部门级偏好，导致数据分类和清理策略偏离各部门实际需求，因此针对上述缺陷设计一种基于人工智能的数据质量智能管控系统是本领域技术人员需要解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于人工智能的数据质量智能管控系统，解决了上述背景技术中提出的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于人工智能的数据质量智能管控系统，应用于企业的数据管理，包括数据库、加密解密模块、文件兼容模块、分类模块、提取模块、搜索模块、评估模块和缓存模块，所述数据库的端口与加密解密模块的端口建立双向通信，所述加密解密模块的端口分别与文件兼容模块、分类模块、提取模块、搜索模块和缓存模块的端口建立双向通信，所述提取模块的端口与评估模块的端口建立双向通信，所述搜索模块的输出端与评估模块的输入端连接，所述评估模块的输出端与缓存模块的输入端连接；

3、所述文件兼容模块和加密解密模块协同执行数据预处理与格式兼容程序，将原始数据经格式兼容转换后存入缓存，分类模块读取执行分类并将结果回写数据库，缓存随后清除，所述分类模块和加密解密模块协同执行数据分类程序，提取模块从数据库调取数据执行多级蒸馏，蒸馏数据集经缓存中转后持久化存储，缓存随后清除，所述提取模块、评估模块、缓存模块和加密解密模块协同执行数据提取与蒸馏程序，评估模块调度空闲智能体预判数据相似度，结合部门权重综合决策，待清除数据转入宽限区由管理员复核，所述评估模块内部集成若干智能体，所述搜索模块和评估模块协同执行智能体评分与权重迭代程序，由用户搜索行为触发，搜索模块记录用户访问行为生成命中率并反馈评估模块，经损失函数评分后更新各部门独立权重序列；

4、数据预处理与格式兼容程序与数据分类程序顺序执行，数据提取与蒸馏程序可与数据分类程序并行执行，智能体评分与权重迭代程序由搜索模块触发后独立执行。

5、进一步地，所述数据预处理与格式兼容程序执行时，所述文件兼容模块通过加密解密模块从数据库读取原始数据文件，解析文件头部标识字节，识别文件格式类型，得到格式识别结果；

6、所述文件兼容模块判断格式识别结果，若为工程文件、配置文件或依赖文件，文件兼容模块调用对应格式解析器，将文件二进制流转换为文字序列或图像矩阵，得到标准化数据，若为可识别格式，跳过格式转换；

7、所述加密解密模块接收标准化数据，调用rsa公钥执行加密运算，将密文传输至缓存模块完成暂存；

8、本程序解决企业中异构文件格式导致的人工智能处理范围受限问题，文件兼容模块作为格式抽象层，将多种专有格式统一转换为模型可处理的标准化输入，使后续分类模块和提取模块无需关注原始文件格式差异。

9、进一步地，所述数据分类程序执行时，分类模块通过加密解密模块从缓存模块读取已解密明文数据；

10、所述分类模块构建分类树，根节点为数据总类，分类模块提取数据特征向量，输入分类判别函数，自根节点向下逐级遍历中间节点，直至到达叶子节点，得到分类路径，若采用标签总分结构，分类模块先为数据分配顶层标签，再逐级追加子标签，得到标签序列；

11、所述分类模块将分类路径或标签序列与原始数据标识符绑定，经加密解密模块加密后写入数据库索引表，建立关联索引；

12、缓存模块释放本次分类操作占用的内存区域，完成缓存清除；

13、本程序建立层次化数据组织体系，树状结构或标签细化总分结构使分类粒度可根据企业需求灵活设定，由粗到细逐级深入，分类逻辑在明文状态下执行，但分类结果写入数据库时经加密传输，保证存储安全，分类完成后清除缓存数据，防止明文残留。

14、进一步地，所述数据提取与蒸馏程序执行时，所述提取模块通过加密解密模块从数据库调取明文数据，数据按批次加载至提取模块的流水线输入缓冲区；

15、执行第一分支进程，启动三级流水线并行提取特征并降维，输出多参数规模蒸馏数据集，加密后经缓存写入数据库；

16、执行第二分支进程，调用空闲智能体计算余弦相似度，加权综合决策标记待清除数据，白名单数据直接过滤；

17、所述智能体计算余弦相似度后提交清单，评估模块加权求和并与决策阈值比较，标记待清除或保留；

18、所述评估模块向缓存模块宽限区控制器发送数据转移指令，缓存模块将标记为待清除的数据从数据库复制至宽限区并删除数据库中的原始引用，标记为保留的数据不触发操作，白名单数据在第二分支进程启动时即被过滤，不进入相似度计算；

19、宽限期内管理员确认清除或还原，计时归零未操作则自动清除数据；

20、所述提取模块的流水线输入缓冲区和缓存模块暂存区均被清空，释放内存资源；

21、本程序实现数据精简与智能去重，蒸馏提取生成不同参数规模的数据集，适应不同部门对数据精度的差异化需求，空闲智能体在提取阶段并行执行相似度预判，不额外占用计算资源，宽限区提供人为复核窗口，白名单提供豁免机制，二者共同防止人工智能误删关键数据。

22、进一步地，所述智能体评分与权重迭代程序执行时，用户通过搜索模块输入检索条件，所述搜索模块将检索条件封装为查询请求报文，经加密解密模块转发至数据库或缓存模块，所述数据库或缓存模块返回匹配的数据标识符集合，所述搜索模块经加密解密模块获取对应明文数据并呈现给用户；

23、所述搜索模块监听用户对搜索结果的操作事件，用户每次点击或展开数据条目，搜索模块递增访问计数，用户关闭搜索结果页后，搜索模块计算实际命中率h，计算公式为h=fw÷fhs，公式中，h为命中率，fw为访问次数，fhs为返回条目总数，所述搜索模块将实际命中率h封装为反馈报文发送至评估模块；

24、执行第三分支进程，所述评估模块计算损失值与专属评分，归一化后更新部门权重序列，对低权重智能体执行参数微调；

25、执行第四分支进程，评估模块标记已完成微调的智能体为待评估状态，等待下一次智能体评分与权重迭代程序触发时重新进入第三分支进程，所述第四分支进程为等待状态；

26、本程序建立与部门实际使用行为挂钩的智能体评估体系，命中率反映用户对搜索结果的采纳程度，是衡量数据分类和蒸馏质量的外部指标，损失函数将命中率差异量化为可优化的数值信号，评分和权重序列使高质量智能体获得更高话语权，低质量智能体被自动调整。

27、进一步地，所述第一分支进程执行时，所述提取模块启动三级流水线，第一级流水单元从输入缓冲区读取原始数据并输出至第二级流水单元，第二级流水单元执行特征提取与降维运算，第三级流水单元将降维后数据封装为蒸馏数据集，三级流水单元并行运行，提取模块通过调整降维运算的压缩比参数，输出多个不同参数规模的蒸馏数据集；

28、所述蒸馏数据集经加密解密模块加密后依次写入缓存模块暂存区，再由缓存模块经加密解密模块批量写入数据库持久化存储区。

29、进一步地，所述第二分支进程执行时，所述提取模块向评估模块发送智能体调用请求报文，报文包含数据标识符列表，评估模块扫描智能体状态表，将当前未分配任务的智能体标记为占用状态并返回智能体标识符列表至提取模块，所述第一分支进程与第二分支进程并行执行。

30、进一步地，所述智能体计算余弦相似度后提交清单，评估模块加权求和并与决策阈值比较，标记待清除或保留，包括每个被调用智能体从文件兼容模块的输出缓冲区读取已转换数据，提取特征嵌入向量，计算向量间余弦相似度，余弦相似度公式为：cos(θ)=(a·b)/(||a||×||b||)，其中a和b为两个数据的特征嵌入向量，a·b为向量点积，||a||和||b||为向量模长，余弦相似度取值范围为-1到1，取值越接近1表示两数据越相似，智能体将相似度超过预设阈值θ0的数据对清单发送至评估模块；

31、所述评估模块汇总各智能体提交的相似度清单，对每对数据执行加权求和得到综合评分score，计算公式为score=σ(wi×sij)，其中wi为第i个智能体在当前部门的权重，sij为第i个智能体对第j对数据的相似度评分，综合评分score超过决策阈值的数据对标记为待清除，其余标记为保留。

32、进一步地，所述宽限期内管理员确认清除或还原，计时归零未操作则自动清除数据，包括宽限期计时器启动后，管理员可在任意时刻向宽限区控制器发送操作指令，若收到确认清除指令，执行清除进程，宽限区控制器彻底删除对应数据的物理存储块，若收到确认还原指令，宽限区控制器将数据回写至数据库并删除宽限区副本，若宽限期倒计时归零且未收到任何操作指令，宽限区控制器自动跳转至清除进程。

33、进一步地，所述第三分支进程执行时，所述评估模块读取反馈报文中的实际命中率h，依次遍历该部门对应的智能体列表，对第i个智能体，评估模块读取其预测命中率hi，计算损失值li，计算公式为li=|h-hi|，再计算专属评分si，计算公式为si=1/(1+li)，其中h为搜索模块反馈的实际命中率，hi为第i个智能体对该次搜索的预测命中率，li为损失值，si为专属评分；

34、所述评估模块对当前部门所有智能体的专属评分执行归一化，归一化公式为wi=si/(s1+s2+…+sn)，得到更新后的部门权重序列，新权重序列覆盖旧序列，保存至评估模块的部门权重表；

35、所述评估模块扫描部门权重序列，筛选出权重低于预设阈值wmin的智能体，对每个低权重智能体，评估模块将其当前参数、预测命中率hi和实际命中率h输入参数微调函数，参数微调函数以最小化损失值li为目标，沿损失函数梯度方向更新智能体的推理参数，更新方向为预测命中率hi趋近实际命中率h。

36、本发明具有以下有益效果：

37、1、通过加密解密模块作为加密黑盒总线，数据在各模块之间传输时保持密文状态，仅在数据库内部、提取操作期间、分类操作期间和读写操作期间为明文状态，采用rsa非对称算法实施加密，相比较现有本地部署方案未覆盖全链路加密机制的缺陷，本发明达到防止数据在模块间传输过程中泄露的效果。

38、2、通过文件兼容模块将工程文件、配置文件、依赖文件等不可直接识别的格式转换为文字、图像或人工智能模型可识别的数据类型，相比较现有大语言模型无法直接处理异构文件格式的缺陷，本发明达到扩展人工智能数据处理格式范围、实现多模态数据输入的效果。

39、3、通过提取模块调用评估模块空闲智能体对数据进行相似度预判，并在缓存模块中设立宽限区和白名单机制，相比较现有技术人工智能数据清理缺少人为复核环节的缺陷，本发明达到防止人工智能误删关键数据、提供可配置的人为复核窗口的效果。

40、4、通过搜索模块生成命中率并反馈至评估模块的损失函数，对各智能体评分并生成部门独立的权重序列，相比较现有单一评分体系无法反映部门级偏好的缺陷，本发明达到各部门数据分类和清理策略与实际使用需求匹配的效果。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。