面向智慧政务的大模型多模态政务数据智能检索分析系统的制作方法

摘要: 本发明涉及智慧政务数据处理,更具体地说,它涉及面向智慧政务的大模型多模态政务数据智能检索分析系统。背景技术:1、在智慧政务领域中,政务数据具有多源异构、多模态并...
面向智慧政务的大模型多模态政务数据智能检索分析系统的制作方法

本发明涉及智慧政务数据处理,更具体地说,它涉及面向智慧政务的大模型多模态政务数据智能检索分析系统。

背景技术:

1、在智慧政务领域中,政务数据具有多源异构、多模态并存、跨部门分散以及更新频繁的特征。政务数据既包括结构化数据(如事项表、审批流转记录、人口与企业基础库、监管台账、办件日志、绩效报表),也包括非结构化或半结构化数据(如政策文件、通知公告、会议纪要、办事指南、执法文书、图片扫描件、音视频访谈、热线录音、表单截图)。

2、现有政务检索与分析系统通常采用基于关键词匹配的单一检索方式,结合有限的结构化数据库查询能力,对用户提交的政务查询请求进行响应,并以文本形式直接输出查询结论。

3、然而,上述现有技术存在以下技术问题:其一,不同模态的政务数据缺乏统一的语义映射,图片中的表单内容、语音中的办事诉求、扫描件中的隐含条款无法在统一语义空间中被检索和关联;其二,用户查询通常带有口语化、场景化和模糊化表达,仅依赖关键词召回的方式无法准确识别真实意图和多维约束条件;其三,政策文件和办事指南频繁调整,缺乏动态版本比对和时效校验的系统容易输出过期内容;其四,现有系统仅给出结论而不提供证据链,无法满足行政管理和督查审核对结果可追溯性的要求;其五,单一检索方式难以兼顾语义理解和结构化过滤,导致召回不全或精度不足;其六,政务数据的敏感性和分级授权要求与智能化检索之间存在矛盾,现有系统在权限过滤、脱敏展示和审计留痕方面粒度不足,无法满足政务安全合规要求。

技术实现思路

1、本发明提供面向智慧政务的大模型多模态政务数据智能检索分析系统,解决相关技术中政务数据模态多样、语义异构、检索结果缺乏可溯源证据链以及权限管控与生成内容一致性难以保障的技术问题。

2、本发明公开了面向智慧政务的大模型多模态政务数据智能检索分析系统,包括:多模态政务数据接入模块,配置为接入多种模态的政务原始数据,针对不同模态分别执行预处理,并将预处理结果统一封装为标准中间表示;政务语义治理模块,配置为对所述标准中间表示执行数据清洗、去重、脱敏、结构化抽取、实体识别、关系抽取、时间归一和版本标注,生成政务知识单元及政务实体关系网络;多模态语义编码模块,配置为对所述政务知识单元中不同模态内容分别通过对应编码分支生成基础语义向量,并通过跨模态对齐将各模态基础语义向量映射至统一政务语义空间,生成统一政务语义向量并存储至向量索引库;意图识别与任务路由模块,配置为对用户输入执行模态判别和意图分类,将用户查询分解为包含意图类别、主体信息、条件集合、目标类型和约束集合的结构化查询描述,并生成任务路由计划;混合检索模块,配置为根据所述任务路由计划,融合关键词召回、向量召回、结构化过滤、图谱关联和时效过滤执行多通道混合检索,获得候选结果集合;证据链分析模块,配置为对所述候选结果集合执行关联排序、来源校验、版本比对和上下文补全,将每条结论绑定至少一个来源证据,输出结构化证据链;大模型生成与校验模块,配置为基于所述结构化证据链调用大语言模型生成政务答复,并对生成结果执行关键信息强校验、来源核验和一致性校验;权限控制与审计模块,配置为在检索阶段执行权限过滤,在生成阶段提供动态脱敏规则,在输出阶段执行行为记录。

3、进一步地,所述多模态政务数据接入模块包括:文本预处理子模块,对文本类数据按照章节结构和条款编号执行分段处理、噪声去除和编码统一,获得规范化文本段落序列;表格预处理子模块,对表格类数据执行字段识别、行列对齐和格式规范化,获得结构化表格数据;图像预处理子模块,对图片类数据和扫描件执行版面分析、文字区域定位和光学字符识别,获得图像结构化描述数据;音视频预处理子模块,对音频类数据和视频类数据执行语音转写、关键片段切分和时间戳对齐,获得带时间标注的转写文本序列;流程日志预处理子模块,对流程日志类数据执行状态抽取、事件序列化和时间链组织,获得结构化事件序列;每条所述标准中间表示包含原始数据标识、模态类型标签、预处理后的内容体和来源元信息。

4、进一步地,所述政务语义治理模块中:实体识别与关系抽取子模块对所述标准中间表示的内容体执行命名实体识别和关系抽取,实体类型包括事项名称、部门名称、政策文件名、材料名称、办理条件、时间表达式、地域名称、人员角色和金额数值,关系类型包括事项与所需材料、事项与办理部门、事项与适用条件、政策文件与规定事项、政策文件与废止政策文件之间的语义关系;所述政务实体关系网络以事项、政策文件、材料、部门、条件、时效和办理结果为节点,以所述关系类型为边;时间归一与版本标注子模块将相对时间表达式转换为绝对时间区间,对同一事项或同一政策文件的多个版本标注版本序号,标记当前有效版本、历史版本和废止状态;每个所述政务知识单元包含数据来源、业务部门、政策层级、事项名称、适用对象、时间有效性、地域范围、关键条件、证据位置、关联事项和权限等级属性。

5、进一步地,所述多模态语义编码模块中:文本编码分支使用预训练文本编码器对文本类政务知识单元生成文本语义向量;表格编码分支将结构化表格数据线性化为带有字段标记的文本序列后,使用所述预训练文本编码器生成表格语义向量;图像编码分支分别通过所述预训练文本编码器对光学字符识别结果生成维度为  的文字语义向量,通过预训练视觉编码器对原始图像区域生成维度为  的视觉语义向量,将两者拼接后通过线性投影层映射至维度  的图像综合语义向量,其中  为文字语义向量的维度, 为视觉语义向量的维度, 为统一政务语义空间的向量维度;音频编码分支使用所述预训练文本编码器对转写文本内容生成维度为  的音频转写语义向量;流程编码分支将结构化事件序列中每个节点的状态信息、时间信息和处理部门信息拼接为文本描述后,使用所述预训练文本编码器生成维度为  的流程语义向量。

6、进一步地,所述跨模态对齐通过多个模态专属线性投影层实现,各线性投影层采用对比学习方式训练,损失函数为:

7、

8、其中  和  分别为第  个正样本对中两种模态经各自线性投影层映射后得到的统一政务语义空间向量, 为正样本对的索引, 为余弦相似度,为温度系数, 为批次内样本数量, 为批次内样本的遍历索引, 表示指数函数;正样本对为描述相同政务内容的不同模态数据对,负样本对为描述不同政务内容的数据对。

9、进一步地,所述意图识别与任务路由模块中:意图识别子模块使用预训练语言模型对用户查询文本执行意图分类,业务意图类别包括政策检索、材料校验、案例比对、趋势分析、流程追踪和知识问答,所述预训练语言模型在标注了业务意图类别的政务查询样本上执行有监督微调;复杂查询分解子模块从用户查询文本中提取主体信息、条件信息、目标信息和约束信息,其中主体信息包括个人、企业、项目或事项,条件信息包括地域限制、时间限制、行业限制、资质条件、金额条件和次数条件,目标信息包括政策条文、材料清单、办理路径、案例参考、异常提示或统计分析,约束信息包括版本要求、部门筛选和权限等级输出要求;任务路由子模块根据所述结构化查询描述指定检索的目标数据范围和检索通道,对涉及多个业务意图类别的复杂查询生成包含多个检索子任务的任务路由计划。

10、进一步地,所述证据链分析模块中:关联排序子模块对候选结果集合中每个政务知识单元计算综合相关性得分 :

11、

12、其中  为权重参数, 为向量相似度得分,为关键词命中得分, 为图谱关联度得分, 为时效得分, 为权限匹配得分,各项得分在计算前均归一化至  区间;所述图谱关联度得分对于通过图谱关联补充获得的政务知识单元取扩展跳数  的倒数 ,对于直接召回的政务知识单元取值为1;所述权重参数通过在标注了相关性标签的政务查询样本集上执行有监督训练获得,并根据用户评价反馈持续更新;来源校验子模块对排序后的候选结果集合逐一校验每个政务知识单元的证据位置的有效性,对校验未通过的政务知识单元标注为来源待确认状态;版本比对子模块对涉及同一政策文件或同一办事指南的多个版本提取差异内容,生成包含变更字段、变更前内容、变更后内容和变更生效时间的版本差异记录;证据链组织子模块按照结论、依据、来源、时间、版本和适用范围的结构组织所述结构化证据链,对存在多个证据支持同一结论的情况执行交叉印证,对存在证据冲突的情况按版本优先级排序。

13、进一步地,所述大模型生成与校验模块中:提示词组装子模块将所述结构化证据链中的结论摘要、证据内容、来源标识和适用范围组装为大语言模型的输入提示词,所述输入提示词包含仅基于提供的证据内容生成答复、对引用的政策条文标注来源文件名和条款编号、对不确定的内容标注置信度等级、禁止生成证据中未包含的事实性信息的约束指令;规则校验子模块对政务答复初稿执行关键信息强校验、来源核验和一致性校验,其中关键信息强校验将政务答复初稿中的政策条文编号、金额数值、期限数值和办理条件与所述结构化证据链中对应证据的原始内容逐项比对,来源核验检查每条引用是否在所述结构化证据链中存在对应来源证据,一致性校验检查前后矛盾的表述并根据版本优先级统一;置信度标注子模块对基于低置信度证据生成的内容段落标注置信度等级。

14、进一步地,所述权限控制与审计模块中:身份认证与权限解析子模块获取用户的身份信息并解析当前用户可访问的数据范围,所述数据范围包括可访问的业务部门范围、政策层级范围、权限等级范围和地域范围,权限解析结果传递至所述混合检索模块的结构化过滤子模块;动态脱敏规则子模块根据用户的数据访问等级和政务知识单元的权限等级生成动态脱敏规则,所述动态脱敏规则传递至所述大模型生成与校验模块的脱敏展示子模块;行为记录子模块对用户查询行为、检索命中行为、证据引用行为、结果导出行为和人工修正行为执行全链路记录并存储至审计日志库;反馈回写子模块接收用户修正反馈并回写至所述政务语义治理模块触发对应政务知识单元的更新校验,接收用户评价反馈并回写至所述证据链分析模块用于调整综合相关性得分中的权重参数。

15、本发明公开了面向智慧政务的大模型多模态政务数据智能检索分析方法,用于执行上述面向智慧政务的大模型多模态政务数据智能检索分析系统,包括:步骤1,通过多模态政务数据接入模块接入多种模态的政务原始数据,针对不同模态分别执行预处理,并将预处理结果统一封装为标准中间表示;步骤2,通过政务语义治理模块对所述标准中间表示执行数据清洗、去重、脱敏、结构化抽取、实体识别、关系抽取、时间归一和版本标注,生成政务知识单元及政务实体关系网络;步骤3,通过多模态语义编码模块对所述政务知识单元中不同模态内容分别通过对应编码分支生成基础语义向量,并通过跨模态对齐将各模态基础语义向量映射至统一政务语义空间,生成统一政务语义向量并存储至向量索引库;步骤4,当用户发起查询时,通过意图识别与任务路由模块对用户输入执行模态判别和意图分类,将用户查询分解为结构化查询描述并生成任务路由计划;步骤5,通过混合检索模块根据所述任务路由计划,融合关键词召回、向量召回、结构化过滤、图谱关联和时效过滤执行多通道混合检索,获得候选结果集合;步骤6,通过证据链分析模块对所述候选结果集合执行关联排序、来源校验、版本比对和上下文补全,将每条结论绑定至少一个来源证据,输出结构化证据链;步骤7,通过大模型生成与校验模块基于所述结构化证据链调用大语言模型生成政务答复,并对生成结果执行关键信息强校验、来源核验和一致性校验;步骤8,通过权限控制与审计模块在步骤5至步骤7中分别执行权限过滤、动态脱敏和行为记录,并根据用户反馈触发政务知识单元更新和检索排序参数调整。

16、本发明具有以下有益效果:

17、一、本发明通过多模态政务数据接入模块对文本、表格、图片、扫描件、音视频和流程日志等不同模态的政务数据分别执行针对性的预处理并统一封装为标准中间表示,使后续处理不再受限于单一模态,从而克服了传统政务检索系统因数据类型割裂而无法统一理解多模态政务数据的问题。

18、二、本发明通过多模态语义编码模块中的跨模态对齐子模块,采用对比学习方式将不同模态的基础语义向量映射至统一政务语义空间,使用户以图片、语音或口语形式提出的查询能够与文本类政策条文、表格类办件记录等不同模态的政务知识单元在统一政务语义空间中进行相似度计算,从而克服了不同模态数据之间缺乏统一语义映射导致跨模态检索无法实现的问题。

19、三、本发明通过意图识别与任务路由模块中的复杂查询分解子模块,将用户查询文本拆解为主体、条件、目标和约束等多个维度的结构化查询描述,并通过任务路由子模块将结构化查询描述分配至对应的检索通道,使该系统能够处理包含多重约束的口语化和模糊化查询,从而克服了传统系统仅依赖关键词匹配而无法准确识别复杂政务查询意图的问题。

20、四、本发明通过混合检索模块融合关键词召回、向量召回、结构化过滤、图谱关联和时效过滤五种检索方式,使精确匹配和语义匹配互补、结构化约束和非结构化语义互补、直接关联和间接关联互补,从而克服了单一检索方式在复杂政务查询下召回不全或精度不足的问题。

21、五、本发明通过证据链分析模块将每一条结论绑定至具体的来源证据并标注来源标识、时间标注、版本信息和适用范围,通过交叉印证和冲突证据的版本优先级排序保证结构化证据链的完整性和一致性,从而克服了现有系统仅输出结论而不提供证据链导致结果不可追溯的问题。

22、六、本发明通过政务语义治理模块中的时间归一与版本标注子模块和混合检索模块中的时效过滤子模块,对政务知识单元执行版本标注和时效校验,优先保留最新有效版本并标记废止状态,从而克服了政策频繁更新导致系统输出过期内容的问题。

23、七、本发明通过权限控制与审计模块在检索阶段执行权限过滤、在生成阶段执行动态脱敏、在输出阶段执行行为记录,形成检索前过滤、生成中约束、输出后留痕的全链路控制,从而克服了传统智能检索系统在权限过滤、脱敏展示和审计留痕方面粒度不足而无法满足政务安全合规要求的问题。