基于大模型的多模态智慧行业知识处理系统及其方法与流程

本发明涉及计算机数据处理领域，特别是基于大模型的多模态智慧行业知识处理系统及其方法。

背景技术：

1、随着政务、金融、制造、能源等智慧行业持续积累政策文件、业务规范、电子表格、图像资料、音频记录和业务知识文本，多模态知识处理逐渐成为行业信息系统的重要组成部分。现有方法通常通过文档解析、文字识别、语音转写、知识字段提取、语义向量检索和大模型生成，将异构资料转换为可检索、可关联和可调用的知识数据，并结合资料版本管理支持行业知识的持续更新与查询处理。

2、然而，现有方法仍存在两方面的局限性：一方面，资料发生局部版本变化时，通常依据文本差异或已有引用关系确定更新对象，难以进一步判断变化原始文本是否实际改变字段形成结果及其引用字段，容易扩大需要重新处理的数据范围；另一方面，知识处理请求执行期间发生版本切换时，已生成结果引用的字段可能与当前版本数据不一致，难以依据结果实际引用字段确定需要保留、更新来源或重新生成的具体结果项。

技术实现思路

1、鉴于上述现有技术存在的问题，提出了本发明。

2、因此，本发明提供了基于大模型的多模态智慧行业知识处理方法，解决了多模态行业知识资料版本变化时难以准确确定字段实际受影响范围，并在知识处理请求执行期间难以保持生成结果与当前版本数据一致的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了基于大模型的多模态智慧行业知识处理方法，其包括：获取多模态智慧行业知识数据，提取并核对事项名称和字段文本片段，形成字段并保存实际参与字段形成的原始文本编号、字段引用关系和语义向量；接收同一文件标识的接收版本，根据原始资料位置和内容摘要值确定变化原始文本，分别采用未变化原始文本和接收版本全部相关原始文本重新提取字段，根据两次结果确定需要继续处理的字段编号；根据需要继续处理的字段编号查询引用字段，读取变化字段对应接收版本字段数据，分别在不输入和输入变化字段数据的条件下重新提取当前字段，根据字段文本、被引用字段编号和实际参与字段形成的原始文本编号变化确定是否继续沿字段引用关系处理，并更新字段数据和当前版本号；接收行业知识处理请求，在语义向量检索前记录当前版本号，生成包含来源字段编号、来源文本编号和引用字符位置的知识处理结果项，根据字段变化结果核验来源字段，确定保持结果、更新来源信息或重新生成结果项，核对来源文本后输出行业知识处理结果。

5、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述获取多模态智慧行业知识数据包括：读取文本资料的页码、标题编号、条款编号、段落序号和字符位置，读取电子表格的工作表编号、表格编号、行号和列号，读取图像资料的页码、图像区域编号、区域坐标和文字识别结果，读取音频资料的音频编号、转写片段编号、开始时间、结束时间和转写文本；对具有独立原始资料位置的文本分配原始文本编号，对原始文本执行统一字符处理并计算内容摘要值，将原始文本编号、原始资料位置和内容摘要值对应保存。

6、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述提取并核对事项名称和字段文本片段，形成字段并保存实际参与字段形成的原始文本编号、字段引用关系和语义向量包括：按照原始文本编号和字符位置核对大模型提取的事项名称和字段文本片段，将同一文件标识、同一版本号和同一事项名称对应的原始文本共同用于字段提取，同一事项名称对应的每一种字段类型形成一个字段；按照原始资料位置排列通过核对的字段文本片段形成字段文本，在全部字段完成字段编号分配后，根据通过字符位置核对的引用原文和原始资料位置确定被引用字段编号，保存字段引用关系，并根据字段文本生成语义向量。

7、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述根据原始资料位置和内容摘要值确定变化原始文本包括：接收版本与当前版本先按照原始资料位置对应原始文本，对位置对应文本比较内容摘要值以确定文本未变化或者文本发生变化，再对位置未对应文本按照内容摘要值进行匹配，唯一匹配时确定原始资料位置变化，当前版本未取得对应文本时确定删除，接收版本未取得对应文本时确定新增；根据发生文本变化或者删除的原始文本编号读取实际使用对应原始文本形成的字段编号。

8、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述分别采用未变化原始文本和接收版本全部相关原始文本重新提取字段，根据两次结果确定需要继续处理的字段编号包括：对需要重新提取的字段执行两次重新提取，第一次去除发生文本变化和删除的原始文本，仅采用接收版本中内容摘要值未变化的原始文本，第二次采用接收版本中与当前字段对应的全部现存原始文本以及事项名称和字段类型均对应的新增原始文本；第一次和第二次重新提取均形成与当前版本一致字段时采用第一次重新提取的原始文本作为接收版本字段来源，第一次不能形成当前版本一致字段而第二次能够形成时采用第二次重新提取结果并继续处理对应字段，第二次形成不同字段或者不能形成有效字段时更新字段文本或者记录当前字段编号在接收版本中不继续使用。

9、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述根据需要继续处理的字段编号查询引用字段，读取变化字段对应接收版本字段数据，分别在不输入和输入变化字段数据的条件下重新提取当前字段包括：按照当前版本字段引用关系查询引用需要继续处理字段的其他字段，读取变化字段对应原始文本编号，判断变化字段是否属于当前字段实际参与字段形成的原始文本编号集合，属于当前字段形成过程的变化字段作为输入字段；第一次重新提取时不输入变化字段对应接收版本字段数据，第二次重新提取时在相同原始文本、事项名称、字段类型和其他被引用字段输入基础上加入变化字段对应接收版本字段数据，分别取得两次重新提取的字段文本、被引用字段编号集合以及实际参与字段形成的原始文本编号集合。

10、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述根据字段文本、被引用字段编号和实际参与字段形成的原始文本编号变化确定是否继续沿字段引用关系处理，并更新字段数据和当前版本号包括：比较两次重新提取得到的字段文本、被引用字段编号集合以及实际参与字段形成的原始文本编号集合，三项数据均相同时保持当前字段接收版本数据并停止沿字段引用关系查询，任一项数据不同时采用第二次重新提取结果更新字段文本、被引用字段编号和实际参与字段形成的原始文本编号，并继续查询引用当前字段的其他字段；同一字段经不同字段引用关系重复到达时，读取对应字段编号和接收版本字段内容摘要值，字段编号和内容摘要值均未变化时不重复执行重新提取处理，全部需要处理字段完成处理后，对字段文本或者实际参与字段形成的原始文本编号发生变化的字段重新生成语义向量，并将接收版本号登记为新的当前版本号。

11、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述接收行业知识处理请求，在语义向量检索前记录当前版本号，生成包含来源字段编号、来源文本编号和引用字符位置的知识处理结果项包括：从行业知识处理请求中提取事项名称、适用区域和字段类型，根据事项名称、适用区域和字段类型确定候选字段对应文件标识，在读取候选字段语义向量前记录文件标识对应当前版本号，并读取记录版本号范围内的字段编号、字段文本、字段类型、原始文本编号和语义向量；根据请求文本生成请求语义向量，并采用相同文本向量模型版本生成候选字段语义向量，按照请求语义向量与候选字段语义向量的匹配结果确定输入大模型的字段范围，将行业知识处理请求、字段文本、字段类型、原始文本编号和引用字符位置输入大模型，生成保存结果项编号、结果文本、来源字段编号、来源文本编号和引用字符位置的知识处理结果项。

12、作为本发明所述基于大模型的多模态智慧行业知识处理方法的一种优选方案，其中，所述根据字段变化结果核验来源字段，确定保持结果、更新来源信息或重新生成结果项，核对来源文本后输出行业知识处理结果包括：生成知识处理结果项后再次读取参与请求处理文件的当前版本号，并与请求开始时记录的当前版本号进行比较；版本号发生变化时，读取字段变化处理结果，根据知识处理结果项保存的来源字段编号匹配发生变化字段编号；来源字段编号未属于发生变化字段编号集合，或者来源字段对应当前版本字段文本、原始文本编号和引用字符位置均能够继续对应时，保持结果文本并更新来源字段编号、来源文本编号和引用字符位置；来源字段发生字段文本变化、被引用字段编号变化、实际参与字段形成的原始文本编号变化、字段编号无法对应或者引用字符位置无法在当前版本原始文本中唯一匹配时，重新确定输入字段范围并生成对应知识处理结果项；根据来源字段编号和来源文本编号读取当前版本原始文本，按照引用字符位置截取对应字符内容，与保存的引用原文一致时保存知识处理结果项，完成来源核验后输出行业知识处理结果。

13、第二方面，本发明提供了基于大模型的多模态智慧行业知识处理系统，包括：字段提取模块，用于获取多模态智慧行业知识数据，读取原始文本及原始资料位置，提取并核对事项名称和字段文本片段，形成字段，保存实际参与字段形成的原始文本编号、字段引用关系，并根据字段文本生成语义向量；版本处理模块，用于接收同一文件标识的接收版本，根据原始资料位置和内容摘要值确定变化原始文本，分别采用未变化原始文本和接收版本全部相关原始文本重新提取字段，根据两次结果确定需要继续处理的字段编号；字段更新模块，用于根据需要继续处理的字段编号查询引用当前字段的其他字段，读取变化字段对应接收版本字段数据，分别在不输入和输入变化字段数据的条件下重新提取当前字段，根据两次提取得到的字段文本、被引用字段编号以及实际参与字段形成的原始文本编号比较结果确定是否继续处理引用字段，并更新字段数据和当前版本号；请求处理模块，用于接收行业知识处理请求，在语义向量检索前记录当前版本号，检索对应字段并生成包含来源字段编号、来源文本编号和引用字符位置的知识处理结果项，根据字段变化结果核验来源字段，确定保持结果、更新来源信息或重新生成结果项，核对来源文本后输出行业知识处理结果。

14、本发明有益效果为：通过分别采用未变化原始文本和接收版本相关原始文本重新提取字段，并对引用字段执行不输入和输入变化字段对应接收版本字段的两次重新提取，根据字段文本、被引用字段编号以及实际参与字段形成的原始文本编号变化确定继续处理字段范围，实现版本变化字段的准确传播判断；通过在语义向量检索前记录当前版本号，并根据请求期间字段变化结果、知识处理结果项来源字段编号和来源文本核验结果确定保持结果、更新来源数据或重新生成对应知识处理结果项，使知识处理结果项与当前版本字段数据保持一致。