基于大语言模型的可配置多维度论文智能评价方法及系统与流程

摘要: 本技术涉及文档处理,特别是涉及一种基于大语言模型的可配置多维度论文智能评价方法及系统。背景技术:1、随着大语言模型在文本理解领域的成熟,面向学位论文、课程论文的...
基于大语言模型的可配置多维度论文智能评价方法及系统与流程

本技术涉及文档处理,特别是涉及一种基于大语言模型的可配置多维度论文智能评价方法及系统。

背景技术:

1、随着大语言模型在文本理解领域的成熟,面向学位论文、课程论文的智能评阅需求日益兴起。现有技术中,论文评价方案主要分为三类:

2、第一类是基于规则与统计的文本检测方案,例如查重检测、语法错误检测、格式规范性检查等。这类方案仅能发现论文中的表层规范性问题,无法对论文的学术质量、逻辑结构、论证严谨性等深层次维度进行评价。

3、第二类是将论文全文一次性提交至大语言模型,获取模型返回的整体评语。此类方案受限于大语言模型的上下文窗口大小,当论文篇幅较长时需对全文进行截断,导致评价信息不完整;同时,模型输出的评价意见仅为整体性描述,缺乏对论文各部分的具体定位,用户无法获知评价意见具体对应原文的哪一部分。

4、第三类是面向特定写作任务的辅助工具,例如摘要生成工具、语法润色工具等。此类工具功能单一,仅针对写作过程中的某一环节提供辅助,无法构成完整的论文评价闭环。

5、此外,现有方案在模型调用时,大语言模型输出的数据结构往往不稳定,容易产生伪json等解析失败的情况,导致整次评价结果失效;同时,论文正文中容易嵌入诱导性文字,导致模型出现“提示词注入”问题,影响评价结果的客观性。

技术实现思路

1、本技术的目的是提供一种基于大语言模型的可配置多维度论文智能评价方法及系统,可以解决现有技术中评价维度固化、评价意见无法逐行定位、模型输出解析困难的技术问题,实现可配置、可量化、可追溯的论文智能评价。

2、为实现上述目的,本技术提供了如下方案:

3、第一方面,本技术提供了一种基于大语言模型的可配置多维度论文智能评价方法,包括以下步骤:

4、获取论文文档及评审请求,通过解析所述论文文档,得到结构化模型;所述结构化模型包含所述论文文档的各段落分别对应的段落标识和段落文本。

5、根据所述评审请求中的配置标识,从配置存储中获取所述配置标识对应的评审维度集合;所述评审维度集合中包含至少一个评审维度,各所述评审维度分别对应有权重和提示词模板。

6、针对任一评审维度,根据所述结构化模型的全部段落文本和所述评审维度对应的提示词模板,构造所述评审维度对应的模型调用请求,调用大语言模型对所述论文文档进行所述评审维度的评价,得到所述评审维度下的维度评分。

7、根据各个所述评审维度对应的权重和维度评分,确定所述论文文档对应的论文总分,并根据预设的分数阈值将所述论文总分映射为所述论文文档的评价等级。

8、将所述结构化模型的各段落文本分批输入所述大语言模型,获取所述大语言模型返回的问题列表;所述问题列表中包含至少一个问题条目;所述问题条目包含问题片段原文和批注内容。

9、对于各所述问题条目,在所述问题条目对应的段落文本中定位所述问题片段原文的字符起止偏移,并将所述字符起止偏移与所述批注内容关联保存。

10、基于各个所述评审维度对应的维度评分、论文文档的论文总分和评价等级,生成报告文档。

11、在所述报告文档中,根据各所述问题条目分别对应的所述字符起止偏移,将各所述批注内容分别锚定至所述报告文档中对应的文字位置。

12、可选地,解析所述论文文档,得到结构化模型,包括:

13、根据所述论文文档的文件格式,从多个解析引擎中确定目标解析引擎。

14、通过所述目标解析引擎对所述论文文档进行解析,得到所述论文文档的各段落的段落文本和所述段落文本对应的排版信息。

15、根据各段落的所述排版信息,确定各段落的章节层级。

16、按照各段落在所述论文文档中的排列顺序,为各段落分配全局连续的段落标识。

17、根据各段落的段落文本、章节层级和段落标识,生成所述结构化模型;所述结构化模型包含各所述段落分别对应的所述段落标识、所述章节层级和所述段落文本。

18、可选地,根据所述论文文档的文件格式,从多个解析引擎中确定目标解析引擎,具体包括:

19、当所述论文文档为具有样式标识的新式文档时,确定样式驱动解析引擎为所述目标解析引擎。

20、通过所述目标解析引擎对所述论文文档进行解析,包括:

21、逐段读取所述论文文档的各段落,依据各段落引用的样式标识判定各段落的标题级别。

22、可选地,根据所述论文文档的文件格式,从多个解析引擎中确定目标解析引擎,具体包括:

23、当所述论文文档为无样式标识的旧式文档时,确定编号驱动解析引擎为所述目标解析引擎。

24、通过所述目标解析引擎对所述论文文档进行解析,包括:

25、以章节编号正则匹配各段落的段落起始,根据匹配到的章节编号模式推断各段落的章节层级。

26、可选地,根据所述评审请求中的配置标识,从配置存储中获取所述配置标识对应的评审维度集合,具体包括:

27、从所述评审请求中提取所述配置标识。

28、在配置存储中查询获取所述配置标识对应的全部评审维度记录。

29、从全部评审维度记录中筛选出状态为启用状态的评审维度记录。

30、按照各所述评审维度记录中的排序号升序排列,得到所述评审维度集合;各所述评审维度记录分别包含维度名称、维度标识、维度分类、权重、最高分和自定义提示词模板。

31、可选地,任一所述评审维度对应的模型调用请求,包括:

32、系统消息,承载安全规则和输出规范,并注入所述服务器的运行时系统日期作为基准时间。

33、助手角色的预置确认消息。

34、用户角色的论文正文消息,所述论文正文消息包含所述结构化模型的全部段落文本;其中,所述评审维度对应的提示词模板嵌入所述系统消息或所述用户角色的论文正文消息中。

35、可选地,以多线程并行的方式,调用大语言模型对所述论文文档进行各评审维度的评价:

36、各所述评审维度独立返回百分制的维度评分、维度等级、评阅意见和修改意见。

37、各所述评审维度对应的令牌消耗以原子方式跨线程累加,用于计量与计费。

38、各所述评审维度的评审结果分别落库,各所述评审维度之间互不影响,单维度调用失败不阻塞其他维度。

39、可选地,根据各个所述评审维度对应的权重和维度评分,确定所述论文文档对应的论文总分,包括:

40、构造维度标识与权重的映射关系。

41、对于各所述评审维度中已完成评审且维度评分非空的评审维度,将各所述维度评分分别乘以对应的权重后求和,得到加权总和,同时累加各所述维度评分对应的权重,得到总权重。

42、将所述加权总和除以所述总权重,得到所述论文总分;当所述总权重为零时,所述论文总分为零。

43、根据预设的分数阈值将所述论文总分映射为所述论文文档的评价等级,包括:

44、当所述论文总分不低于第一阈值时,将所述评价等级确定为a级。

45、当所述论文总分低于所述第一阈值且不低于第二阈值时,将所述评价等级确定为b级。

46、当所述论文总分低于所述第二阈值且不低于第三阈值时,将所述评价等级确定为c级。

47、当所述论文总分低于所述第三阈值时,将所述评价等级确定为d级。

48、可选地,在所述报告文档中,根据各所述问题条目分别对应的所述字符起止偏移,将各所述批注内容分别锚定至所述报告文档中对应的文字位置,具体包括:

49、在向所述报告文档写入批注内容之前,以所述问题条目对应的段落文本在所述报告文档中进行文本前缀匹配,定位所述段落文本在所述报告文档中的位置。

50、过滤所述段落文本内的非内容排版单元,为各内容排版单元建立字符偏移映射。

51、根据所述字符起止偏移,确定所述问题片段原文所落入的目标排版单元,在所述字符起止偏移对应的位置处拆分所述目标排版单元,将所述问题片段原文切分为独立的排版单元。

52、在切分后的所述独立的排版单元之前插入批注区间起点标记,在所述独立的排版单元之后插入批注区间终点标记和批注引用标记,将所述批注内容写入独立的批注部件。

53、当同一段落存在多个所述问题条目时,按照各所述问题条目的起始偏移的降序自后向前依次插入批注标记。

54、第二方面,本技术提供了一种基于大语言模型的可配置多维度论文智能评价系统,包括以下功能模块:

55、文档解析模块,用于解析论文文档,得到结构化模型;所述结构化模型包含所述论文文档的各段落分别对应的段落标识和段落文本。

56、维度配置模块,用于根据评审请求中的配置标识,从配置存储中获取所述配置标识对应的评审维度集合;所述评审维度集合中包含至少一个评审维度,各所述评审维度分别对应有权重和提示词模板。

57、维度评审模块,用于针对任一评审维度,根据所述结构化模型的全部段落文本和所述评审维度对应的提示词模板,构造所述评审维度对应的模型调用请求,调用大语言模型对所述论文文档进行所述评审维度的评价,得到所述评审维度下的维度评分。

58、聚合分级模块,用于根据各个所述评审维度对应的权重和维度评分,确定所述论文文档对应的论文总分,并根据预设的分数阈值将所述论文总分映射为所述论文文档的评价等级。

59、段落评审模块,用于将所述结构化模型的各段落文本分批输入所述大语言模型,获取所述大语言模型返回的问题列表;所述问题列表中包含至少一个问题条目;所述问题条目包含问题片段原文和批注内容。

60、偏移定位模块,用于对于各所述问题条目,在所述问题条目对应的段落文本中定位所述问题片段原文的字符起止偏移,并将所述字符起止偏移与所述批注内容关联保存。

61、报告生成模块,基于各个所述评审维度对应的维度评分、论文文档的论文总分和评价等级,生成报告文档;在所述报告文档中,根据各所述问题条目分别对应的所述字符起止偏移,将各所述批注内容分别锚定至所述报告文档中对应的文字位置。

62、根据本技术提供的具体实施例,本技术公开了以下技术效果:

63、本技术提供了一种基于大语言模型的可配置多维度论文智能评价方法及系统,在该方法中,首先通过对论文文档进行结构化解析,得到携带段落标识与章节层级的统一结构化模型,为后续的精准定位奠定基础;然后依据评审请求中的配置标识动态获取可启停、可排序且自带权重与自定义提示词模板的评审维度集合,使评价标准能够按学科、层次或机构灵活调整而无需修改程序,显著提升了系统的适配性与扩展性;在此基础上,针对每个维度独立构造调用请求,之后并行调用大语言模型进行评分,既缩短了整体耗时,又实现了多维度细粒度评价,同时各维度独立落库互不阻塞,保证了高可用性;随后利用各维度的权重对有效评分进行加权归一化聚合,得到论文总分并依据可配置阈值映射为评价等级,从而在维度动态变化的情况下仍能提供可解释、可比较的量化定级;接着将全部段落按固定批大小分批送入模型进行逐段问题识别,并立即在原文中定位问题片段的字符起止偏移且预先保存,该偏移先于报告生成而记录,因此完全不受后续报告内容插入所导致的段落漂移影响,显著提升了批注定位的鲁棒性与命中率;最终在生成包含总分、等级及各维度评阅意见的报告文档时,依据预存的字符偏移,通过文本重定位与跨排版单元字符级拆分,将每条批注内容精确锚定至原文对应的文字位置,实现了通用办公软件下“逐行批阅”式的高亮批注,使得评价意见可追溯、可操作,有效解决了现有方案中评价脱离原文、难以精确定位的痛点。