跨模态批改模板生成方法、装置、设备以及产品与流程

本技术涉及文档图像识别，尤其涉及跨模态批改模板生成方法、装置、设备以及产品。

背景技术：

1、现有纸质试卷的自动批改，其模板生成主要沿两条路线展开，一是预置坐标路线，事先标定答题卡与作答区坐标，扫描后依据定位标记完成版面校正与切图，二是文本匹配路线，先由ocr输出按阅读顺序的文本行，再以正则提取题号，将题号之后的答案文本归入该题，近年亦有方案将整页试卷与标准答案一并输入视觉语言模型直接判分，或借助语义匹配与分步比对评分。

2、然而上述方案的着力点均在评分本身，模板环节缺少独立于文本顺序与模型输出的权威题目依据，而题目集合或受制于人工标定、换卷即失效，或受制于ocr线性阅读顺序，遇双栏、跨页、题号重复与答案串时答案即被挂至错误题号且不可审计，不仅于此，答案语义与作答区坐标各自独立生成、缺少统一主键，误差分别累积并传导至评分与渲染，最终导致漏题、重题、评分任务错配与标记偏移。

3、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种跨模态批改模板生成方法、装置、设备以及产品，旨在解决现有技术缺少独立于文本顺序的权威题目骨架，且答案文本与作答区坐标缺少统一主键，导致漏题、重题以及评分错配的技术问题。

2、为实现上述目的，本技术提出一种跨模态批改模板生成方法，所述跨模态批改模板生成方法包括：

3、获取目标试卷的原卷页面图像以及标准答案页面图像，对所述原卷页面图像进行分层结构识别，得到题目层级关系以及分层试卷骨架；

4、根据所述分层试卷骨架的试卷题目，将所述标准答案页面图像中的答案文本映射至所述分层试卷骨架，得到映射关系；

5、对所述原卷页面图像进行作答区域检测，得到作答框区域，对所述作答框区域进行归一化处理，得到候选作答框；

6、对所述候选作答框进行修正得到目标作答框，并根据所述分层试卷骨架的试卷题目，将所述题目层级关系、映射关系以及目标作答框归并至所述分层试卷骨架，得到结构化批改模板。

7、在一实施例中，所述对所述原卷页面图像进行分层结构识别，得到题目层级关系以及分层试卷骨架的步骤包括：

8、对所述原卷页面图像进行图像校正，得到校正后的原卷页面图像；

9、对所述校正后的原卷页面图像进行光学字符识别，得到原卷文本块，并基于所述原卷文本块以及所述校正后的原卷页面图像进行分层结构识别，得到初始试卷骨架以及所述初始试卷骨架中题目与小题的题目层级关系，所述小题为所述题目的下级题目节点，所述小题为层级最低的题目节点；

10、对所述初始试卷骨架进行结构一致性检查，得到检查结果；

11、根据所述检查结果，将所述初始试卷骨架中检查通过的节点保留，并将检查未通过的节点登记为待校正试卷项；

12、对所述待校正试卷项进行人工校正，得到校正通过节点，汇总所述检查通过的节点以及校正通过节点得到候选试卷骨架；

13、将所述候选试卷骨架与所述题目层级关系进行关联，得到分层试卷骨架。

14、在一实施例中，所述根据所述分层试卷骨架的试卷题目，将所述标准答案页面图像中的答案文本映射至所述分层试卷骨架，得到映射关系的步骤包括：

15、对所述标准答案页面图像进行光学字符识别，得到答案文本块，并对所述答案文本块中的答案文本进行归一化处理，得到归一化后的答案文本；

16、根据题号层级解析规则集对所述归一化后的答案文本进行题号解析，得到所述答案文本对应的题号；

17、基于所述分层试卷骨架的试卷题目，将所述题号与所述分层试卷骨架中的题目进行匹配，并保持所述分层试卷骨架的题目构成以及题目顺序不变，得到答案文本与题目之间的映射关系；

18、将所述分层试卷骨架中不存在对应题目的答案文本登记为待校正答案项且不根据所述待校正答案项在所述分层试卷骨架中新增题目。

19、在一实施例中，所述对所述原卷页面图像进行作答区域检测，得到作答框区域，对所述作答框区域进行归一化处理，得到候选作答框的步骤包括：

20、根据所述分层试卷骨架对所述原卷页面图像进行作答区域检测，得到初始作答框区域以及所述初始作答框区域对应的题目；

21、对所述分层试卷骨架进行题目锚框检测，在检测到存在题目锚框的情况下，通过所述题目锚框对所述初始作答框区域进行替换，得到替换作答框区域，在未检测到题目锚框的情况下，将所述初始作答框区域作为替换作答框区域；

22、对所述替换作答框区域进行冲突消解，得到作答框区域；

23、根据所述原卷页面图像对应的页面宽度以及页面高度，对所述作答框区域进行归一化处理，得到候选作答框。

24、在一实施例中，所述对所述候选作答框进行修正得到目标作答框的步骤包括：

25、通过所述原卷页面图像的页面边界对所述候选作答框的坐标进行比较，得到越界信息；

26、通过所述候选作答框的左上角坐标以及右下角坐标进行比较，得到所述候选作答框的退化信息；

27、根据所述原卷页面图像的题目归属信息，对所述候选作答框进行排序，得到排列顺序信息；

28、基于所述越界信息、退化信息以及排列顺序信息生成校验结果，并根据所述校验结果对所述候选作答框进行修正得到目标作答框。

29、在一实施例中，所述根据所述校验结果对所述候选作答框进行修正得到目标作答框的步骤包括：

30、根据所述越界信息，将越过所述页面边界的候选作答框进行裁剪，得到裁剪后的候选作答框；

31、根据所述退化信息，对所述裁剪后的候选作答框进行区域删除，得到保留作答框；

32、根据所述排列顺序信息对所述保留作答框进行排序，得到目标作答框；

33、根据所述分层试卷骨架的试卷题目，将所述题目层级关系、映射关系以及目标作答框归并至所述分层试卷骨架中对应的题目，得到结构化批改模板。

34、在一实施例中，所述根据所述分层试卷骨架的试卷题目，将所述题目层级关系、映射关系以及目标作答框归并至所述分层试卷骨架，得到结构化批改模板的步骤之后，所述方法还包括：

35、接收所述结构化批改模板的保存请求，根据所述保存请求生成所述结构化批改模板的历史版本备份；

36、对所述结构化批改模板进行摘要分析，得到模板内容摘要；

37、提取所述结构化批改模板的题目评分点，根据所述模板内容摘要，将所述题目评分点与所述模板内容摘要进行关联存储，得到评分点缓存；

38、在接收到所述目标试卷的批改请求时，对所述结构化批改模板进行摘要分析，得到实时模板内容摘要；

39、在所述实时模板内容摘要与所述模板内容摘要一致的情况下，则根据所述评分点缓存提取题目评分点对所述目标试卷进行评分，得到评分结果。

40、此外，为实现上述目的，本技术还提出一种跨模态批改模板生成装置，所述跨模态批改模板生成装置包括：

41、识别模块，用于获取目标试卷的原卷页面图像以及标准答案页面图像，对所述原卷页面图像进行分层结构识别，得到题目层级关系以及分层试卷骨架；

42、映射模块，用于根据所述分层试卷骨架的试卷题目，将所述标准答案页面图像中的答案文本映射至所述分层试卷骨架，得到映射关系；

43、检测模块，用于对所述原卷页面图像进行作答区域检测，得到作答框区域，对所述作答框区域进行归一化处理，得到候选作答框；

44、修正模块，用于对所述候选作答框进行修正得到目标作答框，并根据所述分层试卷骨架的试卷题目，将所述题目层级关系、映射关系以及目标作答框归并至所述分层试卷骨架，得到结构化批改模板。

45、此外，为实现上述目的，本技术还提出一种跨模态批改模板生成设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的跨模态批改模板生成方法的步骤。

46、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的跨模态批改模板生成方法的步骤。

47、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的跨模态批改模板生成方法的步骤。

48、本技术提出的一个或多个技术方案，至少具有以下技术效果：

49、本技术实施例提出的一种跨模态批改模板生成方法、装置、设备以及产品，通过获取目标试卷的原卷页面图像以及标准答案页面图像，对所述原卷页面图像进行分层结构识别，得到题目层级关系以及分层试卷骨架；根据所述分层试卷骨架的试卷题目，将所述标准答案页面图像中的答案文本映射至所述分层试卷骨架，得到映射关系；对所述原卷页面图像进行作答区域检测，得到作答框区域，对所述作答框区域进行归一化处理，得到候选作答框；对所述候选作答框进行修正得到目标作答框，并根据所述分层试卷骨架的试卷题目，将所述题目层级关系、映射关系以及目标作答框归并至所述分层试卷骨架，得到结构化批改模板。由此，对原卷页面图像进行分层结构识别，由版面空间结构产出分层试卷骨架，使题目集合独立于文本顺序与人工标定而完整枚举，随后以骨架中的试卷题目为依据映射答案文本，将作答区域归一化为候选作答框并作坐标校验，再以同一试卷题目为据将题目层级关系、映射关系与目标作答框归并至骨架，使答案语义与作答区坐标同挂于统一主键，解决了现有技术缺少独立于文本顺序的权威题目骨架，且答案文本与作答区坐标缺少统一主键，导致漏题、重题以及评分错配的问题，提高了跨模态批改模板生成的效率。