一种基于深度学习模型的自动识别古籍引书系统和方法与流程

1.本发明涉及计算机软件技术领域，特别涉及一种基于深度学习模型siku-bert、siku-roberta开发的古籍引书自动识别系统和方法。


背景技术：

2.不同于现代汉语文本中的参考文献，其引文在文后有统一的著录格式及汇总，古籍文本中的引用以多种形式散布于文中，既没有明显的引用标志，也没有规范的格式。因此，对古籍文本中的引书的识别是一项及其富有挑战性的工作。在前人的研究中，获取引书条目多依赖于人工逐卷逐字地阅读。然而，面对浩如烟海的古籍，纯人工操作已然单薄无力对于大规模甚至超大规模的古籍文本语料来说，想要深度挖掘其中的相互引用关系，像前人那样通过人工逐本逐卷标注显然是不现实的。引书条目中的引书名称，从自然语言处理的角度看属于命名实体的范畴，因此，可采用命名实体自动识别技术抽取古籍文本中的引书名称，有效地解决大规模古籍文本引书语料难于构建的问题。


技术实现要素：

3.本发明针对现有技术的缺陷，提供了一种基于深度学习模型的自动识别古籍引书系统和方法。
4.为了实现以上发明目的，本发明采取的技术方案如下：
5.一种基于深度学习模型的自动识别古籍引书系统，包括：
6.语料预处理模块。根据试验需求以及模型对语料要求，将语料进行清洗与处理，按照比例划分训练集和验证集；
7.语言模型预训练模块。选择需要的预训练模型siku-bert、siku-roberta；
8.引书条目识别试验模块。在预训练模型基础上，对模型参数进行调优；
9.引书条目识别效果测评模块。结合国内外对实体识别评价的常用指标，选择准确率(precision)、召回率(recall)、f值(f-measure)三个指标来衡量模型性能。
10.本发明还公开了一种基于深度学习模型的自动识别古籍引书方法，包括如下步骤：
11.s1、选取古籍的数字化文本为语料，将引书看做名词性指称的实体，人工对其进行标注，并规定标记符号为“【】”，以此构建实验语料。对标注了引书条目的语料依次进行文本格式转换、合并以及数据预处理，再去掉标点选用5-tag作为标记集拆分成字，形成训练语料。5-tag标记集采用{b-seg，m-seg，e-seg，s-seg，n-seg}标注方式，即b-seg表示实体的开始，m-seg表示实体的中间部分，e-seg表示实体的结尾，s-seg表示单字实体，非实体用n-seg表示。为适应模型的数据需求，将训练语料格式改为标签 制表符 文本数据；
12.s2、基于pytorch深度学习框架编写模型训练程序，加载古文领域深度学习模型siku-bert、siku-roberta对文本进行处理，调整模型到合适参数，对训练集进行迭代训练，直至训练结束；
13.s3、对实验所得的模型性能进行评价，采用的指标为准确率、召回率、f值，评估完成后，选择效果最优的模型进行保存；
14.s4、搭建模型调用接口，从而方便用户进行直接使用，可实现用户直接输入古籍原文到对古籍引书的自动识别。
15.优选的，所述步骤s1中的语料原文均可在网上直接获取，且所有标注的条目均为人工历经三轮对其进行标注及校对；古籍引书的认定标准为：直接引用了原文或部分原文的明引类型。对于隐引不考虑在内。
16.优选的，所述步骤s2中，语料的预训练模型是经过《四库全书》语料构建的，是纯古籍语料；参数设置为12-layer，768-hidden，12-heads，110m parameters，it模型共12层，隐层768维，12头模式，110m个参数。最大截断长度256，训练批次大小32，学习率2e-5，迭代次数10.0次。
17.优选的，所述步骤s3中，试验所采取的评价办法是基于十折交叉验证，在十次结果中选取最优值。
18.优选的，当模型保存完毕后，用户可直接通过用户接口，直接输入古籍原文，经模型判断后返回识别出的引书条目。
19.与现有技术相比，本发明的优点在于：
20.本发明利用古文信息处理技术从古籍文本中获取与引书有关的数据。把引书名称当作命名实体，在人工标注训练语料的基础上，通过深度学习模型，自动识别出古籍文本中的引书条目。在该试验中，siku-roberta模型识别效果的结果为p＝93.94％、r＝86.11％、f＝89.86％；siku-bert模型识别效果的结果为p＝81.58％、r＝86.11％、f＝83.78％。
具体实施方式
21.为了更全面、清晰的展示本方法的具体实施过程以及优势，以下对本方法做进一步的详细说明。值得注意的是，此文所描述的具体实施过程仅仅针对本方法所使用的的具体对象，其目的主要是为了更好的解释本方法的实施，并不用于限定本发明。同时，本发明的保护范围还包括本领域其他研究人员未在本案例基础上做出实质性创造劳动前提下所获得的其他实施例。
22.一种基于深度学习模型的自动识别古籍引书系统，包括：
23.语料预处理模块。根据试验需求以及模型对语料要求，将语料进行清洗与处理，按照比例划分训练集和验证集；
24.语言模型预训练模块。选择需要的预训练模型siku-bert、siku-roberta；
25.引书条目识别试验模块。在预训练模型基础上，对模型参数进行调优；
26.引书条目识别效果测评模块。结合国内外对实体识别评价的常用指标，选择准确率p、召回率r、f值三个指标来衡量模型性能。
27.一种基于深度学习模型的自动识别古籍引书方法，包括如下步骤：
28.s1、选取阮元主持重刻的《十三经注疏》中的《论语注疏》《毛诗正义》《春秋左传正义》三部古籍的数字化文本为语料，将引书看做名词性指称的实体，人工对其进行标注，并规定标记符号为“【】”，以此构建实验语料。对标注了引书条目的语料依次进行文本格式转换、合并以及数据预处理等工作，将引书看做名词性指称的实体。选用5-tag作为标记集拆
分成字，形成训练语料。5-tag标记集采用{b-seg，m-seg，e-seg，s-seg，n-seg}标注方式，即b-seg表示实体的开始，m-seg表示实体的中间部分，e-seg表示实体的结尾，s-seg表示单字实体，非实体用n-seg表示。并将数据集的格式改为标签 制表符 文本数据；
29.所述步骤s1中的语料原文均可在网上直接获取，且所有标注的条目均为人工历经三轮对其进行标注及校对；古籍引书的认定标准为：直接引用了原文或部分原文的明引类型。对于隐引暂不考虑在内。
30.s2、基于pytorch深度学习框架编写模型训练程序，并加载古文领域深度学习模型siku-bert、siku-roberta对文本进行处理，二者均是基于神经网络架构的层叠式深度学习模型bilstm-crf，前者是基于双向transformer架构的bert预训练模型；后者则是针对bert模型在训练中的不足，对模型训练的每部分都进行了轻微改进提出的roberta预训练模型。二者是南京农业大学、南京师范大学等提出的使用繁体四库全书语料分别在bert-base-chinese和chinese-ro berta-wwm上进行继续预训练的古文预训练模型。由于上述预训练模型是基于大量语料进行自监督训练而成的语言模型，因此在进行引书条目识别试验时，仅需选择相应模型，调整模型到合适参数，对训练集进行迭代训练，直至训练结束；语料的预训练模型是经过《四库全书》语料构建的，是纯古籍语料；参数设置为12-layer，768-hidden，12-heads，110m parameters，it模型共12层，隐层768维，12头模式，110m个参数。最大截断长度256，训练批次大小32，学习率2e-5，迭代次数10.0次。
31.s3、对实验所得的模型性能进行评价，基于十折交叉验证，在十次结果中选取评价指标的最优值，采用的指标为准确率(precision)、召回率(recall)、f值(f-measure)，评估完成后，选择效果最优的模型进行保存；
32.s4、搭建模型调用接口，从而方便用户进行直接使用，可实现用户直接输入古籍原文到对古籍引书的自动识别。
33.当模型保存完毕后，用户可直接通过用户接口，直接输入古籍原文，经模型判断后返回识别出的引书条目。
34.综上所述：本发明提供的一种基于深度学习模型的siku-bert、siku-roberta开发的古籍引书自动识别方法。与传统技术相比，该方法可通过计算机实现古籍引书的自动识别与抽取，可以从大规模原始语料中获取隐藏的古籍引书条目。并且，该方法相比过去的crf等方法，识别准确率更高，对于古籍引书识别效率提高具有重要意义，为古籍引书的挖掘及研究提供了极大的助力。
35.最后应当说明的是：以上所述仅为《论语注疏》《毛诗正义》《春秋左传正义》三本古籍的引书自动识别案例，虽然参照此案例对本发明进行了详尽的说明，但并不限制与本发明的范畴。对于其他古籍引书挖掘分析的研究者而言，任何在研究对象、研究方法、模型参数或其他技术细节等部分进行修改、改进或者等同替换的行为，凡属于本发明的精神和原则之内的，均应当属于本发明的保护范围。
36.本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。