使用域特定的自然语言处理模型对文档进行分类的制作方法

背景技术：

1、诸如公司，政府机构，教育机构等的实体经常接收数千个文档，这些文档包括文本，图像，图表，表格和其它形式的数据/信息/知识表示的组合。这些文档可以是不同类型的，包括microsoft word, microsoft excel文档，png, tiff, jpg, raw, gif, pdf，电子邮件，txt文件，手写注释，html, xml扫描文档等。基于这些文档的内容对这些文档进行手动分类和优先级排序可能是一项繁重且容易出错的任务。实体已尝试使用某些机器学习算法(例如自然语言处理 (nlp)) 来使该过程自动化。然而，传统的nlp模型常常缺少对文档的准确分类。例如，传统的nlp模型不能将域特定的标签分配给单词或短语以准确地对文档进行分类。

2、此外，手动提取信息或高度智能的第三方工具，以可接受的精确度(例如，光学字符识别 (ocr)) 来提取每个pdf的文本内容、并且以机器可读的格式正确地提取这些数据并将这些数据拼凑回来，是繁重的、耗时的、并且容易出错的。此外，当试图从文档中提取文本时，实现传统机器学习模型的传统方法可能面临许多障碍，例如光学清晰度，字母数字字符，取向等。因此，对文档进行分类和优先级排序的传统方法可能是繁重的，昂贵的和容易出错的。

技术实现思路

1、本文提供了用于使用域特定的nlp模型对文档进行分类的系统，装置，设备，方法和/或计算机程序产品实施例，和/或其组合和子组合。

2、在给定实施例中，一种用于对文档进行分类的方法包括以下步骤：由一个或多个计算设备接收一组文档和用于该组文档中的每个文档的元数据。一组文档对应于一个域。该方法还包括由一个或多个计算设备为该一组文档中的每个文档生成一组单词嵌入。每个单词嵌入包括来自相应文档的一个或多个单词。所述方法还包括由所述一个或多个计算设备将所述一组单词嵌入中的每个单词嵌入令牌化为一组段。每个段包括来自单词嵌入的单词。此外，所述方法包括由所述一个或多个计算设备训练学习模型以通过递归地进行以下步骤来对所述域的所述一组文档中的每个文档进行分类：由所述一个或多个计算设备将所述一组文档中的每个文档的所述一组段中的每个段分解为一组特征；由所述一个或多个计算设备基于分配给对应段的所述一组特征中的每个特征的预定权重，将词性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；由所述一个或多个计算设备基于分配给所述对应段的所述词性标注和分配给对应字符串的所述一组特征中的每个特征的预定权重，将依赖性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；由所述一个或多个计算设备，基于分配给所述对应段的所述词性标注和所述依赖性标注、以及分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将来自于对应于所述域的一组预定标签的命名实体识别 (ner) 标签分配给所述一组文档中的每个文档的所述一组段中的每个段；以及由所述一个或多个计算设备通过将每个文档的所述元数据与所述相应文档的所分配的所述ner标签进行比较来验证所分配的ner标签。

3、在给定实施例中，分类文档的系统包括存储器和耦合到存储器的处理器。处理器被配置为接收一组文档和所述一组文档中的每个文档的元数据。所述一组文档对应于域。所述处理器进一步经配置以为所述一组文档中的每个文档生成一组单词嵌入。每个单词嵌入包括来自相应文档的一个或多个单词。所述处理器进一步经配置以将所述一组单词嵌入中的每个单词嵌入令牌化为一组段。每个段包括来自所述单词嵌入的单词。此外，所述处理器还被配置为训练学习模型，以通过递归地进行以下步骤来对所述域的所述一组文档中的每个文档进行分类：将所述一组文档中的每个文档的所述一组段中的每个段分解为一组特征；基于分配给对应段的所述一组特征中的每个特征的预定权重，将词性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；基于分配给所述对应段的所述词性标注和分配给对应字符串的所述一组特征中的每个特征的预定权重，将依赖性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；基于分配给所述对应段的所述词性标注和所述依赖性标注、以及分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将来自于对应于所述域的一组预定标签的命名实体识别 (ner) 标签分配给所述一组文档中的每个文档的所述一组段中的每个段；以及通过将每个文档的所述元数据与所述相应文档的所分配的所述ner标签进行比较来验证所分配的ner标签。

4、在给定实施例中，一种其上存储有指令的非暂时性计算机可读介质，所述指令被设备的一个或多个处理器执行时，使所述一个或多个处理器执行包括以下的操作：接收一组文档和所述一组文档中的每个文档的元数据。所述一组文档对应于域。该操作还包括为所述一组文档中的每个文档生成一组单词嵌入.每个单词嵌入包括来自相应文档的一个或多个单词。所述操作还包括将所述一组单词嵌入中的每个单词嵌入令牌化为一组段.每个段包括来自所述单词嵌入的单词。此外，所述操作包括训练学习模型，以通过递归地进行以下步骤来对所述域的所述一组文档中的每个文档进行分类：将所述一组文档中的每个文档的所述一组段中的每个段分解为一组特征；基于分配给对应段的所述一组特征中的每个特征的预定权重，将词性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；基于分配给所述对应段的所述词性标注和分配给对应字符串的所述一组特征中的每个特征的预定权重，将依赖性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；基于分配给所述对应段的所述词性标注和所述依赖性标注、以及分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将来自对应于所述域的一组预定标签的命名实体识别 (ner) 标签分配给所述一组文档中的每个文档的所述一组段中的每个段；以及通过将每个文档的所述元数据与所述相应文档的所分配的所述ner标签进行比较来验证所分配的ner标签。

5、在给定实施例中，一种用于对文档进行分类的方法包括：由一个或多个计算设备接收对与域相对应的文档进行分类的请求；由所述一个或多个计算设备生成包括所述文档的一个或多个单词的单词嵌入；由所述一个或多个计算设备将与所述域相对应的所述单词嵌入令牌化为一组段；由所述一个或多个计算设备将所述文档的一个或多个字符串中的每个字符串分解为一组新特征；由所述一个或多个计算设备使用经训练的学习模型，基于分配给对应段的所述一组特征中的每个特征的预定权重，将词性标注分配给所述新文档的所述一组段中的每个新段；由所述一个或多个计算设备使用所述经训练的学习模型，基于分配给所述对应段的所述词性标注和分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将依赖性标注分配给所述文档的所述一组段中的每个段；由所述一个或多个计算设备使用所述经训练的学习模型，基于分配给所述对应段的所述词性标注和所述依赖性标注、以及分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将来自与所述域相对应的一组预定标签的ner标签分配给所述文档的所述一组段中的每个段；和由所述一个或多个计算设备使用所述经训练的学习模型，基于分配的ner标签对与所述域相对应的所述文档进行分类。

6、在给定实施例中，一种用于训练nlp模型的方法包括以下步骤：由一个或多个计算设备接收一组文档和用于该组文档中的每个文档的元数据。该组文件对应于药物警戒。该方法还包括由一个或多个计算设备为该一组文档中的每个文档生成一组单词嵌入。每个单词嵌入包括来自相应文档的一个或多个单词。所述方法还包括由所述一个或多个计算设备将所述一组单词嵌入中的每个单词嵌入令牌化为一组段。每个段包括来自单词嵌入的单词。此外，所述方法包括由所述一个或多个计算设备训练学习模型，以通过递归地进行以下步骤来对所述一组文档中的每个文档进行分类：由所述一个或多个计算设备将所述一组文档中的每个文档的所述一组段中的每个段分解为一组特征；由所述一个或多个计算设备基于分配给对应段的所述一组特征中的每个特征的预定权重，将词性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；由所述一个或多个计算设备基于分配给所述对应段的所述词性标注和分配给对应字符串的所述一组特征中的每个特征的预定权重，将依赖性标注分配给所述一组文档中的每个文档的所述一组段中的每个段；由所述一个或多个计算设备基于分配给所述对应段的所述词性标注和所述依赖性标注、以及分配给所述对应段的所述一组特征中的每个特征的所述预定权重，将来自对应于所述域的一组预定标签的命名实体识别 (ner) 标签分配给所述一组文档中的每个文档的所述一组段中的每个段；和由所述一个或多个计算设备通过将每个文档的所述元数据与所述相应文档的所分配的所述ner标签进行比较来验证所分配的ner标签。响应于完全训练所述学习模型，所述学习模型被配置为基于病例有效性，严重性，病死率和因果关系对药物警戒文档进行分类。

7、在给定的实施例中，一种使用自然语言处理 (nlp) 模型对药物警戒文档进行分类的方法包括：由一个或多个计算设备接收对药物警戒文档进行分类的请求；由所述一个或多个计算设备使用被配置为实现卷积神经网络 (cnn) 和双向长期短期 (bilstm) 算法的组合的学习模型，来生成输出，所述输出包括针对所述药物警戒文档中的一个或多个单词的命名实体识别 (ner) 标签；和由所述一个或多个计算设备使用所述ner标签，基于病例有效性，严重性，病死率和因果关系对所述药物警戒文档进行分类。