训练方法、数据处理方法、装置、设备、介质和程序产品与流程

1.本公开涉及人工智能领域，更具体地涉及一种训练方法、数据处理方法、装置、设备、介质和程序产品。


背景技术：

2.在互联网上获取文本信息时，不仅仅获取到文本信息本身，同时会需要获取文本自身的结构化元数据。
3.相关技术中，可以通过手写规则进行信息爬取，例如对于不同的网页通过使用不同的正则表达式进行数据的抽取。还可以预先将文本处理为纯文本，然后人工对纯文本中的结构化元数据进行标注，来训练深度学习模型。
4.上述手写规则的方式兼容性低，对于不同的网页需要写不同的正则表达式，效率较低。而利用纯文本训练深度学习模型的方式依赖大规模的人工数据标注，训练成本较高。因此，提出一种兼备低成本和高效率的自动化数据处理方式，是当前亟待解决的问题。


技术实现要素：

5.鉴于上述问题，本公开提供了一种提高数据处理效率的训练方法、数据处理方法、装置、设备、介质和程序产品。
6.本公开实施例的一个方面，提供了一种数据处理模型的训练方法，包括：获取第一网页，其中，所述第一网页的源代码中包括第一代码标签和待处理的第一文本内容，所述第一文本内容包括m个文本段，m为大于或等于1的整数；将第一文本段关联的第二代码标签和第一位置信息中的至少一个，与所述第一文本段的文本相组合，获得第一输入向量，其中，所述第一文本段为所述m个文本段中的任一个，所述第一代码标签包括所述第二代码标签，所述第一位置信息为所述第一文本段在所述m个文本段中的位置信息；将所述第一输入向量和所述第一文本段的要素标签作为训练样本，来训练所述数据处理模型。
7.根据本公开的实施例，所述方法还包括获得所述第一文本段的要素标签，具体包括：确定所述第一文本段的要素类别；确定所述第一文本段在所述要素类别中的第二位置信息；基于所述要素类别和所述第二位置信息标注所述要素标签。
8.根据本公开的实施例，所述获得第一输入向量包括获得文本向量，具体包括：将所述第一文本段的文本输入预训练模型，其中，所述预训练模型包括预先训练完成的自然语言处理模型；获得所述预训练模型输出的所述文本向量。
9.根据本公开的实施例，所述获得第一输入向量包括获得代码标签向量，具体包括：确定关联所述第一文本内容的s种第一代码标签，其中，所述s种第一代码标签包括所述第二代码标签；对所述s种第一代码标签中每种第一代码标签进行向量编码；根据所述向量编码后的结果，获得所述第二代码标签的所述代码标签向量。
10.根据本公开的实施例，所述获得第一输入向量包括获得位置向量，具体包括：确定所述第一文本段在所述m个文本段中的第一顺序，其中，所述第一位置信息包括所述第一顺
序；基于所述第一顺序获得所述位置向量。
11.根据本公开的实施例，所述数据处理模型包括双向长短期记忆网络层和全连接层，所述训练所述数据处理模型包括：将所述第一输入向量作为所述双向长短期记忆网络层的输入；将所述双向长短期记忆网络层的输出作为所述全连接层的输入；基于所述全连接层的输出与所述要素标签计算获得损失函数，来根据所述损失函数更新所述数据处理模型的参数，其中，所述全连接层的输出包括所述第一文本段的预测要素标签。
12.根据本公开的实施例，所述数据处理模型还包括归一化层，在将所述第一输入向量作为所述双向长短期记忆网络层的输入之前，还包括：通过所述归一化层对所述第一输入向量进行归一化处理。
13.根据本公开的实施例，所述数据处理模型还包括弃权层，在将所述双向长短期记忆网络层的输出作为所述全连接层的输入之前，还包括：通过所述弃权层处理所述双向长短期记忆网络层的输出。
14.根据本公开的实施例，所述第一网页的源代码利用超文本标记语言获得，所述第一代码标签包括超文本标记语言标签。
15.本公开实施例的另一方面提供了一种数据处理方法，包括：获取第二网页，其中，所述第二网页的源代码中包括第三代码标签和待处理的第二文本内容；将所述第二文本内容和所述第三代码标签输入数据处理模型，其中，所述数据处理模型通过如上所述的方法训练获得；根据所述数据处理模型输出的第二文本段的预测要素标签，来处理所述第二文本段的文本，其中，所述第二文本内容包括至少一个文本段，所述第二文本段为所述至少一个文本段中的任一个。
16.本公开实施例的另一方面提供了一种数据处理模型的训练装置，包括：第一获取模块，用于获取第一网页，其中，所述第一网页的源代码中包括第一代码标签和待处理的第一文本内容，所述第一文本内容包括m个文本段，m为大于或等于1的整数；输入向量模块，用于将第一文本段关联的第二代码标签和第一位置信息中的至少一个，与所述第一文本段的文本相组合，获得第一输入向量，其中，所述第一文本段为所述m个文本段中的任一个，所述第一代码标签包括所述第二代码标签，所述第一位置信息为所述第一文本段在所述m个文本段中的位置信息；模型训练模块，用于将所述第一输入向量和所述第一文本段的要素标签作为训练样本，来训练所述数据处理模型。
17.本公开实施例的另一方面提供了一种数据处理装置，包括：第二获取模块，用于获取第二网页，其中，所述第二网页的源代码中包括第三代码标签和待处理的第二文本内容；数据输入模块，用于将所述第二文本内容和所述第三代码标签输入数据处理模型，其中，所述数据处理模型通过权利要求11所述的装置训练获得；数据处理模块，用于根据所述数据处理模型输出的第二文本段的预测要素标签，来处理所述第二文本段的文本，其中，所述第二文本内容包括至少一个文本段，所述第二文本段为所述至少一个文本段中的任一个。
18.本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。
19.本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。
20.本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。
21.上述一个或多个实施例具有如下有益效果：
22.通过本公开实施例的训练方法，结合代码标签、位置信息，并融合自然语言的语义，可以训练出少量标注数据即可进行强兼容性的数据处理模型。具体地，利用第一文本段在第一文本内容中的第一位置信息和/或第二代码标签，来结合第一文本段的文本构造第一输入向量，训练获得数据处理模型的方式，能够避免人工对大量纯文本进行要素标签标注，降低训练成本，并不再局限于现有技术中针对一种网页制定一种数据抽取规则的方式，提高了兼容性和处理效率。
附图说明
23.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
24.图1示意性示出了根据本公开实施例的训练方法或数据处理方法的应用场景图；
25.图2示意性示出了根据本公开实施例的数据处理模型的训练方法的流程图；
26.图3示意性示出了根据本公开实施例的获得文本向量的流程图；
27.图4示意性示出了根据本公开实施例的获得代码标签向量的流程图；
28.图5示意性示出了根据本公开实施例的获得位置向量的流程图；
29.图6示意性示出了根据本公开实施例的获得要素标签的流程图；
30.图7示意性示出了根据本公开实施例的训练数据处理模型的流程图；
31.图8示意性示出了根据本公开实施例的数据处理方法的流程图；
32.图9示意性示出了根据本公开实施例的训练装置的结构框图；
33.图10示意性示出了根据本公开实施例的数据处理装置的结构框图；
34.图11示意性示出了根据本公开实施例的适于实现训练方法或数据处理方法的电子设备的方框图。
具体实施方式
35.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
36.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
37.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
38.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本
领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
39.对于网页中公开的文本信息，例如新闻、政策文件、法院判决书、财务报告等，不同的文体具有不同的结构化元数据。结构化元数据可以通过文本要素的形式进行体现，以新闻举例，其文本要素可以包括标题、发布时间、发布来源等。以政策文件为例，其文本要素可以包括-标题、文号、发布日期、发布机构、受理单位等。
40.在获取网页中的信息时，可以同时获得文本信息本身，以及其中不同的文本所属的文本要素。
41.若使用手写规则的方式，对于不同的文体可能会针对性地设置规则，对于同一文体的不同网页也可能会针对性地设置规则，甚至用于编程网页源代码的语言相同，也可能会因为使用该语言下不同的标签而需要重新设置规则。
42.若使用纯文本训练深度学习模型，其弊端为纯文本丢失掉了网页原本的源代码结构、字号、代码标签等信息，因此需要大量的训练数据才能得到一个鲁棒性较好的模型，训练成本过高。
43.本公开实施例使用一种融合原始网页源代码的结构、标签、位置信息以及文本本身的语义信息，基于神经网络训练出一个数据处理模型，来自动进行文本要素的提取。训练获得的模型可用于网络文本的结构化信息抽取，还可用于文本管理端信息录入。
44.图1示意性示出了根据本公开实施例的训练方法或数据处理方法的应用场景图。
45.如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
46.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
47.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
48.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
49.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
50.以下将基于图1描述的场景，通过图2～图8对本公开实施例的数据处理模型的训练方法、数据处理方法进行详细描述。
51.图2示意性示出了根据本公开实施例的数据处理模型的训练方法的流程图。
52.如图2所示，该实施例的数据处理模型的训练方法包括操作s210～操作s230。
53.在操作s210，获取第一网页，其中，第一网页的源代码中包括第一代码标签和待处理的第一文本内容，第一文本内容包括m个文本段，m为大于或等于1的整数；
54.根据本公开的实施例，所述第一网页的源代码可以利用超文本标记语言(hypertext markup language，html)获得，第一代码标签包括超文本标记语言标签。超文本标记语言是一种用于创建网页的标准标记语言。具体地，html是一种基础技术，常与css、javascript一起被众多网站用于设计网页、网页应用程序以及移动应用程序的用户界面。网页浏览器可以读取html文件，并将其渲染成可视化网页。html描述了一个网站的结构语义随着线索的呈现，使之成为一种标记语言。
55.在一些实施例中，第一网页的源代码还可以利用xhtml、jade、haml、slim、xml等语言获得。
56.以html网页为例，一个网页可能包括正文信息(即第一文本内容)，还可能包括页眉、页脚、图片、脚本代码、css样式、广告链接等信息。这些信息可以通过html表示出来。如“一段话”可表示为“《p》一段话《/p》”。“《p》”即为一个第一代码标签。第一文本内容的文本段可以根据代码标签来确定，如上述“一段话”的两端皆有“《p》”，则可以认为其是一个文本段。
57.在操作s220，将第一文本段关联的第二代码标签和第一位置信息中的至少一个，与第一文本段的文本相组合，获得第一输入向量，其中，第一文本段为m个文本段中的任一个，第一代码标签包括第二代码标签，第一位置信息为第一文本段在m个文本段中的位置信息；
58.示例性地，第一文本内容关联有多个第一代码标签，每个文本段关联其中部分代码标签。如在第一文本段的首尾存在“《p》”，那么“《p》”即为第一文本段的第二代码标签。
59.示例性地，第一输入向量可以基于第一文本段的第二代码标签和文本获得，还可以基于第一文本段的第一位置信息和文本获得，也可以基于第一文本段的第二代码标签、第一位置信息和文本获得。
60.在操作s230，将第一输入向量和第一文本段的要素标签作为训练样本，来训练数据处理模型。
61.示例性地，可以将第一输入向量输入数据处理模型，并输出预测要素标签。训练的目的在于令预测要素标签与要素标签相同，从而令数据处理模型准确判断每个文本段属于哪个文本要素。
62.根据本公开的实施例，利用第一文本段在第一文本内容中的第一位置信息和/或表示第一文本段的第二代码标签，来结合第一文本段构造第一输入向量，训练获得数据处理模型的方式，能够避免人工对大量纯文本进行要素标签标注，降低训练成本，并令数据处理模型在训练过程中学习到文本段与代码标签之间的联系、文本段之间的文本语义、位置联系，从而不再局限于现有技术中针对一种网页制定一种数据抽取规则的方式，提高了兼容性和处理效率。
63.图3示意性示出了根据本公开实施例的操作s220中获得文本向量的流程图。
64.如图3所示，操作s220中获得第一输入向量包括获得文本向量，具体包括操作s310～操作s320。
65.在操作s310，将第一文本段的文本输入预训练模型，其中，预训练模型包括预先训练完成的自然语言处理模型；
66.示例性地，预训练模型可以包括bert模型、roberta-wwm-ext-large模型、ernie模
型、nezha模型或xlnet模型等。
67.在操作s320，获得预训练模型输出的文本向量。
68.示例性地，可以利用bert模型的文本编码id对第一文本段的文本进行编码。在对文本数据编码完成后，bert模型可以提取文本语义信息来获得文本向量。
69.根据本公开的实施例，利用预训练模型获得文本向量的过程，可以融入对于文本上下文的理解提取出文本语义信息，进而能使整体识别的效果得到提升。
70.图4示意性示出了根据本公开实施例的操作s220中获得代码标签向量的流程图。
71.如图4所示，操作s220中获得第一输入向量包括获得代码标签向量，具体包括操作s410～操作s430。
72.在操作s410，确定关联第一文本内容的s种第一代码标签，其中，s种第一代码标签包括第二代码标签；具体地，源代码中包括该s种第一代码标签，还可以包括其他第一代码标签。
73.在一些实施例中，由于html网页中存在一些其它描述性内容，如css样式和脚本等。可以进行剔除，从而保留第一文本内容以及关联的代码标签。剔除结果如下所示(仅为示例)。
74.《h4》xx局办公室关于加强xx工作的通知《h4》
75.《p》xx字(2021]30号《p》
76.《span》各省、自治区、直辖市...xx局，xx中心《span》
77.《p》按产业领域加强专利导航是知识产权运用促进工作的重要内容，对于提高创新效率，节约创新成本，加强专利保护具有重要意义。《p》
78.《p》特此通知。《p》
79.《p》xx局办公室《p》
80.《span》20xx年x月x日《span》
81.参照上述示例，经过剔除后可以看出，其中标题使用了html中的h4标签，而文号使用的是p标签，段落使用了p标签。对于最后一个段落，使用了span标签。h4、p和span标签即为关联第一文本内容的3种第一代码标签。以第一文本段为“xx局办公室关于加强xx工作的通知”举例，h4标签即为关联第一文本段的第二代码标签。每个文本段可以根据一段文字两端是否存在html标签来确定。
82.在一些实施例中，若标题使用h5标签，那么针对h4的正则表达式可能失效，导致重新构建正则表达式。而使用本公开实施例的数据处理模型则可以避免兼容性低的问题。
83.根据本公开的实施例，s种第一代码标签可以如表1所示(仅为示例)。
84.表1
[0085][0086]
在操作s420，对s种第一代码标签中每种第一代码标签进行向量编码；
[0087]
在一些实施例中，操作s420中可以使用one-hot独热向量编码的方式来实现。one-hot独热向量编码是使用s位状态寄存器来对s种第一代码标签进行编码，每个第一代码标签都有它独立的寄存器位，即，只有一位是1，其余都是零值。参照表1中共有11种第一代码标签，则每种第一代码标签会存在对应的编码结果。如h1的编码结果为(1，0，0，0，0，0，0，0，0，0，0)。在另一些实施例中，操作s420中可以使用word embedding词嵌入的方式来实现。
[0088]
在操作s430，根据向量编码后的结果，获得第二代码标签的代码标签向量。
[0089]
以上述“xx局办公室关于加强xx工作的通知”举例，其关联的h4标签的代码标签向量可以使用one-hot独热向量编码的结果，即(0，0，0，1，0，0，0，0，0，0，0)。也可以将one-hot独热向量编码的结果输入预训练模型进一步提取语义信息，将预训练模型的输出作为代码标签向量。表1中示出了11类标签，因此对于每一条文本段，我们均有一个1
＊
11维度的向量。
[0090]
根据本公开的实施例，通过获得代码标签向量用于作为第一输入向量的构成部分，可以令数据处理模型学习到代码标签与文字内容之间的联系，相比于去除代码标签的纯文本训练方式，降低了训练成本和人工标注成本，并提升了模型鲁棒性。
[0091]
图5示意性示出了根据本公开实施例的操作s220中获得位置向量的流程图。
[0092]
如图5所示，操作s220中获得第一输入向量可以包括位置向量，具体包括操作s510～操作s520。
[0093]
在操作s510，确定第一文本段在m个文本段中的第一顺序，其中，第一位置信息包括第一顺序；
[0094]
示例性地，第一顺序可以是第一文本段在m个文本段的排序，即其是第几个文本段。上述“xx局办公室关于加强xx工作的通知”即为第一个文本段，顺序为1。
[0095]
在操作s520，基于第一顺序获得位置向量。
[0096]
示例性地，相对位置信息的计算方式可以是：文本段顺序/所有文本段长度。如假设一共有m为10，那么第一个文本段的相对位置编码为0.1，第二段文本的相对位置编码为0.2，最后一段文本的相对位置编码为1。可以直接将相对位置编码作为1*1维度的位置向量，也可以将相对位置编码输入预训练模型进行编码获得1*1维度的位置向量。
[0097]
根据本公开的实施例，每个文本段的位置向量用于作为第一输入向量的构成部分，可以令数据处理模型学习到位置信息与文字内容之间的联系。在一些实施例中，也可以学习到代码标签、位置信息、文字内容之间的联系。从而降低训练成本和人工标注成本，并提升模型鲁棒性。
[0098]
根据本公开的实施例，参照图3～图5，下面再以利用html标签、位置信息和文本内容进行组合获得第一输入向量举例说明。
[0099]
首先，对html标签、位置信息和文本内容进行向量编码。对于上述“xx局办公室关于加强xx工作的通知”，则可以获得以下三个输入向量(仅为示例)。
[0100]
html标签向量输入：(0，0，0，1，0，0，0，0，0，0，0)
[0101]
相对位置信息输入：(0.1)
[0102]
bert词典编码输入：(101，1744，2157，4761，
…
，4761，102)
[0103]
以bert词典编码输入为例，bert的词典编码输入为简单的词表查询，如“知”对应的编码为4761，因此“知”识产权和通“知“均为同一个id；而101表示句子开头，102表示句子结尾(仅为示例)。
[0104]
其次，文本语义信息提取。如直接加载bert的预训练语言模型权重，对所有输入文本提取其语义信息。bert可以提取出抽象的句文本向量表征表示为一个768维度的向量。
[0105]
此时，上述三个输入向量变为了：
[0106]
html标签向量：1*11维度的向量
[0107]
相对位置向量：1*1维度的向量
[0108]
bert语义向量：1*768维度的向量
[0109]
最后，将三个输入向量横向拼接在一起，构造成一个1*780维度的向量，即第一输入向量。
[0110]
图6示意性示出了根据本公开实施例的获得要素标签的流程图。
[0111]
如图6所示，该实施例的获得第一文本段的要素标签包括操作s610～操作s630。
[0112]
在操作s610，确定第一文本段的要素类别；
[0113]
示例性地，要素类别可以是指哪一种文本要素。例如，上述“xx局办公室关于加强xx工作的通知”的要素类别即为标题要素。上述“各省、自治区、直辖市...xx局，xx中心”即为受理单位要素。
[0114]
在操作s620，确定第一文本段在要素类别中的第二位置信息；
[0115]
示例性地，第一文本内容中可以包括标题、文号、发布日期、发布机构、受理单位等文本要素。每种要素类别可能包括一个或多个文本段。在包括多个文本段的情况下，各个文本段之间则会存在先后顺序。第二位置信息即为第一文本段在所属要素类别中所处的位置信息。第二位置信息可以包括开头、中间、结尾或整体。其中，整体表示该要素类别仅包括一个文本段。
[0116]
在操作s630，基于要素类别和第二位置信息标注要素标签。
[0117]
示例性地，可使用b、i、e、o和s的标注方式，即如果该文本段为某个要素的开头，为b-要素，某个要素的中间部分，为i-要素，某个要素的结尾，为e-要素，单句话为整个要素(即整体)，为s-要素；不属于任何要素，则为o。上述“xx局办公室关于加强xx工作的通知”的要素标签可以为s-标题。上述“特此通知”的要素标签可以为o。在一些实施例中，若标题部
分包括三个文本段，则该三个文本段的要素标签包括b-标题、i-标题和e-标题。
[0118]
示例性地，如果包括标题、文号、发布日期、发布机构、受理单位这5个文本要素，可能会存在5*4 1的组合(每个文本要素可能与b、i、e和s相组合，若不属于文本要素，则单独标注o)，共21种要素标签形式。因此，每一个文本段均会有一个1*21维度，相加等于1的向量输出，而该向量中每个位置表示输出为该标签的概率。
[0119]
根据本公开的实施例，要素标签的准确标注可以提升训练效果，令数据处理模型具有较高的预测准确性。
[0120]
图7示意性示出了根据本公开实施例的训练数据处理模型的流程图。
[0121]
如图7所示，数据处理模型包括双向长短期记忆网络层(即bi-lstm层)和全连接层(即dense层)，该实施例的训练数据处理模型包括操作s720、操作s740、操作s750和操作s760。
[0122]
在操作s720，将第一输入向量作为双向长短期记忆网络层的输入：
[0123]
示例性地，在操作s720使用了双向的lstm循环神经网络结构(bi-lstm)。lstm作为可以用来处理超长序列的循环神经网络，可以记忆序列输入之前的信息，而bi-lstm可以记录输入之后的信息，为双向的循环神经网络。bi-lstm层的输入为1*780维的向量，输出为1*512维的向量。
[0124]
在操作s740，将双向长短期记忆网络层的输出作为全连接层的输入。示例性地，dense层的输入为1*512维的向量，输出为1*21维的向量。
[0125]
在操作s750，基于全连接层的输出与要素标签计算获得损失函数，以根据损失函数来更新数据处理模型的参数，其中，全连接层的输出包括第一文本段的预测要素标签。
[0126]
示例性地，dense层可以使用softmax的激活函数，会输出为相加等于1的21维向量。而21维向量中每个位置的值代表了某个要素标签的概率，可以从概率最大值确定出第一文本段的预测要素标签并进行输出。
[0127]
在操作s760，更新数据处理模型的参数。例如更新bi-lstm层和dense层中的权重系数。其中，损失函数可以采用交叉熵，然后即可根据交叉熵的收敛程度进行训练。在一些实施例中，损失函数还可以采用均方误差或指数损失函数等函数。
[0128]
如图7所示，数据处理模型还包括归一化层，该实施例的训练数据处理模型可以包括操作s710。
[0129]
示例性地，在操作s720之前执行操作s710，通过归一化层对第一输入向量进行归一化处理后，再输入双向长短期记忆网络层。归一化层的作用是，可以将输入特征进行归一化，方便模型进行训练收敛。
[0130]
如图7所示，数据处理模型还包括弃权层(即dropout层)，该实施例的训练数据处理模型还包括操作s730。在操作s740之前执行操作s730，通过弃权层处理双向长短期记忆网络层的输出，以便输入全连接层。dropout层可以防止模型进行过拟合。
[0131]
需要说明的是，图7中的数据处理模型的结构仅为示例，在不脱离本发明构思的情况下，可以替代部分或全部网络模型结构。如bi-lstm层可被替换为gru、rnn等其它常见神经网络层；归一化层也不是必须的网络层，但是对于网络收敛非常有帮助。
[0132]
图8示意性示出了根据本公开实施例的数据处理方法的流程图。
[0133]
如图8所示，该实施例的数据处理方法包括操作s810～操作s830。
[0134]
在操作s810，获取至少一个第二网页，其中，第二网页的源代码中包括第三代码标签和待处理的第二文本内容；
[0135]
示例性地，第二网页可以与第一网页使用相同的语言获得源代码，例如使用超文本标记语言，第三代码标签为html标签。第二文本内容与第一文本内容可以是同类文体，具有相同或相似的文本要素。
[0136]
在操作s820，将第二文本内容和第三代码标签输入数据处理模型，其中，数据处理模型可以通过上述图2～图7所描述的方法训练获得。
[0137]
示例性地，与获得第一输入向量的相同方式，将第二文本内容中每一文本段关联的第三代码标签和对应位置信息中的至少一个，与对应文本段的文本数据相组合，获得第二输入向量。参照图7，将第二输入向量输入训练好的数据处理模型中，获得输出结果。利用训练好的数据处理模型在处理数据时，可以取消弃权层，并不再需要获得损失函数。
[0138]
在操作s830，根据数据处理模型输出的第二文本段的预测要素标签，来处理第二文本段的文本，其中，第二文本内容包括至少一个文本段，第二文本段为至少一个文本段中的任一个。
[0139]
示例性地，第二文本段的预测要素标签可以包括所属要素类别和位置信息。例如当输出为(0.1，0.8，0.05，
…
，0.002)时，表示第二个位置的概率最高，而第二个位置对应的为i-标题，表示该段话应该为标题要素的中间部分。最后，可以将第二文本内容中相同要素类别的b-要素、i-要素和e-要素拼接起来。或者直接使用s作为一个要素类别，即可获得第二网页中的各个文本要素和对应文本内容。在一些实施例中，还可以将抽取出的信息用于文本管理端数据录入。
[0140]
根据本公开的实施例，可以利用预先训练的数据处理模型，其中，模型的输入为网页源代码，输出可以为结构化的文本要素。能够覆盖处理较大范围的第二网页，即使具有不同代码标签的第二网页，或不同的文体，也可以进行高效处理。
[0141]
基于上述训练方法、数据处理方法，本公开还提供了一种训练装置和一种数据处理装置。以下将结合图9和图10进行详细描述。
[0142]
图9示意性示出了根据本公开实施例的训练装置900的结构框图。
[0143]
如图9所示，该实施例的数据处理模型的训练装置900包括第一获取模块910、输入向量模块920和模型训练模块930。
[0144]
第一获取模块910可以执行操作s210，用于获取第一网页，其中，所述第一网页的源代码中包括第一代码标签和待处理的第一文本内容，所述第一文本内容包括m个文本段，m为大于或等于1的整数；
[0145]
输入向量模块920可以执行操作s220，用于将第一文本段关联的第二代码标签和第一位置信息中的至少一个，与所述第一文本段的文本相组合，获得第一输入向量，其中，所述第一文本段为所述m个文本段中的任一个，所述第一代码标签包括所述第二代码标签，所述第一位置信息为所述第一文本段在所述m个文本段中的位置信息；
[0146]
根据本公开的实施例，输入向量模块920还可以执行操作s310～操作s320、操作s410～操作s430和操作s510～操作s520，在此不做赘述。
[0147]
模型训练模块930可以执行操作s230，用于将第一输入向量和第一文本段的要素标签作为训练样本，来训练数据处理模型。模型训练模块930还可执行操作s710～操作
s760，在此不做赘述。
[0148]
根据本公开的实施例，训练装置900还可以包括要素标签模块，要素标签模块可以执行操作s610～操作s630，在此不做赘述。
[0149]
根据本公开的实施例，训练装置900能够结合代码标签的输入、相对位置的输入、以及文本语义，进行深度学习模型构建与训练，极大程度的降低了训练成本，人工标注成本，并提升了模型鲁棒性。
[0150]
图10示意性示出了根据本公开实施例的数据处理装置1000的结构框图。
[0151]
如图10所示，该实施例的数据处理装置1000包括第二获取模块1010、数据输入模块1020和数据处理模块1030。
[0152]
第二获取模块1010可以执行操作s810，用于获取第二网页，其中，所述第二网页的源代码中包括第三代码标签和待处理的第二文本内容；
[0153]
数据输入模块1020可以执行操作s820，用于将所述第二文本内容和所述第三代码标签输入数据处理模型，其中，所述数据处理模型通过训练装置900训练获得；
[0154]
数据处理模块1030可以执行操作s830，用于根据所述数据处理模型输出的第二文本段的预测要素标签，来处理所述第二文本段的文本，其中，所述第二文本内容包括至少一个文本段，所述第二文本段为所述至少一个文本段中的任一个。
[0155]
需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。
[0156]
根据本公开的实施例，训练装置900或数据处理装置1000中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。
[0157]
根据本公开的实施例，训练装置900或数据处理装置1000中的至少一个模块可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，训练装置900或数据处理装置1000中的至少一个模块可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0158]
图11示意性示出了根据本公开实施例的适于实现训练方法或数据处理方法的电子设备的方框图。
[0159]
如图11所示，根据本公开实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0160]
在ram 1103中，存储有电子设备1100操作所需的各种程序和数据。处理器1101、
rom 1102以及ram 1103通过总线1104彼此相连。处理器1101通过执行rom 1102和/或ram 1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1102和ram 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0161]
根据本公开的实施例，电子设备1100还可以包括输入/输出(i/o)接口1105，输入/输出(i/o)接口1105也连接至总线1104。电子设备1100还可以包括连接至i/o接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
[0162]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0163]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 1102和/或ram 1103和/或rom 1102和ram1103以外的一个或多个存储器。
[0164]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。
[0165]
在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0166]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0167]
在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0168]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执
行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0169]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0170]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0171]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。