医疗领域数据标注模型训练方法及医疗领域数据标注方法与流程

1.本发明涉及数据标注技术领域，尤其涉及一种医疗领域数据标注模型训练方法及医疗领域数据标注方法。


背景技术：

2.医疗健康一直是人们热议的话题，对医疗文本的自动抽取技术也日趋重要。目前医疗领域数据人工标注成本高，获取大规模标注语料较困难。一种解决标注语料缺失的方法是基于词表的远程监督方法。但由于远程监督的数据质量问题，模型性能缩水严重，存在漏标注问题。


技术实现要素：

3.本发明实施例提供一种医疗领域数据标注模型训练方法、医疗领域数据标注方法，用于至少解决上述技术问题之一。
4.第一方面，本发明实施例提供一种医疗领域数据标注模型训练方法，包括：
5.对症状字符串进行分词得到多个子字符串；
6.将所述多个子字符串输入至编码器进行编码得到编码输出结果；
7.根据所述编码输出结果确定输出矩阵；
8.采用动态负采样方式进行模型训练得到目标输出矩阵。
9.在一些实施例中，所述对症状字符串进行分词得到多个子字符串，包括：根据预设标签库对所述症状字符串进行分词得到多个子字符串。
10.在一些实施例中，所述输出矩阵为n
×
n的矩阵，所述输出矩阵的每个元素为相应字符串取所述预设标签库中的各个标签的概率得分。
11.在一些实施例中，所述预设标签库中至少包括以下标签之一：位置标签、身体部位标签、性质标签、症状标签、药品标签、疾病标签、检查标签、时间标签、感染人群标签和程度标签。
12.在一些实施例中，所述采用动态负采样方式进行模型训练得到目标输出矩阵，包括：
13.构建遮蔽矩阵对所述输出矩阵进行遮蔽处理；
14.将所述遮蔽矩阵配置为，只对所述遮蔽矩阵的上三角区域进行激活，且对于超出设定实体长度的位置均不激活；
15.根据所述遮蔽矩阵中激活位置的损失确定目标函数进行模型训练得到目标输出矩阵。
16.第二方面，本发明实施例提供一种医疗领域数据标注方法，包括：
17.采用本发明任一实施例所述的医疗领域数据标注模型训练方法训练得到目标输出矩阵；
18.根据待标注的症状字符串确定多个节点集合，每个所述节点集合中包括多个片段
实体；
19.根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的最高得分所对应的标签结果。
20.在一些实施例中，每个所述节点集合中任意两个片段实体之间均不冲突，且对于任意一个所述节点集合，所有不在所述任意一个节点集合内的片段实体至少与所述任意一个节点集合内的一个片段实体冲突。
21.在一些实施例中，所述根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的最高得分所对应的标签结果，包括：
22.根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的多个标签得分值；
23.根据每个所述节点集合中的多个片段实体的多个标签得分值确定每个所述节点集合的集合得分值；
24.根据最高集合得分值所对应的节点集合中的多个片段实体的多个标签得分值确定标签结果。
25.第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项医疗领域数据标注方法。
26.第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项医疗领域数据标注方法。
27.第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项医疗领域数据标注方法。
28.本发明实施例的医疗领域数据标注模型训练方法训练得到的医疗领域数据标注模型能够对医疗领域数据进行更细粒度的标注，对词表进行实体细粒度化，提高远程监督的标注命中率。
附图说明
29.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明的医疗领域数据标注模型训练方法的一实施例的流程图；
31.图2为本发明中拆分症状字符串的一实施例的示意图；
32.图3为本发明的医疗领域数据标注模型的一实施例的结构示意图；
33.图4为本发明的医疗领域数据标注模型训练方法的另一实施例的流程图；
34.图5为本发明中的实体有效范围及负采样有效范围的示意图；
35.图6为本发明中医疗领域数据标注方法的一实施例的流程图；
36.图7为本发明中医疗领域数据标注方法的另一实施例的流程图；
37.图8为本发明中确定节点集合最高得分的示意图；
38.图9为本发明的电子设备的一实施例的结构示意图。
具体实施方式
39.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
40.本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
41.在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
42.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
43.如图1所示，本发明的实施例提供一种医疗领域数据标注模型训练方法，包括：
44.s10、对症状字符串进行分词得到多个子字符串。
45.示例性地，如图2所示对于症状字符串“左侧小腿粉碎性骨折”，可以将其拆解得到由各个不同标签子串构成的组合结果。该方法优势在于能够提高远程监督的命中率。例如，词表中存在“胃/出血”和“腹/胀”，那么当文本中出现“胃胀”，该方法亦能将其标注出来。
46.示例性地，所述对症状字符串进行分词得到多个子字符串，包括：根据预设标签库对所述症状字符串进行分词得到多个子字符串。如图2所示，预设标签库中至少包括以下标签之一：位置标签、身体部位标签、性质标签和症状标签。此外还可以有药品标签、疾病标签、检查标签、时间标签、感染人群标签和程度标签。
47.s20、将所述多个子字符串输入至编码器进行编码得到编码输出结果。
48.如图3所示，将多个子字符串输入至编码器(bert)进行编码处理。其中多个字符串
构成的输入举例为：x＝[x1,x2,
…
x
n
]，经过bert编码后的输出结果h＝[h1,h2,
…
h
n
]。
[0049]
s30、根据所述编码输出结果确定输出矩阵。
[0050]
示例性地，所述输出矩阵为n
×
n的矩阵，所述输出矩阵的每个元素为相应字符串取所述预设标签库中的各个标签的概率得分。
[0051]
将经过bert编码后的输出结果h＝[h1,h2,
…
h
n
]在序列长度所在维度进行复制升维，得到矩阵a及转置矩阵a
t
，以及维度为n
×
n的logits输出矩阵s：
[0052][0053]
输出矩阵s中每一元素s
ij
公式为：
[0054][0055]
其中，为向量拼接操作，w1与w2为权重矩阵，b1与b2为偏置矩阵。令span(i,j)表示起始位置为i，终止位置为j的片段字符串，则s
ij
即该字符串对应各个标签的概率得分。
[0056]
s40、采用动态负采样方式进行模型训练得到目标输出矩阵。
[0057]
本发明实施例的医疗领域数据标注模型训练方法训练得到的医疗领域数据标注模型能够对医疗领域数据进行更细粒度的标注，对词表进行实体细粒度化，提高远程监督的标注命中率，数据集标注量提高了约25％。
[0058]
如图4所示为本发明的医疗领域数据标注模型训练方法的另一实施例的流程示意图，在该实施例中，所述采用动态负采样方式进行模型训练得到目标输出矩阵，包括：
[0059]
s41、构建遮蔽矩阵对所述输出矩阵进行遮蔽处理；
[0060]
s42、将所述遮蔽矩阵配置为，只对所述遮蔽矩阵的上三角区域进行激活，且对于超出设定实体长度的位置均不激活；
[0061]
s43、根据所述遮蔽矩阵中激活位置的损失确定目标函数进行模型训练得到目标输出矩阵。
[0062]
本实施例中，动态负采样即在每次训练模型时，都重新为每条数据选取负样本。通过构建随机mask矩阵的方式实现动态负采样。首先构建一个取值范围为0或1的mask矩阵对输出矩阵s进行遮蔽，0表示忽略该处损失，1则表示激活该处损失，该mask矩阵初始值为0。对于输出矩阵s，一般只考虑在其上三角区域进行激活，且对于超出设定的实体最大长度的位置均不激活。因此实体有效范围以及负采样范围如下图5中黑色部分所示。对于长度为n的文本，实体最大长度为d，则实体的有效范围以及负采样范围为：{(i,j)|0≤i≤n,i≤j≤i d}。
[0063]
接着将具有标签的实体片段以及负采样片段所对应的mask矩阵位置值置为1，得到最终的mask矩阵。在模型训练时，只计算mask矩阵中值为1所在位置对应损失，目标函数为：
[0064][0065]
其中，|d|为训练集数据个数，p(i,j,l)表示单条数据中span(i,j)标签为l的概
率，l
ij
为span(i,j)的真实标签，即logits(i,j)向量中标签l所在位置对应值。预测阶段，我们取输出矩阵s经过argmax后最高的得分对应标签，作为该位置对应片段的标签结果。
[0066]
本发明实施例的医疗领域数据标注模型训练方法对实体最大长度以及负采样范围进行限制，提高模型拟合能力和拟合速度。
[0067]
如图6所示，本发明实施例提供一种医疗领域数据标注方法，包括：
[0068]
s61、采用本发明任一实施例所述的医疗领域数据标注模型训练方法训练得到目标输出矩阵；
[0069]
s62、根据待标注的症状字符串确定多个节点集合，每个所述节点集合中包括多个片段实体；
[0070]
s63、根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的最高得分所对应的标签结果。
[0071]
本发明实施例的医疗领域数据标注方法能够对医疗领域数据进行更细粒度的标注，对词表进行实体细粒度化，提高远程监督的标注命中率，数据集标注量提高了约25％。
[0072]
在一些实施例中，每个所述节点集合中任意两个片段实体之间均不冲突，且对于任意一个所述节点集合，所有不在所述任意一个节点集合内的片段实体至少与所述任意一个节点集合内的一个片段实体冲突。
[0073]
例如，一个序列x1x2x3x4x5，假如x3和x4跟x5冲突。根据该序列可以确定多个节点集合。例如，可以确定多个的多个节点集合包括：x1x2x3x4和x1x2x5。对于x1x2x3x4，x5跟集合内的x3或x4冲突，但x1x2x3x4互不冲突。对于x1x2x5，x3跟x5冲突，x4跟x5冲突，但是x1x2x5互不冲突。
[0074]
示例性地，假设存在两个片段实体span(i1,j1)与span(i2,j2)，判断两者是否识别冲突的检测函数为：
[0075][0076]
对于一段文本，其所有span识别结果g＝{span(i1,j1),span(i2,j2),
…
,span(i
n
,j
n
)}，存在多个最大不冲突节点集合，该集合满足：集合内任意两个节点均不冲突，且不在集合内的节点与该集合内至少一个节点冲突。
[0077]
本实施例从整体出发，提出一种全局最优不冲突节点集合选择算法，找出所有的最大不冲突节点集合，计算所有集合得分并取最高得分作为全局最优结果。
[0078]
如图7所示为本发明实施例提供的医疗领域数据标注方法的另一实施例的流程示意图，在该实施例中，所述根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的最高得分所对应的标签结果，包括：
[0079]
s631、根据所述目标输出矩阵确定每个所述节点集合中的多个片段实体的多个标签得分值；
[0080]
s632、根据每个所述节点集合中的多个片段实体的多个标签得分值确定每个所述节点集合的集合得分值；
[0081]
s633、根据最高集合得分值所对应的节点集合中的多个片段实体的多个标签得分值确定标签结果。
[0082]
根据上述定义可得，对于第k个最大不冲突节点集合令其得分为：
[0083][0084]
其中，p(i,j)表示span(i,j)是实体的得分，表示span(i,j)为非实体的得分。我们计算出所有最大不冲突节点集合的得分，并取最高得分的作为最终结果。
[0085]
以图8为例，矩阵中位置为0即表示该位置为非实体，1即表示该位置为实体。则g1＝{span(1,3),span(4,5)}与g2＝{span(3,4)}冲突。计算得通过比较score(g1)与score(g2)得分，选取得分高的节点集合作为最终结果。
[0086]
在一些实施例中本发明的医疗领域数据标注方法包括以下步骤：
[0087]
1、细粒度化实体并构建模型：
[0088]
1)细粒度化实体
[0089]
以图2为例，对于症状长字符串“左侧小腿粉碎性骨折”，将其拆解得到由各个不同标签子串构成的组合结果。该方法优势在于能够提高远程监督的命中率。例如，词表中存在“胃/出血”和“腹/胀”，那么当文本中出现“胃胀”，该方法亦能将其标注出来。
[0090]
2)构建模型
[0091]
模型基本构成如图3所示。对于文本x＝[x1,x2,
…
x
n
]，经过bert编码后的输出结果h＝[h1,h2,
…
h
n
]，将其在序列长度所在维度进行复制升维，得到矩阵a及转置矩阵a
t
，以及维度为n
×
n的logits输出矩阵s：
[0092][0093]
输出矩阵s中每一元素s
ij
公式为：
[0094][0095]
其中，为向量拼接操作，w1与w2为权重矩阵，b1与b2为偏置矩阵。令span(i,j)表示起始位置为i，终止位置为j的片段字符串，则s
ij
即该字符串对应各个标签的概率得分。
[0096]
2、负采样训练并获取得分矩阵：
[0097]
动态负采样即在每次训练模型时，都重新为每条数据选取负样本。通过构建随机mask矩阵的方式实现动态负采样。首先构建一个取值范围为0或1的mask矩阵对输出矩阵s进行遮蔽，0表示忽略该处损失，1则表示激活该处损失，该mask矩阵初始值为0。对于输出矩阵s，一般只考虑在其上三角区域进行激活，且对于超出设定的实体最大长度的位置均不激活。因此实体有效范围以及负采样范围如图5中黑色部分所示。对于长度为n的文本，实体最大长度为d，则实体的有效范围以及负采样范围为：{(i,j)|0≤i≤n,i≤j≤i d}。
[0098]
接着将具有标签的实体片段以及负采样片段所对应的mask矩阵位置值置为1，得到最终的mask矩阵。在模型训练时，只计算mask矩阵中值为1所在位置对应损失，目标函数为：
[0099][0100]
其中，|d|为训练集数据个数，p(i,j,l)表示单条数据中span(i,j)标签为l的概率，l
ij
为span(i,j)的真实标签，即logits(i,j)向量中标签l所在位置对应值。预测阶段，我们取输出矩阵s经过ar gmax后最高的得分对应标签，作为该位置对应片段的标签结果。
[0101]
3、获取最大不冲突节点集合
[0102]
假设存在两个片段实体span(i1,j1)与span(i2,j2)，判断两者是否识别冲突的检测函数为：
[0103][0104]
对于一段文本，其所有span识别结果g＝{span(i1,j1),span(i2,j2),
…
,span(i
n
,j
n
)}，存在多个最大不冲突节点集合，该集合满足：集合内任意两个节点均不冲突，且不在集合内的节点与该集合内至少一个节点冲突。
[0105]
4、选取得分最高的节点集合
[0106]
根据上述定义可得，对于第k个最大不冲突节点集合令其得分为：
[0107][0108]
其中，p(i,j)表示span(i,j)是实体的得分，表示span(i,j)为非实体的得分。我们计算出所有最大不冲突节点集合的得分，并取最高得分的作为最终结果。
[0109]
以图8为例，矩阵中位置为0即表示该位置为非实体，1即表示该位置为实体。则g1＝{span(1,3),span(4,5)}与g2＝{span(3,4)}冲突。计算得通过比较score(g1)与score(g2)得分，选取得分高的节点集合作为最终结果。
[0110]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0111]
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项医疗领域数据标注方法。
[0112]
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项医疗领域数据标注方法。
[0113]
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行医疗领域数据标注方法。
[0114]
图9是本技术另一实施例提供的执行医疗领域数据标注方法的电子设备的硬件结构示意图，如图9所示，该设备包括：
[0115]
一个或多个处理器910以及存储器920，图9中以一个处理器910为例。
[0116]
执行医疗领域数据标注方法的设备还可以包括：输入装置930和输出装置940。
[0117]
处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。
[0118]
存储器920作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的医疗领域数据标注方法对应的程序指令/模块。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例医疗领域数据标注方法。
[0119]
存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据医疗领域数据标注装置的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至医疗领域数据标注装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0120]
输入装置930可接收输入的数字或字符信息，以及产生与医疗领域数据标注装置的用户设置以及功能控制有关的信号。输出装置940可包括显示屏等显示设备。
[0121]
所述一个或者多个模块存储在所述存储器920中，当被所述一个或者多个处理器910执行时，执行上述任意方法实施例中的医疗领域数据标注方法。
[0122]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0123]
本技术实施例的电子设备以多种形式存在，包括但不限于:
[0124]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
[0125]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
[0126]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0127]
(4)其他具有数据交互功能的电子装置。
[0128]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0129]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0130]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。