一种基于联邦学习的联合抽取模型构建的方法及装置与流程

1.本发明涉及自然语言处理技术领域，具体地说，涉及一种基于联邦学习的联合抽取模型构建的方法及装置。


背景技术：

2.知识图谱(knowledgegraph)以结构化的形式描述客观世界中的概念、实体及其关系，能够将互联网的信息标的达成为更接近人类认知世界的形式，提供一种更好组织、管理和理解互联网改良信息的能力。自2012年由谷歌提出以来，知识图谱与大数据和深度学习的结合成为推动互联网和人工智能发展的核心驱动之一。
3.在大数据时代，海量的数据来源是支撑大规模运算与分析的基础，知识图谱也是如此。但是在构建知识图谱的过程中，存在一些棘手的问题，使得数据持有方之间不能简单直接共享数据。第一，文本数据中可能包含一些隐私敏感；第二，不同数据持有方之间存在利益上的冲突使得大多数数据持有方不愿共享本地数据；第三，不同国家地区颁布一系列法律法规用于保护个人及组织的隐私数据。这使得不同数据持有方之间存在数据共享壁垒，数据在空间上呈现孤岛状分布，形成“数据孤岛”，从而限制着信息抽取模型的构建。由于各数据持有方本地数据量不足的问题，使用本地数据训练信息抽取模型往往不能取得很好的效果。


技术实现要素：

4.为解决以上问题，本发明提供一种基于联邦学习的联合抽取问题，可以实现在保护隐私数据的基础上协同训练实体关系联合抽取模型，实现实体和关系的联合抽取。并且针对抽取目标相同的情况，设计了一种基于知识蒸馏的中央模型更新方式，可以缓解模型更新过程中的通信压力。具体的技术方案如下：
5.一种基于联邦学习的联合抽取模型构建方法，包括：
6.中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
7.中央服务器接受各客户端对其共享数据集的访问，使得各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布，所述中央服务器接收各客户端所生成的实体预测标签分布和关系预测标签分布；
8.中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的实体预测标签分布和关系预测标签分布重复训练中央服务器的联合抽取模型，直至中央服务器的联合抽取模
型收敛。
9.一种基于联邦学习的联合抽取模型构建方法，包括：
10.中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
11.中央服务器接收各客户端发送的共享模型，并使用fedavg算法更新中央服务器的共享模型，并利用中央服务器的共享模型来更新中央服务器的联合抽取模型，其中，所述共享模型是客户端将所述联合抽取模型分割为共享模型和私有模型获得的，其中，共享模型包含所述嵌入层，私有模型包含所述编码层和所述解码层；
12.中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的共享模型重复更新中央服务器的共享模型，直至中央服务器的联合抽取模型收敛。
13.可选地，所述嵌入层对于文本中任一个词，都采用包括词嵌入w
t
、字符嵌入c
t
、上下文嵌入g
t
和预训练词向量p
t
结合来表示。
14.可选地，所述词嵌入w
t
通过word2vec的方法获得；
15.所述字符嵌入c
t
由lstm编码器编码得到。
16.可选地，所述上下文嵌入g
t
采用依次连接的双向lstm和self-attention层获得，
17.上下文嵌入g
t
计算过程如下：
18.q＝wq*h
19.k＝wk*h
20.v＝wv*h
[0021][0022]
其中q，k，v分别由词嵌入经过线性变换得到；
[0023]
d表示词嵌入向量维度；
[0024]
wq、wk、wv属于可训练参数，在模型的训练过程中生成；
[0025]
attention()是self-attention中的attention函数，用来计算输入文本序列中每个词语的全局表示g
t
。
[0026]
soffmax()是激活函数，其计算公式为其中ei表示上述式子中的
[0027]
t表示矩阵计算中的转置操作。
[0028]
可选地，所述编码层为多层，且每一层都有序列编码器和表格编码器，每一层序列编码器和表格编码器相互传递信息，所述序列编码器采用lstm编码器，所述表格编码器采用二维lstm编码器。
[0029]
可选地，所述表格编码器中当前时刻的隐状态包括当前时刻的输入、前一时刻该位置的隐状态和当前时刻该位置周围的四个隐状态，其计算公式为：
[0030]
t
l，i，j
＝td-lstm(x
l，i，j
；t
l-1，i，j
；t
l，i-1，j
，t
l，i 1，j
，t
l，i，j-1
，t
l，i，j 1
)，
[0031]
其中，t
l，i，j
表示表格编码器的隐状态；
[0032]
l表示层数；
[0033]
i和j表示表格的位置，t
l，i-1，j
，t
l，i 1，j
，t
l，i，j-1
，t
l，i，j 1
分别表示当前时刻该位置周围的四个隐状态；
[0034]
td-lstm()表示二维lstm编码器。
[0035]
可选地，所述解码器使用编码器的输出来生成实体标签概率分布以及关系标签概率分布，标签概率生成公式如下：
[0036]
p
θ
(y
ner
)＝softmax(linear(s
l
))
[0037]
p
θ
(y
re
)＝softmax(linear(t
l
))
[0038]
其中y
ner
是实体预测标签的随机变量；
[0039]yre
是关系预测标签的随机变量；
[0040]sl
是序列编码器的输出；
[0041]
t
l
是表格编码器的输出；
[0042]
linear()是线性层；
[0043]
softmax是激活函数；
[0044]
p
θ
是概率估计函数。
[0045]
本发明还提供一种基于联邦学习的联合抽取模型构建装置，包括：
[0046]
模型分发模块，用于使中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
[0047]
预测标签获取模块，用于使中央服务器接受各客户端对其共享数据集的访问，使得各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布，所述中央服务器接收各客户端所生成的实体预测标签分布和关系预测标签分布；
[0048]
模型更新模块，用于使中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的实体预测标签分布和关系预测标签分布重复训练中央服务器的联合抽取模型，直至中央服务器的联合抽取模型收敛。
[0049]
本发明还提供一种基于联邦学习的联合抽取模型构建装置，包括：
[0050]
模型分发模块，用于使中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
[0051]
模型更新模块，用于使中央服务器接收各客户端发送的共享模型，并使用fedavg算法更新中央服务器的共享模型，并利用中央服务器的共享模型来更新中央服务器的联合抽取模型，其中，所述共享模型是客户端将所述联合抽取模型分割为共享模型和私有模型获得的，其中，共享模型包含所述嵌入层，私有模型包含所述编码层和所述解码层，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的共享模型重复更新中央服务器的共享模型，直至中央服务器的联合抽取模型收敛。
[0052]
本发明具有以下有益效果：
[0053]
(1)可以在保护各数据持有方数据隐私的前提下，间接使用各数据方的本地数据协同训练联合抽取模型。
[0054]
(2)可以减少模型更新过程中的通信压力。
[0055]
(3)相较于单个数据持有方的本地数据训练而来的联合抽取模型，联邦框架下的联合抽取由于使用了多方的语义和句法信息，所以模型的抽取效果更好。
附图说明
[0056]
通过结合下面附图对其实施例进行描述，本发明的上述特征和技术优点将会变得更加清楚和容易理解。
[0057]
图1是表示本发明实施例一的联合抽取模型构建方法的示意图；
[0058]
图2是表示本发明实施例的字符嵌入的方法示意图；
[0059]
图3是表示本发明实施例的上下文嵌入的方法示意图；
[0060]
图4是表示本发明实施例的预训练词向量的方法示意图；
[0061]
图5是表示本发明实施例的二维表格的示意图；
[0062]
图6是表示本发明实施例的序列编码器和表格编码器的交互示意图；
[0063]
图7是表示本发明实施例二的联合抽取模型构建方法的示意图。
具体实施方式
[0064]
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
[0065]
实施例一
[0066]
适用于各数据持有方抽取目标相同的情况，即各个数据持有方本地数据的标记种类、标记方法和实体关系抽取种类都相同。标记种类即将文本中所有的实体划分成为实体的种类，例如在文本中将所有的实体划分为四个种类，分别是人名(per)、地名(loc)、组织结构(org)、杂项(misc)和非实体类(o)，杂项是指不属于人名、地名、组织结构的实体；
[0067]
标记方法表示标记实体采用的方法，可以采用“bto标记法”和“bioes标记法”，在本模型中使用“bio标记法”来标记实体，例如“b-per”表示人名的开头，“i-per”表示人名的中间，“o”表示非实体类型；
[0068]
关系抽取种类指实现将文本中的实体间关系类型定义的种类，例如人名(per)和地名(loc)之间的live_in关系等。
[0069]
如图1所示，本实施例的基于联邦学习的联合抽取模型构建方法，包括：
[0070]
步骤s1，中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练更新所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，所述嵌入层将输入的文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布。
[0071]
下面说明所述联合抽取模型的结构。其中，所述嵌入层对于文本序列中任一个词，
都采用包括词嵌入w
t
、字符嵌入c
t
、上下文嵌入g
t
和预训练模型中的词语向量p
t
结合来表示。具体而言，输入的文本序列中包含n个词语，可以将文本序列表示为x＝[xi]1≤i≤n，则嵌入层的输出表示为：
[0072]
r0＝linear([w
t
；c
t
；p
t
；g
t
])
[0073]
其中，linear()是线性层；
[0074]
其中，词嵌入w
t
可以通过word2vec的方法获得。
[0075]
其中，字符嵌入c
t
由lstm(长短期记忆模型)编码器编码得到，如图2所示，以词语“china”为例，可以使用bi-lstm(双向长短期记忆模型)分别对“china”中每个字符进行编码，如图2所示，前向编码是从左向右依次对“china”中每个字符编码，后向编码是从右向左依次对“china”中每个字符编码。然后将每个方向lstm的最终输出进行级联形成字符嵌入c
t
表示。这样一方面是为了捕获字符之间的信息，例如词语的前缀信息和后缀信息，另一方面字符嵌入c
t
可以对词库中未出现的词语进行表示。
[0076]
其中，上下文嵌入g
t
通过依次连接的lstm层和self-attention层计算而来。具体而言，如图3所示，首先使用双向lstm对输入句子中每个词语进行编码，然后将前向隐层表示和后向隐层表示组合成为每个词语的隐层表示，例如，对于词语x1，其前向隐层f1与后向隐层b1组合为该词语x1的隐层表示，依次类推，对于词语xn，其前向隐层fn与后向隐层bn组合为该词语xn的隐层表示，各词语的隐层依次连接，对于文本序列位置为t的词语采用h
t
表示，文本序列整体的隐层表示为h。然后使用self-attention层来计算得到每个位置的上下文嵌入g
t
，生成上下文词嵌入的模型如图3所示。self-attention层使用注意力机制计算每个词语之间的关联程度并生成注意力权重，用注意力权重乘以每个词语的词向量得到文本序列的全局上下文嵌入g
t
，具体计算过程如下：
[0077]
q＝wq*h
[0078]
k＝wk*h
[0079]
v＝wv*h
[0080][0081]
其中q，k，v分别由词嵌入经过线性变换得到，d表示词嵌入向量维度。wq、wk、wv属于可训练参数，在模型的训练过程中生成。
[0082]
attention()是self-attention中的attention函数，用来计算输入文本序列中每个词语的全局表示g
t
。
[0083]
softmax()是激活函数，其计算公式为其中ei表示上述式子中的
[0084]
t表示矩阵计算中的转置操作。
[0085]
p
t
通过将序列输入到由第三方提供的预训练语言模型(如bert等)中获取相应的语境向量。具体而言，图4以采用bert预训练模型为例进行说明，输入为文本序列x1，x2
…
xn，通过bert内部的transformer进行编码，输出为语境向量p1，p2
…
pn，其中的第t个词语对应的语境向量为pt。
[0086]
编码层包括两个编码器，分别是序列编码器和表格编码器，序列编码器用于对词向量序列进行编码，表格编码器用于构建二维表格，所述二维表格的长和宽分别为词向量
序列的长度，这样可以使用二维表格表示句子中任意两个词语之间的关系，其形成的二维表格如图5所示，其中，所述表格编码器通过一个个表格单元来逐步构建二维表格。在二维表格中命名实体识别可以看做是序列标记问题，其中在二维表格的对角线标注实体的类型，用非对角线的元素来表示句子中两个词语的关系，从而同时标记实体和关系类型。
[0087]
由于序列编码器对一维信息进行编码，所以使用常规的lstm即可；在表格编码器中对二维表格进行编码，所以对常规lstm编码器进行修改，使之可以满足二维编码的需求。常规lstm编码器输入为输入和前一时刻的隐状态，所以常规lstm编码器只能编码一维的输入文本序列。在本模型中为了满足编码二维表格的需求，将前一时刻当前位置的上下左右位置的状态一同编码，所以使用的二维lstm编码器(td-lstm)输入有三项：分别为当前时刻的输入、前一时刻该位置的隐状态和当前时刻该位置周围的四个隐状态，其计算公式为：
[0088]
t
l，i，j
＝td-lstm(x
l，i，j
；t
l-1，i，j
；t
l，i-1，j
，t
l，i 1，j
，t
l，i，j-1
，t
l，i，j 1
)，
[0089]
其中，t
l，i，j
表示表格编码器的隐状态；
[0090]
l表示层数；
[0091]
i和j表示表格的位置，t
l，i-1，j
，t
l，i 1，j
，t
l，i，j-1
，t
l，i，j 1
分别表示当前时刻该位置周围的四个隐状态；
[0092]
td-lstm()表示二维lstm编码器。
[0093]
假设编码器共有l层，其中一个序列编码器和一个表格编码器称为一层编码器，如图6所示，x表示文本序列，r0为嵌入层的输出，si和ti分别表示第i层的序列编码器流向表格编码器中的信息和表格编码器流向序列编码器中的信息，s
l
和t
l
分别表示序列编码器和表格编码器的输出。r0分别输入到第一层的序列编码器和表格编码器，第一层的表格编码器的输出t1又输入给第一层的序列编码器，第一层的序列编码器的输出s1又输入给第二层的表格编码器，依次类推，直至分别输出s
l
和t
l
。
[0094]
可见在本模型中序列编码器和表格编码器中的信息可以相互流通，使得每个编码器可以对另一编码器的信息进行编码，两个任务可以利用对方的信息提升自身的模型表现，从而两种任务相辅相成。
[0095]
其中，解码器使用编码器的输出s
l
和t
l
来生成实体关系标签的概率分布。例如假设在本任务中实体类型有m种，则实体解码器在m个标签上生成对应的概率，最后选择概率最大的标签作为该位置的最终预测标签；假设关系类型有n种，则实体解码器在n个标签上生成对应的概率，最后选择概率最大的标签作为该位置的最终预测标签。两种任务的标签概率生成公式如下：
[0096]
p
θ
(y
ner
)＝softmax(linear(s
l
))
[0097]
p
θ
(y
re
)＝softmax(linear(t
l
))
[0098]
其中y
ner
是实体预测标签的随机变量；
[0099]yre
是关系预测标签的随机变量；
[0100]
softmax是激活函数；
[0101]
p
θ
是概率估计函数。
[0102]
步骤s2，中央服务器接受各客户端对其共享数据集的访问，使得各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布，所述中央服务器接收各客户端所生成的实体预测标签分布和关系预测标签分布。
[0103]
步骤s3，中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型。重复步骤s1至s3，直至中央服务器的联合抽取模型收敛，将中央服务器的联合抽取模型作为最终的联合抽取模型。
[0104]
本实施例在中央模型更新的过程中采用知识蒸馏的思想，将众多客户端模型看做“教师模型”，将中央模型看做“学生模型”，使用“教师模型”指导“学生模型”的更新，即利用众多客户端的联合抽取模型来指导中央服务器的联合抽取模型的更新。但是各个客户端将联合抽取模型上传到中央服务器会造成极大的通信负担，所以本实施例采用各客户端访问中央服务器中的共享数据集生成实体预测标签分布和关系预测标签分布来指导中央模型更新。这样做的原理在于客户端模型访问中央服务器中的共享数据集生成标签概率分布之后已经将模型中的知识迁移到标签的概率分布中，所以使用各客户端生成的标签概率分布指导中央模型更新相当于使用客户端模型指导中央模型更新。相比于在每个通信过程中上传模型参数，上传标签概率分布可以大幅度减少通信压力，加快模型训练过程，并且只有很少的性能损失。
[0105]
实施例二，适用于各数据持有方抽取目标不同的情况，即各个数据持有方本地数据的标记类型、标记方法和实体关系抽取目标都不尽相同。
[0106]
步骤s1，中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练更新所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，所述嵌入层将输入的文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布。所述联合抽取模型的结构与实施例一相同，在此省略其描述。
[0107]
步骤s2，客户端将所述联合抽取模型分割为共享模型和私有模型，当客户端训练结束后，各客户端将共享模型上传到中央服务器中，其中，共享模型是嵌入层，用于获取不同数据持有方本地数据中的语义和句法信息，从而实现间接使用不同客户端的本地数据协同训练联合抽取模型。私有模型是编码层和解码层，旨在针对不同客户端的抽取需求进行独立编码和解码。通过分割为共享模型和私有模型，既可以使用不同客户端的本地数据丰富共享模型的语义信息和句法信息，又可以使得各客户端根据不同的抽取目标匹配优化模型，满足不同客户端抽取目标不同的需求，提升抽取效果，减少通信压力。
[0108]
步骤s3，中央服务器接收所有客户端的共享模型，并使用fedavg算法更新中央服务器的共享模型，中央服务器使用其共享模型来更新中央服务器的联合抽取模型。
[0109]
重复步骤s1至s3，直至中央服务器的联合抽取模型收敛，将中央服务器的联合抽取模型作为最终的联合抽取模型。
[0110]
如图7所示，θs表示共享模型参数，θ
p
表示私有模型参数，传输θs表示每一轮通信开始时中央服务器的联合抽取模型向客户端广播的共享模型参数。lossli表示客户端i的损失函数，losslj表示客户端j的损失函数。表示计算客户端i的私有模型梯度，表示计算客户端j的私有模型的梯度。表示上传客户端i
的共享模型梯度给中央服务器，以供中央服务器中的共享模型更新。表示上传客户端j的共享模型梯度给中央服务器，以供中央服务器中的共享模型更新。
[0111]
本实施例的基于联邦学习的联合抽取模型构建装置是与实施例一对应的，装置可以安装于电子设备中。根据实现的功能，所述基于联邦学习的联合抽取模型构建装置可以包括模型分发模块、预测标签获取模块、模型更新模块，本发明所述模块是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0112]
在本实施例中，关于各模块的功能如下：
[0113]
本发明还提供一种基于联邦学习的联合抽取模型构建装置，包括：
[0114]
模型分发模块，用于使中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
[0115]
预测标签获取模块，用于使中央服务器接受各客户端对其共享数据集的访问，使得各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布，所述中央服务器接收各客户端所生成的实体预测标签分布和关系预测标签分布；
[0116]
模型更新模块，用于使中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的实体预测标签分布和关系预测标签分布重复训练中央服务器的联合抽取模型，直至中央服务器的联合抽取模型收敛。
[0117]
本实施例的基于联邦学习的联合抽取模型构建装置是与实施例二对应的，根据实现的功能，所述基于联邦学习的联合抽取模型构建装置可以包括模型分发模块、模型更新模块，本发明所述模块是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0118]
在本实施例中，关于各模块的功能如下：
[0119]
模型分发模块，用于使中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；
[0120]
模型更新模块，用于使中央服务器接收各客户端发送的共享模型，并使用fedavg算法更新中央服务器的共享模型，并利用中央服务器的共享模型来更新中央服务器的联合抽取模型，其中，所述共享模型是客户端将所述联合抽取模型分割为共享模型和私有模型获得的，其中，共享模型包含所述嵌入层，私有模型包含所述编码层和所述解码层，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的共享模型重复更新中央服务器的共享模型，直至中央服务器的联合抽取模型收敛。
[0121]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人
员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。