图像分割方法、图像分割装置、电子设备及存储介质

1.本发明涉及图像处理领域，具体涉及一种图像分割方法、图像分割装置、电子设备及存储介质。


背景技术：

2.图像分割是支持计算机辅助图像内容分析的代表性任务，对于医学图像而言，图像分割不仅可以识别病变类别，还可以定位特定区域，在临床诊断中发挥着重要作用。现有技术通常采用联邦学习的方法进行图像分割，联邦学习能够在保证数据隐私安全性的基础上，帮助用户实现共同建模，从而增强模型性能。然而联邦学习中每个客户端有自己的学习任务和数据集，使得不同客户端的数据可能不是独立同分布的，即数据的统计异质性，损害了图像分割模型的泛化性能，使得各个客户端模型的性能严重不一致，图像分割效果较差。


技术实现要素：

3.本技术提供一种图像分割方法、图像分割装置、电子设备及存储介质，能够有效促进个性化建模，提高各客户模型的图像分割效果。
4.第一方面，本技术提供一种图像分割方法，应用于第一客户端，所述第一客户端与服务器连接，所述图像分割方法包括：
5.获取本地参数和来自于所述服务器的全局参数、个性化参数；
6.根据所述全局参数对全局模型进行初始化；
7.根据当前迭代训练轮次和预设轮次的比较结果，判断是否对所述本地参数和所述个性化参数进行自适应头部聚合，以生成聚合参数，并通过所述聚合参数对个性化模型进行初始化；
8.对初始化后的所述全局模型和所述个性化模型进行本地训练，得到图像分割模型，并将所述图像分割模型上传至所述服务器，以使所述服务器对所述全局参数和所述个性化参数进行更新；
9.根据更新后的所述全局参数和所述个性化参数对所述图像分割模型进行新一轮的迭代训练，直至最后一轮迭代训练得到的所述图像分割模型达到收敛状态；
10.将待分割图像输入到达到收敛状态的所述图像分割模型，得到所述待分割图像的分割结果。
11.根据本技术实施例第一方面提供的图像分割方法，至少具有如下有益效果：在图像分割模型的训练过程中，根据当前迭代训练轮次和预设轮次的比较结果判断是否进行自适应头部聚合，当当前迭代训练轮次小于预设轮次时，个性化参数中的共同知识较少，为了保证图像分割模型的个性化，将本地参数直接作为聚合参数，而当当前迭代训练轮次等于或大于预设轮次，为了缓解个性化模型的过度个性化，进行自适应头部聚合，使得到的个性化模型包含多个客户端模型之间的共同知识和本地客户端模型的独特知识，个性化参数来自于服务器，个性化参数包含多个客户端模型之间的共同知识，本地参数来自于第一客户
端，本地参数包含本地客户端模型的独特知识，自适应头部聚合能够实现对本地参数和个性化参数的聚合，使得得到的个性化模型包含多个客户端模型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，并缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
12.根据本技术第一方面的一些实施例，所述根据当前迭代训练轮次和预设轮次的比较结果，判断是否对所述本地参数和所述个性化参数进行自适应头部聚合，以生成聚合参数，包括：
13.获取当前迭代训练轮次；
14.当当前迭代训练轮次小于预设轮次时，将所述本地参数作为聚合参数；
15.当当前迭代训练轮次等于预设轮次时，获取权重矩阵，对所述权重矩阵、所述个性化参数和所述本地参数进行多次自适应头部聚合，得到聚合参数；
16.当当前迭代训练轮次大于预设轮次时，获取所述权重矩阵，对所述权重矩阵、所述个性化参数和所述本地参数进行单次自适应头部聚合，得到聚合参数；
17.其中，每次所述自适应头部聚合后，更新所述权重矩阵，所述自适应头部聚合包括以下步骤：
18.计算所述个性化参数和所述本地参数的差；
19.计算所述个性化参数和所述本地参数的差与所述权重矩阵的哈达玛积；
20.将所述哈达玛积与所述本地参数进行相加，得到聚合参数。
21.根据本技术第一方面的一些实施例，所述更新所述权重矩阵，包括：
22.将所述权重矩阵作为初始矩阵；
23.获取图像训练样本，并采用梯度下降的方式对所述聚合参数、所述初始矩阵和所述图像训练样本进行处理，得到更新后的权重矩阵；
24.当当前迭代训练轮次等于预设轮次时，根据更新后的权重矩阵、所述个性化参数和所述本地参数对所述聚合参数进行更新，并根据更新后的所述聚合参数、所述初始矩阵和所述图像训练样本对所述权重矩阵进行更新，直至所述权重矩阵收敛。
25.根据本技术第一方面的一些实施例，所述服务器还与多个第二客户端连接，所述对初始化后的所述全局模型和所述个性化模型进行本地训练，得到图像分割模型，包括：
26.获取图像训练样本；
27.将所述图像训练样本输入所述全局模型，得到第一站点通道注意值和全局图像特征；
28.获取来自于所述服务器的多个第二站点通道注意值，所述第二站点通道注意值由所述第二客户端生成；
29.根据所述第一站点通道注意值和多个所述第二站点通道注意值，得到站点嵌入差异损失；
30.将所述全局图像特征输入所述个性化模型，得到多个个性化图像特征；
31.根据所述图像训练样本和多个个性化图像特征，得到弱监督分割损失；
32.根据所述站点嵌入差异损失和所述弱监督分割损失对所述全局模型和所述个性化模型进行训练，直至所述全局模型和所述个性化模型满足局部梯度下降的条件；
33.根据训练结束后的所述全局模型和所述个性化模型，得到图像分割模型。
34.根据本技术第一方面的一些实施例，所述全局模型包括编码器和站点对比表征模块，所述将所述图像训练样本输入所述全局模型，得到第一站点通道注意值和全局图像特征，包括：
35.将所述图像训练样本输入所述编码器，得到编码图像特征；
36.对所述编码图像特征进行全局平均池化，得到全局平均特征；
37.获取站点编码，并将所述站点编码通过两个全连接层，得到站点连接特征；
38.将所述全局平均特征和所述站点连接特征进行通道连接，并对通道连接后的结果进行激活，得到第一站点通道注意值；
39.将所述第一站点通道注意值与所述编码图像特征进行逐元相乘，并将相乘的结果与所述编码图像特征进行相加，得到全局图像特征。
40.根据本技术第一方面的一些实施例，所述根据所述第一站点通道注意值和多个所述第二站点通道注意值，得到站点嵌入差异损失，包括：
41.计算多个所述第二站点通道注意值的停止梯度值；
42.计算所述第一站点通道注意值与多个所述停止梯度值的差值；
43.计算多个所述差值的和；
44.根据多个所述差值的和、所述第二客户端的数量，得到所述第一客户端的站点嵌入差异损失。
45.根据本技术第一方面的一些实施例，多个个性化图像特征包括第一个性化特征、第二个性化特征和预测图像特征，所述根据所述图像训练样本和多个个性化图像特征，得到弱监督分割损失，包括：
46.根据所述图像训练样本和所述预测图像特征，确定所述图像训练样本的预测概率；
47.对所述图像训练样本进行稀疏处理，得到对应的稀疏标签；
48.根据所述稀疏标签和所述预测概率，得到部分交叉熵损失；
49.根据所述预测概率和预设源掩码、预设目标掩码，得到门控条件随机场损失；
50.对所述图像训练样本进行树亲和度生成，得到低阶亲和度矩阵；
51.对所述第一个性化特征和所述第二个性化特征进行树亲和度生成，得到两个高阶亲和度矩阵，所述第一个性化特征和所述第二个性化特征为所述个性化模块不同网络层的输出结果；
52.根据所述预测概率对所述低阶亲和度矩阵、两个所述高阶亲和度矩阵依次进行级联过滤，得到所述图像训练样本对应的伪标签；
53.根据所述预测概率与所述伪标签，得到多尺度递归树能量损失；
54.根据预设的权衡参数对所述树能量损失、所述部分交叉熵损失和所述门控条件随机场损失进行相加，得到弱监督分割损失。
55.第二方面，本技术提供一种图像分割装置，应用于第一客户端，所述第一客户端与服务器连接，所述图像分割装置包括：
56.数据通信模块，用于获取本地参数和来自于所述服务器的全局参数、个性化参数；
57.全局初始模块，用于根据所述全局参数对全局模型进行初始化；
58.个性初始模块，用于根据当前迭代训练轮次和预设轮次的比较结果，判断是否对
所述本地参数和所述个性化参数进行自适应头部聚合，以生成聚合参数，并通过所述聚合参数对个性化模型进行初始化；
59.本地训练模块，用于对初始化后的所述全局模型和所述个性化模型进行本地训练，得到图像分割模型，并将所述图像分割模型上传至所述服务器，以使所述服务器对所述全局参数和所述个性化参数进行更新；
60.迭代训练模块，用于根据更新后的所述全局参数和所述个性化参数对所述图像分割模型进行新一轮的迭代训练，直至最后一轮迭代训练得到的所述图像分割模型达到收敛状态；
61.图像分割模块，用于将待分割图像通过训练完成的所述图像分割模型，得到所述待分割图像的分割结果。
62.由于第二方面提供的图像分割装置应用第一方面任一项的图像分割方法，因此具有本技术第一方面的所有有益效果。
63.第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时如第一方面任一项的图像分割方法。
64.由于第三方面的处理器执行所述计算机程序时如第一方面任一项的图像分割方法，因此具有本技术实施例第一方面的所有有益效果。
65.第四方面，本技术实施例提供一种计算机存储介质，包括存储有计算机可执行指令，所述计算机可执行指令用于如第一方面任一项的图像分割方法。
66.由于第四方面的计算机存储介质可执行如第一方面任一项的图像分割方法，因此具有本技术实施例第一方面的所有有益效果。
67.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
68.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
69.图1是本技术实施例提供的图像分割方法应用的系统的体系构架图；
70.图2是本技术实施例提供的图像分割方法的主要流程图；
71.图3是本技术实施例提供的图像分割方法的聚合判断的流程图；
72.图4是本技术实施例提供的图像分割方法的自适应头部聚合的流程图；
73.图5是本技术实施例提供的图像分割方法的权重矩阵更新的流程图；
74.图6为本技术实施例提供的图像分割方法的本地训练的步骤图；
75.图7为本技术实施例提供的图像分割方法的全局模型处理的步骤图；
76.图8为本技术实施例提供的图像分割方法的站点嵌入差异损失计算的步骤图；
77.图9为本技术实施例提供的图像分割方法的弱监督分割损失计算的步骤图；
78.图10是本技术实施例提供的图像分割方法的网络架构图；
79.图11是本技术实施例提供的弱监督训练范式的网络架构图；
80.图12是本技术实施例提供的各客户端的训练样本以及与图像对应的多种稀疏标签、全监督标签的示意图
81.图13是本技术实施例提供的稀疏标签生成的示意图；
82.图14是本技术实施例提供的图像分割装置的结构框图；
83.图15是本技术实施例提供的用于图像分割的系统架构平台的示意图。
具体实施方式
84.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术实施例的描述。
85.需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
86.还应当理解，在本技术实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
87.图像分割是支持计算机辅助图像内容分析的代表性任务，对于医学图像而言，图像分割不仅可以识别病变类别，还可以定位特定区域，在临床诊断中发挥着重要作用。现有技术通常采用联邦学习的方法进行图像分割，联邦学习能够在保证数据隐私安全性的基础上，帮助用户实现共同建模，从而增强模型性能。然而联邦学习中每个客户端有自己的学习任务和数据集，使得不同客户端的数据可能不是独立同分布的，即数据的统计异质性，损害了图像分割模型的泛化性能，使得各个客户端模型的性能严重不一致，图像分割效果较差。
88.基于此，本技术提供一种图像分割方法、图像分割装置、电子设备及存储介质，本技术实施例提供的图像分割方法通过自适应头部聚合对个性化模型进行元素级别地更新和初始化，能够有效地整合全局模型的共同知识和个性化模型的独特知识，有效地促进了个性化建模，但也缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
89.下面结合附图，对本技术作进一步说明。
90.参照图1，图1是本技术实施例提供的图像分割方法应用的系统的体系构架图。本技术实施例提供的图像分割方法应用于联邦学习系统，该联邦学习系统包括服务器和多个客户端。每个客户端处均设置有图像分割模型，图像分割模型通过接收到来自于服务器的数据以及本地数据进行训练，训练完成的图像分割模型具有良好的图像分割性能。服务器能够接收来自于多个客户端的图像分割模型，并对多个图像分割模型进行整合处理，将处
理结果分发给客户端，从而能够使得多个客户端在不影响数据隐私和安全的情况下协作训练强大的图像分割模型，该图像分割模型能保留各个客户端模型之间的公共知识。
91.客户端是能向服务器发起请求的终端或运行在终端中的程序。终端包括桌面电脑、膝上型电脑、pda(个人数字助理)、手机、车载客户端、专用客户端等多种形式。另外，它可以是单台设备，也可以是多台设备组合的集合。例如，多台桌面电脑通过局域网相互连接，共用一台显示器等进行协同工作，共同构成一个客户端。客户端可以以有线或无线的方式与服务器进行通信，交换数据。
92.服务器是指能对客户端提供某些服务的计算机系统。相对于普通客户端来说，服务器在稳定性、安全性、性能等方面都要求更高。服务器可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分(例如虚拟机)、多台高性能计算机中划出的一部分(例如虚拟机)的组合等。
93.本技术实施例提供了一种图像分割方法，图像分割方法通过自适应头部聚合能够实现对本地参数和个性化参数的聚合，使得得到的个性化模型包含多个客户端模型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，并缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
94.本公开实施例的图像分割方法可以在客户端中执行，也可以在服务器中执行，也可以一部分在客户端执行，另一部分在服务器执行。
95.参照图2，图2是本技术实施例提供的图像分割方法的主要流程图。该图像分割方法，应用于第一客户端，第一客户端与服务器连接，图像分割方法包括但不限于以下步骤：
96.步骤s100、获取本地参数和来自于服务器的全局参数、个性化参数。
97.步骤s200、根据全局参数对全局模型进行初始化。
98.步骤s300、根据当前迭代训练轮次和预设轮次的比较结果，判断是否对本地参数和个性化参数进行自适应头部聚合，以生成聚合参数，并通过聚合参数对个性化模型进行初始化。
99.步骤s400、对初始化后的全局模型和个性化模型进行本地训练，得到图像分割模型，并将图像分割模型上传至服务器，以使服务器对全局参数和个性化参数进行更新。
100.步骤s500、根据更新后的全局参数和个性化参数对图像分割模型进行新一轮的迭代训练，直至最后一轮迭代训练得到的图像分割模型达到收敛状态。
101.步骤s600、将待分割图像输入到达到收敛状态的图像分割模型，得到待分割图像的分割结果。
102.需要说明的是，在图像分割模型的训练过程中，根据当前迭代训练轮次和预设轮次的比较结果判断是否进行自适应头部聚合，当当前迭代训练轮次小于预设轮次时，个性化参数中的共同知识较少，为了保证图像分割模型的个性化，将本地参数直接作为聚合参数，而当当前迭代训练轮次等于或大于预设轮次，为了缓解个性化模型的过度个性化，进行自适应头部聚合，使得到的个性化模型包含多个客户端模型之间的共同知识和本地客户端模型的独特知识，个性化参数来自于服务器，个性化参数包含多个客户端模型之间的共同知识，本地参数来自于第一客户端，本地参数包含本地客户端模型的独特知识，自适应头部聚合能够实现对本地参数和个性化参数的聚合，使得得到的个性化模型包含多个客户端模
型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，并缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
103.需要说明的是，步骤s100至步骤s600可在联邦学习系统中的任一客户端进行，为便于描述，将联邦学习系统中的客户端之一定义为第一客户端。
104.需要说明的是，对于步骤s100，不同的迭代训练的轮次对应的全局参数和个性化参数不同，首次训练的全局参数和个性化参数由服务器根据初始模型生成，之后的迭代训练中，不同的客户端在联邦学习中的权重不同，服务器根据不同客户端的权重，对收到的所有客户端的图像分割模型进行加权平均，并根据加权平均得到的模型生成全局参数和个性化参数。第一客户端收的全局参数和个性化参数包含其他客户端的模型信息，另外，个性化模型初始化需要使用聚合参数，而聚合参数通过自适应头部聚合生成，保留有全局模型的共同知识和个性化模型的独特知识，能够对个性化模型进行元素级别地更新和初始化，全局模型和个性化模型的生成能够提高了客户端的图像分割模型的性能，改善了图像分割效果。
105.需要说明的是，本地参数为存储于本地的个性化模型的参数，本地参数的获取有利于后期个性化模型初始过程中，对本地的客户端模型，即第一客户端的模型的独特知识的聚合。
106.可以理解的是，参照图3，图3是本技术实施例提供的图像分割方法的聚合判断的流程图，步骤s300包括但不限于以下步骤：
107.步骤s310、获取当前迭代训练轮次。
108.步骤s320、当当前迭代训练轮次小于预设轮次时，将本地参数作为聚合参数。
109.步骤s330、当当前迭代训练轮次等于预设轮次时，获取权重矩阵，对权重矩阵、个性化参数和本地参数进行多次自适应头部聚合，得到聚合参数。
110.步骤s340、当当前迭代训练轮次大于预设轮次时，获取权重矩阵，对权重矩阵、个性化参数和本地参数进行单次自适应头部聚合，得到聚合参数。
111.需要说明的是，每次自适应头部聚合后，更新权重矩阵，以便于新一轮的自适应头部聚合。
112.需要说明的是，本技术将预设轮次设置为两次。在步骤s320中，当当前迭代训练轮次小于预设轮次，即当前迭代训练轮次为1次时，个性化参数中的共同知识较少，为了保证图像分割模型的个性化，将本地参数直接作为聚合参数，以通过聚合参数对个性化模型进行初始化。
113.需要说明的是，在步骤s330中，当当前迭代训练轮次等于预设轮次，即当前迭代训练轮次为2时，为了在不引入多个聚合权重矩阵的情况下对多个客户端模型之间的共同知识和本地客户端模型的独特知识进行聚合，本技术通过自适应头部聚合的方法对多个客户端模型之间的共同知识和本地客户端模型的独特知识进行聚合，以生成聚合参数，该方法类似于更新权重矩阵的残差学习，根据权重矩阵、个性化参数和本地参数进行单次自适应头部聚合，能够生成聚合参数，聚合参数能够对权重矩阵进行更新，之后进行多次自适应头部聚合，以对权重矩阵和聚合参数进行交替更新，通过更新完成的聚合参数能够对个性化模型进行初始化。
114.需要说明的是，步骤s330得到的权重矩阵是收敛的，后续训练过程中为了提升训练速度、节省训练时间，即当当前迭代训练轮次大于预设轮次时，获取上一训练轮次的权重矩阵，只对权重矩阵、个性化参数和本地参数进行单次自适应头部聚合，以生成聚合参数并对权重矩阵进行更新。
115.需要说明的是，权重矩阵中包含有多个元素，通过权重矩阵进行自适应头部聚合能够实现对个性化模型的元素级别地更新，使得到的个性化模型的性能更加优良。
116.可以理解的是，参照图4，图4是本技术实施例提供的图像分割方法的自适应头部聚合的流程图，自适应头部聚合包括但不限于步骤：
117.步骤s351、计算个性化参数和本地参数的差。
118.步骤s352、计算个性化参数和本地参数的差与权重矩阵的哈达玛积。
119.步骤s353、将哈达玛积与本地参数进行相加，得到聚合参数。
120.需要说明的是，权重矩阵表示为wi，之后，根据个性化参数、本地参数、权重矩阵计算聚合参数，聚合参数可以被表示为：
[0121][0122]
其中，为聚合参数，k表示第一客户端，t为当前迭代训练轮次，为本地参数，为个性化参数，:＝为赋值符号，
⊙
为哈达玛积。
[0123]
需要说明的是，自适应头部聚合能够实现对本地参数和个性化参数的聚合，使得得到的个性化模型包含多个客户端模型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，并缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
[0124]
需要说明的是，参照图5，图5是本技术实施例提供的图像分割方法的权重矩阵更新的流程图，步骤s320包括但不限于以下步骤：
[0125]
步骤s321、将权重矩阵作为初始矩阵；
[0126]
步骤s322、获取图像训练样本，并采用梯度下降的方式对聚合参数、初始矩阵和图像训练样本进行处理，得到更新后的权重矩阵。
[0127]
步骤s323、当当前迭代训练轮次等于预设轮次时，根据更新后的权重矩阵、个性化参数和本地参数对聚合参数进行更新，并根据更新后的聚合参数、初始矩阵和图像训练样本对权重矩阵进行更新，直至权重矩阵收敛。
[0128]
需要说明的是，将权重矩阵作为初始矩阵，初始矩阵表示为权重矩阵表示为wi，其中t为当前迭代训练轮次，当当前迭代次数等于预设轮次时，权重矩阵中每个元素都被初始化为1，然后通过采用梯度下降的方式对权重矩阵进行迭代更新，具体可表示为：
[0129][0130]
其中，grd表示基于局部梯度的更新，di为图像训练样本。
[0131]
之后，根据和对聚合参数和初始矩阵进行交替更新，直至权重矩阵收敛。
[0132]
需要说明的是，在步骤s322之后，还需要对权重矩阵进行裁剪处理，以使得到的权
重矩阵更有有利于对聚合参数的生成。本技术实施例通过σ(w)＝max(0,min(1,w))对聚合矩阵的各个元素进行裁剪，其中即w为聚合矩阵的各个元素，且w的取值范围为[0,1]。
[0133]
需要说明的是，对于步骤s322，当当前迭代训练轮次等于预设轮次时，根据更新后的权重矩阵和步骤s351至步骤s353进行自适应头部聚合对聚合参数进行更新，并根据步骤s322对权重矩阵进行更新，直至权重矩阵收敛。
[0134]
需要说明的是，在步骤s340中，当当前迭代训练轮次大于预设轮次时，仅执行一次步骤s351至步骤s353、步骤s321至步骤s322，能够提升训练速度、节省训练时间。
[0135]
可以理解的是，参照图6，图6为本技术实施例提供的图像分割方法的本地训练的步骤图，步骤s400包括但不限于以下步骤：
[0136]
步骤s410、获取图像训练样本。
[0137]
步骤s420、将图像训练样本输入全局模型，得到第一站点通道注意值和全局图像特征。
[0138]
步骤s430、获取来自于服务器的多个第二站点通道注意值，第二站点通道注意值由第二客户端生成。
[0139]
步骤s440、根据第一站点通道注意值和多个第二站点通道注意值，得到站点嵌入差异损失。
[0140]
步骤s450、将全局图像特征输入个性化模型，得到多个个性化图像特征。
[0141]
步骤s460、根据图像训练样本和多个个性化图像特征，得到弱监督分割损失。
[0142]
步骤s470、根据站点嵌入差异损失和弱监督分割损失对全局模型和个性化模型进行训练，直至全局模型和个性化模型满足局部梯度下降的条件。
[0143]
步骤s480、根据训练结束后的全局模型和个性化模型，得到图像分割模型。
[0144]
需要说明的是，服务器还与多个第二客户端连接，第一客户端、多个第二客户端与服务器共同构成联邦学习系统。
[0145]
需要说明的是，第二站点通道注意值由第二客户端处的全局模型生成，根据第一站点通道注意值和多个第二站点通道注意值，得到站点嵌入差异损失，能够增加多个客户端之间的嵌入差异，进而促进个性化建模。另外，本技术根据图像训练样本和多个个性化图像特征，得到弱监督分割损失，通过使用弱监督分割损失能够进一步降低客户端的标注成本。图像分割模型，即全局模型和个性化模型的总的目标损失函数可以表示为：
[0146]
li＝l
seg
λ1l
con
[0147]
其中，li为图像分割模型的目标损失，l
seg
为弱监督分割损失，l
con
为站点嵌入差异损失，λ1为站点嵌入差异损失对应的权衡参数。
[0148]
需要说明的是，全局模型和个性化模型满足局部梯度下降的条件，即根据局部梯度下降寻找图像分割模型的目标损失的局部最小值,当目标损失最小时，全局模型和个性化模型达到当前最优，其分割性能最佳。
[0149]
可以理解的是，参照图7，图7为本技术实施例提供的图像分割方法的全局模型处理的步骤图，步骤s420包括但不限于以下步骤：
[0150]
步骤s421、将图像训练样本输入编码器，得到编码图像特征。
[0151]
步骤s422、对编码图像特征进行全局平均池化，得到全局平均特征。
[0152]
步骤s423、获取站点编码，并将站点编码通过两个全连接层，得到站点连接特征。
[0153]
步骤s424、将全局平均特征和站点连接特征进行通道连接，并对通道连接后的结果进行激活，得到第一站点通道注意值。
[0154]
步骤s425、将第一站点通道注意值与编码图像特征进行逐元相乘，并将相乘的结果与编码图像特征进行相加，得到全局图像特征。
[0155]
需要说明的是，参照图9，全局模块包括编码器和站点对比表征模块，图像训练样本输入编码器fe，得到编码图像特征fk，之后对将编码图像特征fk输入至站点对比表征模块进行处理，步骤s422至步骤s425为站点对比表征模块的处理步骤，首先对编码图像特征fk进行全局平均池化，编码图像特征fk的尺寸为c
×h×
w，全局平均池化将编码图像特征fk的尺寸更改为c
×1×
1，即全局平均特征的尺寸为c
×1×
1，在全局平均池化的同时，获取站点编码ck，并通过两个全连接层对站点编码ck进行扩展，得到站点连接特征站点连接特征的尺寸为c
×1×
1，然后将全局平均特征和站点连接特征进行通道连接，通道连接后的尺寸为2c
×1×
1，对通道连接后的结果进行激活，即将通道连接后的结果通过一个具有激活函数的全连接层，得到第一站点通道注意值第一站点通道注意值可以用来计算站点嵌入差异损失，之后通过残差的方式对第一站点通道注意值与编码图像特征fk进行处理，即将第一站点通道注意值与编码图像特征fk进行逐元相乘，并将相乘的结果与编码图像特征fk进行相加，得到全局图像特征fk'，全局图像特征fk'之后被送入个性化模块，即编码器fd进行最终的分割。站点对比表征模块自适应地聚集了客户端内的数据分布表征并分离了多个客户端之间的分布表征，不同客户端之间的数据分布表征为紧密相关且彼此不同，能够有效促进模型个性化。
[0156]
需要说明的是，站点编码为独热编码，即对联邦学习中的客户端进行排序，根据排序结果对客户端分配不同的站点编码，若第一客户端的排序结果为k，即第k个客户端，那么站点编码的总长度为联邦学习系统中客户端的总数，其中第k个位置为1，其余位置为0。不同的客户端依次分配不同的站点编码，能够获得具有不同风格、分布的站点通道注意值，根据第一站点通道注意值和第二通道注意值能够得到站点嵌入差异损失，站点嵌入差异损失能够作为图像分割模型的依据，站点对比表征模块通过通道注意力增强了站点间，即多个客户端之间的表示对比。
[0157]
可以理解的是，参照图8，图8为本技术实施例提供的图像分割方法的站点嵌入差异损失计算的步骤图，步骤s440包括但不限于以下步骤：
[0158]
步骤s441、计算多个第二站点通道注意值的停止梯度值。
[0159]
步骤s442、计算第一站点通道注意值与多个停止梯度值的差值。
[0160]
步骤s443、计算多个差值的和。
[0161]
步骤s444、根据多个差值的和、第二客户端的数量，得到第一客户端的站点嵌入差异损失。
[0162]
需要说明的是，对于第一客户端而言，首先计算联邦学习系统中其他客户端，即第二客户端对应的第二站点通道注意值的停止梯度值，之后计算第一站点通道注意值与多个停止梯度值的差值，并将多个差值进行相加，根据得到的和、第二客户端的数量，得到第一客户端的站点嵌入差异损失，站点嵌入差异损失可以表示为：
[0163][0164]
其中，l
con
为站点嵌入差异损失，k为联邦学习系统中客户端的数量，即第一客户端和第二客户端的数量的和，为第一站点通道注意值，为第二站点通道注意值，stopgradient()为停止梯度值。计算得到的站点嵌入差异损失可以用来训练图像分割模型，其能够增加不同客户端之间的差异对比，从而促进个性化建模，提高图像分割模型的分割性能。
[0165]
可以理解的是，参照图9，图9为本技术实施例提供的图像分割方法的弱监督分割损失计算的步骤图，步骤s460包括但不限于以下步骤：
[0166]
步骤s462、根据图像训练样本和预测图像特征，确定图像训练样本的预测概率。
[0167]
步骤s462、对图像训练样本进行稀疏处理，得到对应的稀疏标签。
[0168]
步骤s463、根据稀疏标签和预测概率，得到部分交叉熵损失。
[0169]
步骤s464、根据预测概率和预设源掩码、预设目标掩码，得到门控条件随机场损失。
[0170]
步骤s465、对图像训练样本进行树亲和度生成，得到低阶亲和度矩阵。
[0171]
步骤s466、对第一个性化特征和第二个性化特征进行树亲和度生成，得到两个高阶亲和度矩阵，第一个性化特征和第二个性化特征为个性化模块不同网络层的输出结果。
[0172]
步骤s467、根据预测概率对低阶亲和度矩阵、两个高阶亲和度矩阵依次进行级联过滤，得到图像训练样本对应的伪标签。
[0173]
步骤s468、根据预测概率与伪标签，得到多尺度递归树能量损失。
[0174]
步骤s469、根据预设的权衡参数对树能量损失、部分交叉熵损失和门控条件随机场损失进行相加，得到弱监督分割损失。
[0175]
需要说明的是，参照图10，图10主要展示了本技术采用的弱监督训练范式，弱监督训练范式主要包括一个对标注像素处理的分割分支和一个对未标注像素处理的辅助分支，分割分支将稀疏标签y作为监督信号并沿用部分交叉熵损失进行监督，对于图像训练样本，可以将其表示为标注集i
l
和未标注集iu,部分交叉熵损失对标注像素进行处理，可以表示为：
[0176][0177]
其中，yi和pi表示标注集中像素i的稀疏标签和预测概率。辅助分支则从图像训练样本i与第一个性化特征f1、第二个性化特征f2得到三重亲和矩阵a
low
、a
high1
和a
high2
，a
low
包含对象边界信息，a
high1
和a
high2
保持语义一致性，之后根据预测概率对低阶亲和度矩阵、两个高阶亲和度矩阵依次进行级联过滤，得到图像训练样本对应的伪标签
[0178][0179]
其中，f()表示级联过滤，之后根据预测概率与伪标签，得到多尺度递归树能量损失，其可以表示为：
[0180][0181]
其中，和pi表示未标注集中像素i的伪标签和预测概率。此外，根据预测概率和预设源掩码、预设目标掩码，得到门控条件随机场损失，门控条件随机场损失用于抑制单纯使用树能量损失可能会出现的目标区域伪标注过度膨胀或坍缩的情况，以进一步提高边缘精度并减少p和中的异常值。之后，根据预设的权衡参数对树能量损失、部分交叉熵损失和门控条件随机场损失进行相加，得到弱监督分割损失，其公式为：
[0182]
l
seg
＝l
pce
λ2l
mstree
λ3l
gcrf
[0183]
其中，l
seg
为弱监督分割损失，l
pce
为部分交叉熵损失，l
mstree
为多尺度递归树能量损失，l
gcrf
为门控条件随机场损失，λ2为多尺度递归树能量损失l
mstree
对应的权衡参数，λ3为门控条件随机场损失l
gcrf
对应的权衡参数。
[0184]
需要说明的是，在联邦学习中，一个更符合实际需求的设定是允许不同的中心站点使用异构形式的稀疏标签，并以统一、兼容的方式进行训练，使各站点都能从联邦中获得性能收益。
[0185]
需要说明的是，图像选定特征为样本图像数据通过分割模型的预设层的图像特征，本技术实施例采用u-net作为图像分割的网络架构，则第一个性化特征为u-net的解码器的第二层的输出图像特征，第二个性化特征为u-net的解码器的第三层的输出图像特征，通过使用解码器的多层网络输出的图像特征生成伪标签，使得得到的伪标签更加精确、优良，使得得到的多尺度递归树能量损失、弱监督分割损失对模型的训练效果更佳。此外，图像分割模型还能够采用其他网络架构，对应的预设层也会随网络架构改变而改变。
[0186]
需要说明的是，图像分割任务的本质为像素级别分类任务，最经典的弱监督分割方法将传统交叉熵函数修改为部分交叉熵函数，也即仅在标注区域的像素点进行交叉熵损失计算。然而仅仅在稀疏标签区域上应用部分交叉熵损失通常未能在靠近语义边界的地方提供足够的监督信号，因而在没有监督的地方会导致差的预测结果。本技术实施例提供的弱监督通过特定方式从监督区域向外扩展，形成未标注区域的伪标注，从而为模型训练提供更充足的监督信号。
[0187]
需要说明的是，参照图12，ua、oc、od、faz和bg分别表示未标注区域、视杯、视盘、中央凹无血管区和背景，点、涂鸦和块标注均可以作为像素级别的稀疏类别监督信号，然而边界框作为描述目标边界的矩形框，需要经过一定的预处理转化才可作为类别监督信号。根据所分割目标的形状、尺寸等先验，可以将其转换为点、涂鸦、块或者三者的混合。
[0188]
需要说明的是，参照图13，在眼底视杯视盘的分割任务中，对于视杯、视盘两种椭圆结构，首先使用霍夫圆拟合变换来拟合两种目标区域边界框的内接椭圆，具体首先获得矩形框中最大椭圆，并移除椭圆中的一个小圆区域，得到内接椭圆，而后通过骨架化内部椭圆与两椭圆之间的环形区域，取得两个目标区域的骨架稀疏标签，同时对视盘边界框外的背景部分进行相同操作得到背景稀疏标签，从而将边界框标注转换为类涂鸦标注。对于视网膜中心凹无血管区的分割任务，由于其形状较不规则，将边界框四边往外扩张若干像素，扩张后的矩形框的外部像素被设置为背景类，同时，将边界框的长与宽分别缩小80％，得到缩小框，将该框范围内的像素设置为目标类，由此可将边界框转换为块标注。对于其他复杂
结构，同样可以根据形状、尺寸等先验，进行一定的预处理将框标注转换为稀疏像素标注。
[0189]
需要说明的是，参照图10，本技术实施例提供的图像分割方法的网络架构包括服务器和多个客户端，为方便描述，将多个客户端划分为一个第一客户端和多个第二客户端，对于第一客户端来说，首先获取本地参数和来自于服务器的全局参数、个性化参数，本地参数为本地个性化模型的参数，根据全局参数对全局模型进行初始化，当当前迭代训练轮次为1次时，将本地参数作为聚合参数，当当前迭代训练轮次为2时，获取权重矩阵，对权重矩阵、个性化参数和本地参数进行多次自适应头部聚合，得到聚合参数。当当前迭代训练轮次大于2时，获取权重矩阵，并对权重矩阵、个性化参数和本地参数进行单次自适应头部聚合，生成聚合参数。之后，通过聚合参数对个性化模型进行初始化。对初始化后的全局模型和个性化模型进行本地训练，得到图像分割模型，并将图像分割模型上传至服务器，以使服务器对全局参数和个性化参数进行更新。其中，全局模型包括编码器和站点对比表征模块，将图像训练样本输入全局模型，得到第一站点通道注意值和全局图像特征，根据第一站点通道注意值和多个第二站点通道注意值，得到站点嵌入差异损失，第二站点通道注意值由第二客户端生成，将全局图像特征输入个性化模型，得到多个个性化图像特征，根据图像训练样本和多个个性化图像特征，得到弱监督分割损失，根据站点嵌入差异损失和弱监督分割损失对全局模型和个性化模型进行训练，直至全局模型和个性化模型满足局部梯度下降的条件，根据训练结束后的全局模型和个性化模型，得到图像分割模型。之后，根据更新后的全局参数和个性化参数对图像分割模型进行迭代训练，直至图像分割模型收敛。最终，获取待分割图像，并将待分割图像通过训练完成的图像分割模型，得到待分割图像的分割结果。
[0190]
需要说明的是，在图像分割模型的训练过程中，本技术实施例通过站点对比表征模块自适应地聚集了客户端内的数据分布表征并分离了多个客户端之间的分布表征，不同客户端之间的数据分布表征为紧密相关且彼此不同，能够有效促进模型个性化，另外，通过自适应头部聚合对个性化模型进行元素级别地更新和初始化，能够有效地整合多个客户端模型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，但也缓解了过度个性化，此外，本技术根据站点嵌入差异损失和弱监督分割损失作为图像分割模型的损失函数，能够生成高质量伪标签以进行更好的训练，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
[0191]
需要说明的是，参照图12，不同客户端，即站点a至站点e的数据样本之间存在领域偏移，成为统计异质性，主要是由非独立和相同分布的数据引起的，这使得一个单一的模型很难在所有客户端表现良好，在医学图像分析场景中，联邦学习退化可能更加严重，因为可能存在由成像设备、协议、病人群体和医生专业知识的差异引起的更多样的图像域偏移。对此，本技术通过下述方式对本技术的图像分割方法带来的有益效果进行实验验证。本技术进行了大量实验以验证所提出的图像分割方法在两个医学图像分割数据集上的有效性，包括来自眼底图像的视盘/视杯(odoc)分割和来自光学相干断层扫描血管造影(octa)图像的中心凹无血管区(faz)分割。本技术设置五个客户端，对于眼底图像，本技术五个客户端的数据集分别包含{101,159,400,400,200}个样本。对于光学相干断层扫描血管造影图像，五个客户端的数据集分别包含{304、200、300、1012、39}个样本。眼底图像被中心裁剪，然后调整为384
×
384，而血管造影图像直接调整为256
×
256。本技术利用自动化算法模拟点、涂鸦、边界框和基于原始分割掩码。本技术的图像分割模型采用u-net作为图像分割网络的基
础架构，并在u-net的编码器和解码器之间添加站点对比表征模块，u-net的通道数量从上到下从16个逐渐增加到256个，并使用初始学习率为1
×
10-2
的adamw优化器来优化参数，并使用power＝0.9的多项式策略来动态调整学习率，权衡参数λ1、λ2、λ3和批量大小分别设置为1、0.1、0.1和12，并采用500轮联邦训练所有联邦学习方法以确保公平的性能比较。本技术实施例将本技术提出的图像分割方法与几个代表性联邦学习框架进行性能比较，包括传统中心化联邦方法(如fedavg与fedprox)以及最先进的个性化联邦方法(如ft、fedbn、fedap、fedrep等)。在实现方面，由于这些方法最初是为图像分类任务设计，本技术尽量保持其的设计原则并使其适应弱监督图像分割任务。另外，本技术还进行了全监督下的本地训练、弱监督下的集中训练及全监督下的集中训练，其中，集中训练指不考虑数据的隐私性及安全性，将各站点数据集中于一台中心服务器上合并并进行直接训练。本技术都使用两个指标进行评估，即集合相似度度量函数(dice系数)和豪斯多夫距离。
[0192]
需要说明的是，表1表示了在视盘视杯分割任务上，多种方法在不同站点上的dice系数，与本地训练学习方法相比，所有联邦学习方法都提高了所有客户端的整体分割性能。客户端c和d在加入联邦学习后取得了显着的性能提升，因为客户端c和d的本地数据分布多样，这使得它们很难单独使用本地数据训练足够强大的模型。由于跨站点的数据高度异质性，个性化联邦学习方法受益于为不同站点训练个性化模型，并且通常比集中式联邦学习方法实现更高的性能，fedap利用批标准化层来度量站点间数据分布相似度，聚合个性化模型，从而从其他站点中提取有用信息，取得了良好的性能。值得注意的是，本技术实施例的图像分割方法实现了进一步的性能提升，dice系数比fedap高出约2％，接近具有完全监督标签的集中训练。表2为在来自光学相干断层扫描血管造影图像的中心凹无血管区分割任务上，多种方法在不同站点上的dice系数以及豪斯多夫距离。与视盘视杯分割任务不同，由于数据的一致性，大多数个性化联邦学习方法会遇到混淆或过度个性化，表现甚至比传统中心化联邦方法更差，本技术实施例提供的图像分割方法利用站点对比表征模块来增强客户端之间的数据表示对比度，从而缓解上述问题。因此，它仍然能够为每个客户端训练高性能的分割模型，并在所有客户端上实现最佳性能，其的表现大大优于传统中心化联邦方法，并接近具有弱监督标签的集中训练。
[0193]
表1
[0194]
[0195][0196]
表2
[0197][0198]
需要说明的是，表3为本技术实施例提供的图像分割方法的消融实验的结果本技术实施例在视杯视盘分割任务以及中心凹无血管区分割任务的数据集上进行了消融实验，并以dice系数未评判标准。从表3可以看出，自适应头部聚合、站点对比表征模块、树能量损失以及门控条件随机场损失中，任何一个的消除均导致一定程度的分割性能下降。
[0199]
表3
[0200]
自适应头部聚合站点对比表征模块树能量损失门控损失眼底视杯眼底视盘视网膜中心凹无血管区
‑‑‑‑
90.6881.6084.05√
ꢀꢀꢀ
92.9884.6788.96 √
ꢀꢀ
93.1984.0788.27√√
ꢀꢀ
93.6585.1089.20√√√ 93.8685.5789.35√√ √94.6385.8292.47√√√√94.6386.6493.29
[0201]
另外，参照图14，图14为本技术实施例提供的图像分割装置的结构框图，本技术实施例提供的图像分割装置包括数据通信模块100、全局初始模块200、个性初始模块300、本地训练模块400、迭代训练模块500和图像分割模块600。
[0202]
其中，数据通信模块100与全局初始模块200通信连接，数据通信模块100用于获取本地参数和来自于所述服务器的全局参数、个性化参数；
[0203]
全局初始模块200与数据通信模块100、个性初始模块300分别连接，全局初始模块200用于根据所述全局参数对全局模型进行初始化；
[0204]
个性初始模块300与全局初始模块200、本地训练模块400连接，个性初始模块300用于根据当前迭代训练轮次和预设轮次的比较结果，判断是否对所述本地参数和所述个性化参数进行自适应头部聚合，以生成聚合参数，并通过所述聚合参数对个性化模型进行初始化；
[0205]
本地训练模块400与个性初始模块300、迭代训练模块500连接，本地训练模块400用于对初始化后的所述全局模型和所述个性化模型进行本地训练，得到图像分割模型，并将所述图像分割模型上传至所述服务器，以使所述服务器对所述全局参数和所述个性化参数进行更新；
[0206]
迭代训练模块500与本地训练模块400、图像分割模块600通信连接，迭代训练模块500用于根据更新后的全局参数和个性化参数对图像分割模型进行新一轮的迭代训练，直至最后一轮迭代训练得到的图像分割模型达到收敛状态；
[0207]
图像分割模块600与迭代训练模块500通信连接，图像分割模块600用于将待分割图像输入到达到收敛状态的所述图像分割模型，得到所述待分割图像的分割结果。
[0208]
需要说明的是，需要说明的是，在图像分割模型的训练过程中，本技术实施例的个性初始模块300通过自适应头部聚合对个性化模型进行元素级别地更新和初始化，能够有效地整合多个客户端模型之间的共同知识和本地客户端模型的独特知识，有效地促进了个性化建模，但也缓解了过度个性化，从而获得优异的图像分割性能，同时提高了各个客户端的图像分割模型的性能，改善了图像分割效果。
[0209]
另外，参照图15，本技术实施例提供的用于图像分割的系统架构平台的示意图。
[0210]
本技术实施例的系统架构平台包括一个或多个处理器和存储器，图15中以一个处理器及一个存储器为例。
[0211]
处理器和存储器可以通过总线或者其他方式连接，图15中以通过总线连接为例。
[0212]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态
存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0213]
本领域技术人员可以理解的是，该系统架构平台可以应用于现有的通信网络系统以及后续演进的移动通信网络系统等，本实施例对此并不作具体限定。
[0214]
本领域技术人员可以理解，图15中示出的装置结构并不构成对系统架构平台的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0215]
系统架构平台可以是独立的系统架构平台，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络、以及大数据和人工智能平台等基础云计算服务的云系统架构平台。
[0216]
另外，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时如步骤s100至步骤s600的图像分割方法。
[0217]
处理器和存储器可以通过总线或者其他方式连接。
[0218]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0219]
实现上述实施例的目标跟踪方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的图像分割方法，例如，执行以上描述的图2中的方法步骤s100至s600。
[0220]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0221]
此外，本技术实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，可使得上述处理器执行上述实施例中的图像分割方法，例如，执行以上描述的图2中的方法步骤s100至s600、图3中的方法步骤s310至s340、图4中的方法步骤s351至s353、图5中的方法步骤s321和s323、图6中的方法步骤s410和s480、图7中的方法步骤s421至s425、图8中的方法步骤s441至s444、图9中的方法步骤s461至s469。
[0222]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、
数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0223]
以上是对本技术实施例的较佳实施进行了具体说明，但本技术实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术实施例权利要求所限定的范围内。