用于带宽增强的特征字典的制作方法

1.本技术案主张2019年8月20日申请且标题为“用于带宽增强的特征字典(feature dictionary for bandwidth enhancement)”的序列号为16/545,854的美国专利申请案的优先权，所述美国专利申请案的全部公开内容特此以引用方式并入本文中。
2.技术领域
3.本文中公开的至少一些实施例大体上涉及具有数据隐私保护及带宽增强的分布式机器学习，且更特定来说，涉及具有数据隐私保护及带宽增强的分布式人工神经网络。


背景技术：

4.人工神经网络(ann)是可在无需使用针对特定操作的指令进行编程的情况下学习执行任务的计算系统。ann是基于一组经连接节点或人工神经元，其在某种程度上类似于生物大脑中的神经元。节点之间的每一连接可将信号从一个人工神经元传输到另一人工神经元，且接收到信号的人工神经元可处理所述信号。
5.通常，ann由信号实施于人工神经元之间的作为实数的连接(或边缘)处，且每一人工神经元的输出由其输入的和的非线性函数计算。人工神经元及边缘通常具有随着由ann进行的学习或对ann的训练的进行而调整的权重。权重增加或减小边缘处信号的强度。人工神经元还可具有一阈值，其中信号仅在聚合信号超过所述阈值的情况下从人工神经元发送。通常，人工神经元被分组成若干层(例如输入层、一或多个中间层及输出层)中，且每一层可提供对到所述层的输入的不同变换。
6.随着对例如深度神经网络的复杂人工神经网络的使用日益增加且需要增加此类网络的有效性，已通过使用多个处理器及/或分布式计算来分布对人工神经网络的训练来应对复杂性及挑战。然而，在使用多个处理器或分布计算的情况下，存在数据隐私问题(例如，数据真实性问题)以及网络性能问题(例如，网络性能限制神经网络满足应用的性能需要的能力的问题)。
附图说明
7.将从下文给出的详细描述及从本公开的各个实施例的附图更加完全地理解本公开。
8.图1及2说明根据本公开的一些实施例的呈用以实施使用特征字典进行人工神经网络(ann)的集中式训练及数据传输的减少的配置的实例计算机网络100。
9.图3到5说明根据本公开的一些实施例的由可实施使用特征字典进行ann的集中式训练及数据传输的减少的计算机网络100的实例部分执行的实例方法。
10.图6说明根据本公开的一些实施例的可代管ann及特征字典的主版本的实例计算装置或可代管ann及特征字典的其它版本的实例计算装置。
具体实施方式
11.本公开的至少一些方面大体上涉及具有数据隐私保护及带宽增强的分布式机器学习，且更特定来说，涉及具有数据隐私保护及带宽增强的分布式人工神经网络。而且，本公开的至少一些方面涉及一种计算机网络，其可经配置以实施使用特征字典来进行人工神经网络(ann)的集中式训练及数据传输的减少。
12.本文中公开一种可具有代管ann的不同版本的多个计算装置的系统。所述系统的每一计算装置可代管ann的其自身版本。举例来说，第一装置可代管ann的主版本，且系统的第二装置及其它装置可代管ann的本地版本。而且，本文中公开一种可具有可代管ann的不同版本以及特征字典的不同版本的多个装置的系统。在系统中，ann的主版本的输入可经编码于代管ann的本地版本的多个装置中的一者(例如第二计算装置)中。接着，经编码输入(其是由特征字典的本地版本定义的经编码输入)可发送到代管ann的主版本的主计算装置(例如第一计算装置)。在主计算装置中，所发送的经编码特征可根据特征字典的主版本进行解码。此允许经编码输入经由网络发送到ann的主版本而非通常包含比经编码输入更多的数据的输入的原始版本。因此，通过使用特征字典来训练ann，可减少数据传输。
13.在系统中，代管ann的本地版本及特征字典的本地版本的计算装置可从存储于装置上的用户数据提取所选择的特征且使用数据压缩算法编码从用户数据提取的特征。使用编码，数据压缩算法可提供若干对经提取特征及对应经编码特征(例如码字)。所述对可作为定义包含于特征字典中。原始经提取数据与其对应经编码数据的配对可用于创建或重建特征字典。因此，特征字典的本地版本在配对中为经编码数据提供定义。这些配对或定义允许经编码数据解码成其对应原始数据，例如通过特征字典的主版本。而且，特征字典的本地版本可用于更新特征字典的主版本。并且，数据压缩算法可在其压缩程度方面有所不同以改变数据传输的减少。
14.在系统中，在将用户数据从代管ann及字典的本地版本的计算装置中的一者发送到代管ann及字典的主版本的计算装置，而非发送用户数据(例如未压缩用户数据)的特征的完整描述的情况下，可发送码字。每一次特征发送到代管ann及字典的主版本的计算装置时，特征的码字都可定义于特征字典的本地版本中且相应地发送，使得仅对应码字经由网络传输。在一些实施例中，将码字与特征配对的定义仅在所述定义最近在特征字典的本地版本中产生或更新(例如经由数据压缩算法产生或更新)时传输到代管特征字典的主版本的计算装置。此时，对特征字典的更新及经编码特征两者一起发送。否则，因为字典的主版本包含与本地版本相同的定义，因此仅发送经编码特征。
15.代管ann的主版本及特征字典的主版本的计算装置可使用经传输码字从字典的主版本查找特征。并且，接着，计算装置可根据字典的主版本解码码字并使用经解码特征来经由机器学习训练ann的主版本。
16.在一些实施例中，本文中描述的系统可包含代管ann的主版本及特征字典的主版本的第一计算装置以及代管ann的本地版本及特征字典的本地版本的第二计算装置。并且，第二计算装置可为可代管ann的不同本地版本及特征字典的不同本地版本的许多计算装置中的一者。第一计算装置可通信耦合到第二计算装置，且可包含经配置以存储ann的版本且存储特征字典的主版本的存储器。第一计算装置还可包含经配置以从第二计算装置接收经编码特征的收发器。第一计算装置还可包含经配置以进行以下操作的处理器：根据特征字
典的主版本解码接收到的经编码特征；及基于经解码特征使用机器学习训练ann的主版本。第二计算装置可包含经配置以存储用户数据、存储ann的本地版本及存储特征字典的本地版本的存储器。第二计算装置还可包含经配置以进行以下操作的处理器：从经存储用户数据提取特征；及根据特征字典的本地版本编码经提取特征。第二计算装置还可包含收发器，其经配置以将经编码特征传输到第一计算装置使得经编码特征通过特征字典的主版本解码且接着作为输入用于使用机器学习训练ann的主版本。
17.另外，在一些实施例中，例如经由编码，用于ann的主版本的集中式训练的输入可被混淆。举例来说，在特征编码期间或之前，特征可被混淆。混淆可发生于代管ann的不同版本的多个计算装置中的任一者处，例如代管ann的本地版本的装置。举例来说，系统中的第二计算装置可包含经配置以存储ann的本地版本及用于输入到ann的本地版本中的用户数据的存储器。第二计算装置还可包含经配置以从用户数据提取特征且在经提取特征的编码期间或之前将经提取特征混淆以产生经混淆用户数据的处理器。第二装置还可包含经配置以将经混淆/经编码用户数据传输例如到第一计算装置的收发器。第一计算装置可包含：存储器，其经配置以存储ann的主版本；收发器，其经配置以接收从第二计算装置或代管ann的本地版本的另一装置传输的经混淆/经编码用户数据；及处理器，其经配置以在接收到的经混淆/经编码用户数据已由特征字典的主版本解码之后基于接收到的经混淆/经编码用户数据使用机器学习训练主版本。
18.在一些实施例中，代管ann的本地版本的装置中的一者可将存储于其存储器中的用户数据输入到ann的本地版本中以使用并训练ann的本地版本。举例来说，此可发生于用户的移动装置中。可包含敏感或私密信息的用户数据在与ann一起使用时不与其它装置共享。换句话说，用于ann的机器学习可在本地秘密地发生，因为用户数据不与其它装置共享且在用户的装置中得到保护。然而，当用户数据与其它装置共享以用于训练ann的例如主版本的其它版本时，用户数据可在其被共享之前经混淆及/或编码。混淆进一步保护数据的隐私，且编码允许使用更小的网络带宽，因为经编码数据通常小于原始数据。在一些实施例中，仅唯一的本地数据可传输到代管ann的主版本的装置，因此数据传送大小是原始数据的子集。
19.在一些实施例中，代管ann的主版本的一或多个装置可为云计算环境的部分。并且，在此类实施例中，通过仅在用户的装置中混淆及/或编码用户数据，用户数据可对云中的其它装置保密。而且，由于编码输出小数据集，数据传输可增加。未屏蔽或预编码用户数据可用于在用户的装置上本地训练ann的本地版本。举例来说，原始用户数据可用于在用户移动装置(例如，用户的智能电话、平板计算机等)上训练ann的本地版本。当其在系统中共享以训练ann的其它版本时，其始终至少由系统编码且有时也在编码期间或之前被混淆，这取决于实施例。
20.在一些实施例中，ann的主版本可下载到用户的个别装置以更新且改进存储于装置上的ann的本地版本。这可在ann的仅通过进行本地训练可能尚未改进的领域中改进ann的本地存储版本的准确性。而且，ann的经下载主版本可进一步进行本地训练以成为为用户定制的ann的版本。这样的益处是当ann在用户装置上进行本地训练时，且用户输入无需被编码或混淆。
21.一般来说，在可经配置以实施使用特征字典来进行ann的集中式训练及数据传输
的减少的计算机网络中，代管ann的以不同方式训练的版本的装置可执行本地训练以避免用户数据(其大小可较大)传输，除非用户数据在传输之前至少由特征字典编码(此可显著减小所传输数据的大小)。因为在一些实施例中，仅经编码用户数据可经由通信地耦合网络的装置的网络传输。接着，中央装置、服务器或云可经由网络接收经编码用户数据、将其解码及使用经解码数据训练ann的主版本，其中网络带宽的使用受到限制且在一些实施例中不会损害数据隐私。因为中央装置、服务器或云不经由网络接收原始用户数据(例如到ann的本地版本的输入)，因此可避免经由网络将大量原始用户数据传输到中央装置、服务器或云及网络。
22.在计算机网络中更新的ann可呈更新神经元属性及/或连接性的形式。对ann版本的改变可通过使用兼容机器学习技术进行训练来完成，其中输入是或至少包含经编码以改进网络通信的经解码用户数据。而且，输入可在编码过程期间或之前混淆；然而，经混淆用户数据不会被混淆到超过使用经混淆输入更新神经元属性及/或连接性对ann在进行预期预测方面的有效性有害的程度。
23.图1及2说明根据本公开的一些实施例的呈用以实施使用特征字典来进行ann的集中式训练及数据传输的减少的配置的计算机网络100。
24.在图1中，展示计算机网络100包含一组计算装置102。一组计算装置102可包含能够代管及执行ann的版本的任何类型的计算装置中的一或多者，例如能够代管及执行ann的版本的任何类型的移动装置、个人计算机或智能装置(例如，参见第二计算装置104a及第n计算装置104b)。一组计算装置102中的每一计算装置可代管及执行ann的本地版本(例如，参见具有ann 106a及106b的相应本地版本的第二计算装置104a及第n计算装置104b)。
25.还展示计算机网络100包含第一计算装置108。第一计算装置108可为分布在网络上(例如分布在云计算环境的网络上)的单个计算装置或多个计算装置。由第一计算装置108体现的单个计算装置或多个计算装置可包含ann 110的主版本。第一计算装置108可为对等计算网络中的中央装置、服务器或云或所选择的装置，这取决于计算机网络100的实施方案。
26.换句话说，图1说明包含具有经联网计算装置(例如，参见计算装置104a及104b)的一组计算装置102的计算机网络100，其中每一经联网计算装置存储及使用ann的单独本地版本(例如，参见ann 106a及106b的本地版本)。计算机网络100还包含第一计算装置108(其可为云或另一类型的分布式计算网络的部分)。第一计算装置108包含ann 110的主版本。
27.ann的本地版本(例如，参见ann 106a及106b的本地版本)可与用户数据(例如，参见用户数据120a及120b)一起使用。而且，用户数据可用于训练ann的本地版本。
28.经编码、经传输及接着经解码的用户数据可由ann 110的主版本(例如，参见经由经编码特征124a及124b及特征字典114的主版本的用户数据120a及120b的路径)例如用于训练主版本。接着，ann的经更新主版本可由一组计算装置102中的一或多个装置下载(例如，参见下载130a及130b)。经下载主版本可替代ann的本地版本或可与由一组计算装置102的装置中的一者代管的ann的本地版本组合。
29.在计算机网络100中，代管ann的本地版本及特征字典的本地版本的计算装置(例如，参见一组计算装置102的计算装置)可从存储于装置上的用户数据(例如，参见用户数据120a及120b)提取所选择的特征及使用数据压缩算法编码从用户数据提取的特征(例如，参
见经编码特征124a及124b)。使用编码，数据压缩算法可提供若干对经提取特征及对应经编码特征(例如码字)。所述对可作为定义包含于特征字典中(例如，参见特征字典122a、122b及114的版本)。原始经提取数据与其对应经编码数据的配对可产生到本地特征字典(例如，参见特征字典122a及122b的本地版本)中。因此，特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)在配对中为经编码数据提供定义(例如，参见经编码特征124a及124b)。这些配对或定义允许经编码数据解码成其对应原始数据，例如通过特征字典的主版本(例如，参见特征字典114的主版本)。而且，特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)可用于更新特征字典的主版本(例如，参见特征字典114的主版本)。并且，数据压缩算法可在其压缩程度方面有所不同以改变数据传输的减少。
30.在计算机网络100中，在将用户数据从代管ann及字典的本地版本的计算装置中的一者发送到代管ann及字典(例如，参见字典更新/经编码特征126a及126b)的主版本的计算装置，而非发送用户数据(例如未压缩用户数据)的特征的完整描述的情况下，可发送码字。每一次将特征发送到代管ann及字典的主版本的计算装置(例如，参见第一计算装置108)时，用于特征的码字都可定义于特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)中且相应地发送，使得仅对应码字经由网络传输(例如，字典更新/经编码特征126a及126b有时可仅包含经编码特征)。在一些实施例中，将码字与特征配对的定义仅在所述定义最近在特征字典的本地版本中产生或更新(例如经由数据压缩算法产生或更新)时传输到代管特征字典的主版本的计算装置。此时，对特征字典的更新及经编码特征两者一起发送(例如，字典更新/经编码特征126a及126b有时可包含经编码特征以及对应定义)。否则，因为字典的主版本包含与本地版本相同的定义，因此仅发送经编码特征。
31.代管ann的主版本及特征字典的主版本的计算装置(例如，参见第一计算装置108)可使用经传输码字(例如，参见字典更新/经编码特征126a及126b)从字典的主版本(例如，参见特征字典114的主版本)查找特征。并且，接着，计算装置可根据字典的主版本解码码字并使用经解码特征来经由机器学习训练ann的主版本(例如，参见ann 110的主版本及机器学习112)。
32.ann的主版本(例如，参见ann 110的主版本)可经由机器学习(例如，参见机器学习112)通过接收到的特征字典更新及经编码数据(例如，参见字典更新/经编码特征126a及126b)反复训练，使得主版本是通用的且随着时间的推移变得越来越准确。数据可从具有ann的不同及本地版本(例如，参见ann 106a及106b的本地版本)及不同经存储用户数据(例如，参见用户数据120a及120b)的不同用户的装置接收。ann的主版本(例如，参见ann 110的主版本)可下载到个别用户装置(例如，参见计算装置104a及104b)以更新用户装置能力以从可能尚未本地训练的领域的进步中受益(例如，参见下载130a及130b)。而且，经下载ann可进一步进行本地训练以成为为用户定制的ann的版本。
33.在图中未展示的是，计算机网络100包含通信网络，其包含广域网(wan)、局域网(lan)、内部网络、外部网络、因特网及/或其任何组合。通信网络可使一组计算装置102的装置彼此通信耦合及与计算机网络100的其它装置通信耦合，例如与第一计算装置108耦合。本文中提及的发送的特征字典更新及经编码用户数据以及ann的主版本的下载(例如，参见字典更新/经编码特征126a及126b及下载130a及130b)可经由计算机网络100的通信网络传递或传输。而且，对本文中提及的特征字典的主版本的更新(例如，参见下载128a及128b)可
经由计算机网络100的通信网络传递或传输。
34.图2稍微类似于图1的地方在于，其展示呈用以实施使用特征字典来进行ann的集中式训练及数据传输的减少的配置的计算机网络100。然而，不同于图1，图2明确描绘一组计算装置102包含代管ann的相应本地版本(例如，参见ann 106a及106b的本地版本)的移动装置(例如，参见移动装置105a及105b)。而且，在图2中，展示云计算环境(例如，云计算环境109)代管ann的主版本(例如，参见ann 110的主版本)。换句话说，图2是图1中展示的计算机网络的更特定实施方案，其中第一装置108是云计算环境109或是其部分，且一组计算装置102的装置具体来说是移动装置(例如，参见移动装置105a及105b)。
35.在一些实施例中，用于实施使用特征字典进行ann的集中式训练及数据传输的减少的系统可包含多个计算装置(例如，参见一组计算装置102)。多个计算装置中的每一者可经配置以代管ann的本地版本(例如，参见ann 106a及106b的本地版本)且代管特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)。所述系统还可包含经配置以代管ann的主版本(例如，参见ann 110的主版本)且代管特征字典的主版本(例如，参见特征字典114的主版本)的第一计算装置(例如，参见第一计算装置108或云计算环境109)。
36.举例来说，多个计算装置可包含可代管ann的本地版本(例如，参见ann 106a及106b的本地版本)且代管特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)的第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)。并且，第一计算装置(例如，参见第一计算装置108或云计算环境109)可经由计算机网络(例如，参见计算机网络100)通信耦合到第二计算装置。
37.第一计算装置(例如，参见第一计算装置108或云计算环境109)可包含经配置以进行以下操作的存储器(例如，参见图6中展示的主存储器608及存储系统612)：存储ann的主版本(例如，参见ann 110的主版本)；及存储特征字典的主版本(例如，参见特征字典114的主版本)。第一计算装置还可包含经配置以从第二计算装置接收经编码特征(例如，参见经编码特征124a及124b以及字典更新/经编码特征126a及126b)的收发器(例如，参见图6中展示的网络接口610)。而且，第一计算装置(例如，参见第一计算装置108或云计算环境109)可包含经配置以进行以下操作的处理器(例如，参见图6中展示的处理器606)：根据特征字典的主版本(例如，参见特征字典114的主版本)解码接收到的经编码特征；及基于经解码特征使用机器学习(例如，参见机器学习112)训练ann的主版本(例如，参见ann 110的主版本)。
38.在一些实施例中，第一计算装置(例如，参见第一计算装置108或云计算环境109)的收发器(例如，参见网络接口610)可经配置以将ann的经训练主版本传输到第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)，例如通过下载130a及130a展示。而且，第一计算装置的收发器(例如，参见网络接口610)可经配置以从第二计算装置接收特征字典的本地版本(例如，参见经编码特征124a及124b以及字典更新/经编码特征126a及126b)。在此实例中，第一计算装置的处理器(例如，参见处理器606)可经配置以：基于特征字典的接收到的本地版本(例如，参见特征字典特征122a及122b的本地版本以及字典更新/经编码特征126a及126b)改变特征字典的主版本(例如，参见特征字典114的主版本)；及根据特征字典的经改变主版本(例如，参见特征字典114的主版本)解码接收到的经编码特征。而且，第一计算装置的收发器(例如，参见处理器606)可经配置以将特征字典的经改变主版本传输到第二计算装置(例如，参见下载128a及128b)。
39.第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)可包含经配置以进行以下操作的存储器(例如，参见主存储器608及存储系统612)：存储用户数据(例如，参见用户数据120a及120b)；存储ann的本地版本(例如，参见ann 106a及106b的本地版本)；及存储特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)。第二计算装置还可包含经配置以进行以下操作的处理器(例如，参见处理器606)：从经存储用户数据(例如，参见用户数据120a及120b)提取特征；及根据特征字典的本地版本(例如，参见特征字典122a及122b的本地版本及经编码特征124a及124b)编码经提取特征。而且，第二计算装置可包含收发器(例如，参见图6中展示的网络接口610)，其经配置以将经编码特征(例如，参见经编码特征124a及124b)传输到第一计算装置使得经编码特征通过特征字典的主版本(例如，参见特征字典114的主版本)解码且接着作为输入用于使用机器学习(例如，参见机器学习112)训练ann的主版本。
40.在一些实施例中，第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)的处理器(例如，参见处理器606)可进一步经配置以确定经提取特征是否包含于特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)中。并且，响应于特征字典的本地版本包含经提取特征，第二计算装置的处理器可进一步经配置以根据特征字典的本地版本(例如，参见经编码特征124a及124b)编码经提取特征。响应于特征字典的本地版本不包含经提取特征，第二计算装置的处理器可进一步经配置以基于经提取特征改变特征字典的本地版本及接着根据特征字典的经改变本地版本(例如，参见字典更新/经编码特征126a及126b)编码经提取特征。
41.在此类实例中，第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)的收发器(例如，参见网络接口610)可经配置以将特征字典的经改变本地版本传输到第一计算装置，使得特征字典的主版本根据特征字典的本地版本(例如，参见字典更新/经编码特征126a及126b)改变。而且，第二计算装置的收发器可经配置以接收特征字典的经改变主版本(例如，参见下载128a及128b)。在此类实施例中，第二计算装置的处理器(例如，参见处理器606)可经配置以基于特征字典的经改变主版本(例如，参见特征字典114的主版本)改变特征字典的本地版本(例如，参见特征字典122a及122b的本地版本)。
42.另外，在一些实施例中，第二计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)的收发器(例如，参见网络接口610)可经配置以接收ann的经训练主版本(例如，参见下载130a及130b)。在此类实施例中，第二计算装置的处理器(例如，参见处理器606)可经配置以基于ann的经训练主版本(例如，参见ann 110的主版本及下载130a及130b)改变ann的本地版本(例如，参见ann 106a及106b的本地版本)。
43.图3到4说明根据本公开的一些实施例的由可实施使用特征字典来进行ann的集中式训练及数据传输的减少的计算机网络100的实例部分执行的实例方法。
44.图3展示由经配置以代管ann的主版本且使用特征字典来进行ann的集中式训练及数据传输的减少的计算装置(例如，参见第一计算装置108或云计算环境109)执行的方法300，所述计算装置与代管ann的其它版本的其它计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)通信。方法300在步骤302以由第一计算装置(或计算装置)代管ann的主版本开始。
45.在步骤304，第一计算装置代管特征字典的主版本。
46.在步骤306，第一计算装置从作为代管ann及特征字典的其它版本的其它计算装置中的一者的第二计算装置接收特征字典的本地版本。
47.在步骤308，第一计算装置基于特征字典的接收到的本地版本改变特征字典的主版本。
48.在步骤310，第一计算装置从第二计算装置接收经编码特征。接收到的经编码特征可由第二计算装置根据由第二计算装置代管的特征字典的本地版本编码。
49.在步骤312，第一计算装置根据特征字典的主版本解码接收到的经编码特征。解码可包含根据特征字典的经改变主版本解码经编码特征。
50.在步骤314，第一计算装置基于经解码特征使用机器学习训练ann的主版本。
51.在步骤316，第一计算装置将ann的经训练主版本传输到第二计算装置。
52.在步骤318，第一计算装置将特征字典的经改变主版本传输到第二计算装置。
53.图4展示由经配置以代管除了ann的主版本以外的ann的另一版本(例如本地版本)且使用本地特征字典来帮助进行ann的集中式训练及数据传输的减少的计算装置(例如，参见计算装置104a及104b以及移动装置105a及105b)执行的方法400，所述计算装置与可执行方法300的第一计算装置(例如，参见第一计算装置108或云计算环境109)通信。方法400在步骤402以由第二计算装置代管ann的本地版本开始。
54.在步骤404，第二计算装置代管特征字典的本地版本。
55.在步骤406，第二计算装置从由第二计算装置代管的用户数据提取特征。
56.在步骤408，第二计算装置确定经提取特征是否包含于特征字典的本地版本中。响应于特征字典的本地版本包含经提取特征，在步骤412，第二计算装置根据特征字典的本地版本编码经提取特征。响应于特征字典的本地版本不包含经提取特征，在步骤410，第二计算装置基于经提取特征改变特征字典的本地版本，且接着，在步骤412，根据特征字典的经改变本地版本编码经提取特征。
57.在步骤414，第二计算装置将经编码特征传输到代管ann的主版本的第一计算装置，使得经编码特征通过由第一计算装置代管的特征字典的主版本解码且接着作为输入用于使用机器学习训练ann的主版本。
58.在步骤416，第二计算装置将特征字典的经改变本地版本传输到第一计算装置，使得特征字典的主版本根据特征字典的本地版本改变。
59.在步骤418，第二计算装置接收ann的经训练主版本。并且，在步骤420，第二计算装置基于ann的经训练主版本改变ann的本地版本。
60.在步骤422，第二计算装置接收根据特征字典的本地版本改变的特征字典的经改变主版本。并且，在步骤424，第二计算装置基于特征字典的经改变主版本改变特征字典的本地版本。
61.图5展示由经配置以代管并执行ann的主版本的计算装置(例如，参见分别在图1及2中描绘的第一计算装置108及云计算环境109)及经配置以代管并执行ann的其它版本的计算装置(例如，参见计算装置104a及104b或移动装置105a及105b)执行的方法500。方法500可包含方法300及400的操作。
62.方法500在步骤502以经配置以代管除了ann的主版本以外的ann的另一版本的计算装置(即，第二计算装置)从存储于第二计算装置的存储器中的用户数据提取特征开始。
在步骤504，如果在步骤502处的初始提取之后在第二计算装置上不存在特征字典，那么第二计算装置(例如，参见计算装置104a及104b或移动装置105a及105b)基于经提取特征产生特征字典的本地版本。否则，在步骤504，第二计算装置基于从用户数据提取的特征更新特征字典的本地版本。在步骤506，第二计算装置根据特征字典的本地版本编码经提取特征。
63.在步骤508，第二计算装置将特征字典的本地版本传输到经配置以代管ann的主版本的计算装置(例如，第一计算装置)。仅当本地版本最初已产生时或仅当本地版本已被更新时，第二计算装置才经配置以将特征字典的本地版本传输到第一计算装置。而且，当特征字典的本地版本被更新时，第二计算装置可经配置以仅将特征字典的经更新部分传输到第一计算装置。而且，在步骤508，第二计算装置传输经编码特征。第二计算装置可经配置以仅发送最近编码的特征。
64.在步骤510，如果字典的本地版本是从第二计算装置发送，那么第一计算装置接收字典的本地版本。而且，在步骤510，如果经编码特征是从第二计算装置发送，那么第一计算装置接收经编码特征。在步骤512，如果接收到字典的本地版本，那么第一计算装置基于特征字典的接收到的本地版本改变特征字典的主版本。本地版本的接收可触发字典的主版本的改变。
65.在步骤514，如果接收到经编码特征，那么第一计算装置根据字典的主版本解码经编码特征。经编码特征的接收可触发经编码特征的解码。
66.在步骤516，第一计算装置基于经解码特征使用机器学习训练ann的主版本。而且，在步骤518，第一计算装置将ann的经训练主版本及/或字典的经改变主版本传输到第二计算装置。在步骤520，第二计算装置根据在步骤518发生的事件接收ann的经训练主副本及/或接收字典的经改变主版本。
67.在图5中未展示的是，ann的本地版本可通过在用户装置中组合ann的经更新主版本与ann的目前本地版本来训练或重新训练。并且，训练或重新训练中的组合可包含根据ann的经更新主版本及ann的“目前”或先前本地版本的平均对应属性更新ann的本地版本的神经元属性。
68.出于图5的步骤502到520及本公开的目的，应理解，在步骤508从用户装置(例如，参见图2中展示的计算装置104a及104b或移动装置105a及105b)传输到代管ann的主版本的中央装置、服务器或云(例如，参见第一计算装置108或云计算环境109)的特征字典的本地版本的更新及经编码用户数据(例如，参见字典更新/经编码特征126a及126b)可呈在步骤502中提取的全部经提取特征的形式或在步骤502中提取的经提取特征的部分的形式或可从所述形式导出。而且，在一些实施例中，代管ann的主版本的中央装置、服务器或云可限制用户装置可在步骤502提取且分别地在步骤504及506产生及编码的内容以调整通过编码以及可能地通过混淆提供的网络性能，且在另一方面还使用经编码及有时经混淆用户数据作为用于训练的输入来调整ann的版本(例如主版本)的训练的准确性。
69.而且，应理解，对等网络可实施方法500。在此类实例中，第一所选择的装置代管ann的主版本以进行处理，且对等网络的其它装置代管ann的其它版本(例如，本地版本)以进行处理。在此类实例中，第一所选择的装置执行步骤510到518，且对等网络的其它装置执行步骤502到508及520。
70.关于本文中描述的方法300、方法400、方法500或任何其它方法、过程或操作，在一
些实施例中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由至少一个处理装置(例如图6中展示的处理器606)执行时致使至少一个处理装置执行本文中描述的方法300、方法400、方法500或任何其它方法、过程或操作及/或其任何组合。
71.图6说明根据本公开的一些实施例的实例计算装置600的实例部分。计算装置600可经由计算机网络100通信耦合到其它计算装置，如图6中展示。在一些实施例中，计算装置600是第一计算装置108或云计算环境109的一或多个计算装置。在此类实施例中，计算装置600的另一例子、一组计算装置102的计算装置中的一者(例如，参见计算装置104a及104b及移动装置105a及105b)。计算装置600包含至少一总线604、处理器606(例如cpu)、主存储器608、网络接口610及数据存储系统612。总线604通信耦合处理器606、主存储器608、网络接口610及数据存储系统612。计算装置600包含计算机系统，其包含至少处理器606、主存储器608(例如，只读存储器(rom)、快闪存储器、动态随机存取存储器(dram)，例如同步dram(sdram)或rambus dram(rdram)、静态随机存取存储器(sram)等)及数据存储系统612，其经由总线604(其可包含多个总线)彼此通信。
72.换句话说，图6是具有本公开的实施例可操作于其中的计算机系统的实例计算装置600的框图。在一些实施例中，计算机系统可包含用于在被执行时致使机器执行本文中论述的方法中的任一或多者的一组指令。在此类实施例中，机器可连接(例如，经由网络接口610联网)到lan、内部网络、外部网络及/或因特网中的其它机器。机器可在客户端-服务器网络环境中以服务器或客户端机器的身份操作，在对等(或分布式)网络环境(例如本文中描述的对等网络)中作为对等机器操作，或在云计算基础架构或环境中作为服务器或客户端机器操作。
73.处理器606表示一或多个通用处理装置，例如微处理器、中央处理单元或类似物。更特定来说，处理装置可为复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器或实施其它指令集的一处理器或实施指令集组合的若干处理器。处理器606还可为一或多个专用处理装置，例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器、存储器中处理器(pim)或类似物。处理器606经配置以执行用于执行本文中论述的操作及步骤的指令。处理器606可进一步包含例如网络接口610的网络接口装置以经由一或多个通信网络通信。
74.数据存储系统612可包含在其上存储有体现本文中描述的任何一或多种方法或功能的一或多组指令或软件的机器可读存储媒体(也被称为计算机可读媒体)。指令还可在其由计算机系统执行期间完全或至少部分驻存于主存储器608内及/或处理器606内，主存储器608及处理器606也构成机器可读存储媒体。虽然存储器、处理器及数据存储部分在实例实施例中各自展示为单个部分，但应将每一部分视作包含可存储指令及执行其相应操作的单个部分或多个部分。术语“机器可读存储媒体”也应理解为包含能够存储或编码供机器执行且致使机器执行本公开的方法中的任一或多者的的一组指令的任何媒体。因此，术语“机器可读存储媒体”应理解为包含(但不限于)固态存储器、光学媒体及磁性媒体。
75.一些实施例的对等网络可为节点或对等连接集合。举例来说，第一计算装置108或一组计算装置102的计算装置中的一者可为由通过计算机网络100连接的计算装置支持的对等网络的节点。
76.已依据对计算机存储器内的数据位的操作的算法及符号表示呈现前述详细描述
的一些部分。这些算法描述及表示是由数据处理领域的技术人员用于向所属领域的其他技术人员最有效地传达其工作实质的方式。算法在此通常被设想为导致期望结果的自相一致的操作序列。操作是需要物理地操纵物理量的操作。通常但非必需，这些量采取能够被存储、组合、比较及以其它方式操纵的电或磁性信号的形式。已证明，有时主要由于通用用法的原因，将这些信号称为位、值、元素、符号、字符、项、数字或类似物是方便的。
77.然而，应记住，所有这些及类似术语都应与适当物理量相关联，且仅为应用于这些量的方便标签。本公开可涉及计算机系统或类似电子计算装置的动作及过程，其将表示为计算机系统的寄存器及存储器内的物理(电子)量的数据操纵及变换成类似地表示为计算机系统存储器或寄存器或其它此类信息存储系统内的物理量的其它数据。
78.本公开还涉及用于执行本文中的操作的设备。此设备可出于预期目的而专门构造，或其可包含由存储于计算机中的计算机程序选择性激活或重新配置的通用计算机。此计算机程序可存储于计算机可读存储媒体中，例如(但不限于)任何类型的磁盘(包含软盘、光盘、cd-rom及磁光盘)、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡或适于存储电子指令的任何类型的媒体，每一者都耦合到计算机系统总线。
79.本文中呈现的算法及显示器不固有地与任何特定计算机或其它设备相关。各种通用系统可根据本文中的教示与程序一起使用，或可证明构造更专门设备来执行方法是方便的。各种这些系统的结构将如下文描述中陈述那样出现。另外，本公开不参考任何特定编程语言描述。应了解，各种编程语言可用于实施本文中描述的本公开的教示。
80.本公开可经提供为计算机程序产品或软件，其可包含其上存储有指令的机器可读媒体，所述指令可用于对计算机系统(或其它电子装置)进行编程以执行根据本公开的过程。机器可读媒体包含用于存储呈可由机器(例如计算机)读取的形式的信息的任何机构。在一些实施例中，机器可读(例如计算机可读)媒体包含机器(例如计算机)可读存储媒体，例如只读存储器(“rom”)、随机存取存储器(“ram”)、磁盘存储媒体、光学存储媒体、快闪存储器组件等。
81.在以上说明书中，已参考本公开的特定实例实施例描述其实施例。明显地，可在不背离所附权利要求书中所陈述的本公开的实施例的更宽精神及范围的情况下对本公开做出各种修改。因此，说明书及图式应被视为是说明性而非限制性的。