利用层随机化的AI模型转移方法与流程

利用层随机化的ai模型转移方法
技术领域
1.本公开大体上涉及用于执行人工智能(ai)模型的数据处理加速器。更具体地，本公开涉及在从主机到加速器的ai模型的转移中的数据保护。


背景技术：

2.随着ai技术部署在诸如图像分类、医学诊断或自主驾驶的各种领域中，人工智能(ai)模型(也称为“机器学习模型”)最近已被广泛地使用。与软件应用的可执行映像或二进制映像类似，ai模型在被训练时可以基于一组属性执行推断以分类为特征。ai模型的训练可能需要在收集、整理和过滤数据上进行大量投资，以生成产生有用预测的ai模型。
3.从ai模型生成预测可以是计算密集型处理。为了为一个或多个用户提供足够的计算能力，可以提供数据处理加速器(dpa)集群(例如，在集群中)以执行ai模型所需的大量计算。因此，越来越多地在主机系统和数据处理(dp)加速器(诸如人工智能(ai)加速器或协处理器)之间执行敏感事务。这增加了保护dp加速器和主机系统环境之间的通信信道，以保护通信信道免受数据嗅探攻击的需要。
4.例如，用于ai训练数据、模型和推断输出的数据传输可能不受保护，并且可能通过通信信道泄漏到不可信方。此外，用于在通信信道上加密数据的基于密钥的解决方案可能较慢并且可能不实用。此外，大多数基于密钥的解决方案需要基于硬件的密码引擎。


技术实现要素：

5.本技术的一个方面提供了一种转移人工智能模型的方法，该方法可包括：识别人工智能模型的多个层，多个层以第一有序列表组织；由处理设备通过将第一有序列表重新组织为第二有序列表，对多个层进行随机化；以及由处理设备按照由第二有序列表定义的顺序将人工智能模型的多个层转移到数据处理加速器。
6.本技术的另一方面提供了一种转移人工智能模型的系统，该系统可包括：存储器；以及处理设备，可操作地联接到存储器。处理设备可执行以下操作：识别人工智能模型的多个层，多个层以第一有序列表组织；通过将第一有序列表重新组织成第二有序列表，对多个层进行随机化；以及按照由第二有序列表定义的顺序将人工智能模型的多个层转移到数据处理加速器。
7.本技术的又一方面提供了一种存储指令的非暂时性机器可读存储介质，该指令在由处理设备执行时可执行操作。操作可包括以下步骤：识别人工智能模型的多个层，多个层以第一有序列表组织；由处理设备通过将第一有序列表重新组织为第二有序列表，对多个层进行随机化；以及由处理设备按照由第二有序列表定义的顺序将人工智能模型的多个层转移到数据处理加速器。
8.本技术的又一方面提供了一种计算机程序产品，其上存储有计算机程序，其中，当上述计算机程序在被处理器执行时，使得处理器：识别人工智能模型的多个层，多个层以第一有序列表组织；通过将第一有序列表重新组织成第二有序列表，对多个层进行随机化；以
及按照由第二有序列表定义的顺序将人工智能模型的多个层转移到数据处理加速器。
附图说明
9.本公开的实施例在附图的各个图中以示例的方式而不是限制的方式示出，其中，在附图中相同的附图标记表示类似的元件。
10.图1是示出根据一个实施例的安全处理系统的框图。
11.图2是示出根据一个实施例的一个或多个主机与一个或多个数据处理加速器之间的安全计算环境的框图。
12.图3是示出根据实施例将ai模型转移到数据处理加速器群集的框图。
13.图4是示出根据实施例的使用层的随机化来保护ai模型从主机到数据处理加速器的转移的系统的框图。
14.图5是示出根据实施例的使用层的随机化来保护ai模型从主机到数据处理加速器的转移的方法的流程图。
15.图6是示出根据实施例的使用存储器地址的随机化来保护ai模型从主机到数据处理加速器的转移的系统的框图。
16.图7是示出根据实施例的使用存储器地址的随机化来保护ai模型从主机到数据处理加速器的转移的方法的流程图。
17.图8是示出根据实施例的使用层和存储器地址的混合随机化来保护ai模型从主机到数据处理加速器的转移的系统的框图。
18.图9是示出根据实施例的使用层和存储器地址的混合随机化来保护ai模型从主机到数据处理加速器的转移的方法的流程图。
具体实施方式
19.将参考以下讨论的细节来描述本公开的各种实施例和方面，并且附图将示出各种实施例。以下描述和附图是本公开的示例，而不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的透彻理解。然而，在某些情况下，为了提供对本公开的实施例的简洁讨论，没有描述公知的或常规的细节。
20.在说明书中提及“一个实施例”或“实施例”意味着结合该实施例描述的特定特征、结构或特性可以被包括在本公开的至少一个实施例中。在说明书的各个位置中出现的短语“在一个实施例中”不一定都指同一实施例。
21.以下实施例涉及使用数据处理(dp)加速器来增加可从主机设备分流(或下放)到dp加速器的特定类型的操作的处理吞吐量。dp加速器可以是通用处理单元(gpu)、人工智能(ai)加速器、数学协处理器、数字信号处理器(dsp)或其它类型的处理器。dp加速器可以是专有设计，诸如ai加速器或另一gpu等。虽然用安全地联接到一个或多个dp加速器的主机设备来说明和描述实施例，但是这里描述的概念可以更一般地实现为分布式处理系统。
22.主机设备的驱动器可以包括随机化模块，用于在将ai模型转移到dp加速器以执行ai模型之前对ai模型进行随机化。随机化模块可以使用用于随机化的一个或多个方法来随机化ai模型。在一个实施例中，随机化模块可以在转移之前随机化ai模型的层。在一个实施
例中，随机化模块可个别地随机化ai模型的每个层的存储器地址。在另一实施例中，随机化模块可使用层的随机化和存储器地址的随机化两者来随机化ai模型。
23.在一个实施例中，主机识别以第一有序列表组织的ai模型的层。主机通过将第一有序列表重新组织成第二有序列表来对层进行随机化。然后，主机按照由第二有序列表定义的顺序将ai模型的层转移到数据处理加速器。在一个实施例中，ai模型的每个层与ai模型的多个内核函数中的一个内核函数相关联。在一个实施例中，主机将内核函数与ai模型的层的关联更新到第二有序列表中每层的新位置。
24.在一个实施例中，第一有序列表对应于与ai模型的多个层相关联的内核函数的执行顺序。在一个实施例中，主机通过使用与第二有序列表中的每个层的新位置相关联的更新的内核指针，以第一有序列表的执行顺序执行层，从而利用ai模型生成推断。在一个实施例中，为了使层随机化，主机使用种子编号对第一有序列表执行混洗(shuffle)函数。在一个实施例中，为了更新内核指针，主机使用种子编号来识别第二有序列表中的每个层，并且更新用于与每个层相关联的每个内核函数的内核指针，以指向第二有序列表中的每个层的新位置。
25.在一个实施例中，主机识别ai模型的多个层，多个层中的每个层与存储器地址相关联。主机可以对与ai模型的每个层相关联的存储器地址进行随机化，并将具有随机化的存储器地址的层转移到数据处理加速器以执行ai模型。在一个实施例中，对存储器地址进行随机化包括确定数据处理加速器的地址空间以及将地址空间的地址随机地分配给ai模型的每个层。在一个实施例中，主机将随机化的存储器地址转发到数据处理加速器，以用于数据处理加速器重构ai模型。在一个实施例中，与每个层相关联的存储器地址是相应层的基地址。在一个实施例中，内核函数与多个层中的每个层相关联。在一个实施例中，每个内核函数使用基地址来从与内核函数相关联的对应层中检索权重。在一个实施例中，数据处理加速器包括ai加速器。
26.在一个实施例中，主机识别以第一有序列表组织的ai模型的层，并且其中每个层与存储器地址相关联。主机可以对层的第一子集进行随机化以生成层的第二有序列表。主机可以进一步对与层的第二子集中的每个层相关联的存储器地址进行随机化。然后，主机基于第二有序列表将ai模型的层连同层的第二子集的随机化的存储器地址一起转移到数据处理加速器。在一个实施例中，在将多个层转移到数据处理加速器之前，将多个层中的每个层随机化到第二有序列表中，或者对多个层中的每个层的对应的存储器地址进行随机化。
27.上述功能中的任一个可以作为可执行指令被编程到一个或多个非暂时性计算机可读介质上。当可执行指令由具有至少一个硬件处理器的处理系统执行时，该处理系统使得实现上述功能。上述功能中的任一个都可以通过具有至少一个硬件处理器的处理系统来实现，所述硬件处理器联接到用可执行指令编程的存储器，所述可执行指令在被执行时使所述处理系统实现上述功能。
28.图1是示出根据一些实施例的安全处理系统的框图。参照图1，系统配置100包括但不限于经由网络103通信地联接到dp服务器104(例如，主机)的一个或多个客户端设备101
‑
102。客户端设备101
‑
102可以是任何类型的客户端设备，诸如个人计算机(例如，台式计算机、膝上型计算机和平板计算机)、“瘦”客户端、个人数字助理(pda)、启用web的装置、智能
手表或移动电话(例如，智能电话)等。替代地，客户端设备101
‑
102可以是其它服务器。在一个方面，一个或多个客户端设备(例如，服务器)101
‑
102托管作为数据处理服务器104的客户端的一个或多个虚拟机。网络103可以是任何类型的有线或无线网络，诸如局域网(lan)、诸如因特网的广域网(wan)、高速总线或它们的组合。
29.服务器(例如，主机)104可以是任何类型的服务器或服务器群集，诸如web或云服务器、应用服务器、后端服务器或其组合。服务器104还包括接口(未示出)，以允许诸如客户端设备101
‑
102的客户端访问由服务器104提供的资源或服务(诸如由dp加速器经由服务器104提供的资源和服务)。例如，服务器104可以是向客户端提供各种云服务的云服务器或数据中心的服务器，例如，各种云服务诸如为云存储、云计算服务、人工智能训练服务、数据挖掘服务等。服务器104可以配置为云上的软件即服务(saas)或平台即服务(paas)系统的一部分，该云可以是私有云、公共云或混合云。接口可以包括web接口、应用编程接口(api)和/或命令行接口(cli)。
30.例如，客户端可以是客户端设备101的用户应用程序(例如，web浏览器、应用程序)。客户端可以向服务器104发送或传输用于执行的指令(例如，ai训练、推断指令等)，并且该指令经由网络103上的接口由服务器104接收。响应于该指令，服务器104与dp加速器105
‑
107通信以完成指令的执行。在一些实施例中，指令是机器学习类型的指令，其中相比于由服务器104执行该指令，作为专用机器或处理器的dp加速器可以快许多倍地执行该指令。因此，服务器104可以以分布式方式控制/管理一个或多个dp加速器的执行工作。然后，服务器104将执行结果返回给客户端设备101
‑
102。dp加速器或ai加速器可以包括一个或多个专用处理器，诸如可从公司获得的人工智能(ai)芯片组，或者替代地，dp加速器可以是来自另一ai芯片组提供商的ai芯片组。
31.根据一个实施例，访问由数据处理服务器104(也称为主机)托管的dp加速器105
‑
107中的任一个的每个应用程序可以验证该应用程序是由可信源或供应商提供的。每个应用程序可以在由主机104的中央处理单元(cpu)专门配置和执行的可信执行环境(tee)内启动和执行。当应用程序被配置成访问dp加速器105
‑
107中的任一个时，可以在主机104和dp加速器105
‑
107中相应的一个之间建立模糊连接，从而保护在主机104和dp加速器105
‑
107之间交换的数据免受恶意软件/入侵体的攻击。例如，在将ai模型转移到dp加速器105
‑
107之前，可以在主机104处对ai模型的层的顺序和/或地址进行随机化。
32.图2是示出根据一些实施例的一个或多个主机与一个或多个数据处理加速器(dpa)之间的安全计算环境200的框图。在一个方面中，系统200提供在对dp加速器105
‑
107进行或不进行硬件修改的情况下在主机104与dp加速器105
‑
107之间进行模糊通信的保护方案。主机或服务器104可以被描述为具有一个或多个要防止被入侵的层的系统，层诸如为用户应用程序205、运行时库206、驱动器209、操作系统211、管理程序212和硬件213(例如，安全模块(可信平台模块(tpm))/中央处理单元(cpu))。在应用程序205和运行时库206之下，可以安装一个或多个驱动器209以接口到硬件213和/或dp加速器105
‑
107。
33.驱动器209可以包括ai模型随机化模块220，用于在将ai模型转移到dp加速器105之前随机化ai模型的一个或多个方面。例如，ai模型随机化模块220可以在将ai模型转移到dp加速器105
‑
107之前随机化ai模型的层。对层进行随机化可以包括对层的有序列表进行混洗(shuffling)。通常，层根据它们的顺序被转移。随机化层的顺序使得层以随机顺序被
转移。层的随机化转移可显著增加攻击者获得和重构模型的难度。
34.在另一示例中，ai模型随机化模块220可个别地随机化ai模型的每个层的存储器地址。存储器地址可以是当在执行ai模型期间检索层时dp加速器要访问的层的基地址。层的存储器地址引用或指向其中dp加速器内的、加载和执行相应的层的存储器位置。因此，在转移ai模型之前，将与每个层相关联的地址随机化，而不是将ai模型直接复制到dp加速器105
‑
107的存储器。在另一示例中，ai模型随机化模块220可随机化ai模型的至少一些层的顺序且随机化其它层的存储器地址。
35.硬件213可以包括具有一个或多个处理器的处理系统207。硬件213还可以包括储存设备204。储存设备204可以包括一个或多个人工智能(ai)模型202和一个或多个内核203。内核203可以包括签名内核、启用水印的内核、加密和/或解密内核等。签名内核在被执行时可以根据内核的编程对任何输入进行数字签名。启用水印的内核可以从数据对象(例如，ai模型或其它数据对象)提取水印。启用水印的内核还可以将水印植入ai模型、推断输出或其它数据对象中。水印内核(例如，继承水印的内核)可以从另一个数据对象继承水印，并将该水印植入不同的对象，例如推断输出或ai模型。如这里所使用的，水印是与ai模型或由ai模型生成的推断相关联的识别符、并且可以被植入到ai模型或由ai模型生成的推断中。例如，可以在一个或多个权重变量或偏置变量中植入水印。替代地，可创建一个或多个节点(例如，人工智能模型未使用或不太可能使用的伪节点)来植入或存储水印。
36.主机104通常是cpu系统，其可以控制和管理主机104和/或dp加速器105
‑
107上的作业的执行。为了保护或模糊dp加速器105
‑
107和主机104之间的通信信道215，可能需要不同的组件来保护主机系统中易受到数据入侵或攻击的不同层。例如，可信执行环境(tee)可以保护用户应用程序205层和运行时库206层免受数据入侵。
37.根据一些实施例，系统200包括主机系统104和dp加速器105
‑
107。尽管只描述了三个，但是系统200可以包括任何数量的dp加速器。dp加速器可包括ai芯片组或另一ai芯片组，诸如可执行人工智能(ai)密集型计算任务的图形处理单元(gpu)。在一个实施例中，主机系统104包括具有一个或多个cpu的硬件213，该cpu配备有主机104内的安全模块(诸如可信平台模块(tpm))。tpm是端点设备上的专用芯片，其存储专用于主机系统的用于硬件认证的密码密钥(例如，rsa密码密钥)。每个tpm芯片可以包含一个或多个rsa密钥对(例如，公钥对和私钥对)，其被称为签注密钥(ek)或签注凭证(ec)，即根密钥。密钥对被保持在tpm芯片内部，并且不能被软件访问。然后，在执行固件和软件的关键部分之前，可以由ek或ec对它们进行哈希计算，以保护系统免于被未授权的固件和软件修改。因此，主机104上的tpm芯片可以用作安全启动的信任根。
38.tpm芯片还可以在工作内核空间中保护驱动器209和操作系统(os)211以与dp加速器105
‑
107通信。这里，驱动器209由dp加速器供应商提供，并且可以用作用户应用程序205的驱动器209，以控制主机和dp加速器之间的通信信道215。因为tpm芯片和安全启动处理器在其内核空间中保护os 211和驱动器209，所以tpm还有效地保护驱动器209和os 211。
39.由于用于dp加速器105
‑
107的通信信道215可以由os 211和驱动器209专门使用，因此通信信道215可以通过tpm芯片来保护。在一个方面，通信信道215包括外围组件互连(pci)或外围组件互连快速(pcie)信道。在一个方面，通信信道215是模糊的通信信道。
40.在一个实施例中，用户应用程序205只能从运行时库206预定的内核集中调用内
核。在另一个方面，用户应用程序205和运行时库206通过无侧信道算法而加固，以防止侧信道攻击，诸如基于高速缓存的侧信道攻击。侧信道攻击是基于从计算机系统的实现中获得的信息的任何攻击，而不是所实现的算法本身中的弱点(例如，密码分析和软件缺陷)。侧信道攻击的示例包括高速缓存攻击，其是基于攻击者监视虚拟化环境或云环境中的共享物理系统的高速缓存的能力的攻击。加固可以包括掩蔽高速缓存，其中由算法生成的输出将被放置在高速缓存上。接下来，当完成执行用户应用程序时，用户应用程序终止其执行并从tee退出。
41.在一个实施例中，用户应用程序205和/或运行时库206被托管在主机104的操作系统环境(例如，执行环境201)中。在一个实施例中，内核203的集包括混淆内核算法。在一个实施例中，混淆内核算法可以是对称或非对称算法。对称混淆算法可以使用相同的算法来混淆和去混淆数据通信。非对称混淆算法需要一对算法，其中该对中的第一个算法被用于混淆，而该对中的第二个算法被用于去混淆，反之亦然。在另一个实施例中，非对称混淆算法包括用于混淆数据集的单个混淆算法，但是该数据集并不会被去混淆，例如，不存在对应的去混淆算法。
42.混淆是指通过使通信消息难以理解，通常使用混淆和不明确的语言来模糊通信的预期含义。模糊数据对于逆向工程来说更加困难和复杂。可以在传送数据之前应用混淆算法来模糊(加密/解密)数据通信，从而减少窃听的机会。在一个实施例中，混淆算法可以进一步包括加密方案，以进一步加密混淆数据，以附加地保护层。与可以用于计算密集的加密不同，混淆算法可以简化计算。
43.一些混淆技术可以包括但不限于字母混淆、名称混淆、数据混淆、控制流混淆等。字母混淆是用特定的替代字母替换数据中的一个或多个字母，从而使数据无意义的过程。字母混淆的例子包括字母旋转函数，其中每个字母沿着字母表的预定数量的位置变换或者旋转。另一个例子是基于特定图案重新排序或搅乱字母。名称混淆是用无意义字符串替换特定目标字符串的过程。控制流混淆可以用添加代码(插入死代码、插入不受控制的跳转、插入替代结构)来改变程序中的控制流的顺序，以隐藏算法/ai模型的真实控制流。
44.运行时库206可提供混淆内核算法以混淆主机104与dp加速器105
‑
107之间的数据通信。在一个实施例中，混淆可以与密码方案配对。在另一个实施例中，混淆是唯一的保护方案，并且对于dp加速器而言，基于密码的硬件变得不必要。
45.图3示出了根据一个实施例的与dp加速器通信的主机的示例。系统300可以包括与dp加速器105通信的主机104的ee 201。主机104的ee 201可以包括用户应用程序205、运行时库206和永久或非永久储存设备(未示出)。一个或多个ai模型随机化模块220以及一个或多个ai模型321a可以存储在永久或非永久储存设备中。主机104的用户应用程序205可以与dp加速器105建立模糊的通信信道215。可以为主机104建立模糊通信信道215，以将经训练的ai模型传输到dp加速器105。
46.在一个实施例中，当用户应用程序205启动对要在dp加速器105上执行的ai模型(例如，ai模型321a)的训练或推断时，驱动器209的ai模型随机化模块220可以在将ai模型321a转移到dp加速器105之前对ai模型321a进行随机化。例如，ai模型321a可以被随机化以产生要被转移到dp加速器105的随机化的ai模型321b，其中随机化的ai模型321b将被存储在dp存储器305中。尽管ai模型321a可以被随机化，但是运行时库206的内核可以被更新以
跟踪改变，使得仍然可以按预期执行ai模型。
47.图4示出了在将ai模型转移到dp加速器之前对其进行层随机化的系统400。如图4所示，主机104可以包括要被转移到dp加速器105并且在dp加速器105上运行的ai模型402a。为了保护ai模型在ai模型402a的转移期间免受攻击，层随机化模块405可以在将ai模型402a转移到dp加速器105之前对ai模型402a的层进行随机化。ai模型402a可以与如关于图3所描述的ai模型321a相同、类似或包括在ai模型321a中。层随机化模块405可与如关于图3所描述的随机化模块220相同、类似或包括在随机化模块220中。
48.在一个实施例中，ai模型402a的每个层可以与内核203的内核函数相关联。如图所示，内核203可以包括内核函数a、内核函数b和内核函数c。ai模型402a可以包括层容器1、层容器2和层容器3。在进行随机化之前，层容器1包括层1，层容器2包括层2，并且层容器3包括层3。层容器1至层容器3中的每一个与内核函数之一相关联。应当注意，内核203可以包括任意数量的内核函数，并且ai模型402a可以包括任意数量的层(例如，输入层、输出层以及其间的一个或多个中间层)。在一些实施例中，ai模型可包括数百或数千层。在由层随机化模块405进行随机化之前，可以按照在执行ai模型402a期间由内核203使用各层的顺序来组织ai模型402a的各层。
49.如图所示，内核函数a可以与层1相关联，内核函数b可以与层2相关联，且内核函数c可以与层3相关联。层随机化模块405可对ai模型402a的层进行随机化。内核函数可以保持与ai模型的相同层相关联，但是指向层列表中的不同层容器。可以更新每个内核函数的内核指针，以在层顺序被随机化后识别出同一层。因此，在随机化之后，内核函数a可以指向列表中的包括层1的层容器3，内核函数b可以指向列表中的包括层2的层容器1，且内核函数c可以指向列表中的包括层3的层容器2。然后，随机化的ai模型402b可以被转移到dp加速器105。
50.在一个实施例中，层随机化模块405可对ai模型402a的层执行混洗函数以随机化所述层。可以使用基于硬件的随机数生成器来生成种子编号。层随机化模块405可以使用种子编号来执行混洗函数。
51.图5是示出用于对ai模型的层进行随机化的示例性方法的流程图。过程500可由可包括软件、硬件或其组合的处理逻辑来执行。例如，过程500可以由如图4所示的主机系统的驱动器的层随机化模块405执行。参照图5，在框502处，处理逻辑识别以第一有序列表组织的ai模型的层。第一有序列表可以指示ai模型的层的原始和预期顺序。在一个实施例中，主机上的内核函数可以与每个层容器相关联。例如，一组内核函数中的每一个可以根据需要来调用关联的层容器中的ai模型的一个或多个层以适当执行ai模型。内核函数可以按照使用由第一有序列表定义的层的顺序执行。每个内核可以使用识别关联层的指针来识别该层。
52.在框504处，处理逻辑通过将第一有序列表重新组织成第二有序列表来使层随机化。在一个实施例中，可以对第一有序列表执行混洗函数以使列表随机化。混洗函数可以接收用于随机化的种子编号。在一个实施例中，种子编号可以是硬件或软件生成的随机数。种子编号和混洗函数可以由主机用来识别更新的列表和第二有序列表中的每个层的位置。然后，处理逻辑可以更新用于每个内核的指针，以指向第二有序列表中的正确位置，从而可以由内核函数执行层的正确执行顺序。
53.在框506处，处理逻辑按照由第二有序列表定义的顺序将ai模型的层转移到数据处理加速器。因此，可以以随机化的顺序将ai模型从主机转移到dp加速器。
54.图6示出在将ai模型转移到dp加速器之前对ai模型进行地址随机化的系统600。如图6所示，主机104可以包括要被转移到dp加速器105并且在dp加速器105上运行的ai模型602a。为了在转移ai模型602a期间(例如，在pcie总线上)保护ai模型免受攻击，地址随机化模块605可在转移ai模型602a之前个别地随机化ai模型602a的存储器地址。注意，被随机化的地址是要存储在dp加速器上的每个层的存储器地址位置。ai模型602a可以与如关于图3所描述的ai模型321a相同、类似或包括在ai模型321a中。地址随机化模块605可与如关于图3所描述的随机化模块220相同、类似或包含在随机化模块220中。
55.在一个实施例中，ai模型602a可包括多个层，每个层与要存储在dp加速器上的存储器地址相关联。存储器地址可以是层的基地址。地址随机化模块605可随机化与ai模型的层相关联的地址。主机上的内核和/或内核函数可以用每个层的新存储器地址来更新。因此，内核仍然可以使用更新的地址来引用每个层，并根据ai模型602a将层进行排队。所得到的随机化的ai模型602b随后可以被转移到dp加速器105。
56.例如，如图6所示，ai模型602a可以包括存储器地址1处的层1、存储器地址2处的层2以及存储器地址3处的层3。然后，地址随机化模块605可以随机化每个层的地址。在地址随机化之后，层1则可以在存储器地址x处，层2可以在地址y处，并且层3可以在地址z处。除了随机化的地址之外，地址随机化模块605可以在一个或多个内核函数处更新层的地址，以便在执行ai模型602a期间可以对层进行排队。
57.图7是示出用于随机化ai模型的存储器地址的示例性方法的流程图。过程700可由可包括软件、硬件或其组合的处理逻辑来执行。例如，过程700可以由如图6所示的主机系统的驱动器的地址随机化模块605执行。参照图7，在框702处，处理逻辑识别ai模型的层，每个层与存储器地址相关联。例如，存储器地址可以是存储在dp加速器上的层的基地址(或要发送到dp加速器的二进制文件内的地址)，当需要由dp加速器执行ai模型时，内核和/或内核函数使用该地址来访问所述层。主机的内核函数可以使用ai模型的层的基地址来对ai模型的层进行排队。在另一个实施例中，内核函数可以被发送到dp加速器，并且dp加速器处的内核函数可以基于映射表根据随机化的基地址访问ai模型的层。映射表可以是从主机发送到dp加速器的元数据。
58.在框704处，处理逻辑将与ai模型的每个层相关联的存储器地址随机化。对基地址进行随机化可包括识别dp加速器的存储器空间，以及随机地选择存储器空间内的存储器地址以与ai模型的每个层相关联。主机的内核函数可以用随机化的存储器地址来更新。在框706处，处理逻辑将具有随机化的存储器地址的ai模型的层转移到数据处理加速器以运行ai模型。
59.图8示出了将ai模型转移到dp加速器之前用于ai模型的层和地址随机化的系统800。如图8所示，主机104可以包括要转移到dp加速器105并在dp加速器105上运行的ai模型802a。为了保护ai模型在ai模型802a的转移期间免受攻击，混合随机化模块805可以在将ai模型802a转移到dp加速器105之前随机化ai模型802a的一部分层的顺序(如图4和图5中所描述的)并且随机化ai模型802a的另一部分层的地址(如图6和图7中所描述的)。在一个实施例中，可以在地址上对每个层进行随机化，可以在层顺序上对每个层进行随机化，或者可
以在地址和层两者上对每个层进行随机化。ai模型802a可以与如关于图3所描述的ai模型321a相同、类似或包括在ai模型321a中。混合随机化模块805可与如关于图3所描述的随机化模块220相同、类似或包含在随机化模块220中。
60.在一个实施例中，ai模型802a可包括多个层，每个层与存储器地址相关联。存储器地址可以是层在dp加速器处的基地址或层在二进制文件内的基地址。另外，ai模型402a的每个层可以与内核203的内核函数相关联。混合随机化模块805可随机化与ai模型802a的层的子集相关联的顺序。子集可包括层的一部分或可包括所有层。混合随机化模块805还可随机化ai模型802a的层的第二子集的存储器地址。第二子集可包括层的一部分或可包括所有层。在层上进行随机化的子集可以与在存储器地址上进行随机化的第二子集重叠。例如，对于每个层，混合随机化模块805可以选择是随机化该层的层顺序，还是随机化该层的存储器地址，亦或随机化层顺序和存储器地址两者。一旦确定根据层顺序、根据存储器地址或者根据两者来随机化每个层，则可以执行随机化。主机上的内核和/或内核函数可以用每个层的新存储器地址和对应于层的新顺序的新指针来更新。因此，内核仍然可以使用更新的地址来引用每个层，并根据ai模型802a对层进行排队。然后，所得到的随机化的ai模型802b可以被转移到dp加速器105。
61.例如，如图8所示，在随机化之前，内核函数a可以与ai模型802a的层1相关联，并且层1可以位于地址1处。内核函数b可以与ai模型802a的层2相关联，并且层2可以位于地址2处。内核函数c可以与ai模型802a的层3相关联，并且层3可以位于地址3处。然后，混合随机化模块805可以对ai模型802a的层顺序和存储器地址进行随机化。所得到的随机化的ai模型802b可以包括更新的层顺序以及一个或多个更新的层地址。如图8所示，当前层顺序为：层1，然后是层3，然后是层2，并且层1的地址已被随机化为地址x，层3的地址已被随机化为地址y，并且层2的地址已被随机化为地址z。因此，在该示例中，层2和层3被选择进行层顺序随机化和地址随机化两者，而层1被选择进行地址随机化。如图所示，可以用内核函数与层的适当关联来更新内核203。然后，随机化的ai模型802b可以以任何随机方式被转移到dp加速器105，该随机方式指示哪个基地址与相应的层相关联。在另一实施例中，根据与每个层相关联的随机化的基地址将随机化的ai模型802b发送到dp加速器105。如果在ai模型的转移期间(例如，经由pcie总线)通过通信信道攻击获得模型，则组合随机化可以增加重构模型的难度。
62.图9是示出用于ai模型的层和存储器地址的混合随机化的示例性方法的流程图。过程900可由可包括软件、硬件或其组合的处理逻辑来执行。例如，过程900可以由如图8所示的主机系统的驱动器的混合随机化模块805执行。参照图9，在框902处，处理逻辑识别ai模型的以第一有序列表组织的层，其中每个层与存储器地址相关联。在一个实施例中，每个层的存储器地址是ai模型的基地址，其由主机的内核函数用来访问所述层。
63.在框904处，处理逻辑对ai模型的层的第一子集的顺序进行随机化，以生成ai模型的层的第二有序列表。在一个实施例中，可以对第一有序列表执行混洗函数以使列表随机化。混洗函数可以是确定性的或基于熵的。例如，混洗函数还可以接收用于随机化的种子编号。如果提供相同的列表和种子编号，则所得到的随机化列表可以是相同的(即，确定性随机化)。种子编号和混洗函数可以由主机内核用来识别更新的列表和第二有序列表中的每个层的位置。然后，处理逻辑可以更新用于每个内核函数的指针，以指向第二有序列表中的
正确位置，从而可以由内核函数执行层的正确执行顺序。
64.在框906处，处理逻辑对与ai模型的层的第二子集的每个层相关联的存储器地址进行随机化。对基地址进行随机化可包括识别dp加速器的存储器空间以及随机地选择存储器空间内的存储器地址以与ai模型的每个层相关联。主机的内核函数也可以用随机化的存储器地址来更新。
65.在框908处，处理逻辑基于第二有序列表和随机化的存储器地址将ai模型的层转移到数据处理加速器。在一个实施例中，第二有序列表定义ai模型的层被转移到dp加速器的顺序。在一个实施例中，随机化的ai模型的地址然后被用于dp加速器的存储器中的随机化的ai模型802b。
66.已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前面详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域的其他技术人员的方式。算法在这里通常被认为是导致期望结果的自一致的操作序列。这些操作是那些需要物理量的物理操纵的操作。
67.然而，应该记住，所有这些和类似的术语应与适当的物理量相关联，并且仅仅是施加于这些量的方便标签。除非与上面的讨论显而易见地另有具体说明，否则应当理解，在整个说明书中，利用诸如所附权利要求中所阐述的术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，所述计算机系统或类似的电子计算设备操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将这种数据转换为类似地表示为计算机系统存储器或寄存器或其它这样的信息存储设备、传输或显示设备内的物理量的其它数据。
68.本公开的实施例还涉及用于执行本文中的操作的装置。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“rom”)、随机存取存储器(“ram”)、磁盘储存介质、光储存介质、闪存设备)。
69.在前面的图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，实现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解，所描述的一些操作可以以不同的顺序执行。此外，一些操作可以并行而不是顺序地执行。
70.本公开的实施例并未参考任何特定编程语言来描述。应了解，可使用各种编程语言来实施如本文所描述的本公开的实施例的教导。
71.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
72.在前面的说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显而易见的，在不背离如所附权利要求书中所阐述的本公开的更宽泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图被认为是说明性的，而不是限制性的。