神经网络加速器硬件的验证系统与验证方法与流程

1.本公开是有关于一种神经网络加速器硬件的验证系统与验证方法。


背景技术：

2.由于神经网络(neural network,nn)在计算机视觉辨识的成功，使得神经网络应用日渐广泛，进而发展出一种神经网络加速器硬件，用以加速神经网络应用。
3.在传统的神经网络软件与神经网络加速器硬件的开发过程中，必须耗费相当长的时间进行训练出获得真实神经网络图形(real nn graph)与训练得到的真实参数组(real parameters)。同时使用真实神经网络图形和训练得到的真实参数组才能够进行神经网络加速器硬件的执行速度与正确性验证。然而，这必须花费相当多的时间进行训练。在神经网络软件开发/搜寻过程中，研究人员希望在神经网络微调一些内容后，就能够赶快知道神经网络加速器硬件的执行速度与正确性，以免徒然耗费大量的时间与成本进行训练之后，才获知硬件的执行速度不佳，才能再进行调整。
4.此外，传统上通过真实神经网络图形与训练得到的真实参数组进行神经网络加速器硬件的验证时，验证完整度有限，无法验证边缘案例(edge cases)或边角案例(corner cases)，而仅具有较低的验证覆盖率。


技术实现要素：

5.本公开有关于一种神经网络加速器硬件的验证系统与验证方法。
6.根据本公开的一实施例，提出一种神经网络加速器硬件的验证系统。神经网络加速器硬件的验证系统包括神经网络图形编译器(neural network graph compiler)及执行效能评估器(execution performance estimator)。神经网络图形编译器用以接收待验证神经网络图形(neural network graph)。神经网络图形编译器根据硬件信息及操作模式，将待验证神经网络图形转换为建议推论神经网络图形(suggested inference neural network graph)。执行效能评估器用以接收建议推论神经网络图形，并依据建议推论神经网络图形的硬件计算抽象信息，计算出神经网络加速器硬件的预估效能。
7.根据本公开的另一实施例，提出一种神经网络加速器硬件的验证方法。神经网络加速器硬件的验证方法包括以下步骤。根据硬件信息及操作模式，将待验证神经网络图形(assumed neural network graph)转换为建议推论神经网络图形(suggested inference neural network graph)。依据建议推论神经网络图形的硬件计算抽象信息，计算神经网络加速器硬件的预估效能。
8.为了对本公开的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下。
附图说明
9.图1绘示根据一实施例的神经网络加速器硬件的验证系统的输入与输出的示意
图。
10.图2绘示根据一实施例的神经网络加速器硬件的验证系统的方块图。
11.图3绘示根据一实施例的神经网络加速器硬件的验证方法的流程图。
12.图4示例性说明待验证神经网络图形编译为建议推论神经网络图形的一示例。
13.图5绘示根据另一实施例的神经网络加速器硬件的验证系统的方块图。
14.符号说明
15.100:验证系统
16.110:神经网络图形编译器
17.120:执行效能评估器
18.130:假定参数产生器
19.150:资源配置和执行码写入器
20.240:量化转换器
21.910:硬件暂存器转移层次模型
22.920:硬件行为模型
23.930:比较器
24.a11,a12:激励函数运算
25.an:待验证神经网络图形
26.b1,b2,b3:融合程序
27.c11,c12:卷积运算
28.cp:硬件执行码与参数组
29.ep:预估效能
30.n11,n12:正规化运算
31.p11,p21:池化运算
32.pi:参数组
33.pp,ppi,ppf:假定参数组
34.r1,r2:执行结果
35.rn:真实神经网络图形
36.rp,rpf:训练得到的真实参数组
37.s110,s120,s130:步骤
38.sn:建议推论神经网络图形
39.t11:串接程序
具体实施方式
40.请参照图1，其绘示根据一实施例的神经网络加速器硬件的验证系统100的输入与输出的示意图。验证系统100是针对神经网络图形(neural network graph)运作于神经网络加速器硬件的效能与正确性进行验证。在本实施例的神经网络加速器硬件的验证系统100中，可以输入真实神经网络图形(real neural network graph)rn及训练得到的真实参数组(real parameters)rp至神经网络加速器硬件的验证系统100进行验证。一般而言，真实神经网络图形rn必须经过大量训练数据的训练后，才能获得稳定且收敛的训练得到的真
实参数组rp。
41.研究人员可能针对真实神经网络图形rn进行微调或修改，而获得待验证神经网络图形(assumed neural network graph)an。待验证神经网络图形an可能只是片段图形。在传统上，待验证神经网络图形an也必须经过大量训练数据的训练后，才有机会进行验证。但在本实施例所开发出的验证系统100中，待验证神经网络图形an尚未完成训练程序，甚至待验证神经网络图形an亦无须附加训练得到的真实参数组即可进行验证。如图1所示，神经网络加速器硬件的验证系统100能够针对待验证神经网络图形an，并根据硬件特色产生建议推论神经网络图形(suggested inference neural network graph)sn。建议推论神经网络图形sn是硬件执行的神经网络图形，跟待验证神经网络图形an略有差异。建议推论神经网络图形sn会根据硬件执行模式与支持运算做调整。当硬件执行模式有多种选择时，会分别产生对应该硬件执行模式的建议推论神经网络图形sn。建议推论神经网络图形sn可以提供给研究人员进行参考。
42.此外，神经网络加速器硬件的验证系统100更能够根据建议推论神经网络图形sn产生假定参数组(pseudo parameters)pp。假定参数组pp同时符合图形设定与硬件规格。假定参数组pp并不是由大量训练数据的训练而获得。利用神经网络加速器硬件的验证系统100可以在数秒钟就获得，而无须再花费数天到数月来进行训练。
43.有了建议推论神经网络图形sn及假定参数组pp后，神经网络加速器硬件的验证系统100可以计算出神经网络加速器硬件的一预估效能(estimate performance)ep。
44.取得假定参数组pp后，更可以通过硬件暂存器转移层次模型(hardware rtl model)910与硬件行为模型(hardware behavior model)920模拟出两组执行结果r1、r2，并利用比较器930进行比较，以验证正确性。
45.因此，本实施例的神经网络加速器硬件的验证系统100在进行验证时，无须训练得到的真实参数组rp，即可验证待验证神经网络图形an于神经网络加速器硬件执行的效能和正确性。研究人员在微调真实神经网络图形rn为待验证神经网络图形an时，很快地就能获得硬件执行的效能和正确性。因此，研究人员能够在短时间内就对真实神经网络图形rn进行多次微调与修改，而能够很快地优化神经网络图形。
46.请参照图2，其绘示根据一实施例的神经网络加速器硬件的验证系统100的方块图。神经网络加速器硬件的验证系统100包括一神经网络图形编译器(neural network graph complier)110、一执行效能评估器(execution performance estimator)120、一假定参数产生器(pseudo neural network parameter generator)130及一资源配置和执行码写入器(resource allocator and code writer)150。神经网络加速器硬件的验证系统100例如是一软件工具、装置扩充卡、或是一电路。神经网络图形编译器110、执行效能评估器120、假定参数产生器130及资源配置和执行码写入器150，分别是该软件工具、该装置扩充卡、或是该电路的功能；该软件工具、该装置扩充卡、或是该电路可安装于计算机装置中提供研究人员使用。研究人员取得待验证神经网络图形an后，神经网络加速器硬件的验证系统100可以通过神经网络图形编译器110编译出建议推论神经网络图形sn，并通过假定参数产生器130产生假定参数组ppi。如此一来，待验证神经网络图形an无须进行大量训练即可获得假定参数组ppi，并据以验证硬件效能与正确性。以下通过一实施例详细说明上述元件的运作。
47.请参照图3，其绘示根据一实施例的神经网络加速器硬件的验证方法的流程图。在步骤s110中，神经网络图形编译器110接收待验证神经网络图形an后，根据一硬件信息及一操作模式，将待验证神经网络图形an编译为建议推论神经网络图形sn。建议推论神经网络图形sn可以提供给研究人员，作为在硬件中的真实执行的图形参考。研究人员可以根据建议推论神经网络图形sn，修改真实神经网络图形rn以获得更好的执行效果。
48.举例来说，请参照图4，其示例说明收待验证神经网络图形an编译为建议推论神经网络图形sn的一示例。倘若待验证神经网络图形an包含卷积运算(convolution)c11、正规化运算(norm)n11、激励函数运算(activation)a11、卷积运算c12、正规化运算n12、激励函数运算a12、池化运算(pool)p11及串接程序t11。神经网络图形编译器110通过一融合程序(fusion)，将卷积运算c11、正规化运算n11、激励函数运算a11融合，并根据存储器大小通过一分割程序(partition)分割为两融合程序b1、b2。同样的，神经网络图形编译器110通过融合程序将卷积运算c12、正规化运算n12、激励函数运算a12融合成融合程序b3、池化运算p11维持不变等于池化运算p21、串接程序t11则通过指派特征储存为连续位置后省略不须计算。神经网络图形编译器110所编译出的建议推论神经网络图形sn更符合硬件规格与硬件执行模式。
49.接着，在步骤s120中，执行效能评估器120接收建议推论神经网络图形sn与之参数维度，并依据建议推论神经网络图形sn的一硬件计算抽象信息，计算出神经网络加速器硬件的预估效能ep。在此步骤中，执行效能评估器120利用一神经网络加速器硬件模拟统计萃取演算式模拟出神经网络加速器硬件的预估效能ep。举例来说，卷积运算(convolution)中可能含有例如特征图的高、宽、深、批次等4个维度；滤波器的个数、高、宽、深等4个维度；运算步距(stride)等参数，正规化运算(norm)中可能含有线性斜率、标准偏差、平均值等参数，激励函数运算(activation)可能含有针对正数、负数不同的斜率、或多种非线性函数例如sigmoid、tanh等所需的数字分辨率，池化运算(pool)可能含有输入尺寸、池化核心尺寸、运算步距等参数。硬件计算抽象信息例如是上述参数的种类、个数、和维度，加速器硬件模拟统计萃取演算式可以根据这些参数的种类、个数、和维度计算出硬件执行的时钟数信息(cycle counts)，即是预估效能ep。
50.在步骤s130中，假定参数产生器130依据建议推论神经网络图形sn与其参数维度，产生假定参数组ppi。在图2的例子中，假定参数组ppi为整数数值。资源配置和执行码写入器150可以接收建议推论神经网络图形sn及假定参数组ppi，以产生存储器和硬件的资源配置，然后根据这些资源配置产生硬件执行码。资源配置和执行码写入器150输出硬件执行码与参数组cp至硬件暂存器转移层次模型910及硬件行为模型920。硬件暂存器转移层次模型910及硬件行为模型920模拟出两组执行结果r1、r2，并利用比较器930进行比较，以验证正确性。
51.根据上述实施例，本公开结合了神经网络图形编译器110和假定参数产生器130。然而，实质上不仅是二合一的功能，而是同时增加了扩展性的优化特性，包含(1)神经网络图形编译器110接收神经网络图形sn与之参数维度，并依据建议推论神经网络图形sn的一硬件计算抽象信息，可使用不限一种加速器硬件模拟统计萃取演算式，产生不限一种的硬件操作模式，并分别产生符合硬件模式的参数。(2)承上，神经网络图形编译器110可产生不限一种硬件操作模式，再由执行效能评估器120产生预估执行效能，再由假定参数产生器
130产生参数以利验证执行结果。基于上述二点，本公开的验证系统100可以提早在神经网络算法开发阶段，得知不限一种的硬件效能、并且提供神经网络算法修改依据，使得软硬件整合的开发工作提前，大幅度降低设计回溯的时间。
52.请参照图5，其绘示根据另一实施例的神经网络加速器硬件的验证系统100的方块图。在图5的实施例中，待验证神经网络图形an已具有训练得到的真实参数组rpf，训练得到的真实参数组rpf的内容为实数。假定参数产生器130所产生的假定参数组ppf的内容也为实数(real number)。量化转换器(quantization converter)240根据建议推论神经网络图形sn与其参数维度，以及实数的假定参数组ppf与训练得到的真实参数组rpf，转换成数字量化后的整数的参数组pi。参数组pi分别给硬件暂存器转移层次模型910和硬件行为模型920模拟出执行结果r1、r2，并利用比较器930进行比较，以验证正确性。在此步骤中，比较器930的验证为两者于位元层级(bit-wise)相等，确保软件计算与硬件计算答案完全相符。
53.综上所述，本公开在无训练得到的真实参数组的情况下，可以自动生成所需要的假定参数组，并且可以产生多种硬件模式下所需的格式，提供快速可验证的硬件执行码与参数组依存的相关设定，并计算执行结果与产生硬件执行效能。本公开能够协助研究人员快速产生边缘案例、边角案例的参数数据，用以快速测试硬件功能、完善模板测试覆盖率。如此一来，研究人员在设计初期可以知道神经网络图形在硬件执行的效能，用以做优化调整。此外，本技术可以同步验证神经网络图形在专用硬件的数字化误差(或称量化误差(quantization error))、硬件执行效能、并预测执行速度、协助软硬件共同除错的多样化目的。
54.综上所述，虽然本公开已以实施例公开如上，然其并非用以限定本公开。本公开所属技术领域中的普通技术人员，在不脱离本公开的精神和范围内，当可作各种更动与润饰。因此，本公开的保护范围当视所附的权利要求书所界定者为准。