一种稠密卷积运算核心的低功耗方法与流程

1.本发明涉及一种稠密卷积运算核心的低功耗方法，属于低功耗算法优化技术领域。


背景技术：

2.卷积是深度学习中最重要的概念之一， 整个卷积神经网络的训练和推理过程中，卷积操作占据了绝大部份的计算量，高性能计算平台通常要针对这类核心运算提供专门的解决方案。但是，在算法设计上，大家关注的都是如何保证卷积运算的高效实现，对于如何在高效实现的基础上维持低功耗运行，目前是个空白。
3.cpu的运行功耗主要来源于浮点部件的翻转、存储部件的数据访问以及其他各部件的运行消耗。其中，浮点部件的翻转占据运行功耗的45%以上，存储部件的数据访问功耗占据运行功耗的35%左右，其他部件的运行功耗在20%左右。功耗墙是cpu运行时面临的问题之一，低功耗运行有利于芯片的稳定，对节约能耗也有重要的意义，特别是高功耗课题对cpu的稳定运行具有很大的挑战。


技术实现要素：

4.本发明的目的是提供一种稠密卷积运算核心的低功耗方法，以缓解功耗墙难题。
5.为达到上述目的，本发明采用的技术方案是：提供一种稠密卷积运算核心的低功耗方法，包括以下步骤：s1、分析平台指令特点，得到指令流数据重用率高的数据存储格式p；s2、判断卷积输入数据是否为p存储格式，如果是，则跳转到s4；s3、将卷积输入数据整理成p存储格式；s4、在指令级通过数据重用调用p存储格式的运算核心进行运算。
6.由于上述技术方案的运用，本发明与现有技术相比具有下列优点：本发明一种稠密卷积运算核心的低功耗方法，通过数据布局的改变，提高数据在寄存器的复用率，在不损失高功耗课题效率的同时，显著降低了对存储部件的数据访存频次，从而降低存储部件数据访问的功耗，进而显著降低高功耗课题的cpu运行功耗，缓解功耗墙难题、节约能耗。
附图说明
7.附图1为发明一种稠密卷积运算核心的低功耗方法的核心指令排布图。
具体实施方式
8.实施例：本发明提供一种稠密卷积运算核心的低功耗方法，具体包括以下步骤：s1、分析平台指令特点，得到指令流数据重用率高，即能够使得寄存器尽可能复用的数据存储格式p；
s2、判断卷积输入数据是否为p存储格式，如果是，则跳转到s4；s3、将卷积输入数据整理成p存储格式；s4、在指令级通过数据重用调用p存储格式的运算核心进行运算。
9.对上述实施例的进一步解释如下：对于卷积等高功耗课题，细化到指令级，几乎每拍都在运行浮点运算指令，而数据访问指令穿插其中，当数据确定后，浮点部件的翻转是确定且无法改变的，减少数据访问是降低功耗的一个可行方向。
10.本发明无需硬件以及系统软件的任何支持，通过改变数据布局，使得高功耗课题最核心的运算循环的数据访问频次显著降低，从“每16条浮点运算插入8条访存指令”降低为“每16条浮点运算插入5条访存指令”，如图1所示。
11.通过重排，访存指令比例从8/16下降为5/16，功耗下降12%，实现了在卷积运算时显著降低数据访存频次，使得卷积运算效率不变的情况下，运行时芯片功耗降低了10%以上，该方法也可以被其他高功耗计算课题所借鉴，能有效提升芯片运行高功耗课题时的稳定性。
12.采用上述一种稠密卷积运算核心的低功耗方法时，其通过数据布局的改变，提高数据在寄存器的复用率，在不损失高功耗课题效率的同时，显著降低了对存储部件的数据访存频次，从而降低存储部件数据访问的功耗，进而显著降低高功耗课题的cpu运行功耗，缓解功耗墙难题、节约能耗。
13.为了便于更好的理解本发明，下面将对本文中使用的术语进行简要的解释：卷积运算：神经网络中一类重要的运算。
14.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。


技术特征：
1.一种稠密卷积运算核心的低功耗方法，其特征在于，包括以下步骤：s1、分析平台指令特点，得到指令流数据重用率高的数据存储格式p；s2、判断卷积输入数据是否为p存储格式，如果是，则跳转到s4；s3、将卷积输入数据整理成p存储格式；s4、在指令级通过数据重用调用p存储格式的运算核心进行运算。

技术总结
本发明公开一种稠密卷积运算核心的低功耗方法，包括以下步骤：S1、分析平台指令特点，得到指令流数据重用高的数据存储格式P；S2、判断卷积输入数据是否为P存储格式，如果是，则跳转到S3；S3、将输入数据整理成P存储格式；S4、在指令级通过数据重用调用P存储格式的运算核心进行运算。本发明在不损失高功耗课题效率的同时，显著降低了对存储部件的数据访存频次，从而降低存储部件数据访问的功耗，进而显著降低高功耗课题的CPU运行功耗，缓解功耗墙难题、节约能耗。约能耗。约能耗。


技术研发人员：林蓉芬 袁欣辉 尹万旺 魏迪 王飞 孙浩男 孙强 史俊达
受保护的技术使用者：无锡江南计算技术研究所
技术研发日：2021.04.26
技术公布日：2022/3/21