自适应动态分配缓冲的流水线优化方法、系统及应用与流程

1.本发明涉及集成电路设计技术领域，尤其涉及一种自适应动态分配缓冲的流水线优化方法、系统及应用。


背景技术：

2.在芯片设计领域，流水线设计是提高硬件性能的一个最主要手段，通过将一个完整的目标运算过程拆分到前后数个运算模块当中加以流水线并行处理，可大大提高系统的整体性能。
3.一方面，流水线前后级子模块之间通常采用示乒乓操作，作为举例，参见图1所示，subn、subn 1分别为流水线上的前后两级子模块，中间采用乒乓缓冲，设置缓冲深度固定为2，操作过程如下：1）tn时刻，subn计算完成unitn并将结果存入buffer0。
4.2）tn 1时刻，subn继续计算unitn 1并将结果存入buffer1；而subn 1在同一时刻发现buffer0中数据有效（对应unitn），在此时将完成unitn的计算。
5.3）tn 2时刻，subn计算下一个unit并将结果有写入buffer0，而subn 1取buffer1的有效数据并完成相应计算。
6.按以上规则交替切换乒乓缓冲（缓冲深度固定为2），流水线得以并行执行。然而，在实际应用中发现，使用固定缓冲深度的乒乓缓冲来实现流水线前后级子模块的并行执行时，在诸如运算单元复杂多样、dram数据时延等多场景中流水线上各子模块的运算时间会出现较大的差异，会降低流水线上乒乓操作实际效率，影响设计在复杂多变场景下性能的稳定性。在一些要求性能持续稳定的场景中，如固定帧率视频编解码、视频图像实时传输等，这种固定缓冲深度的设计难以满足应用要求。
7.另一方面，在同步流水线芯片设计中，通常需要经过数次设计迭代，以均衡流水线系统上前后级各子模块的传输速率，最终使各流水级模块对输入数据流进行连续不间断处理，从而使整个流水线系统性能达到最优。作为举例，同步流水线系统芯片设计中的典型流水线结构参见图2所示，假定流水线上将初始设计划分成四个前后级子模块，分别为sub1、sub2、sub3和sub4，其中sub1子模块处于第一级， sub2子模块处于第二级， sub3子模块处于第三级，以此类推。系统流水线运行过程如下：1，t1周期：sub1子模块完成流水单元unit1的计算并将其结果送入后级sub2子模块。
8.2，t2周期：sub1接入新的unit2的计算并将结果送入后级sub2子模块，而sub2在此周期计算unit1并将结果送入后级sub3子模块。
9.3，t3周期：sub1接入新的unit3的计算并将结果送入后级sub2子模块，而sub2在此周期计算unit2并将结果送入后级sub3子模块，而sub3在此周期计算unit1并将结果送入后级sub4子模块。
10.4，t4周期：sub1接入新的unit4的计算并将结果送入后级sub2子模块，而sub2在此
周期计算unit3并将结果送入后级sub3子模块，而sub3在此周期计算unit2并将结果送入后级sub4子模块，sub4在此周期计算unit1并将结果作为最终输出。
11.至此t4周期，流水线开始全负荷运行，sub1、sub2、sub3和sub4各子模块开始全流水并行计算直至完成全部unit计算。如果各子模块sub1、sub2、sub3和sub4对每个流水单元unit运算时间一致，系统将达到最理想状态下。在此状态下，流水线各级模块sub1/2/3/4完全并行，流水全负荷执行，不会出现空闲气泡（bubble，或称流水线气泡或者空闲等待状态）。
12.然而，当然以上描述的只是理想情况。在实际设计中，往往不同运算场景、不同运算单元下各sub子模块处理时间不固定，在诸如运算单元复杂多样、dram数据时延等内外因素影响下，可能会导致流水线上各子模块运算时间经常不一致，导致流水线上前后级子模块出现较多空闲气泡（bubble）的，从而影响流水线系统整体性能。作为举例，参见图3所示，假定流水线上将初始设计划分成四个前后级子模块，分别为sub1、sub2、sub3和sub4，其中sub1子模块处于第一级， sub2子模块处于第二级， sub3子模块处于第三级，以此类推。
13.在t2周期：sub1子模块处理流水单元unitb较快而同周期内sub2子模块处理流水单元unite较慢，当sub1和sub2之间为缓存写满状态（buffer full）时，sub1子模块需要等待sub2子模块完成unite计算后才可以将unitb移入sub2流水级，此时sub1出现等后级bubble a，图3中标识为a的方块。
14.在t3周期：sub1子模块处理unitc较慢而同周期内sub2子模块处理unitf较快，当sub1和sub2之间为缓存为空状态（bufferempty）时，sub2子模块需要等待sub1子模块完成unitc计算并移入sub2流水级后，才可以开始计算，此时sub2出现等前级bubble b，图3中标识为b的方块。
15.流水线内出现空闲气泡（bubble，图3中的空白方块）会降低各子模块的并行度，影响系统整体性能。如何降低流水线空闲气泡（bubble）数以优化流水线性能是当前亟需解决的技术问题。


技术实现要素：

16.本发明的目的在于：克服现有技术的不足，提供了一种自适应动态分配缓冲的流水线优化方法、系统及应用。本发明能够根据流水级各子模块的空闲等待情况，在各流水级子模块之间动态分配缓冲单元，在不同的应用场景下配置不同的缓冲深度，从而能够显著提高缓冲资源利用率，降低流水线空闲气泡数，优化流水线性能。
17.为实现上述目标，本发明提供了如下技术方案：一种自适应动态分配缓冲的流水线优化方法，包括如下步骤：获取流水线结构中各级子模块的输出数据流结构，确定可动态分配的最小缓冲单元；根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数；基于缓冲深度对等原则为流水线分配初始缓冲，此时，当流水线结构从首级子模块到末级子模块存在多条数据通路时，各条数据通路的缓冲深度一致；基于设置的自适应周期t，在每个自适应周期t内监测各前后级子模块间的缓存写满状态的出现比率，并计算缓存写满状态在对应周期t上的占空比；根据预设的缓存写满状
态占空比与响应级别的映射关系，确定前述计算的占空比对应的响应级别后，根据该响应级别在下个自适应周期t内分配相邻子模块间的缓冲深度。
18.进一步，确定可动态分配的最小缓冲单元的方式为：分析所有子模块的输出数据流结构，所述输出数据流结构包括ram深度信息和ram宽度信息，确定所有子模块的输出数据流结构的最大公约数m
×
n，其中，m表示各子模块的输出数据流结构的ram深度的最大公约数，n表示各子模块的输出数据流结构的ram宽度的最大公约数；根据前述最大公约数m
×
n配置最小缓冲单元的ram深度和ram宽度，其中，最小缓冲单元ram深度等于m，最小缓冲单元ram宽度等于n。
19.进一步，所述缓存写满状态占空比的值小于1，所述响应级别至少为2个，对应不同的响应级别配置有不同的缓存写满状态占空比范围，且不同的响应级别配置有不同缓冲深度的缓冲结构。
20.进一步，所述响应级别为4个，缓存写满状态占空比与响应级别的映射关系如下，当缓存写满状态占空比大于等于0小于25%时，对应4级响应级别；当缓存写满状态占空比大于等于25%小于50%时，对应3级响应级别；当缓存写满状态占空比大于等于50%小于75%时，对应2级响应级别；当缓存写满状态占空比大于等于75%小于100%时，对应1级响应级别。
21.进一步，所述响应级别与缓冲深度的映射关系如下，1级响应级别对应的8级缓冲深度，此时n=4；2级响应级别对应的6级缓冲深度，此时n=3；3级响应级别对应的4级缓冲深度，此时n=2；4级响应级别对应的2级缓冲深度，此时n=1。
22.进一步，所述自适应周期t由用户设置，或者所述自适应周期t由系统设置。
23.进一步，根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构时，对于每个缓冲配置有输入输出接口复用器/解复用器mux/demux，通过复用器开关的选取信号分配选择复用器/解复用器。
24.本发明还提供了一种同步流水线芯片中的流水线优化方法，包括如下步骤：获取流水线结构中前后级子模块之间的空闲等待态信息，所述空闲等待态信息包括两种类型，分别为等前级空闲气泡类型和等后级空闲气泡类型；判断前后级子模块之间的空闲等待态是否为等后级空闲气泡；判定为是时，通过前述的方法优化前述流水线结构。
25.本发明还提供了一种自适应动态分配缓冲的流水线优化系统，所系统包括流水线结构分析装置和动态调整缓冲装置；所述流水线结构分析装置，用于获取流水线结构中各级子模块的输出数据流结构，确定可动态分配的最小缓冲单元，并根据前述最小缓冲单元，堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数；所述动态调整缓冲装置包括流水线初始设计模块，缓存满计数模块和缓存调度模块；所述流水线初始设计模块，用于基于缓冲深度对等原则为流水线分配初始缓冲，此时，当流水线结构从首级子模块到末级子模块存在多条数据通路时，各条数据通路的缓
冲深度一致；所述缓存满计数模块，用于获取设置的自适应周期t，并在每个自适应周期t内监测各前后级子模块间的缓存写满状态的出现比率，并计算各缓存写满状态在对应周期t上的占空比；所述缓存调度模块，用于根据预设的缓存写满状态占空比与响应级别的映射关系，确定前述计算的空占比对应的响应级别，并根据该响应级别在下个自适应周期t内分配相邻子模块间的缓冲深度。
26.进一步，根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构时，对于每个缓冲配置有输入输出接口复用器/解复用器mux/demux，通过前述缓存调度模块产生复用器开关的选取信号。
27.本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：本发明能够根据流水级各子模块的空闲等待情况，在各流水级子模块之间动态分配缓冲单元，在不同的应用场景下配置不同的缓冲深度，从而能够显著提高已有缓冲资源的利用率，降低流水线空闲气泡数，优化流水线性能。
附图说明
28.图1为现有技术中的流水线前后级模块之间的乒乓缓冲结构。
29.图2为现有技术中的同步流水线系统芯片设计中的典型流水线结构示意图。
30.图3为现有技术中的流水线上出现空闲气泡时的流水线结构示意图。
31.图4为本发明实施例提供的包括多条数据通路的流水线结构。
32.图5为本发明实施例提供的缓存写满状态占空比、响应级别、缓冲结构的缓冲深度的映射关系表。
33.图6为本发明实施例提供的动态调度缓冲装置的模块结构示意图。
34.图7为本发明实施例提供的通过mux/demux配置2n深度缓冲结构的结构示意图。
具体实施方式
35.以下结合附图和具体实施例对本发明公开的自适应动态分配缓冲的流水线优化方法、系统及应用作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
36.需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
37.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
实施例
38.流水线结构中前后级子模块之间的空闲等待态可以分为等前级空闲气泡类型和等后级空闲气泡类型。等前级空闲气泡通常是由于前级子模块运算相对后级子模块较慢导致，通常可以通过优化前级子模块来减少或消除等前级空闲气泡。本发明主要针对流水线结构中的等后级空闲气泡进行优化，通过自适应的动态分配缓冲策略，来降低等后级空闲气泡的发生几率。
39.本实施例提供的一种自适应动态分配缓冲的流水线优化方法，包括如下步骤：s100，获取流水线结构中各级子模块的输出数据流结构，确定可动态分配的最小缓冲单元；然后，根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数。
40.在确定可动态分配的最小缓冲单元时，需要确定最小缓冲单元的ram深度和ram宽度的参数值。本实施例中，确定可动态分配的最小缓冲单元的上述参数值的具体方式如下：s110，分析所有子模块的输出数据流结构，所述输出数据流结构包括ram深度信息和ram宽度信息。
41.s120，确定所有子模块的输出数据流结构的最大公约数m
×
n，其中，m表示各子模块的输出数据流结构的ram深度的最大公约数，n表示各子模块的输出数据流结构的ram宽度的最大公约数。
42.s130，根据前述最大公约数m
×
n配置最小缓冲单元的ram深度和ram宽度，其中，最小缓冲单元ram深度等于m，最小缓冲单元ram宽度等于n。
43.确定了最小缓冲单元后，就可以根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数。
44.当n=1时，缓冲深度为2，即形成2级缓冲结构，缓冲深度为2的缓冲（buffer）结构即现有技术中的乒乓缓冲（或称乒乓缓存）结构。
45.当n=2时，缓冲深度为4，即形成4级缓冲结构。
46.当n=3时，缓冲深度为6，即形成6级缓冲结构。
47.当n=4时，缓冲深度为8，即形成8级缓冲结构。
48.以此类推。
49.s200，基于缓冲深度对等原则为流水线分配初始缓冲，此时，当流水线结构从首级子模块到末级子模块存在多条数据通路时，各条数据通路的缓冲深度一致。
50.作为举例而非限制，比如流水线结构从首级子模块到末级子模块存在2条数据通路，通过缓冲深度对等原则，在分配各前后级子模块之间的初始缓冲使，使2条数据通路的缓冲深度一致，比如使两条数据通路的缓冲深度均为8级，或者其他深度级。
51.s300，基于设置的自适应周期t，在每个自适应周期t内监测各前后级子模块间的缓存写满状态的出现比率，并计算缓存写满状态在对应周期t上的占空比；根据预设的缓存
写满状态占空比与响应级别的映射关系，确定前述计算的占空比对应的响应级别后，根据该响应级别在下个自适应周期t内分配相邻子模块间的缓冲深度。
52.具体设置时，所述自适应周期t可以由用户设置，比如用户可以根据流水线结构的规模对自适应周期t进行个性化设置；自适应周期t也可以由系统设置，比如采用系统中默认设置的自适应周期t。优选的，所述自适应周期t由用户设置，比如用户可以将每n个流水单元计算间隔设置为一个自适应周期t，所述的n为大于等于2的整数。
53.确定了自适应周期t后，就可以在每个自适应周期t内监测各前后级子模块间的缓存写满状态（buffer full）的出现比率，并计算缓存写满状态在对应周期t上的占空比，得到缓存写满状态（buffer full）占空比。
54.所述缓存写满状态占空比为缓存写满状态在一个自适应周期t中占用的时间与该周期t的比值，所述缓存写满状态占空比的值大于等于0且小于1。本实施例中，所述响应级别至少为2个，对应不同的响应级别配置有不同的缓存写满状态占空比范围，且不同的响应级别配置有不同缓冲深度的缓冲结构。
55.下面结合图4所示的流水线结构详细描述本实施例提供的流水线优化方法。
56.图4中所示流水线结构从首级子模块到末级子模块存在2条数据通路，第1条数据通路为sub1-》sub2-》sub6，第2条数据通路为sub1-》sub3-》sub4-》sub5-》sub6，在不同的应用场景下，2条通路的活跃频率不一样。
57.首先，确定可动态分配最小缓冲单元：根据所有子模块sub1、sub2、sub3、sub4、sub5、sub6的输出数据流结构，找出最大公约数mxn，m即为最小缓冲单元的ram深度值，n即为最小缓冲单元ram宽度值。基于上述最小缓冲单元的ram深度和ram宽度，堆叠出缓冲深度为2、4、6、8等2n深度的缓冲结构，其中缓冲深度为2的缓冲结构即上文所述的乒乓缓冲。
58.其次，根据缓冲深度对等原则为流水线的各级子模块分配初始缓冲，使得前述流水线结构的2条数据通路的总缓冲深度一致。具体实施时，可以通过配置流水线各级子模块（一个子模块作为一个节点）之间的缓冲深度来使各数据通路的缓冲深度一致，作为举例，比如图4中，数据通路sub1-》sub2-》sub6的总缓冲深度为12级，数据通路sub1-》sub3-》sub4-》sub5-》sub6的总缓冲深度也为12级，其中，sub1-》sub2和sub1-》sub3的缓冲深度均为4级，sub2-》sub6和sub3-》sub4-》sub5-》sub6的缓冲深度均为8级，具体的，sub3-》sub4的缓冲深度均为2级，sub4-》sub5的缓冲深度均为4级，sub5-》sub6的缓冲深度均为2级。
59.然后，根据用户设置的n值来确定自适应周期t，每n个流水单元计算间隔为一个自适应周期t。在每个自适应周期t内，计算各缓存写满状态buffer full出现比率，根据缓存写满状态buffer full在t周期上占空比，按图5所示的预设的映射表来确定计算的占空比对应的响应级别。作为典型方式的举例，图5中的响应级别为4个，缓存写满状态占空比与响应级别的映射关系如下：当缓存写满状态占空比大于等于0小于25%时，对应4级响应级别；当缓存写满状态占空比大于等于25%小于50%时，对应3级响应级别；当缓存写满状态占空比大于等于50%小于75%时，对应2级响应级别；当缓存写满状态占空比大于等于75%小于100%时，对应1级响应级别。
60.最后，确定响应级别后，就可以在下个自适应周期t按该响应级别对应的缓冲深度来分配流水线缓冲。继续参加图5，所述响应级别与缓冲深度的映射关系如下：1级响应级别对应的8级缓冲深度，此时n=4；2级响应级别对应的6级缓冲深度，此时n=3；3级响应级别对
应的4级缓冲深度，此时n=2；4级响应级别对应的2级缓冲深度，此时n=1。
61.本实施例，在根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构时，对于每个缓冲buffer可以配置有输入输出接口复用器/解复用器mux/demux，参见图6所示，通过复用器（mux）开关的选取（select）信号分配选择复用器/解复用器，mux开关的select信号则可以由系统中设置的缓存调度模块产生。
62.本发明的另一实施例，还提供了一种同步流水线芯片中的流水线优化方法。所述方法包括如下步骤：s10，获取流水线结构中前后级子模块之间的空闲等待态信息，所述空闲等待态信息包括两种类型，分别为等前级空闲气泡类型和等后级空闲气泡类型。
63.s20，判断前后级子模块之间的空闲等待态是否为等后级空闲气泡。
64.s30，判定为是时，通过自适应动态分配缓冲的流水线优化方法优化前述流水线结构。
65.所述自适应动态分配缓冲的流水线优化方法，包括如下步骤：s31，获取流水线结构中各级子模块的输出数据流结构，确定可动态分配的最小缓冲单元；然后，根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数。
66.在确定可动态分配的最小缓冲单元时，需要确定最小缓冲单元的ram深度和ram宽度的参数值。本实施例中，确定可动态分配的最小缓冲单元的上述参数值的具体方式如下：分析所有子模块的输出数据流结构，所述输出数据流结构包括ram深度信息和ram宽度信息；确定所有子模块的输出数据流结构的最大公约数m
×
n，其中，m表示各子模块的输出数据流结构的ram深度的最大公约数，n表示各子模块的输出数据流结构的ram宽度的最大公约数；根据前述最大公约数m
×
n配置最小缓冲单元的ram深度和ram宽度，其中，最小缓冲单元ram深度等于m，最小缓冲单元ram宽度等于n。
67.确定了最小缓冲单元后，就可以根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数。
68.s32，基于缓冲深度对等原则为流水线分配初始缓冲，此时，当流水线结构从首级子模块到末级子模块存在多条数据通路时，各条数据通路的缓冲深度一致。
69.s33，基于设置的自适应周期t，在每个自适应周期t内监测各前后级子模块间的缓存写满状态的出现比率，并计算缓存写满状态在对应周期t上的占空比；根据预设的缓存写满状态占空比与响应级别的映射关系，确定前述计算的占空比对应的响应级别后，根据该响应级别在下个自适应周期t内分配相邻子模块间的缓冲深度。
70.具体设置时，所述自适应周期t可以由用户设置，比如用户可以根据流水线结构的规模对自适应周期t进行个性化设置；自适应周期t也可以由系统设置，比如采用系统中默认设置的自适应周期t。优选的，所述自适应周期t由用户设置，比如用户可以将每n个流水单元计算间隔设置为一个自适应周期t，所述的n为大于等于2的整数。
71.确定了自适应周期t后，就可以在每个自适应周期t内监测各前后级子模块间的缓存写满状态（buffer full）的出现比率，并计算缓存写满状态在对应周期t上的占空比，得到缓存写满状态（buffer full）占空比。
72.所述缓存写满状态占空比为缓存写满状态在一个自适应周期t中占用的时间与该
周期t的比值，所述缓存写满状态占空比的值大于等于0且小于1。本实施例中，所述响应级别至少为2个，对应不同的响应级别配置有不同的缓存写满状态占空比范围，且不同的响应级别配置有不同缓冲深度的缓冲结构。
73.其它技术特征参考在前实施例，在此不再赘述。
74.本发明的另一实施例，还提供了一种自适应动态分配缓冲的流水线优化系统。
75.所系统包括流水线结构分析装置和动态调整缓冲装置。
76.所述流水线结构分析装置，用于获取流水线结构中各级子模块的输出数据流结构，确定可动态分配的最小缓冲单元，并根据前述最小缓冲单元，堆叠出缓冲深度2n深度的缓冲结构，其中，n为大于等于1的整数。
77.所述动态调整缓冲装置包括流水线初始设计模块，缓存满计数模块和缓存调度模块，参见图7所示。
78.所述流水线初始设计模块，用于基于缓冲深度对等原则为流水线分配初始缓冲，此时，当流水线结构从首级子模块到末级子模块存在多条数据通路时，各条数据通路的缓冲深度一致。
79.所述缓存满计数模块，用于获取设置的自适应周期t，并在每个自适应周期t内监测各前后级子模块间的缓存写满状态的出现比率，并计算各缓存写满状态在对应周期t上的占空比。
80.所述缓存调度模块，用于根据预设的缓存写满状态占空比与响应级别的映射关系，确定前述计算的空占比对应的响应级别，并根据该响应级别在下个自适应周期t内分配相邻子模块间的缓冲深度。
81.本实施例中，根据前述最小缓冲单元堆叠出缓冲深度2n深度的缓冲结构时，对于每个缓冲配置有输入输出接口复用器/解复用器mux/demux，通过前述缓存调度模块产生复用器开关的选取信号。
82.其它技术特征参考在前实施例，在此不再赘述。
83.在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。