无序存储器请求跟踪结构和技术的制作方法

技术特征：
1.一种存储器请求跟踪电路，用于与流式高速缓存存储器一起使用，所述存储器请求跟踪电路包括：标签检查，其被配置成检测高速缓存未命中；多个跟踪队列；以及队列映射器，其耦合至所述标签检查和所述多个跟踪队列，所述队列映射器被配置成将请求跟踪信息分配给所述多个跟踪队列以使有序存储器请求和无序存储器请求返回。2.根据权利要求1所述的存储器请求跟踪电路，其中，所述队列映射器能够编程为：为第一类型的存储器请求保持有序存储器请求返回处理，以及为第二类型的存储器请求启用无序存储器请求返回处理，所述第二类型的存储器请求与所述第一类型的存储器请求不同。3.根据权利要求1所述的存储器请求跟踪电路，其中，所述第一类型的存储器请求和第二类型的存储器请求从组中选择，所述组由来自本地或全局存储器、纹理存储器/存储以及加速数据结构存储的负载构成。4.根据权利要求1所述的存储器请求跟踪电路，其中，所述多个跟踪队列包括第一到n个跟踪队列，以及所述队列映射器将第一跟踪队列分派给特定线程束，以及在第二到n个跟踪队列之间均匀地分配某些类型的存储器请求。5.根据权利要求1所述的存储器请求跟踪电路，其中，所述多个跟踪队列中的每个包括先进先出存储。6.根据权利要求1所述的存储器请求跟踪电路，进一步包括管线型的检查器选择器，其响应于高速缓存未命中填充指示，选择跟踪队列输出以应用于检查，所述管线型的检查器选择器被动态地配置成执行所述选择。7.根据权利要求6所述的存储器请求跟踪电路，其中，所述检查包括跟踪结构，其指示每个跟踪队列的头部所需的存储器系统返回数据，并且被配置成跟踪所述存储器系统何时已经返回每个跟踪队列的头部所需的所有扇区。8.根据权利要求7所述的存储器请求跟踪电路，其中，所述检查被配置成为多个标签库中的每个提供多个扇区有效位。9.根据权利要求1所述的存储器请求跟踪电路，进一步包括：第一提交选择器，其被配置成处理第一流量类型。10.根据权利要求9所述的存储器请求跟踪电路，进一步包括第二提交选择器，其被配置成处理与所述第一流量类型不同的第二流量类型。11.根据权利要求1所述的存储器请求跟踪电路，被配置成提供第一模式和第二模式，所述第一模式提供对跟踪资源的有序分派和解除分派，所述第二模式提供对跟踪资源的无序分派和解除分派。12.根据权利要求1所述的存储器请求跟踪电路，进一步包括状态数据包队列，其被配置成保持状态数据包，并进一步被配置成限制无序状态数据包处理，以便状态数据包相对于引用所述状态数据包的存储器访问请求保持程序顺序。13.根据权利要求1所述的存储器请求跟踪电路，进一步包括指示符编码器，其对提交组中最后一个数据包的指示符进行编码。14.根据权利要求13所述的存储器请求跟踪电路，进一步包括提交选择器，其被配置成
响应于所述指示符指示已经对提交组中的所有存储器请求条目进行了服务并且所有存储器请求条目都在高速缓存中，选择跟踪的存储器请求条目以移动到提交队列。15.根据权利要求1所述的存储器请求跟踪电路，还包括：第一流量路径和第二流量路径，其中所述第一路径绕过所述多个跟踪队列，以及所述第二路径通过所述多个跟踪队列中的至少一个；以及互锁电路，其保证所述第一路径始终比所述第二路径快。16.根据权利要求15所述的存储器请求跟踪电路，其中，所述互锁电路包括比较器，其被配置成比较快速路径中的流量时期与慢速路径中的流量时期。17.根据权利要求1所述的存储器请求跟踪电路，进一步包括引用计数器，其对引用存储器插槽的运行中的数量进行计数，引用计数器的输出和/或操作被配置成适应于无序处理。18.一种流式高速缓存，包括：标签管线，其包括合并器、标签存储器和标签处理器，所述标签管线检测高速缓存未命中；提交fifo；逐出fifo；以及无序存储器请求跟踪电路，其包括多个跟踪队列。19.根据权利要求18所述的流式高速缓存，进一步包括队列映射器，其耦合到所述标签管线和所述多个跟踪队列，所述队列映射器被配置成将请求跟踪信息分配到所述多个跟踪队列，以选择性地启用无序存储器请求返回。20.一种用于流式高速缓存存储器使用的存储器请求跟踪方法，所述存储器请求跟踪方法包括：检测高速缓存未命中；提供多个跟踪队列；以及将请求跟踪信息分配给所述多个跟踪队列，以支持有序存储器请求返回和无序存储器请求返回。21.根据权利要求20所述的存储器请求跟踪方法，进一步包括：将队列映射器编程为，为第一类型的存储器请求保持有序存储器请求返回处理，以及为第二类型的存储器请求启用无序存储器请求返回处理，所述第二类型的存储器请求与所述第一类型的存储器请求不同。22.根据权利要求20所述的存储器请求跟踪方法，其中，所述第一类型的存储器请求和第二类型的存储器请求分别从组中选择，所述组由本地或全局存储器负载请求、纹理存储器请求、表面存储器请求和加速数据结构存储器请求构成。23.根据权利要求20所述的存储器请求跟踪方法，其中，所述多个跟踪队列包括第一到n个跟踪队列，以及分配包括：将第一跟踪队列分派给特定的线程束；以及在第二到n个跟踪队列之间均匀地分配某些类型的存储器请求。24.根据权利要求20所述的存储器请求跟踪方法，其中，所述多个跟踪队列中的每个包括先进先出存储。25.根据权利要求20所述的存储器请求跟踪方法，进一步包括：响应于高速缓存未命中
填充指示，选择跟踪队列输出以应用于检查。26.根据权利要求25所述的存储器请求跟踪方法，进一步包括：使用跟踪结构指示每个跟踪队列的头部所需的存储器系统返回数据，以及跟踪所述存储器系统何时已经返回每个跟踪队列的头部所需的所有扇区。27.根据权利要求26所述的存储器请求跟踪方法，进一步包括：为多个标签库中的每个提供多个扇区有效位。28.根据权利要求20所述的存储器请求跟踪方法，进一步包括：将第一提交选择器配置成处理第一流量类型。29.根据权利要求28所述的存储器请求跟踪方法，进一步包括：将第二提交选择器配置成处理与所述第一流量类型不同的第二流量类型。30.根据权利要求20所述的存储器请求跟踪方法，进一步包括：提供对跟踪资源的有序和无序分派与解除分派两者。31.根据权利要求20所述的存储器请求跟踪方法，进一步包括：将状态数据包队列配置成保持状态数据包；以及限制无序状态数据包处理，以便状态数据包相对于引用所述状态数据包的存储器访问请求保持程序顺序。32.根据权利要求20所述的存储器请求跟踪方法，进一步包括：对提交组中的最后一个数据包的指示符进行编码。33.根据权利要求32所述的存储器请求跟踪方法，进一步包括：响应于所述指示符指示已经对提交组中的所有存储器请求条目进行了服务并且所有存储器请求条目都在所述高速缓存中，选择跟踪的存储器请求条目以移动到提交队列。34.根据权利要求20所述的存储器请求跟踪方法，进一步包括：使用第一流量路径绕过所述多个跟踪队列；使用通过所述多个跟踪队列中的至少一个的第二流量路径；以及保证所述第一路径始终比所述第二路径快。35.根据权利要求34所述的存储器请求跟踪方法，进一步包括：比较快速路径中的流量时期与慢速路径中的流量时期。36.根据权利要求20所述的存储器请求跟踪方法，进一步包括：对引用存储器插槽的运行中的数量进行计数，引用计数器的输出和/或操作被配置成适应于无序处理。

技术总结
本申请涉及无序存储器请求跟踪结构和技术。在流式高速缓存中，采用了多个动态大小的跟踪队列。请求跟踪信息分布在多个跟踪队列中，以有选择地启用无序存储器请求返回。动态控制的策略将未决请求分配给跟踪队列，例如在某些情况下和/或为某些流量提供有序存储器返回，在其他情况下和/或为其他流量提供无序存储器返回。储器返回。储器返回。


技术研发人员：M
受保护的技术使用者：辉达公司
技术研发日：2021.03.05
技术公布日：2022/1/28