存储节点、数据访问方法、存储系统、存储芯片及硬盘与流程

摘要: 本技术涉及存储,尤其涉及一种存储节点、数据访问方法、存储系统、存储芯片及硬盘。背景技术:1、立即数方式是指报文中携带命令和数据。在包含计算节点和存储节点的云存储...
存储节点、数据访问方法、存储系统、存储芯片及硬盘与流程

本技术涉及存储,尤其涉及一种存储节点、数据访问方法、存储系统、存储芯片及硬盘。

背景技术:

1、立即数方式是指报文中携带命令和数据。在包含计算节点和存储节点的云存储系统组网中,计算节点和存储节点之间直通访问,以及多个存储节点之间对等访问。在大规模组网场景下,单个存储节点将服务多个计算节点。同时,为了降低io延时,计算节点和存储节点之间以立即数方式传输io命令和数据,以降低存储节点从计算节点拉取数据引入的网络往返延时(round-trip time,rtt)开销。在立即数方式下,不同存储节点为报文中数据通信提供足够的内存带宽和容量以避免数据丢包。

2、存储节点设置有独立的网络控制器和存储控制器,以实现存储节点的数据访问功能,即一个网络处理器挂接多个存储控制器,利用该网络控制器的多通道大带宽内存或者高速缓存提高数据通信的带宽。在该方式下,数据读写过程中,数据会在网络控制器的内存和存储控制器的内存之间流转,造成通信时延增加,并且网络控制器的内存带宽会限制存储控制器的读写性能,影响数据读写效率。

技术实现思路

1、本技术提供一种存储节点、数据访问方法、存储系统、存储芯片及硬盘,以在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

2、第一方面,本技术提供一种设置有处理器、网络控制器、存储控制器、数据存储转发单元以及持久化存储器的存储节点,在该存储节点中网络控制器、存储控制器、数据存储转发单元属于同一个片上系统,数据存储转发单元设置的缓存支持片上系统中各器件直接访问。在写请求达到存储节点后,网络控制器将写请求包括的第一数据和第一命令写入缓存。处理器从缓存中读取第一命令,并向存储控制器发送写命令。存储控制器响应于该写命令,将缓存中存储的第一数据写入持久化存储器中。

3、相对于相关技术中数据按照网络控制器的内存→存储控制器的内存的方式的流转,第一方面提供的存储节点中控制面和数据面解耦,控制命令按照缓存→处理器→存储控制器的路径流转,数据按照网络控制器→数据存储转发单元→存储控制器→持久化存储器的路径流转。数据无需经过网络控制器的内存和存储控制器的内存,减少了数据从网络控制器的内存→存储控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

4、在一种可选的实现方式中,网络控制器具体用于:向数据存储转发单元发送第一请求;数据存储转发单元还用于:响应于第一请求,根据第一数据的数据长度确定第一数据在缓存的目标地址范围,以及向网络控制器发送目标地址范围;网络控制器具体用于:依据目标地址范围,将第一数据写入缓存。

5、基于该种可选的实现方式,通过数据长度实现缓存中的物理地址范围的动态申请,在提升缓存的利用率的同时解决无法预知立即数大小引入的内存放大问题。

6、在一种可选的实现方式中,网络控制器中设置有接收队列,接收队列中的第一条目对应有:第一数据段和第二数据段,第一数据段用于存储第一命令在缓存的第一物理地址,第二数据段用于存储第一数据的第一逻辑地址和数据长度。

7、网络控制器具体用于:从接收队列中的第一数据段读取第一物理地址,并依据第一物理地址将第一命令写入缓存;从接收队列中的第二数据段读取第一逻辑地址和数据长度,并依据第一逻辑地址和数据长度向数据存储转发单元发送第一请求;接收数据存储转发单元根据第一请求发送的目标地址范围,将第一数据写入缓存中目标地址范围指示的存储空间。

8、基于该种可选的实现方式,基于数据的逻辑地址以及第一数据的数据长度向数据存储转发单元请求第一数据的目标地址范围。如此,利用逻辑地址不占用实际存储空间的优势,解决无法预知立即数大小引入的内存放大问题,且通过数据长度实现缓存中的物理地址范围的动态申请,提升缓存的利用率。

9、在一种可选的实现方式中,数据存储转发单元还用于:在处理器从缓存中读取第一命令之后,释放缓存中第一命令占用的存储空间。

10、如此,在第一命令读取之后,释放缓存的存储空间,能够确保缓存具有的存储空间充足,提升缓存能够存储的数据量,从而提升存储节点的io带宽。

11、在一种可选的实现方式中,数据存储转发单元还用于:在存储控制器读取第一数据后,释放缓存中第一数据占用的存储空间。

12、如此,在第一数据读取之后,释放缓存的存储空间,能够确保缓存具有的存储空间充足,提升缓存能够存储的数据量,从而提升存储节点的io带宽。

13、在一种可选的实现方式中,存储节点还包括内存。数据存储转发单元还用于:在第一数据在缓存中的留存期大于或等于第一阈值的情况下,将第一数据从缓存写入内存。

14、如此,通过定时清理缓存中未及时读取的数据,释放缓存的存储空间,能够确保缓存具有的存储空间充足,提升缓存能够存储的数据量,从而提升存储节点的io带宽。

15、在一种可选的实现方式中,存储控制器,具体用于:响应于写命令,向数据存储转发单元发送第二请求;第二请求包括第一数据的标识。数据存储转发单元还用于:响应于第二请求,向存储控制器发送缓存中存储的第一数据。

16、基于该种可选的实现方式,存储控制器通过第一数据的标识向数据存储转发单元请求获取第一数据,实现缓存到存储控制器之间的数据直通,第一数据仅在缓存中流转,无需经过内存,减少了数据从网络控制器的内存→存储控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

17、在一种可选的实现方式中,存储控制器,具体用于:响应于写命令,向数据存储转发单元发送第二请求;第二请求包括第一数据的标识。数据存储转发单元还用于:响应于第二请求,向存储控制器发送内存中存储的第一数据。

18、基于该种可选的实现方式,存储控制器通过第一数据的标识向数据存储转发单元请求获取第一数据,实现内存到存储控制器之间的数据直通,第一数据仅在内存中流转,无需经过网络控制器的内存和存储控制器的内存,减少了数据从网络控制器的内存→存储控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

19、在一种可选的实现方式中,网络控制器还用于:在存储控制器将第一数据写入持久化存储器之后,获取读请求,并将读请求写入缓存;读请求包括第二命令和第一数据在存储节点的目标地址。处理器还用于:从缓存中读取第二命令,并向存储控制器发送读命令;读命令和第二命令均指示第一数据。存储控制器还用于:响应于读命令,将持久化存储器中存储的第一数据写入缓存。网络控制器还用于:读取缓存中的第一数据,并发送报文;报文包括第一数据。

20、基于该种可选的实现方式,存储节点在处理读请求的过程中,数据按照持久化存储器→存储控制器→数据存储转发单元的路径流转,命令按照缓存→处理器→存储控制器的路径流转。控制面和数据面解耦,数据仅在数据存储转发单元的缓存中流转,无需经过内存,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

21、在一种可选的实现方式中,片上系统中的各器件对等互联。

22、如此,各器件支持热插拔、并能够自动回复和重试网络连接,保证了网络联通的高可用性和容错性。

23、在一种可选的实现方式中,片上系统中的网络控制器通过远程直接数据存取rdma接口通信。

24、如此,网络控制器与其他器件之间的数据交互无需处理器的参与,直接向数据从一个器件的内存传输到另一个器件的内存,提高各器件之间的数据交互效率。

25、第二方面,本技术提供一种设置有处理器、网络控制器、存储控制器、数据存储转发单元以及持久化存储器的存储节点,在该存储节点中网络控制器、存储控制器、数据存储转发单元属于同一个片上系统,数据存储转发单元设置的缓存支持片上系统中各器件直接访问。在读请求达到存储节点后,网络控制器将读请求包括的第二命令写入缓存。处理器从缓存中读取第二命令,并向存储控制器发送读命令。存储控制器响应于该读命令,将存储介质中的第二数据写入缓存。网络控制器读取缓存中的第二数据,并发送报文。

26、相对于相关技术中数据按照网络控制器的内存→存储控制器的内存的方式的流转,第二方面提供的存储节点中控制面和数据面解耦,数据按照持久化存储器→存储控制器→数据存储转发单元的路径流转,命令按照缓存→处理器→存储控制器的路径流转。控制面和数据面解耦,通过数据存储转发单元实现网络控制器和存储控制器之间的数据直通,无需经过内存,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入存储控制器的内存和网络控制器的内存的情况下解决存储节点内存墙问题,提升数据读写效率。

27、在一种可选的实现方式中,存储控制器还用于:在将第二数据写入缓存之后,向处理器发送第一响应。处理器还用于:响应于第一响应,向网络控制器发送返回指令。网络控制器还用于:响应于返回指令,读取缓存中的第二数据。

28、基于该种可选的实现方式,控制命令按照存储控制器→处理器→网络控制器的方式进行流转,数据按照存持久化存储器→存储控制器→数据存储转发单元→网络控制器的方式进行流转。数据面和控制面解耦,网络控制器与存储控制器之间通过缓存实现数据直通,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

29、在一种可选的实现方式中,存储节点还包括内存。

30、数据存储转发单元还用于:在第二数据在缓存中的留存期大于或等于阈值的情况下,将第二数据从缓存写入内存。

31、如此,通过定时清理缓存中未及时读取的数据,释放缓存的存储空间,能够确保缓存具有的存储空间充足,提升缓存能够存储的数据量,从而提升存储节点的io带宽。

32、在一种可选的实现方式中,网络控制器,具体用于:向数据存储转发单元发送第三请求;第三请求包括第二数据的标识。数据存储转发单元还用于:响应于第三请求,向网络控制器发送缓存中存储的第二数据。

33、基于该种可选的实现方式,网络控制器通过第二数据的标识向数据存储转发单元请求获取第二数据,实现缓存到网络控制器之间的数据直通,第二数据仅在缓存中流转,无需经过内存,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

34、在一种可选的实现方式中,网络控制器,具体用于:向数据存储转发单元发送第三请求;第三请求包括第二数据的标识。数据存储转发单元还用于:响应于第三请求,向网络控制器发送内存中存储的第二数据。

35、基于该种可选的实现方式,网络控制器通过第二数据的标识向数据存储转发单元请求获取第二数据,实现内存到网络控制器之间的数据直通,第二数据仅在内存中流转,无需经过存储控制器的内存和网络控制器的内存,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,提升数据读写效率。

36、第三方面,本技术提供一种数据访问方法,该方法应用于上述第一方面或第一方面中任一种可选的实现方式提供的存储节点。写请求到达存储节点后,存储节点中的网络控制器获取写请求,将写请求写入缓存。其中,写请求包括第一命令与第一数据,缓存由存储节点中的数据存储转发单元提供。存储节点中的处理器从缓存中读取第一命令,并向存储节点中的存储控制器发送写命令;写命令与第一命令均指示第一数据。存储控制器响应于写命令,将缓存中存储的第一数据写入存储节点中的持久化存储器。

37、基于第三方面提供的方法,在处理写请求的过程中,写请求中的数据按照缓存→存储控制器→存储介质的路径流转,命令按照缓存→处理器→存储控制器的路径流转。控制面和数据面解耦,数据仅在缓存中流转,无需经过内存,减少了数据从网络控制器的内存→存储控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入内存的情况下解决存储节点内存墙问题,提升数据读写效率。

38、在一种可选的实现方式中,将写请求写入缓存具体实现为:网络控制器向数据存储转发单元发送第一请求。数据存储转发单元响应于第一请求,根据第一数据的数据长度确定第一数据在缓存的目标地址范围,以及向网络控制器发送目标地址范围。网络控制器具体用于:依据目标地址范围,将第一数据写入缓存。

39、在一种可选的实现方式中,网络控制器中设置有接收队列;接收队列中的第一条目对应有:第一数据段和第二数据段,第一数据段用于存储第一命令在缓存的第一物理地址,第二数据段用于存储第一数据的第一逻辑地址和数据长度。将写请求写入缓存包括:网络控制器从接收队列中的第一数据段读取第一物理地址,并依据第一物理地址将第一命令写入缓存。网络控制器从接收队列中的第二数据段读取第一逻辑地址和数据长度,并依据第一逻辑地址和数据长度向数据存储转发单元发送第一请求。网络控制器接收数据存储转发单元根据第一请求发送的目标地址范围,将第一数据写入缓存中目标地址范围指示的存储空间。

40、在一种可选的实现方式中,处理器从缓存中读取第一命令之后,数据存储转发单元释放缓存中第一命令占用的存储空间。

41、在一种可选的实现方式中,存储控制器响应于写命令,将缓存中存储的第一数据写入存储节点中的持久化存储器之后,数据存储转发单元释放缓存中第一数据占用的存储空间。

42、在一种可选的实现方式中,将写请求写入缓存,数据存储转发单元记录第一数据在缓存中的留存期,在第一数据在缓存中的留存期大于或等于第一阈值的情况下,将第一数据从缓存写入内存。

43、在一种可选的实现方式中,存储控制器响应于写命令,将缓存中存储的第一数据写入存储节点中的持久化存储器,包括:存储控制器响应于写命令,向数据存储转发单元发送第二请求。数据存储转发单元响应于第二请求,向存储控制器发送缓存中存储的第一数据。

44、可选地,第二请求包括第一数据的标识。

45、在一种可选的实现方式中,存储控制器响应于写命令,将缓存中存储的第一数据写入存储节点中的持久化存储器,包括:存储控制器响应于写命令,向数据存储转发单元发送第二请求。数据存储转发单元响应于第二请求,向存储控制器发送内存中存储的第一数据。

46、可选地,第二请求包括第一数据的标识。

47、在一种可选的实现方式中,在存储控制器将第一数据写入持久化存储器之后,存储节点接收针对于第一数据的读请求,该读请求包括第二命令和第一数据在存储节点的目标地址。存储节点执行读取第一数据的读操作,并发送报文。其中,报文包括第一数据。该读取第一数据的读操作包括:

48、网络控制器获取读请求,并将读请求写入缓存。处理器从缓存中读取第二命令,并向存储控制器发送读命令。其中,读命令和第二命令均指示第一数据。存储控制器响应于读命令,将持久化存储器中存储的第一数据写入缓存。网络控制器读取缓存中的第一数据,并发送报文。

49、第四方面,本技术提供一种数据访问方法,该方法应用于上述第二方面或第二方面中任一种可选的实现方式提供的存储节点。在读请求达到存储节点之后,存储节点中的网络控制器获取读请求,将读请求写入缓存。该读请求包括第二命令以及第二数据在存储节点的目标地址。存储节点中的处理器从缓存中读取第二命令,并向存储节点中的存储控制器发送读命令;读命令与第二命令均指示第二数据。存储控制器响应于读命令,将持久化存储器中存储的第二数据写入缓存。网络控制器读取缓存中的第二数据,并发送报文。其中,报文包括第二数据。

50、基于第四方面提供的方法,存储节点在处理读请求的过程中,数据按照持久化存储器→存储控制器→数据存储转发单元的路径流转,命令按照缓存→处理器→存储控制器的路径流转。通过数据存储转发单元实现网络控制器和存储控制器之间的数据直通,无需经过内存,减少了数据从存储控制器的内存→网络控制器的内存的写过程,从而能够降低访问内存带来的带宽需求,在数据不写入存储控制器的内存和网络控制器的内存的情况下解决存储节点内存墙问题,提升数据读写效率。

51、在一种可选的实现方式中,第二数据可以是通过上述第一方面或者第一方面中任一种可选的实现方式中写入持久化存储器中的第一数据。或者,第二数据也可以是持久化存储器中存储的任一个数据。

52、在一种可选的实现方式中,网络控制器读取缓存中的第二数据,包括:存储控制器在将第二数据写入缓存之后,向处理器发送第一响应。处理器响应于第一响应,向网络控制器发送返回指令。网络控制器响应于返回指令,读取缓存中的第二数据。

53、在一种可选的实现方式中,存储节点还包括内存。将持久化存储器中存储的第二数据写入缓存之后,数据存储转发单元记录第二数据在缓存中的留存期,在第二数据在缓存中的留存期大于或等于阈值的情况下,将第二数据从缓存写入内存。

54、在一种可选的实现方式中,网络控制器读取缓存中的第二数据,包括:网络控制器向数据存储转发单元发送第三请求。数据存储转发单元响应于第三请求,向网络控制器发送缓存中存储的第二数据。其中,该第三请求包括第二数据的标识。

55、在一种可选的实现方式中,网络控制器读取缓存中的第二数据,包括:网络控制器向数据存储转发单元发送第三请求。数据存储转发单元响应于第三请求,向网络控制器发送内存中存储的第二数据。其中,该第三请求包括第二数据的标识。

56、第五方面,本技术提供一种存储系统,该存储系统包括计算节点和第一方面或第一方面中任一种可选的实现方式提供的存储节点。或者,该存储系统包括计算节点和第二方面或者第二方面中任一项可选的实现方式提供的存储节点。

57、该计算节点用于向存储节点发送数据访问请求,该数据访问请求包括写请求或读请求。存储节点用于接收数据访问请求,执行上述第三方面或第三方面中任一项可选的实现方式所提供的方法,或者执行上述第四方面或第四方面中任一项可选的实现方式所提供的方法。

58、第六方面,本技术提供一种存储芯片,包括:处理器、存储器、网络控制器、存储控制器以及数据存储转发单元。其中,数据存储转发单元设置有缓存,该缓存支持存储芯片中的各器件直接访问。

59、在写请求到达存储芯片后,网络控制器用于,获取写请求,并将写请求写入缓存。写请求包括第一命令与第一数据。处理器用于:从缓存读取第一命令,并向存储控制器发送写命令;写命令与第一命令均指示第一数据。存储控制器用于:响应于写命令,将缓存中的第一数据进行持久化存储。

60、在一种可选的实现方式中,在读请求到达存储芯片后,网络控制器用于将读请求包括的第二命令写入缓存。处理器用于从缓存中读取第二命令,并向存储控制器发送读命令。存储控制器用于响应于该读命令,将持久化存储的第二数据读取到缓存中。网络控制器用于读取缓存中的第二数据,并发送报文。

61、第七方面,本技术提供一种硬盘,包括:多个闪存颗粒以及第六方面提供的存储芯片。闪存颗粒用于存储数据,存储芯片用于接收数据访问请求,向闪存颗粒写入数据,或者从闪存颗粒中读取数据。

62、关于第三方面或第三方面中任一种可选的实现方式所带来的技术效果可以参见第一方面或第一方面中任一种可选的实现方式所带来的技术效果。关于第四方面或第四方面中任一种可选的实现方式所带来的技术效果可以参见第二方面或第二方面中任一种可选的实现方式所带来的技术效果。关于第五方面至第七方面所带来的技术效果可以参见第一方面或第一方面中任一种可选的实现方式所带来的技术效果,或者参见第二方面或第二方面中任一种可选的实现方式所带来的技术效果。此处不再赘述。本技术在上述各方面提供的实现方式的基础上,还可以进一步组合以提供更多实现方式。