一种PCIe设备N+1冗余备份方法及系统与流程

一种pcie设备n 1冗余备份方法及系统
技术领域
1.本发明属于服务器数据处理技术领域，具体涉及一种pcie设备n 1冗余备份方法及系统。


背景技术：

2.目前服务器系统中，大部分的外设设备（卡）都是通过pcie（peripheral component interconnect express）总线和系统相连。pcie设备之间的冗余备份并无很好的解决方法。如系统中某一张pcie卡（如gpu卡）故障，即使系统内有其他冗余的gpu卡，因为设备的资源与原有设备的资源不一致，或在系统内呈现的接口不一致等原因，仍然无法直接替换使用，没有很好的冗余备份解决方案。
3.因此，现阶段需设计一种pcie设备n 1冗余备份方法及系统,来解决以上问题。


技术实现要素：

4.本发明目的在于提供一种pcie设备n 1冗余备份方法，用于解决上述现有技术中存在的技术问题，如：pcie设备之间的冗余备份并无很好的解决方法。如系统中某一张pcie卡如gpu卡）故障，即使系统内有其他冗余的gpu卡，仍然无法直接替换使用，没有很好的冗余备份解决方案。
5.为实现上述目的，本发明的技术方案是：一种pcie设备n 1冗余备份方法，包括以下子步骤：s1：在pcie switch下，外接n 1个相同功能的pcie设备；s2：正常情况下，冗余管理软件控制服务器操作系统对第n 1个pcie设备不上电，服务器操作系统只能读取n个pcie设备，第n 1个pcie设备处于备份模式，并不被服务器操作系统所读取；所述冗余管理软件用于保存和恢复相关pcie设备的状态信息；s3：服务器操作系统上电或者初始化时，1~n个pcie设备被服务器操作系统或者驱动正常初始化，分配相关的资源；s4：pcie设备驱动程序正常接管n个pcie设备，并利用这n个pcie设备为服务器操作系统提供正常的业务服务；s5：pcie故障管理软件记录所有n个正常工作pcie设备的相关资源状态；所述pcie故障管理软件用于监控服务器操作系统pcie链路状态和设备状态s6：当1~n其中的某一个pcie设备故障时，pcie设备驱动保持住，pcie设备驱动保持住后，所有新下发的io请求和业务请求，不返回结果；s7：故障管理软件发现此故障，自动把故障的pcie设备移除，并上电第n 1个备份pcie设备，接入服务器操作系统；s8：故障管理软件把前面保存的n个资源状态中的故障的那个pcie设备的相关资源状态回填至第n 1个备份pcie设备的寄存器空间；s9：pcie设备驱动正常访问新接入的pcie设备，正常向第n 1个pcie设备处理下发
保持住的io请求和业务请求，确保第n 1个设备正常工作。
6.进一步的，步骤s1中，所述pcie设备为服务器操作系统pcie接口的外部设备。
7.进一步的，步骤s5和s8中，所述相关资源状态包括：pcie bar空间地址、bus地址、以及配置空间里面的关键设置信息。
8.进一步的，所述相关资源状态按pcie设备的编号，从1到n编号保存在服务器操作系统存储设备中。
9.进一步的，所述服务器操作系统存储设备为硬盘。
10.进一步的，步骤s6中，已经下发io请求和业务请求的，返回给生成业务软件失败，要求业务软件重发。
11.进一步的，步骤s5中，故障管理软件记录所有n个正常工作pcie设备的相关资源状态的过程中，若记录到故障的pcie设备且服务器操作系统掉电时；则重新上电，继续掉电前的记录过程。
12.一种pcie设备n 1冗余备份系统，该冗余备份系统用于上述的一种pcie设备n 1冗余备份方法，包括故障管理软件、冗余管理软件、pcie设备驱动程序；所述故障管理软件用于监控服务器操作系统pcie链路状态和设备状态，并在发现设备故障时及时通知设备驱动程序和冗余管理软件；所述pcie设备驱动程序用于初始化使能设备，以及处理相关业务下发至pcie设备的io和业务请求，在设备故障时，需要保持住相关io请求和业务请求，在新设备接入后，恢复相关业务请求；所述使能设备是指：初始化完成后，开启设备的相关功能单元；所述冗余管理软件用于保存和恢复相关pcie设备的状态信息。
13.与现有技术相比，本发明所具有的有益效果为：本方案的一个创新点在于，由于传统的pcie总线为带内总线，且为树形结构，总线上的每个pcie设备都有自己独立的唯一资源范围和访问地址。一般情况下，如果系统中的某个pcie设备故障，将会导致此部分功能失效。某些冗余备份的方案有很大的局限性，比如，使用两张网卡，一主一备，一张故障后，重新配置备份网卡的ip和主网卡一致，从而从业务与层面上达成业务冗余切换和业务连续行。但此方案并不具备通用性。pcie设备有很多种，比如网卡、raid卡、gpu卡、等等。每种类型的卡都有不一样的业务功能和接口，无法在业务层面上使用统一的备份冗余方案。
14.无需关注具体的pcie设备具体功能，在底层驱动和操作系统层面，通过保存恢复pcie相关设备和状态信息，达成在线替换冗余pcie设备，确保系统软件无中断在线运行正常。
附图说明
15.图1为本技术实施例的步骤流程示意图。
16.图2为本技术实施例的pcie switch连接的系统结构示意图。
17.图3为本技术实施例的cpu（rc）直出连接系统结构示意图。
具体实施方式
18.下面结合本发明的附图1
‑
附图3，对本发明实施例中的技术方案进行清楚、完整地
描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例：如图1和图2所示，一般而言，在服务器操作系统里面，pcie外设由pcie switch或者cpu（rc）直出连接（如图3所示）。无论哪种情况，本方法都具有适用性，下面说以pcie switch连接方式说明：pcie switch下，外接n 1个相同功能的pcie设备(device ，即d1，d2,d3，
…
dn 1)，例如n 1个pcie卡。
20.正常情况下，冗余管理软件控制服务器操作系统对第n 1张pcie卡不上电，服务器操作系统只能看到n个pcie卡，为服务器操作系统提供gpu算力功能，第n 1个pcie卡处于备份模式，并不被服务器操作系统所看到。
21.服务器操作系统上电或者初始化时，1~n个pcie设备被服务器操作系统或者驱动正常初始化，分配相关的资源。
22.pcie设备的驱动程序正常接管n个pcie设备，并利用这n个pcie设备为服务器操作系统提供正常的业务服务。
23.pcie故障管理软件记录所有n个正常工作pcie设备的pcie相关资源状态（包括：pcie bar空间地址、bus地址、以及配置空间里面的关键设置信息等）。故障管理软件记录所有n个正常工作pcie设备的相关资源状态的过程中，若记录到故障的pcie设备且服务器操作系统掉电时；则重新上电，继续掉电前的记录过程（实际操作时，正在保存相关故障卡的信息的时候，服务器操作系统容易出现掉电情况）。其中，首先判断服务器操作系统是否掉电，若服务器操作系统掉电，则标记当前记录的位置，然后将服务器操作系统上电后，实时记录直接调取至标记的位置处继续记录过程。
24.这些记录的资源状态按pcie设备的编号，从1到n编号保存在服务器操作系统存储设备（如硬盘）中。
25.当1~n其中的某一个（如第m个）pcie设备故障时，pcie设备驱动保持住（把所有的请求暂停处理，不返回结果）此后所有新下发的io请求和业务请求，暂不处理。驱动给上层软件提供业务接口，上层软件调用驱动的接口实现功能。即，上层软件会不停的向驱动下发相关请求，当pcie设备故障时，驱动对此时刻以后收到的业务请求暂不处理，保持住状态，不返回。
26.对于已经下发了的io和业务请求，返回给生成业务软件失败，要求业务软件重发。
27.其中，上层业务软件如果设计不合理，当保持住io不返回，或者返回要求上层业务软件重发时。上层软件如果超时容错比较差，可能导致业务失败。若实际操作中出现该情况时，要上层业务软件修改适配。
28.故障管理软件发现此故障，自动把故障的pcie设备移除，并上电第n 1个备份pcie设备，接入服务器操作系统。
29.故障管理软件把前面保存的n个资源状态中的第m个pcie设备的相关资源状态（包括：pcie bar空间地址、bus地址、以及配置空间里面的关键设置信息等）回填至第n 1个备份pcie设备的寄存器空间。
30.pcie设备驱动正常访问新接入的pcie设备，正常向第n 1个pcie设备处理下发保持住的io和业务请求，确保第n 1个设备正常工作，服务器操作系统业务软件无感知，无缝切换。
31.对于驱动而言，第n 1个设备的相关硬件资源和分配的总线、地址等，均与故障的第m个设备完全相同，驱动可以完全按照以前访问第m个设备的方式，继续使用第n 1个设备。
32.一种冗余备份pcie设备系统，包括故障管理软件、冗余管理软件、pcie设备驱动程序。
33.所述的故障管理软件用于监控系统pcie链路状态和设备状态，并在发现设备故障时及时通知设备驱动程序和冗余管理软件；所述的pcie设备驱动程序，初始化使能设备（使能的意思是说，初始化完成后，开启设备的相关功能单元。），以及处理相关业务下发至pcie设备的io和业务请求，在设备故障时，需要保持住相关io和业务请求，在新设备接入后，恢复相关业务请求。
34.所述冗余管理软件，用于保存和恢复相关pcie设备的状态信息。
35.通过保存恢复相关设备和状态信息，达成在线替换冗余pcie设备，确保系统软件无中断在线运行正常。
36.以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。