一种多业务模式的医院大数据平台系统及资源调度方法与流程

1.本发明涉及医疗系统大数据集成领域，具体涉及一种多业务模式的医院大数据平台系统及资源调度方法。


背景技术：

2.随着我国医学事业的发展，国内医院信息化建设已经取得了显著成果，各类子业务系统，如结构化数据及相关应用（his、nis、emr、lims）、大数据及相关应用（区域卫生平台、医院管理、临床大数据）、生物信息及相关应用（癌症筛查与诊治、遗传病筛查与诊治、罕见病筛查与诊治、靶点药物设计、）、影像数据及应用（pacs）、人工智能及相关应用（智能诊疗、医疗机器人、智能药物研发、智能影像识别）均以建成并投入使用，规范了医疗服务流程，提高了医疗服务质量和效率，在医院日常工作中起着重要作用。然而由于各医院的各子业务系统的规划实施、经费投入方面的不同，且各业务系统相对独立建设，前期建设成本高、结构复杂、数据分数，无法实现有效的资源共享；跨业务模块的通信采用单独的中间件或接口进行，后期利用率不均衡，资源浪费严重；运维管理成本高；新的计算力产品无法快速、规模化引入；算力资源零散，无法统一调度。鉴于此，多业务（传统信息化数据、大数据、高性能计算、人工智能）融合发展成为必然和趋势。


技术实现要素：

3.为解决上述现有技术中的不足，本发明出于实际业务开展需要，提供一种多业务模式的医院大数据平台系统及资源调度方法，实现医院内多种大数据业务的融合及高效运行，提升现有算力利用率、数据使用率，拓展可开展业务类型。
4.为实现上述技术目的，本发明采用的技术方案是：一种多业务模式的医院大数据平台系统，其系统架构包括：综合基础服务平台；资源调度服务平台，满足各种环境下的资源调度；共享存储服务平台，提供多种数据库，满足主流数据存储的需求；算力平台，提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台之间通过业务/管理网连接实现数据传输、调度控制、登录管理。
5.进一步地，所述综合基础服务平台包括管理控制模块：对外提供web平台，实现平台状态查看、人机交互操作、记账/计费、用户数据上传下载；监控模块：按照策略监控各服务、设备的使用状态、利用率、告警信息，并通过接口传输给管理控制模块对外进行展示；域名解析模块：实现ip地址和主机名、服务名的对应与解析，便于高效简洁的查询和使用资源；地址分配模块：通过dhcp技术实现ip地址分配、pxe网络引导参数同步等，实现物理设备和ip地址的一对一绑定；文件传输模块：通过tftp协议和nfs协议对外提供服务，便于物理设备获取pxe网络引导的系统镜像和进入操作系统后需要装载的配置文件、应用程序。
6.优选的，所述资源调度服务平台包括slurm、k8s、openstack、hyper-v。
7.优选的，所述共享存储服务平台包括nas存储、非结构化数据库、结构化数据库。
8.优选的，所述算力平台包括多路节点、cpu计算节点、内存计算节点、gpu计算节点、fpga计算节点、芯片计算节点。
9.进一步地，还包括与所述业务/管理网连接的安全管理平台和vpn防火墙，所述安全管理平台包括但不限于安管平台、入侵检测、漏洞扫描、堡垒机、审计；所述vpn防火墙与所述实现网络隔离，隐藏内部网络架构，保证数据安全可控，同时可以按需可控的提供数据访问服务。
10.进一步地，还包括ipmi/bmc带外管理，所述ipmi/bmc带外管理分别与所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台连接，满足硬件设备的带宽监控管理、开关机控制、告警信息查看、故障判断等业务需求；还包括infiniband高速网：所述infiniband高速网分别与所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台连接，满足计算、存储的通信需求。
11.一种多业务模式的医院大数据平台系统的资源调度方法：步骤包括：s1、用户上传任务数据及脚本到综合基础服务平台的管理控制模块并提交任务；s2、管理控制模块对脚本进行检查；s2.1、任务脚本异常，流程结束；s2.2、任务脚本正常，继续下一步；s3、管理控制模块检查算力资源是否满足；s3.1、检查其它类型的算力资源是否有空闲节点；s3.1.1、无空闲节点，资源不满足，任务告警并退出，流程结束；s3.1.2、有空闲节点，调度后可以满足算力资源需求，启动子流程；s3.1.2.1子流程：算力资源关机，成功执行后继续下一步；s3.1.2.2子流程：算力资源开机，成功执行后跳转到“s4根据任务需求分配算力资源”；s3.2、算力资源满足，继续下一步；s4、资源调度服务平台根据任务需求分配算力资源；s5、算力平台分配的算力节点根据任务数据和脚本启动程序进行计算；s6、管理控制模块检查计算结果；s6.1计算异常结束，启动告警流程；管理控制模块标记任务异常并告警，并跳转到“s8计算节点释放资源”s6.2、计算正常结束，流程继续；s7、管理控制模块根据计算结果记账计费；s8、计算节点释放资源；s9、管理控制模块标记计算节点状态为开机，资源调度状态为空闲；流程结束。
12.进一步地，算力资源开机通过综合基础服务平台的管理控制模块进行操作，具体流程为：p1、在管理控制模块中指定需要开机的节点和资源调度类型；p2、管理控制模块根据资源类型和节点的算力类型匹配配置文件，并下发新的配置文件给地址分配模块；p3、管理控制模块通过ipmi协议对节点进行开机操作；
p4、节点开机后调用pxe协议，第1次通过dhcp协议从地址分配中获取ip地址和引导信息、参数；p5、节点根据引导信息、参数从文件传输中获取对应的系统镜像；p6、节点加载系统镜像并启动和进入操作系统；p7、节点进入操作系统后通过dhcp协议从地址分配中第2次获取ip地址；p8、节点根据ip地址从域名解析中获取节点名和其它节点的名称；p9、节点从文件传输中获取操作系统启动后需要加载的程序、配置文件，并根据域名解析数据和配置文件去挂载共享存储；p10、节点向资源调度服务中对应的平台进行注册；p11、节点进行自检并向综合基础服务平台的管理控制模块反馈状态；p12、综合基础服务平台的管理控制模块根据反馈的状态进行决策；p12.1、状态异常，则通过ipmi协议重启节点，跳转到“p4获取ip及引导信息”重新开始；p12.2、状态正常则继续下一步；p13、管理控制模块标记节点状态为开机，资源调度状态为空闲，等待资源调度分配作业，流程结束。
13.进一步地，算力资源关机通过综合基础服务平台的管理控制模块进行操作，具体流程为：t1、在管理控制模块中选择需要关机的节点；t2、管理控制模块检查节点状态，查看是否有作业任务在进行；t2.1、节点有任务进行，判断是否需要放弃任务；t2.1.1、不放弃任务，判断是否需要等待作业任务执行完；t2.1.1.1、等待任务执行完，放弃关机计划，流程结束；t2.1.1.2、等待预定时间，重新启动关机流程，跳转到“t1选择节点”重新开始；t2.1.2、放弃任务，流程跳转到“t3 退出资源调度”继续流程；t2.2节点无任务进行，继续下一步；t3、节点退出资源调度；t4、节点卸载共享存储；t5、管理控制模块通过ipmi协议对节点进行快速关机；t6、管理控制模块检查节点关机状态；t6.1、关机状态异常，跳转到“t5快速关机”重新开始；t6.2、关机状态正常，继续下一步；t7、管理控制标记节点状态为关机，资源调度状态为空闲，流程结束。
14.与现有技术相比，本发明的有意效果有：本发明所提供的多业务模式的医院大数据平台系统，可以满足医院多业务融合;本发明提供的多业务模式的医院大数据平台系统的资源调度方法，可以对现有算力资源进行资源类型切换，提示算力资源利用率，最大程度满足用户算力需求，本发明的算力节点操作系统是从文件传输服务中获取的，无需本地硬盘，降低了硬件成本，同时避免硬件故障带来的不便，且保障了数据安全性。
附图说明
15.图1是本发明实施例的系统架构示意图；图2是本发明实施例中算力资源调度的流程示意图；图3是本发明实施例中算力资源开机的流程示意图；图4是本发明实施例中算力资源关机的流程示意图。
具体实施方式
16.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
17.一种多业务模式的医院大数据平台系统，如图1所示，其系统架构包括：综合基础服务平台10；资源调度服务平台20，满足各种环境下的资源调度；共享存储服务平台30，提供多种数据库，满足主流数据存储的需求；算力平台40，提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40之间通过业务/管理网60连接，所述业务/管理网60为标准以太网网络，采用1g/1.25g/10g/25g/40g/50g/100g等主流网络带宽标准，满足各软硬件、业务系统的数据传输、调度控制、登录管理等传输需求。
18.所述综合基础服务平台10包括管理控制模块、监控模块、域名解析模块、地址分配模块、文件传输模块等子服务；其中所述管理控制模块对外提供web平台，实现平台状态查看、人机交互操作、记账/计费、用户数据上传下载、等功能；所述监控模块按照策略监控各服务、设备的使用状态、利用率、告警信息等，并通过接口传输给管理控制模块对外进行展示；所述域名解析模块实现ip地址和主机名、服务名的对应与解析，便于高效简洁的查询和使用资源；所述地址分配模块通过dhcp技术实现ip地址分配、pxe网络引导参数同步等，实现物理设备和ip地址的一对一绑定；所述文件传输模块通过tftp协议和nfs协议对外提供服务，便于物理设备获取pxe网络引导的系统镜像和进入操作系统后需要装载的配置文件、应用程序。
19.所述资源调度服务平台20包括slurm、k8s、openstack、hyper-v等子服务。其中：所述slurm用于linus操作系统环境下的cpu、内存、gpu资源调度，适用场景包括基因组装、基因拼接、基因对比、材料研制、药物研制、内存计算等；所述k8s用于docker容器环境下的资源调度，适用场景包括人工智能、业务流编排等；所述openstack用于虚拟化和云计算环境下的资源调度；所述hyper-v用于windows虚拟化的资源调度。
20.共享存储服务平台30包括nas存储、非结构化数据库、结构化数据库等子服务，可以满足主流数据存储的需求。
21.算力平台40包括多路节点、cpu计算节点、内存计算节点、gpu计算节点、fpga计算节点、芯片计算节点等多种类型的硬件节点，满足各种各样的算力需求。
22.还包括安全管理平台50，所述安全管理平台50与所述业务/管理网60连接，所述安全管理平台50参考gb/t 25058-2019 信息安全技术 网络安全等级保护实施指南、gb/t 25070-2019 信息安全技术 网络安全等级保护安全设计技术要求等国家标准、法律法规进行，由医院根据实际定级需要进行细化和完善，包括但不限于安管平台、入侵检测、漏洞扫描、堡垒机、审计等。
23.还包括vpn防火墙90，所述vpn防火墙90与所述业务/管理网60连接，外网包括互联网、传感器/5g专网、区域医疗卫生平台、社保专网、医保专网、银行专网、分院/合作医院、院内网络等通过所述vpn防火墙90连接业务/管理网，实现网络隔离，隐藏了内部网络架构，保证数据安全可控，同时可以按需可控的提供数据访问服务。
24.还包括ipmi/bmc带外管理70，所述ipmi/bmc带外管理70分别与所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40连接，所述ipmi/bmc带外管理70为标准以太网网络，采用100m/1g网络带宽标准，满足硬件设备的带宽监控管理、开关机控制、告警信息查看、故障判断等业务需求。
25.还包括infiniband高速网80，所述infiniband高速网80分别与所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40连接，所述infiniband高速网80为高带宽低延迟专用网络，采用专用协议（sdr/qdr/fdr/edr/hdr/ndr/xdr/gdr）,实现10g-400gbps的纳秒级延迟通信，满足计算、存储的通信需求。
26.本发明所提供的多业务模式的医院大数据平台系统，可以满足医院多业务融合。
27.本发明还提供一种多业务模式的医院大数据平台系统的资源调度方法，如图2所示的算力资源调度流程示意图，具体步骤如下：s1、用户上传任务数据及脚本到综合基础服务10的管理控制模块并提交任务；s2、管理控制模块对脚本进行检查；s2.1、任务脚本异常，例如缺少参数、程序路径错误等，任务告警退出，流程结束；s2.2、任务脚本正常，继续下一步；s3、管理控制模块检查算力资源是否满足；s3.1、检查其它类型的算力资源是否有空闲节点；s3.1.1、无空闲节点，资源不满足，任务告警并退出，流程结束；s3.1.2、有空闲节点，调度后可以满足算力资源需求，启动子流程；s3.1.2.1子流程：算力资源关机，成功执行后继续下一步；s3.1.2.2子流程：算力资源开机，成功执行后跳转到“s4根据任务需求分配算力资源”；s3.2、算力资源满足，继续下一步；s4、资源调度服务20根据任务需求分配算力资源；s5、算力平台40分配的算力节点根据任务数据和脚本启动程序进行计算；s6、管理控制模块检查计算结果；s6.1计算异常结束，启动告警流程；管理控制模块标记任务异常并告警，并跳转到“s8计算节点释放资源”s6.2、计算正常结束，流程继续；s7、管理控制模块根据计算结果记账计费；
s8、计算节点释放资源；s9、管理控制模块标记计算节点状态为开机，资源调度状态为空闲；流程结束。
28.在步骤s3.1.2.2中，算力资源开机通过综合基础服务10的管理控制模块进行操作，如图3所示的算力资源开机的流程示意图，具体流程为：p1、在管理控制模块中指定需要开机的节点和资源调度类型，如slurm资源、k8s资源等；p2、管理控制模块根据资源类型和节点的算力类型（如多路、cpu、gpu等）匹配配置文件，并下发新的配置文件给地址分配模块；p3、管理控制模块通过ipmi协议对节点进行开机操作；p4、节点开机后调用pxe协议，第1次通过dhcp协议从地址分配中获取ip地址和引导信息、参数；p5、节点根据引导信息、参数从文件传输中获取对应的系统镜像；p6、节点加载系统镜像并启动和进入操作系统；p7、节点进入操作系统后通过dhcp协议从地址分配中第2次获取ip地址；p8、节点根据ip地址从域名解析中获取节点名和其它节点的名称；p9、节点从文件传输中获取操作系统启动后需要加载的程序、配置文件，并根据域名解析数据和配置文件去挂载共享存储；p10、节点向资源调度服务中对应的平台进行注册；p11、节点进行自检并向综合基础服务10的管理控制模块反馈状态；p12、综合基础服务10的管理控制模块根据反馈的状态进行决策；p12.1、状态异常，则通过ipmi协议重启节点，跳转到“p4 获取ip及引导信息”重新开始；p12.2、状态正常则继续下一步；p13、管理控制模块标记节点状态为开机，资源调度状态为空闲，等待资源调度分配作业，流程结束。
29.在步骤s3.1.2.1中，算力资源关机通过综合基础服务10的管理控制服务进行操作，如图4所示的算力资源关机的流程示意图，具体流程为：t1、在管理控制模块中选择需要关机的节点；t2、管理控制模块检查节点状态，查看是否有作业任务在进行；t2.1、节点有任务进行，判断是否需要放弃任务；t2.1.1、不放弃任务，判断是否需要等待作业任务执行完；t2.1.1.1、等待任务执行完，放弃关机计划，流程结束；t2.1.1.2、等待一定时间，重新启动关机流程，跳转到“t1选择节点”重新开始；t2.1.2、放弃任务，流程跳转到“t3退出资源调度”继续流程；t2.2节点无任务进行，继续下一步；t3、节点退出资源调度；t4、节点卸载共享存储；t5、管理控制模块通过ipmi协议对节点进行快速关机；t6、管理控制模块检查节点关机状态；
t6.1、关机状态异常，跳转到“t5快速关机”重新开始；t6.2、关机状态正常，继续下一步；t7、管理控制标记节点状态为关机，资源调度状态为空闲，流程结束。
30.本发明提供的多业务模式的医院大数据平台系统的资源调度方法，可以对现有算力资源进行资源类型切换，提示算力资源利用率，最大程度满足用户算力需求，本发明的算力节点操作系统是从文件传输服务中获取的，无需本地硬盘，降低了硬件成本，同时避免硬件故障带来的不便，且保障了数据安全性。
31.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。