一种基于人工神经网络技术的人工心肺机数据记录方法与流程

1.本发明属于人工心肺机智能化处理技术领域，更为具体地讲，涉及一种基于人工神经网络技术的人工心肺机数据记录方法。


背景技术：

2.医疗问题一直以来都是人民最关心的问题之一，而心血管疾病与肺部疾病由于其高死亡率、高发病率，一直以来都严重威胁着人类的生命健康。根据世界卫生组织发布的《2020年世界卫生统计报告》，非传染性疾病占总死亡人数的71％，其中首位的致死原因是心血管疾病。此外，数据显示，进入21世纪后世界老龄化速度明显加快，心血管疾病危险因素流行趋势明显，导致心血管发病人数持续增加。
3.人工心肺机作为暂时性替代自然心脏和肺功能的装置，用于对重症心肺功能衰竭患者提供持续体外呼吸与循环，是一种重要的临时性人工器官。据统计，2019年全球范围内有430家ecmo中心，与2004年相比增长264％；而ecmo辅助例数2019年全球为12850例，比2004年增长568％。在covid-19治疗过程中，人工心肺机也发挥了极为重要的作用。
4.人工心肺机主要由系统面板、悬挂泵、压力传感器等部分组成。在治疗过程中，人工心肺机实时监测患者的身体特征，并将数据反映在显示上。其中，悬挂泵与系统面板上都会显示相应的的参数。在重大疾病的治疗过程中，人体特征参数的监控尤为重要。因此，医疗人员需要实时监控并记录人工心肺机的参数及其变化情况，以便对治疗方案做出及时调整。
5.实际操作中，为了准确及时记录人工心肺机的参数，医疗工作者通常采用手工记录的方式，在一定时间间隔内对面板上显示的数据进行摘抄。而当前阶段，我国存在医患比例低，医护工作量大的情况。医生和护士每天还需面对很多突发情况。人工记录数据需要耗费大量精力。此外，医院环境较为复杂，对人眼观察数据造成较大的影响。所以现在急需一种辅助方法帮助准确记录人工心肺机的数据，更好的帮助医生完成医疗任务。
6.ocr技术通常称为光学字符识别(ocr,optical character recognition),由计算机来实现。其核心作用是将图片转化为文字，以满足用户需求。随着深度学习的广泛运用，ocr技术在识别速度、识别准确率方面取得了大幅提高。与传统人工录入相比，ocr技术在速度方面有着巨大的优势，可以大幅度节省人力资源，资源配置得到优化。
7.近些年，计算机视觉与ocr相结合的技术在图像文字信息识别与处理方面展现了巨大的优势，可以通过计算机视觉技术提取显示面板中信息并采用ocr技术帮助医生识别与记录人工心肺机的数据。考虑到医院的特殊环境，设计一个轻型人工心肺机数据记录装置是需要完成的目标。


技术实现要素：

8.本发明的目的在于克服现有技术的不足，提供一种基于人工神经网络技术的人工心肺机数据记录方法，通过拍摄人工心肺机显示面板的图像并经过人工神经网络和计算机
视觉技术的处理，利用ocr技术对图像中的字符进行识别，再从中提取所需的人体特征参数信息，完成对人工心肺机的数据记录。
9.为实现上述发明目的，本发明一种基于人工神经网络技术的人工心肺机数据记录方法，其特征在于，包括以下步骤：
10.(1)、获取人工心肺机各屏幕图像；
11.对人工心肺机的四块屏幕进行编号，记为a、b、c、d；利用相机分别正对每块屏幕进行拍摄，每块屏幕拍摄k张正立图像，且每张图像拍摄时其显示的数据互不相同，最后将所有的正立图像按序编号记为si，i＝1,2,
…
,4k；
12.(2)、初始化屏幕模版库与对应分割模版；
13.将各屏幕拍摄的每一张图像依次输入至特征提取网络resnet-18，得到各屏幕相对应的特征序列，共计4k条特征序列，最后将这4k条特征序列作为屏幕模版库；
14.根据各屏幕数据显示区域，为各屏幕人为框选出固定位置的目标分割模版，并依据框选区域尺寸和数显字号预设各区域相应的放缩超参数；
15.(3)、搭建并训练姿态估计网络posenet；
16.(3.1)、获取posenet的训练数据；
17.将每一张正立图像si通过有条件的随机选取变换参数来生成变换矩阵mi，且每一张正立图像si重复操作n次，从而得到4k*n个变换矩阵；
18.其中，有条件的随机选取变换参数的限制条件为：屏幕中心不变、不进行放缩、扭曲范围在30％以内；
19.将4k*n个变换矩阵依次作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得4k*n张带有形变的图像，记为pj，j＝1,2,
…
,4k*n；
20.(3.2)、搭建posenet的模型结构；
21.posenet包括分割提取网络senet和解码网络dnet；
22.所述senet分两条路径对输入图像进行分割提取，得到屏幕各数据区域r和基于类似图像不同数据区域等效的纹理的特征向量v；
23.其中，生成特征向量v的路径结构为：卷积层1-激活层1-池化层1-卷积层2-激活层2-丢弃层-池化层2-卷积层3-激活层3-池化层3-正则层-全连接层1；各卷积层均采用卷积模块torch.nn.conv2d，卷积模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递增50％；各激活层均采用激活模块torch.nn.relu，激活模块参数为：池化层采用最大值池化模块torch.nn.maxpool2d，该模块的参数核长度设为与参数步长相等且令图像尺寸依次递减30％；丢弃层采用丢弃模块torch.nn.dropout，丢弃模块参数为：丢弃概率为0.2；正则层采用正则模块torch.nn.batchnorm2d，全连接层采用线性模块torch.nn.linear，模块参数为：归化维度为128；
24.生成屏幕各数据区域r的路径的前一部分与上述路径结构共享，在上述路径的正则层输出之后分开，接入如下路径结构：卷积层4-上采样层1-卷积层5-上采样层2-卷积层6-上采样层3，并且4、5、6号卷积层所生成的特征图都会拼接源自于之前相应卷积层生成的特征图，即3与4、2与5、1与6的特征图拼接；其中各网络层具体实现模块为：各卷积层均采用卷积模块torch.nn.conv2d，模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递减50％；上采样层均采用最近邻插值上采样模块
torch.nn.upsamplingnearest2d，模块参数设置为输入输出参数设为令图像尺寸依次递增30％；
25.dnet的结构为gru 全连接，其中，gru采用门控循环单元模块torch.nn.gru，该模块参数为两个隐藏层和50个隐藏节点；全连接层采用线性模块torch.nn.linear，参数为：单层网络，归化维度为16；dnet接收senet输出的中间结果r和v，输出用于将初始输入图像变为正视图像的透视变换矩阵m；
26.(3.3)、训练posenet；
27.(3.3.1)、将图像pj送入至posenet，从而输出的预测变换矩阵
28.(3.3.2)、将图像pj对应的变换矩阵mj与预测变换矩阵求取损失值m
τ
为mj中第τ个元素的值，为中第τ个元素的值；
29.(3.3.3)、将损失值mseloss进行反向传播求微分，从而更新posenet的参数，待参数更新完成后返回步骤(3.3.1)继续输入下一张图像；
30.(3.3.4)、当输入至posenet的图像数量达到λ张后，完成本轮训练，并计算本轮训练中对应的λ个损失值的均值；
31.(3.3.5)、比较相邻两轮训练后损失值的均值的差值是否小于预设阈值，如果小于阈值，则表示网络收敛，迭代停止，得到训练完成的posenet；否则，返回步骤(3.3.1)继续下一轮的训练；
32.(4)、待检测图像的姿态调整；
33.将倾斜的待检测图像p输入至训练完成的posenet，从而输出预测变换矩阵
34.将预测变换矩阵作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得带有形变的图像
35.(5)、匹配屏幕类型；
36.将图像输入至特征提取网络resnet-18，得到特征序列
37.将特征序列与屏幕模版库中的各条特征序列依次进行相似度比对：
38.依次求解两特征序列的欧式距离d，其中，f
μ
为屏幕模版库中特征序列f的第μ个元素值，为特征序列的第μ个元素值；
39.最后选取欧式距离最小的特征序列所对应的屏幕为图像所属；
40.(6)、图像区域分割；
41.依据步骤(5)中屏幕类别匹配结果调用目标分割模版，从图像中分割出若干待识别的区域，以及每个区域相应的放缩超参数；
42.(7)、基于ocr技术的数据识别及处理；
43.将(6)中的区域及其相应放缩超参数传入至预训练好的ocr网络模型，从而输出各待识别区域所对应的实时数据；最后再将识别结果按hl7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
44.本发明的发明目的是这样实现的：
45.本发明基于人工神经网络技术的人工心肺机数据记录方法，先获取人工心肺机各屏幕图像并初始化屏幕模版库与对应分割模版，再搭建并训练姿态估计网络posenet，然后通过posenet对待检测图像进行姿态调整，最后通过ocr文字识别技术自动化地获取人工心肺机手术全程的监测数据，并按hl7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
46.同时，本发明基于人工神经网络技术的人工心肺机数据记录方法还具有以下有益效果：
47.(1)、使用神经网络结构，自动识别屏幕区域及相机拍摄角度，实现手术间复杂操作场景的灵活使用；
48.(2)、结合计算机视觉技术承上启下，利用神经网络所得姿态信息矫正含透视畸变的屏幕图像，为识别文字数据奠定基础；
49.(3)、本发明通过ocr文字识别技术使得医生可以自动化地获取人工心肺机手术全程的监测数据，确保最终识别所得的监测数据的有效性，同时免去人工记录的繁琐和低效；
50.(4)、在实际手术间考虑到手术辅助人员频繁的操作人工心肺机的需求，限制了相机获取屏幕的距离和视角，在数据识别之前引入与神经网络之图片姿态估计结合的计算机视觉之变换矫正技术，使得本发明能真正地应用在手术间，并能根据操作人员的需求灵活改变相机放置角度，给医护人员带来实在的便利。
附图说明
51.图1是本发明基于人工神经网络技术的人工心肺机数据记录方法流程图；
52.图2是屏幕a悬挂泵上的触摸屏示意图；
53.图3是屏幕b系统面板上的触摸屏sat/hct传感器模块venous；
54.图4是屏幕c系统面板上的触摸屏气泡探头条及停跳液控制显示条；
55.图5是屏幕d系统面板上的触摸屏压力控制器及时间温度监测面板；
56.图6是屏幕a的框选区域示意图；
57.图7是屏幕b的框选区域示意图；
58.图8是屏幕c的框选区域示意图；
59.图9是屏幕d的框选区域示意图；
60.图10是屏幕a的区域分割示意图；
61.图11是屏幕b的区域分割示意图；
62.图12是屏幕c的区域分割示意图；
63.图13是屏幕d的区域分割示意图。
具体实施方式
64.下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
65.实施例
66.图1是本发明基于人工神经网络技术的人工心肺机数据记录方法流程图。
67.在本实施例中，如图1所示，本发明一种基于人工神经网络技术的人工心肺机数据记录方法，包括以下步骤：
68.s1、获取人工心肺机各屏幕图像；
69.对人工心肺机的四块屏幕进行编号，记为a、b、c、d；利用相机分别正对每块屏幕进行拍摄，每块屏幕拍摄5张正立图像，且每张图像拍摄时其显示的数据互不相同，最后将所有的正立图像按序编号记为si，i＝1,2,
…
,20；
70.在本实施例中，目前常用的人工心肺机上，有四个触摸屏会显示参数。其中，悬挂泵上有一个触摸屏，系统面板上有三个触摸屏，共包含13个待识别参数，具体的待识别参数如下：
71.(1)、如图2所示，屏幕a：悬挂泵上的触摸屏，有流量和泵速两个待识别参数；
72.(2)、如图3所示，屏幕b:系统面板上sat/hct传感器模块venous包含静脉血氧饱和度、红细胞压积和静脉温度三个待识别参数；
73.(3)、如图4所示，屏幕c:气泡探头条及停跳液控制显示条包含单次剂量显示、停跳液计时器显示和总剂量显示三个待识别参数；
74.(4)、如图5所示，屏幕d:压力控制器及时间温度监测面板共有五个待识别的参数，分别为：压力1显示、压力2显示、计时器1显示、计时器2显示及计时器3显示。
75.考虑到医院特殊的环境，识别系统的设计有几个设计原则。首先，为保护医院数据，识别系统不连接公网，防止患者隐私泄漏。其次，摄像头等外部硬件的摆放不能遮挡人工心肺机及其他医疗设备的屏幕，不能影响医护人员的人工操作。此外，识别系统采用边缘计算，以节约空间。基于以上考虑，本发明中所使用的硬件设备包括摄像头、路由器、监护仪与主机。摄像头通过支架连接到同一个主机，可以通过支架调节摄像头的拍摄方向，实现远距离拍摄。
76.其次，识别记录装置的摆放需要基于医院的具体环境。首先，需要了解设备的尺寸限制，以保证设备的摆放不会影响到医院的正常工作；第二，确定摄像头的拍摄距离，以及在使用过程中是否需要移动；第三，了解医院内的供电和通信线路，以便更好的部署识别装置；其次，要确定室内光照情况，光照是否稳定；
77.s2、初始化屏幕模版库与对应分割模版；
78.将各屏幕拍摄的每一张图像依次输入至特征提取网络resnet-18，得到各屏幕相对应的特征序列，共计20条特征序列，最后将这20条特征序列作为屏幕模版库；
79.根据各屏幕数据显示区域，为各屏幕人为框选出固定位置的目标分割模版，并依据框选区域尺寸和数显字号预设各区域相应的放缩超参数；在本实施例中，四块屏幕实拍的框选区域示意图，如6-图9所示；
80.s3、搭建并训练姿态估计网络posenet；
81.s3.1、获取posenet的训练数据；
82.将每一张正立图像si通过有条件的随机选取变换参数来生成变换矩阵mi，且每一张正立图像si重复操作1000次，从而得到20000个变换矩阵；
83.其中，有条件的随机选取变换参数的限制条件为：屏幕中心不变、不进行放缩、扭曲范围在30％以内；
84.将20000个变换矩阵依次作为反透视变换函数的参数，然后利用透视变换函数进
行透视变换，获得20000张带有形变的图像，记为pj，j＝1,2,
…
,20000；
85.s3.2、搭建posenet的模型结构；
86.posenet包括分割提取网络senet和解码网络dnet；
87.所述senet分两条路径对输入图像进行分割提取，得到屏幕各数据区域r和基于类似图像不同数据区域等效的纹理的特征向量v；
88.其中，生成特征向量v的路径结构为：卷积层1-激活层1-池化层1-卷积层2-激活层2-丢弃层-池化层2-卷积层3-激活层3-池化层3-正则层-全连接层1；各卷积层均采用卷积模块torch.nn.conv2d，卷积模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递增50％；各激活层均采用激活模块torch.nn.relu，激活模块参数为：池化层采用最大值池化模块torch.nn.maxpool2d，该模块的参数核长度设为与参数步长相等且令图像尺寸依次递减30％；丢弃层采用丢弃模块torch.nn.dropout，丢弃模块参数为：丢弃概率为0.2；正则层采用正则模块torch.nn.batchnorm2d，全连接层采用线性模块torch.nn.linear，模块参数为：归化维度为128；
89.生成屏幕各数据区域r的路径的前一部分与上述路径结构共享，在上述路径的正则层输出之后分开，接入如下路径结构：卷积层4-上采样层1-卷积层5-上采样层2-卷积层6-上采样层3，并且4、5、6号卷积层所生成的特征图都会拼接源自于之前相应卷积层生成的特征图，即3与4、2与5、1与6的特征图拼接；其中各网络层具体实现模块为：各卷积层均采用卷积模块torch.nn.conv2d，模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递减50％，即与之前所述卷积层通道数改变对应相反；上采样层均采用最近邻插值上采样模块torch.nn.upsamplingnearest2d，模块参数设置为输入输出参数设为令图像尺寸依次递增30％，即与之前所述池化层尺寸改变对应相反；
90.dnet的结构为gru 全连接，其中，gru采用门控循环单元模块torch.nn.gru，该模块参数为两个隐藏层和50个隐藏节点；全连接层采用线性模块torch.nn.linear，参数为：单层网络，归化维度为16；dnet接收senet输出的中间结果r和v，输出用于将初始输入图像变为正视图像的透视变换矩阵m；
91.s3.3、训练posenet；
92.s3.3.1、将图像pj送入至posenet，从而输出的预测变换矩阵
93.s3.3.2、将图像pj对应的变换矩阵mj与预测变换矩阵求取损失值m
τ
为mj中第τ个元素的值，为中第τ个元素的值；
94.s3.3.3、将损失值mseloss进行反向传播求微分，从而更新posenet的参数，待参数更新完成后返回步骤s3.3.1继续输入下一张图像；
95.s3.3.4、当输入至posenet的图像数量达到λ张后，完成本轮训练，并计算本轮训练中对应的λ个损失值的均值；
96.s3.3.5、比较相邻两轮训练后损失值的均值的差值是否小于预设阈值，如果小于阈值，则表示网络收敛，迭代停止，得到训练完成的posenet；否则，返回步骤s3.3.1继续下一轮的训练；
97.s4、待检测图像的姿态调整；
98.将倾斜的待检测图像p输入至训练完成的posenet，从而输出预测变换矩阵
99.将预测变换矩阵作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得带有形变的图像
100.s5、匹配屏幕类型；
101.将图像输入至特征提取网络resnet-18，得到特征序列
102.将特征序列与屏幕模版库中的各条特征序列依次进行相似度比对：
103.依次求解两特征序列的欧式距离d，其中，f
μ
为屏幕模版库中特征序列f的第μ个元素值，为特征序列的第μ个元素值；
104.最后选取欧式距离最小的特征序列所对应的屏幕为图像所属；
105.s6、图像区域分割；
106.依据步骤s5中屏幕类别匹配结果调用目标分割模版，从图像中分割出若干待识别的区域，以及每个区域相应的放缩超参数；
107.在本实施例中，人工心肺机的四块屏幕a、b、c、d进行区域分割后，其分割的示意图如图10——图13所示，各图中分割后的矩形框即为待识别的区域；
108.s7、基于ocr技术的数据识别及处理；
109.将s6中的区域及其相应放缩超参数传入至预训练好的ocr网络模型，从而输出各待识别区域所对应的实时数据，其中，ocr网络模型具体采用开源的chineseocr模型；最后再将识别结果按hl7格式编码，编码完成后如表1所示，最后将编码后的结构实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
110.参数数值流量(l/min)0.00泵速(rpm)0静脉血氧饱和度(％)75.0红细胞压积(％)35静脉温度(摄氏度)24.4单次剂量(l)0.000停跳液计时(秒)00:00总剂量(l)0.000压力1(mmhg)105压力2(mmhg)80计时器1(秒)0:00计时器2(秒)75:55计时器3(秒)35:05
111.表1
112.尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技
术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。