双回路讯号人工智能判读与学习的方法与流程

1.本发明系涉及数据探勘以及深度学习(g06f 19/24)之領域，与生物生理讯号有关，进行讯号的格式转换、讯号处理并采用深度学习之方式判读。


背景技术：

2.生理讯号可以提供做为评估、诊断甚至预测生理状况之依据。因此不同的生理讯号能代表某一系统之状况。
3.生理讯号有关之数据需由受训过的专业人员分析，生理量测数据的量与复杂度是非常巨大的，因此时常需要透过计算机以及软件来辅助分析。在实务上会碰到量测讯号不佳造成量测噪声，常见噪声如基线飘移、肌电噪声、电力线干扰等会造成心电图难以分析，因此可透过硬件或软件方法加以滤除多余噪声，例如使用带通滤波器、小波转换、经验模态分解等。
4.除了量测上造成的噪声外，不同量测仪器所采用的格式和规格也不尽相同，为了能够有效的利用软件方法进行大量的分析，如何支持不同格式以及如何确保讯号的质量就显得格外重要，因此在数据的转换，和确保转换后讯号内容的是否会遗漏就很重要。现在有使用计算机视觉如特征方法orb等，机器学如yolo net等方法，识别出图片中的讯号成分并加以使用。
5.除了传统的图纸判读如可使用心电图预测心律不整等，现在可以透过人工智能的方法，使用深度学习模型来预测，透过数字化的心电图讯号以及良好的标注，搭配深度学习网络如:cnn、lstm、rnn、resnet等可判读出心电图讯号中所包含的心律不整，现在也有研究表示，在一定程度上，深度学习的准确甚至高于一般专业人员的判断。


技术实现要素：

6.一般生理讯号量测机器可能产出一维数字讯号以及二维图片文件之讯号格式，已知ai技术仅限于针对特定维度的讯号进行判读。为了适用不同型态的讯号格式使其能够做训练判读，本发明提出一种双回路讯号的判读架构，可以同时对一维讯号和二维图片式讯号进行训练判读。
7.一般生理讯号量测机器所产生之图片文件，其讯号通常在整张图片中的占比很小，比如在心电图、心音、肌电讯号等。而且讯号量测所产生的噪声等是直接反应在讯号本身，以图片方式难以获取讯号本身的数据维度，因此本发明之数据转换方法可以撷取图片文件中的生理讯号并将其还原成一维数字讯号来做分析。
8.一般生理讯号量测机器所产生之图片案，其图片辨识度已经固定。透过本发明之讯号前处理方法，可以针对撷取后的图片文件讯号加强讯号强度，并且针对讯号本身进行噪声滤除，提高其辨识程度。
9.本发明之双回路讯号的判读架构可针对一维讯号直接进行人工智能训练判读，并可针对图片文件进行数据转换或是直接判读，因此提供两个人工智能模型可以做动态调
整。
附图说明
10.本说明将可由以下叙述配合附图已更佳地理解，其中：
11.图1为双回路讯号训练及判读架构。
12.图2为图片式心电图转换一维讯号示意图。
13.图3为滤噪声示意图。
14.图4为心电图讯号前处理示意图。
具体实施方式
15.双回路讯号的判读架构如图1，此架构使方法可以针对不同的数据格式进行生理讯号的多分类模型训练以及判读。透过一开始的格式判读，会将讯号传至不同的方法做运算。其中一维讯号如(csv,txt,dat,mat或各家厂商自定义格式)会直接进到滤噪声方法中。而二维讯号如(jpg,png,pdf或各家厂商自定义格式)则会进入讯号转换方法以及二维人工智能模型。
16.讯号转换方法请见图2，我们可将图片文件(jpg,png,pdf或各家厂商自定义格式))等转换成一维的数据文件(mat,data,csv,txt,etc)。实作方法维透过颜色屏蔽取出所需要的讯号信息，范例为标准心电图由红格以及心电图讯号组成，因此可透过颜色屏蔽一层层的将我们需要的心电图讯号撷取出来，并透过实际量测时的参数如取样频率等还原真实讯号。
17.滤噪声方法可见图3。噪声针对测试心电图为例消除基线飘移以及电力线干扰和高频噪声消除，这几种噪声在一边量测中最为常见，通常为呼吸以及仪器所使用的电力产生。透过预先设计好的滤波器分别滤除这三种噪声，在图三中可以看到原始数据经过三个噪声处理方法依序的结果。
18.透过讯号前处理，我们可以采用重新取样加强讯号本身的分辨率，可针对转换后的图片讯号增加其数据丰富度，并对我们的讯号做正规化以确保判读的稳健度见图4。
19.本发明采取的cnn模型为基于resnet架构的改版，是为一个多分类器。我们在原本的模型中增加正规层以加强模型稳健度，一维以及二维的网络架构是相同的，唯一的不同是采用不同的输入维度。其中二维模型在输入前并没有针对讯号做噪声以及前处理，由于cnn网络本身自带有特征撷取的功能，因此二维图片文件并没有做太多的讯号处理。


技术特征：
1.一种双回路讯号人工智能判读与学习的方法，其特征在于，包括下列步骤:自动判断数据格式，针对图片文件进行数据转换；针对一维讯号进行噪声滤除、讯号前处理，一维讯号和二维讯号的人工智能判读模型。2.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，各种不同的生理讯号，包括但不限于：心电图(electrocardiogram,ecg/ekg)、肌电图(electromyogram,emg)、脑电图(electroencephalograph,eeg)、视网膜电图(electroretinography,erg)、血压和肺功能分析(spirometry)。生理讯号中可以取得多种参数，包含但不限于：电流、电阻、压力、流速、温度、振动、呼吸频率、重量、脉冲振幅、脉冲波速率或生理事件发生的频率。生理讯号之类型可简单分为质化与量化信息，这些信息对于临床上疾病评估、诊断或分期、预测等扮演重要的角色。3.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，其中双回路讯号为以一维方式记录讯号的数据如(csv,txt,dat,mat或各家厂商自定义格式)以及二维图文件方式记录讯号如(jpg,png,pdf或各家厂商自定义格式)。4.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，其中图片式数据转换可将以图片档案纪录的心电图透过颜色图层解析和量测参数转换成一维讯号。5.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，其中噪声滤除包括使用已调适好参数之滤波器滤除基线飘移、电力线干扰噪声以及高频噪声。6.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，其中讯号前处理包括数据重新取样以及正规化处理。7.如申请专利范围第1项所述的双回路讯号的人工智能判读方法，其特征在于，其中一维讯号和二维讯号的人工智能判读模型使用改编过后的resnet多分类模型，并增加正规化层以加强正规性。

技术总结
一种双回路讯号人工智能判读与学习的方法，不同生理讯号量测机器会产生不同格式之信息，此方法可自动判读不同数据格式，对其做转换并可使用对应的模型做多分类的训练以及判读，提升方法的支持性。整个方法由不同部分组成，包括数据格式转换方法，噪声滤除、讯号前处理方法、一维讯号深度学习判读模型以及图片讯号深度学习判读模型。号深度学习判读模型。号深度学习判读模型。


技术研发人员：黄超明 林丽郁
受保护的技术使用者：巨量移动科技有限公司
技术研发日：2022.08.12
技术公布日：2022/11/25