波形图像的处理方法、装置、设备及存储介质与流程

1.本技术实施例涉及人工智能技术领域，特别涉及一种波形图像的处理方法、装置、设备及存储介质。


背景技术：

2.在帕金森运动功能障碍ai(artificial intelligence，人工智能)评估产品中，通过跟踪患者的关节点位，生成记录该关节点位的运动情况的波形图像，然后通过对该波形图像进行特征提取和分析，可以得到该患者的一些关节运动数据，从而对该患者的患病情况进行评估。
3.由于波形图像中通常存在一些噪声信息，这些噪声信息在波形曲线上的表现则可以是在波峰或者波谷的位置处存在震荡抖动或者停顿等现象，从而导致基于该带噪的波形图像提取得到的波形特征信息不够准确。


技术实现要素：

4.本技术实施例提供了一种波形图像的处理方法、装置、设备及存储介质，能够提高波形特征提取的准确性和有效性。所述技术方案如下：
5.根据本技术实施例的一个方面，提供了一种波形图像的处理方法，所述方法包括：
6.获取原始的带噪波形图像，所述带噪波形图像中包括目标参数随时间变化所形成的带噪波形曲线；
7.对所述带噪波形图像的峰值点噪声进行去噪处理，得到包含去噪波形曲线的去噪波形图像；其中，所述峰值点噪声包括所述带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分；
8.基于所述去噪波形图像提取波形特征信息，所述波形特征信息用于指示所述去噪波形曲线的特征。
9.根据本技术实施例的一个方面，提供了一种波形去噪模型的训练方法，所述方法包括：
10.获取样本波形图像，所述样本波形图像是带噪的波形图像，所述波形图像中包括目标参数随时间变化所形成的波形曲线；
11.生成所述样本波形图像对应的模板波形图像；
12.通过波形去噪模型对所述样本波形图像的峰值点噪声进行去噪处理，生成预测波形图像；其中，所述峰值点噪声包括所述波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分；
13.基于所述预测波形图像与所述模板波形图像之间的差异信息，确定损失函数；
14.基于所述损失函数对所述波形去噪模型的参数进行调整。
15.根据本技术实施例的一个方面，提供了一种波形图像的处理装置，所述装置包括：
16.原始图像获取模块，用于获取原始的带噪波形图像，所述带噪波形图像中包括目
标参数随时间变化所形成的带噪波形曲线；
17.波形去噪处理模块，用于对所述带噪波形图像的峰值点噪声进行去噪处理，得到包含去噪波形曲线的去噪波形图像；其中，所述峰值点噪声包括所述带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分；
18.波形特征提取模块，用于基于所述去噪波形图像提取波形特征信息，所述波形特征信息用于指示所述去噪波形曲线的特征。
19.根据本技术实施例的一个方面，提供了一种波形去噪模型的训练装置，所述装置包括：
20.样本图像获取模块，用于获取样本波形图像，所述样本波形图像是带噪的波形图像，所述波形图像中包括目标参数随时间变化所形成的波形曲线；
21.模板图像生成模块，用于生成所述样本波形图像对应的模板波形图像；
22.预测图像生成模块，用于通过波形去噪模型对所述样本波形图像的峰值点噪声进行去噪处理，生成预测波形图像；其中，所述峰值点噪声包括所述波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分；
23.损失函数确定模块，用于基于所述预测波形图像与所述模板波形图像之间的差异信息，确定损失函数；
24.模型参数调整模块，用于基于所述损失函数对所述波形去噪模型的参数进行调整。
25.根据本技术实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述波形图像的处理方法，或者上述波形去噪模型的训练方法。
26.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述波形图像的处理方法，或者上述波形去噪模型的训练方法。
27.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述波形图像的处理方法，或者上述波形去噪模型的训练方法。
28.本技术实施例提供的技术方案至少包括如下有益效果：
29.通过对原始的带噪波形图像进行峰值点噪声的去噪处理，生成包含去噪波形曲线的去噪波形图像，能够有效去除原始的带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的一些噪声信息，因此，对该去噪波形图像进行波形特征提取，相比于直接对原始的带噪波形图像进行波形特征提取，能够提高波形特征提取的准确性和有效性。
附图说明
30.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本技术一个实施例提供的方案实施环境的示意图；
32.图2是本技术一个实施例提供的波形图像的处理方法的流程图；
33.图3是本技术一个实施例提供的带噪波形图像的示意图；
34.图4是本技术一个实施例提供的带噪波形图像和去噪波形图像的对比图；
35.图5是本技术一个实施例提供的波形去噪模型的架构图；
36.图6是本技术一个实施例提供的下采样单元的结构示意图；
37.图7是本技术一个实施例提供的波形去噪模型的训练方法的流程图；
38.图8是本技术一个实施例提供的样本波形图像、模板波形图像和预测波形图像的示意图；
39.图9至图11示例性示出了基于不同平滑参数生成的模板波形图像的示意图；
40.图12是本技术一个实施例提供的模型训练过程的示意图；
41.图13是本技术一个实施例提供的波形图像的处理装置的框图；
42.图14是本技术一个实施例提供的波形去噪模型的训练装置的框图；
43.图15是本技术一个实施例提供的计算机设备的结构示意图。
具体实施方式
44.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
45.人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
46.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
47.计算机视觉技术(computer vision，cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(3dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
48.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、
逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
49.本技术实施例提供的技术方案，涉及人工智能的机器学习和计算机视觉等技术，具体通过如下实施例进行介绍说明。
50.请参考图1，其示出了本技术一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型训练设备10和图像处理设备20。
51.模型训练设备10是用于训练波形去噪模型的电子设备，该模型训练设备10可以是诸如pc(personal computer，个人计算机)、服务器等电子设备。模型训练设备10训练得到的波形去噪模型可以部署在图像处理设备20中使用。
52.图像处理设备20是用于对带噪波形图像进行处理的电子设备，该图像处理设备20可以是诸如手机、平板电脑、智能机器人、服务器等电子设备。图像处理设备20可以通过波形去噪模型对带噪波形图像进行去噪处理，生成去噪波形图像，进而基于该去噪波形图像提取波形特征信息。
53.本技术实施例提供的技术方案，可以应用于任何有需求对波形图像进行分析处理的实际应用场景中。
54.在一个示例中，以帕金森运动功能障碍ai评估产品为例，通过拍摄患者的手部视频，采用计算机视觉算法检测得到患者的拇指指尖关节点位和食指指尖关节点位，并获取上述两个关节点位之间的距离值，逐帧获取上述距离值，得到距离值随时间变化的波形曲线。由于视觉算法的检测误差以及患者的不自主抖动，上述波形曲线中通常带有大量噪声，包括在波峰处的震荡抖动以及在波谷的停顿，造成在波峰和波谷处的峰值点不够明确，一个波峰或波谷位置处存在大量峰值点的情况，从而对峰值点检测造成影响。采用本技术实施例提供的技术方案，通过波形去噪模型对上述带噪波形图像进行去噪处理生成去噪波形图像，能够有效去除原始的带噪波形图像中的一些噪声信息，因此，对该去噪波形图像进行波形特征提取，相比于直接对原始的带噪波形图像进行波形特征提取，能够提高波形特征提取的准确性和有效性。在该产品中，提取的波形特征信息可用于评估患者的病症等级。
55.在另一个示例中，以步数统计产品为例，通过运动传感器(如加速度传感器、角速度传感器等)采集运动数据，记录该运动数据随时间变化的波形曲线。由于人体行走时的抖动以及传感器的监测误差等原因，上述波形曲线中通常带有大量噪声。采用本技术实施例提供的技术方案，通过波形去噪模型对上述带噪波形图像进行去噪处理生成去噪波形图像，然后基于该去噪波形图像进行波形特征提取。在该产品中，提取的波形特征信息可用于统计用户的行走步数。
56.在另一个示例中，以脊柱侧弯识别产品为例，通过获取用户的步态信息，如频率、幅度等信息，记录该步态信息随时间变化的波形曲线。由于人体行走时的抖动以及步态信息采用误差等原因，上述波形曲线中通常带有大量噪声。采用本技术实施例提供的技术方案，通过波形去噪模型对上述带噪波形图像进行去噪处理生成去噪波形图像，然后基于该去噪波形图像进行波形特征提取。在该产品中，提取的波形特征信息可用于辅助分析用户
的脊柱侧弯情况。
57.当然，上文介绍的几个示例性应用场景，仅是为了便于理解本技术技术方案而介绍的一些典型的应用场景，本技术技术方案还可应用于其他有需求对波形图像进行分析处理的实际应用场景中，本技术实施例对此不作限定。
58.请参考图2，其示出了本技术一个实施例提供的波形图像的处理方法的流程图。该方法可以包括如下几个步骤(210～230)：
59.步骤210，获取原始的带噪波形图像，该带噪波形图像中包括目标参数随时间变化所形成的带噪波形曲线。
60.在本技术实施例中，带噪波形图像(或曲线)是指目标参数存在一些不规则变化的波形图像(或曲线)，在波形曲线上的表现则可以是在波峰或者波谷的位置处存在震荡抖动或者停顿等现象，造成在波峰和波谷处的峰值点不够明确，一个波峰或波谷位置处存在大量峰值点的情况。在本技术实施例中，峰值点是指在波峰位置处的最大值或者在波谷位置处的最小值，该峰值点也可称为极值点。另外，在不同的应用场景中，上述目标参数所代表的含义会有所不同，例如，在上文介绍的帕金森运动功能障碍ai评估产品中，目标参数则可以是两个关节点位之间的距离值。
61.例如，图3示例性示出了一张带噪波形图像30的示意图。图3中各个小黑点31是人工标注的有效峰值点位，可见在该波形的峰值点附近有大量极大值点，属于干扰噪声，对峰值点检测造成影响。
62.步骤220，对带噪波形图像的峰值点噪声进行去噪处理，得到包含去噪波形曲线的去噪波形图像。
63.在本技术实施例中，峰值点噪声包括带噪波形曲线中对峰值点检测具有干扰作用的线条部分，例如这些具有干扰作用的线条部分可以是因不规则抖动所产生的线条部分。例如，如图3所示，峰值点噪声包括位于波形的峰值点附近的大量极大值点，这些都属于干扰噪声，对峰值点检测造成影响。
64.在示例性实施例中，采用机器学习的方式，训练生成波形去噪模型。以带噪波形图像作为波形去噪模型的输入，由该模型对带噪波形图像进行去噪处理，输出去噪波形图像。
65.在本技术实施例中，去噪波形图像(或曲线)是指去除或减少峰值点噪声后得到的波形图像(或曲线)。例如，去噪波形图像(或曲线)中去除或减少了目标参数的上述不规则位移所产生的抖动。去噪波形图像与带噪波形图像相比，在波形曲线上的表现则可以是在波峰或者波谷的位置处的震荡抖动或者停顿等现象去除或减轻，在波峰和波谷处的峰值点更加明确，一个波峰或波谷位置处通常只存在一个峰值点的情况。
66.例如，如图4所示，将带噪波形图像41输入至波形去噪模型40进行处理，输出去噪波形图像42。对比带噪波形图像41和去噪波形图像42可以发现，去噪波形图像42的波形曲线更加平滑自然，且在波峰和波谷处的峰值点更加明确。
67.波形去噪模型可以是基于神经网络(如卷积神经网络)构建的机器学习模型，有关波形去噪模型的训练方法可参见下文实施例中的介绍说明。波形去噪模型可以包括下采样部分和上采样部分。通过波形去噪模型的下采样部分对带噪波形图像进行下采样处理，生成下采样后图像；然后，通过波形去噪模型的上采样部分对下采样后图像进行上采样处理，生成去噪波形图像。
68.可选地，为了使得输出的去噪波形图像能够保留更多原始信号特征，在上采样处理的过程中，融合下采样处理的过程中生成的中间图像和上采样处理的过程中生成的中间图像作为上采样处理的输入图像。
69.在示例性实施例中，如图5所示，波形去噪模型包括n个级联的下采样模块和n个级联的上采样模块；其中，每个下采样模块包括级联的第一下采样单元和第二下采样单元，每个上采样模块包括级联的第一上采样单元和第二上采样单元；且，第n个下采样模块的输出端与第n个上采样模块的输入端相连，n为正整数。可以理解，波形去噪模型中各个模块的连接关系依次为：第1个下采样模块、第2个下采样模块、
…
、第n个下采样模块、第n个上采样模块、第n
‑
1个上采样模块、
…
、第1个上采样模块。通过波形去噪模型对带噪波形图像进行去噪处理，生成去噪波形图像的过程可以包括如下步骤：
70.1、将带噪波形图像输入至n个下采样模块中的第1个下采样模块；
71.也即，第1个下采样模块的输入图像是带噪波形图像，第1个下采样模块的输出图像则作为第2个下采样模块的输入图像，第2个下采样模块的输出图像则作为第3个下采样模块的输入图像，以此类推。
72.2、对于n个下采样模块中的第i个下采样模块，通过第i个下采样模块中的第一下采样单元对输入图像进行下采样处理，得到第i个下采样模块的第一下采样输出图像，i为小于等于n的正整数；
73.3、通过第i个下采样模块中的第二下采样单元对输入图像进行下采样处理，得到第i个下采样模块的第二下采样输出图像；其中，第i个下采样模块中的第二下采样单元的输入图像，是基于第i个下采样模块的第一下采样输出图像得到的；
74.可选地，可以直接将第i个下采样模块的第一下采样输出图像，作为第i个下采样模块中的第二下采样单元的输入图像。
75.如图5所示，输入至波形去噪模型的带噪波形图像是一张图像，经过若干个下采样模块的下采样处理之后，生成的下采样后图像可以包括多张特征图像，然后该下采样后图像经过若干个上采样模块的上采样处理之后，生成一张去噪波形图像。
76.4、对于n个上采样模块中的第i个上采样模块，通过第i个上采样模块中的第一上采样单元对输入图像进行上采样处理，得到第i个上采样模块的第一上采样输出图像；
77.其中，第n个下采样模块的输出图像即为上述下采样后图像，该下采样后图像可以作为第n个上采样模块(中的第一上采样单元)的输入图像。
78.5、通过第i个上采样模块中的第二上采样单元对输入图像进行上采样处理，得到第i个上采样模块的第二上采样输出图像；其中，第i个上采样模块中的第二上采样单元的输入图像，是基于第i个上采样模块的第一上采样输出图像和第i个下采样模块的第一下采样输出图像得到的；
79.可选地，可以将第i个上采样模块的第一上采样输出图像和第i个下采样模块的第一下采样输出图像进行拼接，生成第i个上采样模块中的第二上采样单元的输入图像。
80.6、基于n个上采样模块中的第1个上采样模块的输出图像，生成去噪波形图像。
81.可选地，通过一个卷积层对第1个上采样模块的输出图像进行卷积处理，生成去噪波形图像。可选地，在上述卷积处理的过程中，可以将第1个上采样模块的输出图像和原始的带噪波形图像进行拼接，得到拼接图像，然后通过一个卷积层对该拼接图像进行卷积处
理，生成去噪波形图像。通过这种方式，可以使得输出的去噪波形图像能够保留更多原始信号特征。
82.在本技术实施例中，波形去噪模型的主体结构可以采用reswaveunet网络结构，reswaveunet网络结构是waveunet网络结构的改进版本。其中，waveunet是应用于语音信号处理领域的深度模型之一，总体结构采用了下采样和上采样两部分，输入为1维信号，输出为长度相等的1维信号，信号经过上采样与下采样，从而逼近目标信号的分布。本技术中的输入信号是波形图像，同样是1维信号，与语音信号相似。因此，本技术借鉴了waveunet的网络结构，依据波形的特点，改造了其中的下采样核心模块，同时增加了模型深度和宽度。
83.针对waveunet的下采样单元，借鉴resnet网络设计思想，增加了conv(convolution，卷积层)分支，使一部分信号只经过两个conv单元，另一部分信号经过一个conv单元，从而保留更多原始信号特征。改进后的下采样单元，应用于主模型结构中。如图6所示，其示出了一种改进后的下采样单元的示意图，下采样单元包括2路conv(convolution，卷积层)分支，一路包括两个conv单元，另一路包括一个conv单元。另外，每个conv单元可以包括级联的1维卷积层、批归一化层(如batchnorm层)和激活函数层(如relu激活函数层)。图5所示模型架构中的任一下采样单元(包括第一下采样单元和第二下采样单元)，均可采用图6所示的结构设计。
84.另外，waveunet模型的深度为6个下采样 6个上采样组成，输入输出保持了相同的维度。鉴于深度模型的深度和宽度影响特征提取的效果，深度越深，宽度越宽，特征提取效果一般越好。因此，在示例性实施例中，可以增加2个下采样和上采样模块，同时，中间层信号特征增加到16层。实验效果表明，深度与宽度增加后，模型效果有所提升。
85.需要说明的是，在本技术实施例中，主要以采用波形去噪模型对峰值点噪声进行去噪处理为例进行了介绍说明，这种方式通过直接将带噪波形图像输入至模型，可以由模型直接输出去噪波形图像，实现了端到端的波形去噪处理，实现更为简单高效。在一些其他实施例中，也可以采用非机器学习的方式实现波形去噪处理，例如，可以采用图像处理的方式，从带噪波形图像的带噪波形曲线中采样获取若干个采样点，然后生成一条拟合上述各个采样点的曲线作为去噪波形曲线。其中，采样点的采样间隔可以在综合考虑去噪效果和曲线还原度等因素的前提下进行灵活设计，本技术实施例对此不作限定。另外，曲线拟合的方法包括但不限于插值法、磨光法、最小二乘法等，本技术实施例对此也不作限定。
86.步骤230，基于去噪波形图像提取波形特征信息，该波形特征信息用于指示去噪波形曲线的特征。
87.波形特征信息的提取可以基于计算机视觉技术中的图像识别相关技术，也可以基于其他图像处理或分析技术，本技术实施例对此不作限定。
88.可选地，对去噪波形图像进行峰值检测，得到去噪波形曲线的峰值特征信息。其中，波形曲线的峰值特征信息包括该波形曲线的极大值和/或极小值，极大值即是指波峰位置的目标参数的取值，极小值即是指波谷位置处的目标参数的取值。
89.可选地，对去噪波形图像进行频率检测，得到去噪波形曲线的频率特征信息。由于波形曲线通常呈周期性的变化规律，因此可以提取波形曲线的频率特征信息进行分析，该频率特征信息包含了波形曲线在单位之间内的周期性变化次数。
90.在示例性实施例中，在波形图像中包括运动障碍病人的关节运动参数随时间变化
所形成的波形曲线的情况下，基于波形特征信息，确定关节运动参数的峰值变化规律和/或频率变化规律；基于该峰值变化规律和/或频率变化规律，确定运动障碍病人的病症分级。
91.例如，让运动障碍病人做拇指和食指捏合、分离、捏合、分离
…
的动作，通过拍摄运动障碍病人的手部视频，采用计算机视觉算法检测得到病人的拇指指尖关节点位和食指指尖关节点位，并获取上述两个关节点位之间的距离值，逐帧获取上述距离值，得到距离值随时间变化的波形曲线。通过波形去噪模型对上述带噪波形图像进行去噪处理生成去噪波形图像，然后从该去噪波形图像中提取峰值特征信息，然后统计得到峰值变化规律和/或频率变化规律。如果上述距离值的极大值和极小值在相当一段时间内，能够保持较为稳定的状态，那么可以认为该运动障碍病人的病症较轻；如果上述距离值的极大值和极小值仅在一小段时间内能够保持较为稳定的状态，且在大部分时间内出现不稳定的状态，那么可以认为该运动障碍病人的病症较重。
92.综上所述，本技术实施例提供的技术方案，通过对原始的带噪波形图像进行峰值点噪声的去噪处理，生成包含去噪波形曲线的去噪波形图像，能够有效去除原始的带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的一些噪声信息，因此，对该去噪波形图像进行波形特征提取，相比于直接对原始的带噪波形图像进行波形特征提取，能够提高波形特征提取的准确性和有效性。
93.另外，采用波形去噪模型对峰值点噪声进行去噪处理，这种方式通过直接将带噪波形图像输入至模型，可以由模型直接输出去噪波形图像，实现了端到端的波形去噪处理，实现更为简单高效。
94.另外，在波形去噪模型的结构设计中，通过在上采样处理的过程中，融合下采样处理的过程中生成的中间图像和上采样处理的过程中生成的中间图像作为上采样处理的输入图像，能够使得输出的去噪波形图像能够保留更多原始信号特征，从而进一步提升基于去噪波形图像提取的波形特征的准确性和有效性。
95.请参考图7，其示出了本技术一个实施例提供的波形去噪模型的训练方法的流程图。该方法可以包括如下几个步骤(710～750)：
96.步骤710，获取样本波形图像，该样本波形图像是带噪的波形图像。
97.样本波形图像是实际采集得到波形图像，其通常包含噪声信息，是一张带噪的波形图像。例如，如图8所示，图8中的(a)部分则为一张带噪的样本波形图像。
98.步骤720，生成样本波形图像对应的模板波形图像。
99.在本技术实施例中，基于样本波形图像及其对应的模板波形图像来训练波形去噪模型，将样本波形图像作为模型输入，模板波形图像作为模型输出的参考图像，使得模型学习到从样本波形图像到模板波形图像的变换特征，最终使模型能够仅根据原始的带噪波形图像生成平滑的去噪波形图像。
100.在本技术实施例中，采用概率密度估计算法，基于样本波形图像中人工标注的峰值点，生成模板波形图像。模板波形图像可以如图8中的(b)部分所示。模板波形图像中的波形曲线更加平滑，且在波峰和波谷处的峰值点更加明确。
101.在本技术实施例中，需要基于样本波形图像生成模板波形图像，通过模型训练过程引导其学习波形生成方法。因此，在训练模型之前需要选取合适的方法生成模板波形图像。通过对运动波形数据的分析可知，运动波形具有多个峰值，并不显式地服从某个已知分
布，或者说不容易用某种分布来进行拟合。这种情况下参数密度估计变得不好使，需要使用非参数密度估计方法，每个样本的观测值都被视为参数，常用的估计连续随机变量概率密度函数的非参数方法有核平滑(kernel smoothing)或kde(kernel density estimation，核密度估计)。
102.kde有一个重要参数，平滑参数(smoothing parameter)，有时也叫带宽(bandwidth)。因为每次都是基于多个样本来估计一个新的样本的概率，因此带宽指的是根据多少样本来预测新样本的概率，也可以简单理解成滑窗大小。带宽太大，可能因为损失太多细节而导致粗粒度估计；带宽太小又可能会因为有太多细节使得不够平滑，因此不能足够泛化到其他新的样本。基于已有的运动数据生成概率密度估计函数，需要选取合适的带宽值，使模版波形粒度适中，既获得平滑波形，同时保留运动波形的重要信息，如峰值位置，带宽值的选取可参见下文介绍说明。
103.本技术采用了基于概率密度估计的方法生成模板波形图像。概率密度估计算法根据样本波形图像中人工标注的波形峰值点(即标注峰值点)，生成更加平滑的模板波形图像。在示例性实施例中，通过如下步骤生成模板波形图像：
104.1、获取样本波形图像中各个峰值点距离的统计值，峰值点距离是指两个相邻的标注峰值点之间的距离；
105.2、基于统计值，确定概率密度估计算法的平滑参数；
106.3、采用概率密度估计算法按照平滑参数对样本波形图像进行处理，生成模板波形图像。
107.如上文介绍，概率密度估计算法需要一个合适的平滑参数(即带宽)。如图9～11所示，根据四个不同大小的平滑参数(即0.015、0.025、0.035和0.045)，生成四个不同波形密度的模板波形图像，可见模版波形图像的波形密度与原始的样本波形图像的峰值点密度相关。原始的样本波形图像的峰值点密度即为峰值点距离，因此，本技术计算了原始的样本波形图像的峰值点距离的统计值(如平均值或方差等)。由图9～11可知，当峰值点距离的平均值小于40时，平滑参数选0.025合适，当峰值点距离的平均值大于等于40且小于等于70时，平滑参数选0.035合适，当峰值点距离的平均值大于70时，平滑参数选0.045合适。
108.也即，
[0109][0110]
其中，mean表示峰值点距离的平均值。
[0111]
需要说明的是，上文提供的确定平滑参数的方式仅是示例性和解释性的，除了基于峰值点距离的平均值确定平滑参数之外，还可以基于峰值点距离的方差或者其他统计值来确定平滑参数，且平滑参数的取值可以经过实验进行选取，本技术实施例对此不作限定。
[0112]
步骤730，通过波形去噪模型对样本波形图像的峰值点噪声进行去噪处理，生成预测波形图像。
[0113]
峰值点噪声包括波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分，例如，峰值点噪声包括位于波形的峰值点附近因不规则抖动产生的大量极大
值点。
[0114]
预测波形图像是由波形去噪模型对样本波形图像的峰值点噪声进行去噪处理后，输出的波形图像。如图8所示，图8中的(c)部分则为通过波形去噪模型对(a)部分的样本波形图像进行去噪处理，生成的预测波形图像。
[0115]
步骤740，基于预测波形图像与模板波形图像之间的差异信息，确定损失函数。
[0116]
步骤750，基于损失函数对波形去噪模型的参数进行调整。
[0117]
模型训练过程(或者说模型参数的调优过程)是一个引导学习过程，将样本波形图像作为模型输入，模板波形图像作为模型输出的参考图像，通过波形去噪模型中的各层对输入的样本波形图像进行特征提取和非线性转化，得到的输出(即预测波形图像)与模板波形图像进行对比，计算误差，基于误差调整模型参数，通过迭代训练过程，使模型输出结果与模板波形图像的误差最小，保留此时的模型参数。最终实现对新输入的带噪波形图像，直接输入模型中计算，即可得到去噪波形图像的目标。
[0118]
模型训练过程可以如图12所示，将带噪声的样本波形图像输入至波形去噪模型，由模型输出预测波形图像，通过基于预测波形图像与模板波形图像之间的差异信息确定损失函数，然后基于损失函数对波形去噪模型的参数进行调整，经过多轮迭代训练，不断优化模型参数，最终得到完成训练的波形去噪模型。
[0119]
在示例性实施例中，通过如下方式计算损失函数：
[0120]
1、获取预测波形图像中各个曲线位置点的坐标；
[0121]
2、获取模板波形图像中各个曲线位置点的坐标；
[0122]
3、基于预测波形图像中各个曲线位置点的坐标和模板波形图像中各个曲线位置点的坐标之间的差异，确定损失函数。
[0123]
例如，计算同一时间戳的曲线位置点在预测波形图像的波形曲线中的坐标与在模板波形图像的波形曲线中的坐标之间的距离，基于各个曲线位置点的距离计算损失函数。通过调整模型参数，使得该损失函数最小化，即得到完成训练的波形去噪模型。
[0124]
在实际应用中，可以选择一部分样本波形图像作为模型训练的训练样本，并选择另一部分样本波形图像作为模型验证与测试的测试样本。例如，样本波形图像总共200例，其中120例用于模型训练，剩余80例用于模型验证与测试。对于这所有200例样本波形图像，可以人工标注其波形曲线的峰值点(如峰值点)。
[0125]
在示例性实施例中，通过如下方式对波形去噪模型的效果进行评估：
[0126]
1、获取预测波形图像中的各个预测峰值点的坐标；
[0127]
2、获取样本波形图像中的各个标注峰值点的坐标；
[0128]
3、基于各个预测峰值点的坐标和各个标注峰值点的坐标之间的差异，确定波形去噪模型的效果评价指标。
[0129]
假设效果评价指标以参数l表示，该参数l的计算公式可以如下：
[0130][0131]
其中，x
p_ij
表示第i个样本的第j个预测峰值点的坐标，x
l_ij
表示第i个样本的第j个标注峰值点的坐标，m表示峰值点的总数，j为小于等于m的正整数，m为正整数，n表示样本的
总数，i为小于等于n的正整数，n为正整数。从上述公式可以看出，参数l即为n个样本的所有峰值点距离之差的和，该参数l的值越大表示预测峰值点与标注峰值点相差越大，模型效果越差，反之，该参数l的值越小表示预测峰值点与标注峰值点相差越小，模型效果越好。
[0132]
综上所述，本技术实施例提供的技术方案，通过设计基于神经网络的时序信号模型(即上文介绍的波形去噪模型)，基于样本波形图像及其对应的模板波形图像来训练波形去噪模型，将样本波形图像作为模型输入，模板波形图像作为模型输出的参考图像，使得模型学习到从样本波形图像到模板波形图像的变换特征，最终使模型能够仅根据原始的带噪波形图像生成平滑的去噪波形图像，模型采用了端到端的结构，能够自动生成波形，去除噪声。
[0133]
另外，通过采用概率密度估计算法对样本波形图像进行处理，生成模板波形图像，能有效去除峰值点之外的波形噪声，对原始波形幅度和频率大小不敏感。
[0134]
下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
[0135]
请参考图13，其示出了本技术一个实施例提供的波形图像的处理装置的框图。该装置具有实现上述波形图像的处理方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置1300可以包括：原始图像获取模块1310、波形去噪处理模块1320和波形特征提取模块1330。
[0136]
原始图像获取模块1310，用于获取原始的带噪波形图像，所述带噪波形图像中包括目标参数随时间变化所形成的带噪波形曲线。
[0137]
波形去噪处理模块1320，用于对所述带噪波形图像的峰值点噪声进行去噪处理，得到包含去噪波形曲线的去噪波形图像；其中，所述峰值点噪声包括所述带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分。
[0138]
波形特征提取模块1330，用于基于所述去噪波形图像提取波形特征信息，所述波形特征信息用于指示所述去噪波形曲线的特征。
[0139]
在示例性实施例中，所述峰值点噪声采用波形去噪模型进行去除，所述波形去噪模型包括下采样部分和上采样部分。
[0140]
所述波形去噪处理模块1320，用于：
[0141]
通过所述波形去噪模型的下采样部分对所述带噪波形图像进行下采样处理，生成下采样后图像；
[0142]
通过所述波形去噪模型的上采样部分对所述下采样后图像进行上采样处理，生成所述去噪波形图像；
[0143]
其中，在所述上采样处理的过程中，融合所述下采样处理的过程中生成的中间图像和所述上采样处理的过程中生成的中间图像作为所述上采样处理的输入图像。
[0144]
在示例性实施例中，所述波形去噪模型包括n个级联的下采样模块和n个级联的上采样模块；其中，每个下采样模块包括级联的第一下采样单元和第二下采样单元，每个上采样模块包括级联的第一上采样单元和第二上采样单元；且，第n个下采样模块的输出端与第n个上采样模块的输入端相连，所述n为正整数；
[0145]
所述波形去噪处理模块1320，用于：
[0146]
将所述带噪波形图像输入至所述n个下采样模块中的第1个下采样模块；
[0147]
对于所述n个下采样模块中的第i个下采样模块，通过所述第i个下采样模块中的第一下采样单元对输入图像进行下采样处理，得到所述第i个下采样模块的第一下采样输出图像，所述i为小于等于所述n的正整数；
[0148]
通过所述第i个下采样模块中的第二下采样单元对输入图像进行下采样处理，得到所述第i个下采样模块的第二下采样输出图像；其中，所述第i个下采样模块中的第二下采样单元的输入图像，是基于所述第i个下采样模块的第一下采样输出图像得到的；
[0149]
对于所述n个上采样模块中的第i个上采样模块，通过所述第i个上采样模块中的第一上采样单元对输入图像进行上采样处理，得到所述第i个上采样模块的第一上采样输出图像；
[0150]
通过所述第i个上采样模块中的第二上采样单元对输入图像进行上采样处理，得到所述第i个上采样模块的第二上采样输出图像；其中，所述第i个上采样模块中的第二上采样单元的输入图像，是基于所述第i个上采样模块的第一上采样输出图像和所述第i个下采样模块的第一下采样输出图像得到的；
[0151]
基于所述n个上采样模块中的第1个上采样模块的输出图像，生成所述去噪波形图像。
[0152]
在示例性实施例中，所述波形去噪模型的训练过程如下：
[0153]
获取样本波形图像，所述样本波形图像是带噪的波形图像；
[0154]
生成所述样本波形图像对应的模板波形图像；
[0155]
通过所述波形去噪模型对所述样本波形图像的峰值点噪声进行去噪处理，生成预测波形图像；
[0156]
基于所述预测波形图像与所述模板波形图像之间的差异信息，确定损失函数；
[0157]
基于所述损失函数对所述波形去噪模型的参数进行调整。
[0158]
可选地，所述生成所述样本波形图像对应的模板波形图像，包括：
[0159]
获取所述样本波形图像中各个峰值点距离的统计值，所述峰值点距离是指两个相邻的标注峰值点之间的距离；
[0160]
基于所述统计值，确定概率密度估计算法的平滑参数；
[0161]
采用所述概率密度估计算法按照所述平滑参数对所述样本波形图像进行处理，生成所述模板波形图像。
[0162]
可选地，所述基于所述预测波形图像与所述模板波形图像之间的差异信息，确定损失函数，包括：
[0163]
获取所述预测波形图像中各个位置点的坐标；
[0164]
获取所述模板波形图像中各个位置点的坐标；
[0165]
基于所述预测波形图像中各个位置点的坐标和所述模板波形图像中各个位置点的坐标之间的差异，确定所述损失函数。
[0166]
在示例性实施例中，所述波形特征提取模块1330，用于：
[0167]
对所述去噪波形图像进行峰值检测，得到所述波形曲线的峰值特征信息；
[0168]
和/或，
[0169]
对所述去噪波形图像进行频率检测，得到所述波形曲线的频率特征信息。
[0170]
在示例性实施例中，所述装置1300还包括：病症分级确定模块(图中未示出)，用于
在所述波形图像中包括运动障碍病人的关节运动参数随时间变化所形成的波形曲线的情况下，基于所述波形特征信息，确定所述关节运动参数的峰值变化规律和/或频率变化规律；基于所述峰值变化规律和/或所述频率变化规律，确定所述运动障碍病人的病症分级。
[0171]
综上所述，本技术实施例提供的技术方案，通过对原始的带噪波形图像进行峰值点噪声的去噪处理，生成包含去噪波形曲线的去噪波形图像，能够有效去除原始的带噪波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的一些噪声信息，因此，对该去噪波形图像进行波形特征提取，相比于直接对原始的带噪波形图像进行波形特征提取，能够提高波形特征提取的准确性和有效性。
[0172]
请参考图14，其示出了本技术一个实施例提供的波形去噪模型的训练装置的框图。该装置具有实现上述波形去噪模型的训练方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置1400可以包括：样本图像获取模块1410、模板图像生成模块1420、预测图像生成模块1430、损失函数确定模块1440和模型参数调整模块1450。
[0173]
样本图像获取模块1410，用于获取样本波形图像，所述样本波形图像是带噪的波形图像，所述波形图像中包括目标参数随时间变化所形成的波形曲线。
[0174]
模板图像生成模块1420，用于生成所述样本波形图像对应的模板波形图像。
[0175]
预测图像生成模块1430，用于通过波形去噪模型对所述样本波形图像的峰值点噪声进行去噪处理，生成预测波形图像；其中，所述峰值点噪声包括所述波形曲线中因不规则抖动所产生的对峰值点检测具有干扰作用的线条部分。
[0176]
损失函数确定模块1440，用于基于所述预测波形图像与所述模板波形图像之间的差异信息，确定损失函数。
[0177]
模型参数调整模块1450，用于基于所述损失函数对所述波形去噪模型的参数进行调整。
[0178]
在示例性实施例中，所述模板图像生成模块1420，用于：
[0179]
获取所述样本波形图像中各个峰值点距离的统计值，所述峰值点距离是指两个相邻的标注峰值点之间的距离；
[0180]
基于所述统计值，确定概率密度估计算法的平滑参数；
[0181]
采用所述概率密度估计算法按照所述平滑参数对所述样本波形图像进行处理，生成所述模板波形图像。
[0182]
在示例性实施例中，所述损失函数确定模块1440，用于：
[0183]
获取所述预测波形图像中各个曲线位置点的坐标；
[0184]
获取所述模板波形图像中各个曲线位置点的坐标；
[0185]
基于所述预测波形图像中各个曲线位置点的坐标和所述模板波形图像中各个曲线位置点的坐标之间的差异，确定所述损失函数。
[0186]
在示例性实施例中，所述装置1400还包括：模型效果评估模块(图中未示出)，用于获取所述预测波形图像中的各个预测峰值点的坐标；获取所述样本波形图像中的各个标注峰值点的坐标；基于所述各个预测峰值点的坐标和所述各个标注峰值点的坐标之间的差异，确定所述波形去噪模型的效果评价指标。
[0187]
综上所述，本技术实施例提供的技术方案，通过设计基于神经网络的时序信号模
型(即上文介绍的波形去噪模型)，基于样本波形图像及其对应的模板波形图像来训练波形去噪模型，将样本波形图像作为模型输入，模板波形图像作为模型输出的参考图像，使得模型学习到从样本波形图像到模板波形图像的变换特征，最终使模型能够仅根据原始的带噪波形图像生成平滑的去噪波形图像，模型采用了端到端的结构，能够自动生成波形，去除噪声。
[0188]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0189]
请参考图15，其示出了本技术一个实施例提供的计算机设备的结构示意图。该计算机设备可以是任何具备数据计算、处理和存储功能的电子设备，如pc(personal computer，个人计算机)或服务器。该计算机设备用于实施上述实施例中提供的波形图像的处理方法或波形去噪模型的训练方法。具体来讲：
[0190]
该计算机设备1500包括处理单元(如cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)和fpga(field programmable gate array，现场可编程逻辑门阵列)等)1501、包括ram(random
‑
access memory，随机存储器)1502和rom(read
‑
only memory，只读存储器)1503的系统存储器1504，以及连接系统存储器1504和中央处理单元1501的系统总线1505。该计算机设备1500还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统(input output system，i/o系统)1506，和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
[0191]
该基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中，该显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。该基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
[0192]
该大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。该大容量存储设备1507及其相关联的计算机可读介质为计算机设备1500提供非易失性存储。也就是说，该大容量存储设备1507可以包括诸如硬盘或者cd
‑
rom(compact disc read
‑
only memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
[0193]
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(erasable programmable read
‑
only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，cd
‑
rom、dvd(digital video disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人
员可知该计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。
[0194]
根据本技术实施例，该计算机设备1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1500可以通过连接在该系统总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机系统(未示出)。
[0195]
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述波形图像的处理方法或波形去噪模型的训练方法。
[0196]
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述实施例提供的波形图像的处理方法或波形去噪模型的训练方法。
[0197]
可选地，该计算机可读存储介质可以包括：rom(read
‑
only memory，只读存储器)、ram(random
‑
access memory，随机存储器)、ssd(solid state drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括reram(resistance random access memory，电阻式随机存取记忆体)和dram(dynamic random access memory，动态随机存取存储器)。
[0198]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述波形图像的处理方法或波形去噪模型的训练方法。
[0199]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本技术实施例对此不作限定。
[0200]
以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。