一种基于云计算与信号处理的超声图像处理方法及设备与流程

1.本发明涉及超声图像数据处理领域，尤其涉及一种基于云计算与信号处理的超声图像处理方法及设备。


背景技术：

2.传统台式超声设备，通常由超声前端、主控机、gpu处理卡、显示器、键盘、整机支撑结构等元素构成，由于其硬件计算资源丰富，所以支持较多高端检查模式，同时成像效果也是非常清晰，劣势是功耗高、体积大，过于笨重，只能在固定场景使用，近几年流行的新型便携式超声，例如笔记本超声或者无线掌上超声，由于体积的限制，它们对硬件资源进行了优化，降低了功耗，做到体积小巧且方便移动，但劣势也显而易见，有限的硬件资源导致成像质量相对较差，而且不支持高端检查模式。
3.随着超声前端技术的发展，诸如平面波复合成像、全聚焦成像、合成孔径成像、傅立叶成像等高阶成像技术被发明出来，但这些高阶成像技术较传统成像模式，具备更高的横向分辨率，但它们对计算能力要求非常高，通常在具备足够硬件资源的大型台式超声里才能实现，而现有更轻巧灵活的便携式超声设备，由于其有限的硬件算力资源，无法集成这些高端成像模式。
4.现有技术已经有在便携式超声设备的基础上，通过部署云服务器与本地终端来进行协同交互式高阶成像，即云超声技术。然而现有的云超声技术，其成像过程是在超声设备上完成的，由超声设备将超声图像数据上传至云服务器进行二次图像处理，此时云端接收到的超声图像数据是经过波束成型处理、以及对波束成型后的波束信号进行动态范围压缩所形成的超声图像数据，已经失去了超声原始信号数据的幅度和相位信息，仅依靠图像去识别病灶，能够得到的病灶信息非常有限，会影响最终的诊断结果。
5.例如申请号为2021102662092的中国专利公开了一种：基于云计算的超声图像处理方法和超声系统，其通过在云端网络可用时，将超声收发终端的扫描接收到的超声图像数据通过网络传输至云端，云端对超声图像数据进行二次图像处理，再反馈给显示交互终端中进行显示，在云端网络不可用时，利用显示交互终端对超声收发终端的扫描接收到的超声图像数据进行本地处理，其所提供的云超声技术中，云端、显示交互终端均是所接收的是超声图像数据，也存在失去了超声原始信号数据的动态范围和相位信息，仅从图像能够得到的病灶信息非常有限的缺陷。


技术实现要素：

6.本发明的目的在于克服现有云超声技术所存在的云端仅能接收超声设备已经成像的超声图像数据、无法获取到高动态范围和包含相位信息的原始超声信号数据、云端能够识别的病灶信息有限的缺陷，提供一种基于云计算与信号处理的超声图像处理方法及设备，本发明所提供的超声图像处理方法能够将超声设备采集到的原始超声信号数据直接上传至云服务器，由云端利用其高处理性能直接对超声信号数据进行处理，计算出准确的病
灶数据。
7.生成准确的超声图像数据。
8.为了实现上述发明目的，本发明提供了以下技术方案：
9.一种基于云计算与信号处理的超声图像处理方法，该方法应用于终端设备，所述终端设备与超声设备、云服务器通讯连接，所述方法包括：
10.响应用户的第一超声检测指令(需要使用云服务的指令)，向云服务器发出链接请求；当云服务器响应于所述链接请求时，生成第一控制指令，控制超声设备采集超声信号数据，对采集到的超声信号数据进行预处理，并将预处理后的超声信号数据传输至云服务器；
11.以及，接收云服务器根据所述超声信号数据反馈的第一数据，并显示。
12.具体的，本技术中终端设备与超声设备、云服务器(即云端)，终端设备与云服务器之间均能够进行相应的数据交互，通讯方式包括但不限于type-c、万兆光纤或wifi等。其中，终端设备与超声设备通常为本地设备，终端设备能够响应于用户的指令参数生成对超声设备的多种控制指令，超声设备基于终端设备的控制执行信号采集、信号预处理以及信号传输等操作。而云服务器作为具有高算力的应用虚拟化软件平台，能够同时响应多个终端设备的链接请求，与多个终端设备、超声设备形成多个超声网络。当云服务器响应于某个终端设备的链接请求时，则会接收到的来自超声设备的超声信号数据，其中，超声设备向所述云服务器传输的超声信号数据为原始信号数据，其中包括：通道信号数据，进而由云服务器根据所述超声信号数据进行高阶数据处理，生成第一数据反馈至终端。
13.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述方法还包括：
14.当云服务器无法响应于所述链接请求时，生成第二控制指令，控制超声设备将预处理后的超声信号数据传输终端设备；
15.以及，对接收到的超声信号数据进行筛选，得到筛选后的部分超声信号数据，进而向云服务器发出传输请求，将所述部分超声信号数据传输至云服务器；
16.以及，接收所述云服务器根据所述部分超声信号数据反馈的第二数据，并显示。
17.实际上，在具体应用时，由于超声网络中所需传输的超声信号数据的数据量较大，因而存在网络状态不佳、无法支持超声信号数据的传输的情况。当云服务器与终端设备和/或云服务器与超声设备之间的网络不佳时，云服务器是无法响应终端设备的链接请求的，进而向终端设备发出无法响应该链接请求的反馈。进一步的，在具体应用时，当云服务器同时链接于多个终端设备、提供计算服务时，也可能存在负载超阈值(负载量超过云端的算力阈值)、无法提供快速计算服务的情况，此时云服务器也会因为负载超负荷而无法响应终端设备的链接请求，进而向终端设备发出无法响应该链接请求的反馈。而在云服务器无法响应该链接请求时，终端设备则会控制超声设备将预处理后的超声信号数据直接传输到终端设备进行缓存、信号处理等。此时，终端设备则可以对接收到的超声信号数据进行一些筛选，通过减少数据量缓解网络传输压力和/或云端的计算压力，进而在云服务器响应于传输请求时，将超声信号数据选择性传输至云服务器，轻量化云服务器的数据处理。
18.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述方法还包括：
19.响应用户的第二超声检测指令，生成第三控制指令，控制超声设备采集超声信号
数据，对采集到的超声信号数据进行波束成型处理，并将成型后的波束信号数据传输至终端设备；
20.以及，接收所述成型后的波束信号数据，根据所述成型后的波束信号数据生成基础超声图像数据，并显示。
21.在具体应用时，若用户不需要云端的计算服务，则可以由终端设备根据超声设备传输的波束成型后的波束信号数据完成基础成像等信号处理。
22.在本发明进一步的实施例中，还提供一种基于云计算与信号处理的超声图像处理方法，该方法应用于超声设备，所述超声设备与终端设备、云服务器通讯连接，所述方法包括：
23.响应于终端设备的第一控制指令，采集超声信号数据，并对所述超声信号数据进行预处理，以及，将预处理后的超声信号数据传输至云服务器。
24.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述方法还包括：响应于终端设备的第二控制指令，采集超声信号数据，并对所述超声信号数据进行预处理，以及，将预处理后的超声信号数据传输至终端设备；
25.以及，响应于终端设备的第三控制指令，控制超声设备采集超声信号数据，对采集到的超声信号数据进行波束成型处理，并将成型后的波束信号数据传输至终端设备。
26.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述预处理包括：对采集到的超声信号数据进行纵向深度固定处理，并对纵向深度固定后的超声信号数据进行抽取滤波。
27.具体的，上述预处理操作针对的是超声信号数据中的通道信号数据，通过对通道信号数据进行预处理，使其适配于常用商用互联传输接口的带宽限制。
28.在本发明进一步的实施例中，还提供一种基于云计算与信号处理的超声图像处理方法，该方法应用于云服务器，所述云服务器与超声设备、终端设备通讯连接，所述方法包括：
29.响应终端设备的链接请求，接收超声设备传输的超声信号数据，根据所述超声信号数据生成第一数据，并将所述第一数据传输至终端设备。
30.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述方法还包括：
31.响应终端设备的传输请求，接收终端设备传输的部分超声信号数据，根据所述部分超声信号数据生成第二数据，并将所述第二数据传输至终端设备。
32.具体的，云服务器能够为来自超声设备的超声信号数据提供多种高阶数据处理服务，同时为来自终端设备的部分超声信号数据提供多种轻量化的数据处理服务；而云服务器所能够提供的数据处理计算服务，由配置在其中的应用虚拟化软件算法决定，可根据实际计算需要进行配置。
33.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，所述根据所述部分超声信号数据生成第二数据，包括：
34.通过预先训练的第二深度学习模型对所述部分超声信号数据进行特征估计，生成所述第二数据。
35.根据一种具体的实施方式，上述基于云计算与信号处理的超声图像处理方法中，
所述根据所述超声信号数据生成第一数据，包括：
36.采用高阶成像技术根据所述超声信号数据生成高阶超声图像，并利用预先训练的第一深度学习模型对所述高阶超声图像进行图像特征提取，以及，将提取到的特征叠加至所述高阶超声图像，生成所述第一数据；
37.所述高阶成像技术为平面波复合成像、全聚焦复合成像、合成孔径成像、傅立叶成像中的一种。
38.优选的，将云服务器所提供的高阶数据处理服务配置为：高阶成像、图像特征提取与特征叠加，将云服务器所提供的轻量化数据处理服务配置为：人体参数估计。
39.在本发明进一步的实施例中还提供一种电子设备，所述电子设备包括：
40.一个或多个处理器；
41.存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述应用于终端设备的超声图像处理方法，或者，实现上述应用于云服务器的超声图像处理方法。
42.在本发明进一步的实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述应用于终端设备的超声图像处理方法，或者，现上述应用于云服务器的超声图像处理方法。
43.在本发明进一步的实施例中，还提供一种超声设备，所述超声设备用于响应于终端设备的第一控制指令，采集超声信号数据，并对所述超声信号数据进行预处理，以及，将预处理后的超声信号数据传输至云服务器。
44.根据一种具体的实施方式，上述超声设备中，所述超声设备包括：通道信号压缩模块，
45.所述通道信号压缩模块用于对超声探头采集到的超声信号数据进行纵向深度固定处理，并对纵向深度固定后的超声信号数据进行抽取滤波。
46.根据一种具体的实施方式，上述超声设备中，所述超声设备被进一步配置为：响应于终端设备的第二控制指令，采集超声信号数据，并对所述超声信号数据进行预处理，以及，将预处理后的超声信号数据传输至终端设备；
47.以及，响应于终端设备的第三控制指令，控制超声设备采集超声信号数据，对采集到的超声信号数据进行波束成型处理，并将成型后的波束信号数据传输至终端设备。
48.与现有技术相比，本发明的有益效果：
49.1、本发明所提供的超声图像处理方法能够在云服务器响应链接请求时，通过数据预处理将超声设备采集到的原始超声信号数据直接上传至云服务器，由此，云服务器能够接收到包含原始动态范围的信号数据、获取其中的相位信息，完成更全面、准确的超声信号数据处理，得到精确的病灶数据；
50.2、本发明所提供的超声图像处理方法利用云服务器具有丰富计算资源、不受硬件资源限制的特性，由云服务器承担超声设备和终端设备设备的成像任务，在实现高阶精确数据处理的基础上，轻量化超声设备与终端设备的硬件资源；本发明所提供的云服务器集成有高阶成像计算技术、基于人工智能的图像特征处理技术、大数据存储功能，可以与多个超声设备和终端设备设备进行组网，同时响应他们的数据请求，进行高阶成像，均衡整个超声网络的算力负载。
51.3、本发明所提供的超声设备能够对超声原始信号数据进行预处理和压缩，让其数据量缩小，符合常用商用互联传输接口的带宽限制，满足数据传输速率的要求。
附图说明
52.图1为本发明实施例所述的多个超声网络架构示意图；
53.图2a为本发明实施例所述的超声网络数据传输原理框图；
54.图2b为本发明实施例所述的超声网络中各个设备的原理架构框图；
55.图3为本发明示例性实施例的超声设备的模拟前端；
56.图4为本发明示例性实施例的超声设备的基础波束合成示意图；
57.图5为本发明示例性实施例的超声设备的通道采集示意图；
58.图6为本发明示例性实施例的超声设备的iq解调示意图；
59.图7为本发明示例性实施例的超声设备的抽取滤波示意图；
60.图8为本发明示例性实施例的超声设备的发射波束类型示意图；
61.图9为本发明示例性实施例的终端设备的基础成像流程框图；
62.图10为本发明示例性实施例的平面波复合聚焦技术原理图；
63.图11为本发明示例性实施例的平面波复合成像示意图；
64.图12为本发明示例性实施例的全聚焦复合技术原理图；
65.图13为本发明示例性实施例的深度学习处理流程图；
66.图14为本发明示例性实施例的超声基带信号数据格式示意图；
67.图15为本发明示例性实施例的终端设备向超声设备传输的命令帧格式示意图；
68.图16为本发明示例性实施例的波束信号数据格式示意图；
69.图17为本发明示例性实施例的通道信号数据格式示意图；
70.图18为本发明示例性实施例的图像数据格式示意图；
71.图19本发明示例性实施例的传统聚焦波束合成的成像示意图；
72.图20本发明示例性实施例的基于云的平面波复合的成像示意图。
具体实施方式
73.下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
74.实施例1
75.图1示出了本发明示例性实施例的超声网络架构示意图，云服务器与多个超声设备、终端设备形成多个超声网络。进一步的，如图2a、图2b所示，超声设备分别通过第一网络与所述云服务器进行数据交互、通过第二网络与终端设备进行数据交互，终端设备通过第三网络与云服务器进行数据交互；
76.其中，超声设备为便携式超声波扫描控制设备。终端设备为手机、平板电脑、笔记本电脑、台式电脑等商用智能设备。超声云(云服务器)为部署在云服务器上超声应用服务程序。第一网络～第三网络均为无线或有线通信网络，包含但不限于type-c、万兆光纤、wifi网络等。超声设备的功能包含但不限于超声波发射与接收、基础信号处理、信号压缩、
有线或无线通信等功能。终端设备的功能包含但不限于用户交互、图像显示、控制超声设备、基础超声数据处理、有线或无线通信等功能。超声云的功能包括但不限于超声信号处理、高阶成像、深度学习、数据存储、软件交互、有线或无线通信等功能。其中，第一网络传输的数据包括：超声信号数据，即包含：通道信号数据的原始信号数据；第二网络传输的数据包括：超声设备控制命令、超声信号数据(包含：原始信号数据、波束成型后的波束信号数据)等。第三网络传输的数据包括：超声信号数据(包含：原始信号数据、波束成型后的波束信号数据)、图像数据等。
77.具体的，在实际处理时，用户可以向终端设备发出第一超声检测指令(需要云服务)或者第二超声检测指令(不需要云服务)，其中，用户发出的检测指令中还包括：用户设置的扫描模式。若用户发出第一超声检测指令，终端设备会响应第一超声检测指令，向云服务器发出链接请求，在云服务器能够响应所述链接请求时，生成第一控制指令，超声设备接收到第一控制指令后，开启超声扫描，实时接收超声回波信号数据，经过一定的信号预处理后，将处理后的超声信号数据通过第一网络传输至云服务器，超声云收到超声信号数据后，经过一系列处理，形成包括高质量的超声图像等的第一数据，通过第三网络回传至终端设备设备进行显示，此为云超声模式；而在云服务器由于网络状态或者负载超过阈值无法响应所述链接请求时，终端设备则会向超声设备发出第二控制指令，超声设备会根据第二控制指令将超声信号数据传输至终端设备，再由终端设备根据数据需求筛选部分超声信号数据传输至超声云，超声云处理后则会返回包含特征参数的第二数据。若用户发出第二超声检测指令，则为基础成像模式，终端设备会生成对超声设备的第三控制指令，控制超声设备采集超声信号数据，对超声信号数据进行波束成型处理，并将成型后的波束信号数据传输至终端设备，终端设备完成基础成像。
78.具体的，本发明所提供的超声设备包含的模块与功能具体包括：
79.1、换能器
80.换能器为声波—电压转换装置，在发射状态下，能将发射激励电压转换为相应频率的超声波向外辐射，在接收状态下，将声波的振动转换为电压变化传递至后级处理电路。
81.2、模拟前端
82.如图3所示，模拟前端包含发射部分和接收部分的模拟电路，发射部分是将发射信息转化为高压脉冲激励信号，接收部分则是将回波电压信号，通过放大滤波调理后，经模数转换器(adc)转化为数字信号进行输出。
83.①
.发射电路支持连续式电压激励，即通过数模转换器(dac)将数字发射信号转换为连续的模拟激励电压进行发射，使得发射的超声波信号具有更干净的频率成分。
84.②
.发射电路支持高压激励的电压范围为-100v至 100v线性可调。
85.③
.接收电路的低噪增益放大器(lna)支持增益为 12db至 30db分段可调，步进增益为6db。
86.④
.接收电路的可变增益放大器(vga)支持增益为-12db至 42db线性可调。
87.⑤
.接收电路的抗混叠滤波器(aaf)为高通滤波器，其-6db截止频率范围为2khz～2mhz，分段可调，步进为5khz。
88.⑥
.接收电路的adc分辨率为12bit、14bit、16bit可选，采样速率为40mhz～100mhz可选。
89.3.波束合成
90.超声设备所具备的波束合成能力，为最基础的波束合成技术，即延迟累加(das)，在超声云未被开启时，超声设备与终端设备设备可以组成一个传统超声成像，由超声设备进行如图4所示基础的波束合成，终端设备设备进行成像处理并显示。
91.假设在t时刻，n个接收通道输入数据x1(t)、x2(t)
…
xn(t)，在延迟累加计算后，每个通道会计算出一个对应延迟τ(t)，所有通道将各自数据延迟对应的τ(t)后，再全部累加起来，就形成1个波束合成后的数据s(t)。
[0092][0093]
其中channels代表接收通道数。
[0094]
其中τ(t)的计算，是由波束合成方式来确定，超声设备1可以根据实际的硬件资源配置选择集成哪些波束合成技术。
[0095]
4.通道采集
[0096]
如图5所示，通道采集，是将所有原始通道数据直接采集到内部的数据缓存器内，为后续原始通道数据上传做准备。
[0097]
5.iq解调
[0098]
无论是波束形成后信号s(t)还是原始通道信号ch(t)，均为采样率fs、中心频率fc、带宽为b的带通信号，需要经过下变频、滤波后形成中心频率为0、带宽为b的基带信号(或称解析信号)，方便后续处理。如图6所示，输入信号x(t)，经过混频、低通滤波后，形成实部信号i(t)与虚部信号q(t)，这2种信号合起来成为基带信号，基带信号中心频率为0，带宽为b。
[0099][0100]
通过基带信号可以快速得到原始信号x(t)的瞬时幅度和相位：
[0101][0102][0103]
6.抽取滤波
[0104]
经过iq解调后，如果m＝fs/b，且m为正整数，则可以采用如图7所示的抽取滤波的方式来降低采样率，从而降低数据量。对输入信号采样率fs的信号进行m倍抽取滤波，要对输入信号先进行低通滤波，滤波器截止频率设置为fs/2/m，滤波后进入抽取器，每m个数据保留1个，这样数据量就降低了m倍。
[0105][0106][0107]
7.发射控制
[0108]
发射部分，如图8所示，发射波束类型支持聚焦波、平面波、球面波等，波形支持普通脉冲波和编码激励波等。
[0109]
①
.聚焦波：所以阵元发射的声波，同时到达焦点f，在焦点f附近的区域形成能量聚焦，形成漏斗状的声场。
[0110]
②
.平面波：所有阵元以此延迟发射声波，使得声波的波前为一个平面，波前平面与水平方向可以有一个夹角。
[0111]
③
.球面波：所有阵元发射的声波使得波前成为一个凸面，形成一个扇形声场。
[0112]
8.通信控制
[0113]
通信控制部分，负责桥接包括type-c、光纤、wifi等在内的外部通信接口，接收它们传来的数据包，转换为设备内部统一的控制协议，或者将内部数据打包，发给外部通信接口。
[0114]
9.通信外设
[0115]
通信外设为常见的商用互联传输接口，包括但不限于type-c、万兆光纤、wifi等有线或无线通信协议。
[0116]
具体的，本发明所提供的终端设备设备包含的模块与功能具体包括：
[0117]
1.通信外设：通信外设为常见的商用互联传输接口，包括但不限于type-c、万兆光纤、wifi等有线或无线通信接口。
[0118]
2.通信驱动
[0119]
通信驱动层包含如下的软件功能：
[0120]
①
.各通信外设对应的windows、linux、android、ios等驱动程序。
[0121]
②
.访问超声设备1的自定义寄存器的组包、解包程序。
[0122]
③
.接收超声设备1回传数据包的解包程序。
[0123]
④
.与超声云3进行交互数据包的组包、解包程序。
[0124]
⑤
.通信异常响应程序。
[0125]
3.扫描控制
[0126]
扫描控制部分，是用来接收上层命令，控制超声设备1进行扫描，包含如下软件功能：
[0127]
①
.支持普通线阵探头、普通凸阵探头、相控阵探头、微凸探头、腔内探头等探头的b、c、d、m等模式扫描控制。
[0128]
②
.根据不同的扫描模式和设置，计算超声设备1各扫描线的发射/接收几何信息，形成扫描表数据，下载给超声设备1。
[0129]
③
.接收和识别超声设备1回传的信号数据，传递至更上层去做成像后处理。
[0130]
4.基础成像
[0131]
基础成像处理部分，如图9所示，包含基本的超声信号后处理、图像处理等，最终可以形成显示的图像。超声信号开始成像前，要进行数字增益补偿，将信号调整到合适的幅度范围，如果是b模式成像，则进行信号包络检测、对数压缩、图像增强等处理，形成可现实的灰度图像，如果是其它多普勒模式(c、d、m等)则对信号进行血管壁滤波、频谱检测、多普勒参数估计等处理，得出类似血流流速、能量方差等参数信息，叠加在b模式图像数据上。
[0132]
5.用户界面
[0133]
用户界面是超声系统与用户交互的图形界面，包含以下功能：
[0134]
①
.用户管理：登录窗口、本地病例数据库等。
[0135]
②
.扫查设置：不同模式的选择，不同扫查部位的选择，个性化图像处理参数的选择，激活/冻结设备开关等。
[0136]
③
.成像显示：实时显示本地基础成像数据，或者接收超声云3回传的图像数据进行显示。具体的，本发明所提供的超声云包含的模块与功能具体包括：
[0137]
1.通信外设
[0138]
通信外设为云服务器常见的商用互联传输接口，包括但不限于万兆光纤、wifi等有线或无线通信协议。
[0139]
2.通信驱动
[0140]
通信驱动层包含如下的软件功能：
[0141]
①
.各通信外设对应的windows、linux等驱动程序。
[0142]
②
.与终端设备设备2交互数据包的组包、解包程序。
[0143]
③
.接收超声设备1回传数据包的解包程序。
[0144]
④
.通信异常响应程序。
[0145]
3.高阶成像
[0146]
高阶成像技术，包含但不限于平面波复合成像、全聚焦复合成像等高端成像技术，这些技术都需要较高的计算能力和较大的存储能力。
[0147]
①
.平面波复合成像
[0148]
图10描述了在平面坐标系xoz上，利用平面波复合法来合成焦点f(x,z)，我们用n个不同角度的平面波进行合成，即发射n次不同角度的子平面波(虚线)，每一次接收都对(x,z)点做普通的延迟累加波束合成，则可以得到n个(x,z)点对应的子回波信号数据：w(1,x,z)、w(2,x,z)
…
w(n,x,z)，然后把n个子回波信号数据累加起来，即得到复合后的回波信号数据f(x,z)。
[0149][0150]
图11展示了如何利用平面波复合技术进行完整成像，顺序发射n个不同角度的平面波，把每一次发射所接收的回波数据进行波束成像，形成一张子图，进行存储，依次形成n张子图w(1)、w(2)
…
w(n)，最后再把n张子图进行叠加，形成最终合成的一张成像图，合成后的图，横向、纵向分辨率相对于子图有了显著的提升，合成图的图像质量取决于子图的角度数量n。
[0151]
其算法复杂度高的原因是，每一次发射平面波形成子回波数据，都需要直接进行波束合成形成一张图，假设图像分辨率为r*c，在传统聚焦波束合成算法下，只需要进行r次波束合成形成一条接收线，但在平面波每一次子回波数据情况下，需要进行r*c次波束合成，形成一张图，而且还需要把r*c个子图数据存储下来，当所有n次r*c子图数据全部得出后，则进行n次累加，最终得到一副r*c的回波图像。
[0152]
图12描述了在平面坐标系xoz上，利用全聚焦复合法来合成焦点f(x,z)，全聚焦技术是发射聚焦波形，形成一个凸形或凹型的波前，f(x,z)附近的发射事件所发射的声波能量都会穿过(x,z)点，利用这些邻近发射事件对(x,z)能量形成的回波，可以提升(x,z)点波束合成能量的snr。
[0153]
利用n个(x,z)点邻近发射事件来进行复合，每一次发射事件都对(x,z)的点做延
迟累加波束合成，则可以得到n个(x,z)点对应的子回波信号数据：w(1,x,z)、w(2,x,z)
…
w(n,x,z)，然后把n个子回波信号数据经过加权累加，即得到复合后的回波信号数据f(x,z)。
[0154][0155]
其中q(t)为加权函数，其目的是离f(x,z)越远的发射事件，让其回波能量贡献力变得越低，反之则越高。其算法复杂度和存储能力要求和平面波复合类似，但计算难度更大，因为聚焦波产生的弧形波前，半径随着时间在不断变化，波束合成时延迟计算需要更复杂的几何计算方式。
[0156]
4.深度学习
[0157]
深度学习模块中配置有至少两种深度学习模型，第一深度学习模型为图像特征提取模型，是利用已经训练好的ai网络参数，对输入的原始图像进行深度学习处理，最终输出具备特诊参数的图像。
[0158]
深度学习模块具备的网络类型包含但不限于unet、yolo、transunet等。
[0159]
如图13所示，深度学习模块共有5个步骤：
[0160]
⑴
.开机初始化过程中，系统会从数据里加载ai参数到深度学习网络中。
[0161]
⑵
.超声设备开始扫描后，原始图像会输入到深度学习模块的图像缓存里。
[0162]
③
.从图像缓存里取出原始图像，进入深度学习网络进行处理。
[0163]
④
.深度学习网络处理完后，输出原始图像的特诊参数，将这些参数转化为可视化表达方式。
[0164]
⑤
.将转换后的可视化特诊参数与原始图像进行叠加，输出具备特诊的图像。
[0165]
第二深度学习模型，则是进行参数估计的模型，在超声网络状态不佳或者超声云算法负载过重的情况下，可以选择由终端设备进行成像，而将少部分信号数据上传至超声云，做人体参数估计的高阶处理，再将结果反馈至中断设备进行显示。例如：在彩色多普勒血流成像的模式下，扫描方式为b、c模式混合，回传的信号数据包含b模式成像信号数据和c模式多普勒信号数据，其中b模式的成像信号数据可以由终端设备直接成像，而数据量较少的c模式多普勒信号数据可以上传至云超声。云超声利用超高的算力，在计算出血流的流速、方向等信息后，利用ai算法，将云数据库中各类血液病灶信号数据去匹配当前输入的多普勒信号数据，自动标注出血液病灶的位置，然后将得到的血流参数、病灶位置等信息一并回传至终端设备。
[0166]
5.交互接口
[0167]
超声云3是在云服务器上部署的超声应用服务程序，允许第三方软件访问，利用超声云3进行数据处理，或者导出超声云3内部数据库的数据。交互接口软件会设置不同的访问权限，进行用户分类登陆管理。
[0168]
具体的，本发明所提供的超声网络中的第一网络、第二网络、第三网络及网络中传输数据的格式，包括：
[0169]
1.通信协议：通信外设包含但不限于usb3.0/3.1、pci express3.0/4.0、mfi认证协议、网络(tcp/ip)、wifi6等有线或无线通信协议，其传输速度至少大于等于500mb/s。
[0170]
2.通信内容:
[0171]
①
.终端设备设备2会向超声设备1发送命令帧，用于控制超声设备1的扫查。
[0172]
②
.超声设备1会向终端设备设备2或超声云3传输信号数据，分为波束信号数据帧和通道信号数据帧。
[0173]
③
.超声云3会向终端设备设备2回传图像数据帧。
[0174]
3.超声信号格式
[0175]
超声设备1会向终端设备设备2或超声云3传输超声信号数据，其中一种信号数据为波束形成后的数据，称为波束信号数据，另一种为原始通道信号数据，称为通道信号数据。最终传输的信号数据，均为经过iq解调、抽取滤波后的基带信号数据i(t)和q(t)。如图14，对于所有的信号数据，我们定义i(t)与q(t)各2字节，一个超声信号数据bb(t)包含i(t)与q(t)共4字节，其中i(t)在低2字节，q(t)在高2字节。
[0176]
4.通信数据格式
[0177]
①
.命令帧
[0178]
终端设备设备2会向超声设备1传输控制命令，控制超声设备1的启动和停止，并设置相应的超声扫描参数，通过命令帧的格式，其格式如图15所示：命令帧由帧头、帧信息、命令数据构成，其中帧头与帧信息各8个字节，命令数据为4至16368字节可变。命令帧帧头为识别命令帧的唯一辨识符号，帧信息包含命令数据长度、寄存器地址、控制等信息。命令数据包含寄存器设置数据、扫描表数据等控制超声扫描的数据。
[0179]
②
.波束信号数据帧
[0180]
每次超声扫描的所得的m路通道回波数据，每路数据量为n，经过波束合成后形成1路数据，再经过iq解调、抽取滤波，形成1路基带信号bb(t)，其中1≤t≤n，传输格式如图16所示：波束信号数据帧由帧头、帧信息、信号数据构成，其中帧头与帧信息各8个字节，信号数据为4至n*4字节可变。波束信号数据帧帧头为识别波束信号数据帧的唯一辨识符号，帧信息包含信号数据长度、扫描事件号、扫描模式、图像帧线数等信息。波束信号数据帧的数据为n个bb(t)，其中1≤t≤n，按照上面对bb(t)的定义，每个bb(t)占4字节，包含i(t)与q(t)。
[0181]
③
.通道信号数据帧
[0182]
每次超声扫描的所得的m路通道回波数据，每路数据量为n，每一个通道的数据均经过iq解调、抽取滤波形成m路基带数据bb(t)，其中1≤t≤n，其格式如图17所示：通道信号数据帧由帧头、帧信息、信号数据构成，其中帧头与帧信息各8个字节，信号数据为4至m*n*4字节可变。通道信号数据帧帧头为识别通道信号数据帧的唯一辨识符号，帧信息包含信号数据长度、扫描事件号、通道数、扫描模式、图像帧线数等信息。帧数据把先排列第1路通道的数据ch1_bb(t)，再排列第2路通道的数据ch2_bb(t)，直到第m路通道的数据chm_bb(t)。
[0183]
④
.图像数据帧
[0184]
超声云3完成高质量成像后，会像终端设备设备2回传图像数据帧，其格式如图18所示：图像数据帧由帧头、帧信息、信号数据构成，其中帧头与帧信息各8个字节，信号数据为1至131072字节可变。图像数据帧帧头为识别图像数据帧的唯一辨识符号，帧信息包含图像数据长度、图像帧号、图像分辨率、扫描模式等信息。帧数据为图像像素数据，每个像素点占1个字节，数据长度和分辨率有关系。
[0185]
实施例2
[0186]
在本发明进一步的实施例中，还提供一种基于压缩技术的原始通道信号数据传输
技术，超声设备通过该传输技术，能够适配于现有通信设备将原始通道数据快速上传至至云服务器。
[0187]
首先，可以利用实际数据计算下传输原始数据需要的通信速率；
[0188]
通道数(channels)32采样率(fs)50mhz采样点数(samples)16384(约25cm)脉冲重复频率(prf)3000次/秒
[0189]
其中脉冲重复频率(prf)定义为1秒内发射/接收超声波的次数，通常原始通道rf数据可以用2字节来表示，那么传输原始通道数据所需要的最低速度为：
[0190]
speed_rf＝2
×
samples
×
channeis
×
prf
[0191]
下表例出了常用的商用互联传输协议的最大速率：
[0192][0193]
上述例举的传输协议，只是理论最大速度，实际上还需要考虑协议开销、信道质量、软件延迟等因素，可能设计速度达不到理论速度的80％，所用这些常见的商用互联传输协议，是不可能完成通道数据的传输的。为了解决这个问题，就需要对原始通道rf数据进行压缩，本发明采用了固定深度数据量 抽取滤波的方法对数据进行压缩处理。
[0194]
①
.固定深度数据量。
[0195]
我们发现，超声成像在纵方向的数据量虽然随着采样深度的加深而增加，例如上述例子中25cm即达到了16384个采样点，但实际的图像纵向分辨率却没有高到需要那么多像素点来表示，经过实践探索，我们发现无论扫描多深，只需要512个纵方向像素，即可保留原始数据的纵向分辨率，所以完全可以把每个通道数据减少到512个点。
[0196]
②
.抽取滤波
[0197]
将信号减少到512，需要利用抽取滤波技术。从信号处理的角度，我们知道，对信号抽取m倍，则信号的频谱要扩展m倍，如果信号带宽大于fs/m，就会导致抽取后的信号频谱发射混叠。所以需要在抽取前做滤波，对基带信号则是做低通滤波，滤波器截止频率设置为fs/m/2，滤掉可能导致混叠的部分，但这样做的前提是，要保留的原始信号带宽就必须小于fs/m，否则一些有效信号就会被滤掉，导致图像细节部分丢失。
[0198]
所以要评估下采样率fs、信号带宽b和扫描深度d的关系。
[0199]
名称采样率fs信号有效带宽b最大观测深度d线阵50mhz8mhz5cm凸阵50mhz1.5mhz25cm相控阵50mhz2mhz15cm
[0200]
对于线阵，我们计算得到4.7cm左右的采样点为3072，则抽取率m为3072/512＝6，
那么抽取后能保留的带宽为50mhz/m＝8.333mhz，大于8mhz，满足保留带宽b的条件。
[0201]
对于线阵，我们计算得到25.23cm左右的采样点为16384，则抽取率m为16384/512＝32，那么抽取后能保留的带宽为50mhz/m＝1.5625mhz，大于1.5mhz，满足保留带宽b的条件。
[0202]
对于相控阵，我们计算得到15.76cm左右的采样点为10240，则抽取率m为10240/512＝20，那么抽取后能保留的带宽为50mhz/m＝2.5mhz，大于2mhz，满足保留带宽b的条件。
[0203]
上述计算，证实了固定深度数量 抽取滤波是可以减少有效数据量并且保留信号有效带宽的。接着以上述16384个采样点为例，经过抽取滤波后，2字节rf信号变为了4个字节的解析信号，分别是2字节i(t)与2字节q(t)，抽取率m＝16384/512＝32倍，在数据抽取后，数据量得到大幅度下降。
[0204]
那么再计算下抽取滤波后所需要通道信号传输速率：
[0205]
speed_baseband＝4
×
decimated_samples
×
channels
×
prf
[0206]
可以看到，传输原始通道rf数据信号需要3.145gb/s的传输带宽，而传输抽取滤波后的通道基带信号数据只需要98.3mb/s的传输带宽，整整减少了32倍，后者可以匹配任意商用传输协议的传输带宽，因此，采用本发明所提供固定深度数据量 抽取滤波的方法对数据进行压缩处理能够适配于现有传输技术实现超声通道数据的传输。
[0207]
实施例3
[0208]
传统便携式超声，通常采用fpga器件作为波束合成工具，下表展示了一款常用于传统便携式超声的fpga器件xc7k325t所具备的存储资源：
[0209]
名称容量blockram1.73mb
[0210]
让我们来计算下平面波复合成像所需要的计算和存储资源：定义图像分辨率为512*256，合成波的角度数量n为25，每个基带信号占4字节，我们讲过，平面波合成，需要存储n张子成像图，合成1张图，所以需要的存储能力为：
[0211]
s＝4*512*256*25
[0212]
这个存储容量远远大于fpga器件所能存储的容量，所以传统超声波只能做传统聚焦波束合成，而12.5mb的容量对云计算服务器而言则是非常小的存储容量需求，所以可以利用这款fpga作为通道数据采集，将通道数据传输至云服务器上做平面波复合成像，达到算力转移的目的。
[0213]
图19示出了传统聚焦波束合成成像示意图，图20基于云的平面波复合成像示意图，从图19～20可以看出由于传统聚焦合成所成图像，靶点在3cm处就开始发散，横向分辨率随着深度增加下降得非常快，而基于云计算的平面波复合成像(25个角度)即便在6cm处的靶点依旧非常清晰，聚焦效果比起1cm处靶点几乎一致，证明横向分辨率没有随着深度的增益出现明显的下降，其成像效果远不及基于云的平面波复合成像技术。
[0214]
同时，基于深度学习的图像特征提取技术的性能，也依赖于硬件算力资源配置、存储能力以及用于训练的目标数量，下面对比传统掌上超声的平板电脑与云服务做深度学习的性能差异：
[0215][0216][0217]
可以看出，使用同样的ai网络，平板电脑由于其有限的存储能力和计算能力，只能勉强承受195张图训练出来的20mb大小的ai参数，而且需要耗费20ms才能处理完一张实时的图像。而具备强大计算能力和存储能力的云服务器，即便训练595张图得出60mb的ai参数，在实时深度学习处理中，也仅用1ms就处理完一张实时图像，其性能是远远由于传统掌上超声设备所配置的平板电脑的。
[0218]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。