用于生成训练图像的系统和方法与流程

shot medical image segmentation”，2019年)指出，尽管基于cnn的图像分割方法通常具有很高的准确性，但基于cnn的图像分割方法依赖于大型标记数据集的监督训练，即标记医学图像需要大量的专业知识和时间，但是，用于数据增强的典型手动调整方法无法捕捉到此类图像中的复杂变化。他们提出了一种用于合成标记医学图像的自动数据增强方法，并在磁共振成像(mri)脑部扫描的一次性生物医学图像分割任务中演示了该方法。这种一次性分割任务将标记的参考体积和未标记的体积作为输入，并输出应用于未标记体积的相同标记(或分割)。该方法需要单分段扫描，并以半监督方式利用其他未标记的扫描。从图像中学习转换模型，并将该模型与标记示例一起使用，以合成其他标记示例。每个变换都包括空间变形场和强度变化，从而能够合成复杂的效果，例如解剖和图像采集过程的变化。该方法演示了对于一次性生物医学分割，相比于比最先进的方法，在合成示例上训练监督分割模型在体积mri数据上提供了显著改进。但是，该方法没有解决或合成运动模糊(仅合成主体之间的解剖和外观差异，并且仅使用一般空间模糊来平滑合成图像)。该方法也不涉及在x射线通过感兴趣的身体部位的投影中观察到的光流类型(使用完整的体积数据)。
9.参照医学图像中的运动模糊，身体部位的特征和组成会发生变化，并且图像中相应的模糊外观也会随之变化。运动模糊也难以准确标注，且因此包括大量的不确定性。然而，在为训练集选择的图像中，运动模糊的特征是预先确定的或者已知的具有很少模糊或没有模糊存在；并且，在合成数据集中应用的运动模糊量是已知的，没有不确定性。
10.另一个问题是：一旦训练完成，模型就会保持不变并适应训练数据集的属性。例如，以恒定速度应用的合成运动模糊训练的模型可能只能检测以恒定速度发生的模糊。
11.现有的合成数据生成方法包括：在整个图像采集过程中，以恒定速度模拟相机运动。这种类型的合成模糊不适用于医学图像，医学图像中模糊的主要来源是被成像的身体部位的运动，并且图像采集时间可能比普通相机的图像采集时间长得多。
12.本发明解决了这些问题。它提供了一种生成训练数据的系统和方法，其中训练数据的属性更真实，运动速度并不统一。
13.本发明的另一个优点是运动模糊的速度不一定是恒定的。例如，运动模糊模型可以包括运动模糊中加速和减速的表现。


技术实现要素：

14.根据本发明的第一方面，提供一种训练机器学习模型的方法，以通过改变/修改模糊卷积核来识别采集的医学图像中的身体部位的运动，该模糊卷积核由朝向运动方向的像素构成；该方法包括：确定与采集医学图像期间身体部位移动时的运动时间段相对应的至少一个运动权重因子，并使用该运动权重因子来改变/修改模糊卷积核。
15.由于运动身体部位的真实图像的像素在身体部位静止时不变，而在身体部位移动时变化，因此可以教导机器学习模型来识别这些变化。由于变化取决于运动、线性、波浪等，因此可以相应地修改图像像素，以最有效地模拟由于运动引起的变化。可以模拟由于身体部位和/或身体部位中感兴趣区域的移动而引起的变化。采集的医学图像可以基于穿过身体部位的x射线。
16.优选地，模拟图像用于训练机器学习模型以识别真实医学图像中的身体部位运动。训练机器学习模型的方法可以包括：将真实清晰图像与被定向为运动方向的卷积核进
行卷积运算，以生成模拟运动模糊训练图像和相应的模拟地面实况运动矢量场。清晰图像可以是机器学习模型的训练图像，伴随相应的无运动编码的地面实况矢量场。机器学习模型可以从模拟图像以及模拟地面实况运动矢量场中学习，以便训练机器学习模型识别真实医学图像中的真实运动。
17.训练图像可以是医学图像，例如身体部位的医学图像。身体部位可以是乳房、肺、肝脏或其他身体器官或其他身体部位。
18.医学图像的特定特征被建模。例如，运动方向上的运动模糊可以作为定向为运动方向的模糊线区域可见。运动模糊可以通过将清晰的图像与定向为运动方向的运动模糊卷积核进行卷积运算来模拟。因此，医学图像的特征与成像过程中身体部位的运动和由此产生的图像运动模糊有关。通过这种方式，生成具有真实属性的模拟训练数据，机器学习系统学习识别真实的运动模糊。
19.可以将时间权重添加到像素或者与卷积核中的每个相应像素相关联的内核值，以模拟身体部位运动；其中身体部位在图像采集期间的一部分时间运动。训练机器学习模型的方法可以包括：与运动时间段成正比地缩放运动权重因子。例如，如果运动时间段较短，则真实图像的变化会相应地较小，因此，机器学习模型在学习识别运动时会考虑到这一点。
20.因此，训练机器学习模型的方法可以包括：与采集医学图像的成像时间段成反比地缩放运动权重因子。当运动时间段是整个图像采集时间段的相对较小部分时，模型可以学会识别像素的相对较小的变化，这些变化可能表明这种情况下的运动。类似地，运动权重因子可以与运动距离成反比地缩放，运动距离是身体部位在运动时间段期间移动的距离。
21.训练机器学习模型的方法可以包括：与像素行中每个像素的长度的成像分辨率测量值成正比地缩放运动权重因子。优选地，运动模糊卷积核像素被定向为线。与粗糙的分辨率相比，精细的成像分辨率将具有相应较小的值。因此，当成像分别率相对较好时，机器学习模型可以被训练以识别像素中甚至相对较小的变化，或者与像素相关联的内核值可能指示运动。
22.一个或多个身体部位的运动可以被建模为在成像过程中部分静止和部分运动。这导致加权运动模糊矢量场包括图像的每个相应部分的不同的卷积内核值。
23.训练机器学习模型的方法，可以包括：确定与采集医学图像期间当身体部位静止时的第一静态时间段相对应的第一静态权重因子，并使用第一静态权重改变模糊卷积核。也可以有第二、第三、第四等静态时间段。因此，有利地，机器学习模型可以学习识别步进运动。此处使用的术语“步进运动”是指：身体部位在图像采集时间的部分时间运动，而在图像采集时间的剩余时间内保持静止。这是由具有两个或更多的不同的权重因子的可变模糊卷积核建模的，对应于每个静止或“静态”时间段以及每个运动时间段。可以将多个运动事件添加至同一模糊卷积核中。例如，一个附加的静态权重因子和运动权重因子被添加至模糊卷积核中。
24.静态权重因子可以与静态时间段成比例缩放，并且与采集医学图像的成像时间段成反比。
25.优选地，训练机器学习模型的方法可以包括：将模糊卷积核构建为矩阵，其中每个像素与相应的内核值相关联。因此，该矩阵可以存储并用作设计用于训练机器学习模型的系统中的数字，该模型包括例如：数字电子卷积引擎，权重因子计算器，数字图像存储设备，
以及与卷积引擎的接口，卷积核内存，和/或数字数据处理器。
26.训练机器学习模型的方法可以包括：通过使用至少一个权重因子修改至少一个内核值，来修改模糊卷积核。
27.优选地，训练机器学习模型的方法包括：在描述图像中每个像素处的运动幅度的单个矢量场上设置运动模糊卷积核。为了训练机器学习模型同时识别第二运动，可以在第二矢量场上布置第二运动模糊卷积核。因此有利地，机器学习模型可以识别任何运动组合。
28.弯曲运动可以通过对得到的加权内核进行弯曲来建模。训练机器学习模型的方法可以包括：排列像素以使运动弯曲的地方的线弯曲，从而使模糊卷积核弯曲。例如，机器学习模型可以快速识别典型振动的波浪运动，例如心跳重复或呼吸重复。
29.训练机器学习模型的方法可被训练将运动识别为恒定运动，可以包括：对内核中的所有像素，以相等的量修改相应像素的内核值。这里使用的术语“恒定运动”是指连续运动，例如，线性运动可以是恒定速度，而波浪形或曲线运动可以是恒定频率。
30.恒定运动可以通过在整个线的长度上具有相同权重的线来建模。例如，训练机器学习模型的方法可以包括：修改线中相应像素的内核值，使其等于运动权重因子或运动权重因子的缩放比例。因此，该线中的所有内核值可能相等。
31.可以训练模型，以识别图像采集时间结束时要继续的运动。为此，至少一个静态权重因子可以被缩放至等于最终运动权重因子。优选地，对应于相应静态时间段的内核像素的内核值等于对应于运动时间段的最终内核像素的内核值。当运动从图像采集时间的开始持续至结束时，可以学习识别运动。
32.如果恒定运动仅在运动时间段内持续，那么仅与运动时间段相关的像素可能都具有相等的内核值。例如，训练模型以将运动识别为以静态时间段后接运动时间段为特征的运动，包括：使用静态权重因子来修改线的第一部分上至少一个像素的内核值。优选地，静态权重因子用于修改线中仅第一像素的内核值。可以将静态权重因子的比例添加到第一部分上的至少一个像素的内核值。对得到的内核权重进行缩放，以使运动模糊卷积内核值总和为1。
33.可以将运动权重因子的第一比例添加到行的第一部分上的像素。这样，当身体部位静止时，线的第一部分上的至少一个像素与运动时间段相关联。这有助于机器学习模型在无运动和全速运动的组合时，识别步进运动的静止期。例如，当身体部位在图像采集时间的四分之一到四分之三的时间内静止时，第一比例可以在整个运动权重因子的四分之一到四分之三的范围内。
34.运动权重因子可用于修改第一部分之后的线的第二部分上的至少一个像素的内核值。这样，线的第二部分上的至少一个像素与运动时间段和在运动时间段期间身体部位的运动相关联。这有助于机器学习模型在无运动和全速运动的组合时，识别步进运动的运动期。对得到的内核权重进行缩放，以使运动模糊卷积内核值总和为1。
35.对于相应的第二、第三或第四静态时间段，可以分别确定第二、第三或第四静态权重因子等。对于相应的第二、第三或第四运动时间段，还可以存在第二、第三或第四运动时间段等。第二运动时间段介于第二和第三时间段之间；第三运动时间段介于第三和第四时间段之间，依此类推。
36.例如，第二静态权重因子对应于采集医学图像期间身体部位静止时的第二静态时
间段。第一个静态时间段引导运动时间段，该运动时间段引导第二个也是最后的静态时间段。第二静态权重因子可用于改变/修改模糊卷积核。然后，介于第一和第二静态时间段中间的运动时间段的运动权重可以用于修改第一像素和最后像素相应的内核值。对得到的内核权重进行缩放，以使运动模糊卷积内核值总和为1。
37.训练机器学习模型的方法还可以考虑身体部位从第一速度加速到第二速度时的第一运动时间段。身体部位的加速和减速是在卷积核的形成过程中建模的。因此有利地，医学图像的一个或多个特征的一个或多个模型可以表示为以不同速度和不同速度的组合发生的运动。
38.例如，至少一个运动权重因子可以适于对应于身体部位从第一速度加速到第二速度时的第一运动时间段。与紧接在第一运动时间段之前的时间段相关联的像素的内核值可以被缩放为大于与第一运动时间段相关联的像素的内核值。同样地，与第一运动时间段相关联的像素的内核值可以被缩放为大于与紧接于第一运动期间之后的时间段相关联的像素的内核值。这导致在从静止时间段至运动时间段的期间，权重因子逐渐地变化。
39.根据本发明的第二方面，设计用于训练机器学习模型以识别获取的医学图像中身体部位的运动的系统，包括：卷积引擎，用于训练机器学习模型的；卷积核构造器，用于构造和修改模糊卷积核，该模糊卷积核由被定向为运动方向的像素构成；以及，权重计算器，用于确定与采集医学图像期间身体部位移动时的运动时间段相对应的至少一个运动权重因子；其中，卷积核构造器被配置为使用运动权重因子来修改模糊卷积核。
40.该系统可以包括：数字图像存储设备，具有与卷积引擎的接口，用于存储和传输表示清晰图像的数字数据，该数字数据通过卷积引擎与像素进行卷积运算。数字图像存储设备卷积引擎的接口可以包括互联网路径。
41.该系统可以被设置为生成至少一个训练图像，包括：与被定向为运动方向的像素相关联的线，和/或将与像素进行卷积运算的清晰图像。训练图像可以是医学图像，例如身体部位的医学图像。身体部位可以是乳房、肺、肝脏或其他身体器官或其他身体部位。
42.该系统可以包括：卷积核存储器以及与卷积核构造函数和卷积引擎的接口，被配置为将模糊卷积核存储为由卷积核构造器构造的矩阵，并将矩阵传输给卷积引擎。卷积引擎可以包括数字数据处理器，该数字数据处理器被硬连线且被编程为：通过卷积引擎将表示清晰图像的数字数据与像素进行卷积运算。
43.现在将仅通过示例的方式参考附图描述本发明，其中：
附图说明
44.图1示出了整个图像采集过程中的恒定运动；
45.图2示出了图像采集过程的一部分时间的步进运动；
46.图3示出时间加权卷积核的示例；
47.图4示出了直线恒定权重、时间加权以及带加速的时间加权的卷积核的示例；和，
48.图5示出了具有加速度的时间加权运动内核。
具体实施方式
49.在说明性实施例中，成像期间的身体部位的移动导致了2d医学图像中的运动模
糊。
50.例如，恒定运动模型假设身体部位的运动在整个图像采集过程中是恒定的，如图1所示。
51.图2中所示的术语“步进运动”是指：身体部位在图像采集时间的部分时间运动，而在图像采集时间的剩余时间内保持静止。
52.这是通过使用两个或多个不同的权重因子改变模糊卷积核来建模的，包括：对应于每个相应的静止或“静态”周期的静态权重因子，以及，对应于每个相应的运动时间段的运动权重因子，如图3和图4所示(中间)。
53.通过对身体部位的加速和减速进行建模的附加方面，卷积核在加权区域之间变得平滑变化，如图4(底部)和图5所示。
54.在图3和图5中，内核值位于纵坐标轴上。横坐标被标记为内核像素。模糊卷积核包括与每个相应核像素配对的每个内核值的数组。这些图示出了加权运动模糊矢量场，包括图像的每个对应部分的不同卷积内核值。
55.第一示例解释了一种对一个或多个身体部位的运动进行建模的方法。在该示例中，成像时间在1.0到2.0秒之间。在成像时间期间，身体部位在开始时静止，然后身体运动并再次静止。出于说明性示例的目的，成像时间为1.5秒，身体部位静止0.3秒，身体部位在0.6秒内移动0.7mm，且随后身体部位静止0.6秒。运动模糊可以通过确定模糊卷积核来建模，如下所示：
56.成像分辨率：每像素0.07mm
57.静态权重因子1＝静止时间/成像时间＝0.3s/15s＝0.2
58.运动权重因子＝运动时间/成像时间/运动距离*成像分辨率
59.＝0.6s/1.5s/0.7mm*0.07mm＝0.04
60.静态权重因子2＝静止时间/成像时间＝0.6s/15s＝0.4
61.内核构建：
62.第一像素内核值＝(静态权重因子1) 0.5*(运动权重因子)＝0.22
63.运动像素内核值＝运动权重因子＝0.04
64.最后的像素内核值＝(静态加权因子2) 0.5*(运动权重因子)＝0.42
65.图3示出了时间加权模糊卷积核，其中每个内核像素都根据上面的第一示例的内核构造被分配了像素权重。这是加权运动模糊卷积核的示例，包括内核的每个对应部分的不同内核值。第一个像素的内核值为0.22，标记为内核像素“0”。运动像素的内核值为0.04，标记为内核像素“1”至“9”。最后的像素的内核值为0.42，标记为内核像素“10”。运动模糊卷积核值总和为1。
66.如图3所示，该方法产生了加权运动模糊矢量场，加权运动模糊矢量场包括图像的每个对应部分的不同卷积内核值。存在具有相应的第一和最后的内核像素的静态部分，该第一和最后的内核像素的具有相应的第一内核值和最后的内核值。存在具有相应运动内核像素的运动部分，该运动内核像素具有相应的运动内核值。
67.对于内核值的随机初始化，只要第一静态权重因子大于或等于运动权重因子的一半，且第二或最后的静态权重因子也大于或等于运动加权因子的一半，就可以假设将运动权重因子整合到第一个和最后一个像素中。数学表达：(静态权重因子1)》＝0.5*运动权重
因子，且(静态权重因子2)》＝0.5*运动权重因子。
68.参照图3，加权运动模糊内核具有两个对应于静止周期的静态权重因子，由对应于身体部位运动的时间的一系列运动权重因子隔开。
69.参照图4，示出了直线恒定加权和时间加权模糊卷积核的示例。图3将内核值显示为模糊卷积核的每个像素数的条形高度，而图4根据阴影比例显示了每个像素的内核值。
70.在图4顶部阴影比例中，存在恒定加权卷积核的图示，它在整个成像时间内近似于恒定运动。运动时间等于成像时间。所有像素为运动像素。第二示例示出了确定运动像素的内核值，如下所述：
71.出于说明性示例的目的，成像时间为10秒，模拟身体部位在10秒内移动0.7毫米的恒定运动，
72.成像分辨率：每像素0.07毫米
73.运动权重因子：＝运动时间/成像时间/运动距离*成像分辨率
74.＝1.0s/1.0s/0.7mm*0.07mm＝0.1
75.运动像素内核值＝运动权重因子＝0.1
76.在图4中间阴影比例中，存在时间加权模糊卷积核的图示，它具有之前已由上述的第一个示例描述过且如图3所示的三个加权区域。内核左侧和右侧的单个像素对应于静止时间，其权重高于两者之间的像素，后者对应于身体部位运动的时间。
77.在图4底部阴影比例中，存在时间加权模糊卷积核的图示，它模拟了静止阶段和运动阶段的组合，且在运动的开始和结束时添加了加速和减速，导致静止和运动阶段之间的权重逐渐变化。图4底部阴影比例中所示的时间加权卷积核的确定由如下的第三示例所解释。
78.在第三说明性示例中，使用简单的时间步长加速度模型(使用欧拉方法)，对于0.4s的第一间隔以2mm/s2的恒定加速度建模，之后为0.6s的第二间隔的恒定运动中和0.4s的第三间隔以2mm/s2的恒定减速，并在运动的开始和结束处静止0.1s。简单加速模型用于生成平滑变化的卷积核，如下所示：
79.成像分辨率：每像素0.08mm
80.定时分辨率＝每个时间点0.1s
81.获取时间＝1.7秒
82.加速度(mm/s2)＝[0，0，2，2，2，2，0，0，0，0，0，0，-2，-2，-2，-2，0]mm/s2[0083]
加速度(每0.1s2的像素数)＝[0，0，0.25，0.25，0.25，0.25，0，0，0，0，0.25，0.25，0.25，0.25，0]
[0084]
速度(每0.1s2的像素数)＝[0.0，0.0，0.25，0.5，0.75，1.0，1.0，1.0，1.0，1.0，1.0，1.0，0.75，0.5，0.25，0.0]
[0085]
位置(像素)＝[0.0，0.0，0.25，0.75，1.5，2.5，3.5，4.5，5.5，6.5，7.5，8.5，9.25，9.75，10.0，10.0]
[0086]
时间加权内核(每0.1秒像素的时间)＝[5，1.5，1，1，1，1，1，1，1，1.5，5]
[0087]
缩放的内核值(标准化使总和为1)＝[0.25，0.075，0.05，0.05，0.05，0.05，0.05，0.05，0.05，0.075，0.25]
[0088]
图5示出了作为卷积核的每个像素数的条形高度的内核值，而图4底部阴影显示了
根据阴影比例的内核值。因此，图4和图5示出了内核具有两个对应于各自的静止时间段的静态权重内核值，这两个静态权重内核值由一系列对应于身体部位运动的时间的运动权重内核值隔开，包括加速期和减速期。模糊卷积核值总和为1。
[0089]
本发明仅通过示例进行了描述。因此，上述内容仅被认为是对本发明原理的说明。此外，由于本领域技术人员将容易想到许多修改和变化，因此不希望将本发明限制于所示和描述的确切构造和操作；并且因此，可以采用的所有合适的修改和等效物，将落入权利要求的范围。