图像拍摄方法、图像分析方法、用于训练图像分析神经网络的方法以及图像分析神经网络与流程

1.本发明涉及一种图像拍摄方法、一种图像分析方法、一种用于训练图像分析神经网络的方法以及一种图像分析神经网络，其适于与用于分析各种液体的容器相关地应用，其中所述容器可以例如用作用于尿液的光学分析的比色皿(cuvette)。


背景技术：

2.对于液体例如尿液的分析，存在许多现有技术的容器设计。为了光学分析的目的，通常使用扁平容器或比色皿，其优选地能够利用显微或数字图像处理方法分析填充到彼此下方布置的透明窗部分之间的分析空间中的液体。为了确保简单的制造方法，这些容器由彼此并联连接的上部和下部组成。容器包括用于填充待分析的液体的入口孔，以及出口孔，当填充液体时，空气通过该出口孔从容器逸出。例如在wo2008/050165a1中公开了也可用于本发明目的比色皿。
3.为了对比色皿中的液体进行光学分析，必须拍摄(即记录)液体的图像。为了解决由液体的深度扩展和其中待分析的对象的高度位置的不确定性引起的问题，已知的技术解决方案是应用不同的焦平面位置来拍摄给定区域的图像，使得这些图像包含尽可能多的相关信息。这些图像不仅可以应用于图像分析，而且可以应用于训练图像分析神经网络。
4.在us2004/0202368a1、us2013/0322741a1和us2014/0348409a1中，一般性地提及了为了图像分析目的而应用不同焦平面的可能性。
5.us2008/0082468a1中公开的技术方案包括在等距焦平面处记录图像，并应用于在不同焦平面处拍摄的属于两个组的训练图像。然而，根据该文献，应用的焦平面仅在从“理想”焦平面的一个方向上前进，并且它没有提及将应用围绕(即，“夹住”)理想焦平面的解决方案。因此，该文献没有教导使用在选定焦平面之下和之上拍摄的图像来训练和图像分析。
6.在us2015/0087240a1中，公开了在多个焦平面处拍摄的图像，但是根据该文献，其目的在于从中选择最佳聚焦的图像。因此，在不同焦平面处拍摄的多个图像的组合分析也未包括在该技术方案中。
7.wo2013/104938a2包含了对同时分析在不同焦平面处拍摄的图像并由此输入额外信息以进行决策的可能性的一般描述。然而，在该文献中也没有讨论在两侧以等距方式拍摄图像以及应用更宽范围的训练。
8.现有技术解决方案的共同缺点在于，在分析空间的多个空间区域中的分布图像的情况下，其对于全面液体分析是必要的，它们不提供用于找到提供最佳对比度的焦平面以及用于有效地利用用于其他空间区域的这样的信息的有利解决方案。在必须通过扫描整个深度范围在每个位置(即，在每个分析的空间区域中)找到提供最佳对比度的焦平面的情况下，该过程变得冗长且过度消耗资源。现有技术解决方案的另一个共同缺点是它们不能以有效图像拍摄方法所支持的方式实现图像分析、实现图像分析神经网络的训练以及实现实施所训练的图像分析神经网络。


技术实现要素：

9.根据本发明，已经认识到，如果已经找到在分析空间的相关深度范围中提供最佳对比度的焦平面，则该信息可以被利用用于在平底分析空间的其他空间区域中拍摄图像，并且优选地，必须扫描通过小得多的深度范围以便找到提供最佳对比度的图像。还已经认识到，在深度扫描期间获得的一些图像可以被利用用于训练图像分析神经网络和用于分析图像，这允许提供更鲁棒的图像分析和训练过程。
10.本发明的目的是尽可能地消除现有技术解决方案的缺点，并提供上述优点。本发明的目的已经通过根据权利要求1的图像拍摄方法、根据权利要求15的图像分析方法、根据权利要求16的训练方法以及根据权利要求20的图像分析神经网络实现。本发明的优选实施例在从属权利要求中定义。
附图说明
11.下面参考以下附图通过示例描述本发明的优选实施例，其中：
12.图1a是示例性比色皿的上部的空间图，
13.图1b是示例性比色皿的下部的空间图，
14.图1c是显示根据图1a-1b的比色皿处于装配状态的空间图，
15.图2是根据图1a-c的比色皿的俯视图，示出了分析空间的空间区域，
16.图3是非自适应图像拍摄方法的步骤的示意性横截面图示，
17.图4是自适应图像拍摄方法的步骤的示意性横截面图示，以及
18.图5是部分自适应图像拍摄方法的步骤的示意性横截面图示。
具体实施方式
19.用于根据本发明的方法的容器优选地实施为用于尿液分析的比色皿，其允许对填充在其中的液体进行光学分析。优选地，在照明下通过显微镜进行光学分析。在分析之前，将装满的容器离心，这导致尿沉淀物沉淀在容器下部的透明下窗口部分的内部抛光表面上。该容器可应用于对由该沉淀物产生的图像进行数字分析。
20.根据图1a-1c的容器30包括上部10和下部20。图1a所示的上部10形成有能够进行光学分析的透明上窗口部分11。为了提高光学分析的精度，上窗口部分11在两侧上具有抛光表面。
21.此外，在上部10中，具有从锥形凹口开始的入口孔12，以及设计成用于在填充液体时从容器排出空气的出口孔13。特别是图1b示出了容器30的分析空间具有两个部分；上分析空间部分位于容器的上部10，下分析空间部分位于容器的下部20。
22.图1b是显示示例性容器30的下部20的空间图。下部20还装配有透明下窗口部分21，其在两侧上被抛光。根据本发明，下窗口部分21的厚度小于0.6mm，以提高图像清晰度。
23.在光学分析之前，容器30受到离心作用，从而可以在沉淀物相对于下窗口部分21的平坦内表面被离心的状态下拍摄分析空间40中所含液体的沉淀物的图像，分析空间40位于图2所示的容器30的透明上窗口部分11和透明下窗口部分21之间。
24.示例性比色皿适于接收175μl的尿液，其中至少2.2μl必须在人类应用中进行分析；图像必须在相对较多的位置处拍摄，例如，十五个分析位置，即，更具体地，在空间区域
41、42、43、44、45中。在兽医应用中，图像记录位置的数量通常大于例如图像优选在七十个位置处拍摄的数量。空间区域41、42、43、44、45优选地横向定位，使得它们在分析空间40中最大可能程度地分布，同时彼此不重叠。在通过旋转定位比色皿的情况下，分析位置将具有扇出的空间布置，即与图2所示不同的空间布置
25.图3至5示出了根据本发明的图像拍摄方法的各种实施例执行的步骤。
26.在根据本发明的图像拍摄方法的过程中，在分析空间40中用显微镜在以相等步长移位的焦平面位置50处拍摄图像，并且从所拍摄的图像中选择最适合于进一步图像处理的图像。如上所述，在位于适于分析液体的容器30的透明上窗口部分11和透明下窗口部分21之间的分析空间40中容纳的液体的沉淀物31的图像被拍摄，使得沉淀物31离心在下窗口部分21的内平面上。这种情况需要在比色皿水平取向的情况下拍摄图像。
27.在该方法的第一步骤中，在分析空间40的第一空间区域41中，在垂直于平坦表面的深度方向上以相等步长移位的焦平面位置50处拍摄第一深度图像序列，并且从第一深度图像序列中选择具有最佳对比度的图像以用于进一步的图像处理。在图3中，具有最佳对比度的第一空间区域41的图像的焦平面位置50由虚线表示。在本发明的上下文中，术语“焦平面位置”50用于指代焦平面在根据本发明的深度方向上的位置，即其高度位置。
28.根据本发明，关于如此确定的焦平面位置50的信息也被用在其他空间区域42、43、44、45中。根据图3，在分析空间40的第二空间区域42中，在深度方向上以相等步长移位的焦平面位置50处拍摄第二深度图像序列，其中第二深度图像序列的中间焦平面位置50中的一个焦平面位置50与第一深度图像序列的具有最佳对比度的焦平面位置50相对应。所述第二深度图像序列具有比所述第一深度图像序列更少的图像；这是可能的，因为要扫描的深度范围是包含为第一空间区域41确定的最佳焦平面位置50的范围。如果首先，在所有分析的空间区域中拍摄到长得多的深度图像序列，则测量将花费不可接受的长时间。因此，第二深度图像序列的相对短的持续时间是本发明的基本特征。还从第二深度图像序列中选择具有最佳对比度的图像以供进一步的图像处理。后一图像不一定位于为第一空间区域41确定的最佳焦平面位置50处，因为沉淀物31的高度和组成可能在空间上变化，并且还因为透明下窗口部分21可能偏离水平取向。因此，第二空间区域42的最佳对比度焦平面位置50可从虚线移位一个或多个步长。
29.优选地，第一深度图像序列的最佳对比度焦平面位置50与第二深度图像序列的中心焦平面位置50相对应。因此，在向下移位的情况下以及在向上移位的情况下，第二空间区域42的最佳对比度焦平面位置50将最有可能被包括在分析中。
30.优选地选择第一深度图像序列，使得其包括在沉淀物31的最大经验观察深度扩展上扩展的焦平面位置50。例如，第一深度图像序列可以由100步2.5μm步长或200步1.25μm步长组成，而第二(和后续)深度图像序列可以由8、16、32步相同的步长组成，或者可以具有比第一深度图像序列的步数少的其他步数。
31.还可以设想这样的实现，其中第二深度图像序列的焦平面位置50的深度步长小于第一深度图像序列的焦平面位置50的深度步长。即，通过知道确定的理想位置，可以通过应用更精细的步长来搜索具有最佳对比度的图像，同时保持计算/处理需求足够低。然而，在这种情况下，在拍摄第一深度图像序列之后，在第一空间区域41中也必须在理想位置附近拍摄具有更小步长的附加图像序列，使得也可以以与在其他空间区域42、43、44、45中类似
的精度在那里确定最佳聚焦图像。
32.如图3-5中可以看到的，在分析空间40的另外的空间区域43、44、45中拍摄附加的深度图像序列，随后从每个深度图像序列中选择具有最佳对比度的图像以用于进一步的图像处理。先前确定的与最佳对比度位置相关的信息可以用于以多种方式拍摄这些附加图像，例如根据下面详细描述的三个替代方案。
33.根据图3中描绘的优选实施例所表示的第一替代方案，附加深度图像序列也是通过应用第二深度图像序列的焦平面位置50来拍摄的。这种所谓的非自适应替代方案具有最低的计算要求，因此它提供最快的操作。
34.根据图4中所示的优选实施例所表示的第二替代方案，通过应用焦平面位置50来拍摄所有附加深度图像序列，所述焦平面位置包含先前深度图像序列的最佳对比度焦平面位置50作为中间焦平面位置50，并且所述焦平面位置在深度方向上以相等步长移位。优选地，附加深度图像序列的中心焦平面位置50与先前深度图像序列的最佳对比度焦平面位置50相对应。后者在图4中由互连示意性示出的图像序列的虚线指示。这个所谓的自适应实施例具有的优点是，它可以跟随沉淀物31或透明下窗口部分21的高度水平变化，因此，在所有分析位置处最可能找到具有最佳对比度的图像。
35.根据由图5中所示的另一优选实施例所表示的第三替代方案，如果提供最佳对比度的先前深度图像序列的焦平面位置50达到、接近预定程度或超过预定深度范围的边界，则应用第一深度图像序列的焦平面位置50来拍摄附加深度图像序列。在前一深度图像序列的最佳对比焦平面位置落在由第二深度图像序列的焦平面位置所定义的范围之外的情况下，优选地通过应用第一深度图像序列的焦平面位置50来拍摄附加深度图像序列，但是当然也可以设置其他经验准则。这种所谓的部分自适应实施例的优点在于，在检测到最佳对比度图像离开“正常”范围的情况下，则可以假定已经发生了某种异常，因此再次执行初始多步图像拍摄序列是有利的。这种异常例如可能是由尿沉淀物的某些特征引起的，例如大尺寸脂质(lipid)的存在可能将被检测为理想的焦平面位置50移位到过高的位置，其中提供相关信息的沉淀物31的部分仍然保持在较深的范围内，尽管在特定分析位置偶尔有例外。
36.如果焦平面位置50的深度步长是显微镜焦深(dof)的50-100％，则是特别优选的。小于dof的50％的深度步长将导致多于一个图像满足最佳对比度标准，这导致执行不必要的计算。在深度步长值大于dof的100％的情况下，在提供最佳对比度的范围内可能不拍摄图像。例如，在1.5μm的dof的情况下，优选应用1.25μm的步长。
37.为了执行尿沉淀物的分析，在视场的每个区域中，即在空间区域41、42、43、44和45中的各个平面上拍摄高分辨率灰度数字图像。在下一步骤中，应用本身已知的聚焦算法来选择“最佳”图像，即根据适当函数具有最佳对比度的图像，该图像将构成基于神经网络的基于人工智能的非线性图像分析模块的输入信息。
38.根据本发明的图像拍摄方法具有的优点是，它允许将除了最佳图像之外的其他图像输入到分析模块，优选地允许拍摄和使用在位于最佳图像的平面上方和下方相同距离的平面处拍摄的一对或多对图像。这些附加图像不如所选图像清晰，但是可以包含关于所分析的视场中的对象的重要补充信息。可能发生的是，例如在尿沉淀物、红血球和真菌的情况下，在最佳聚焦图像(即具有最佳对比度的图像)中看起来相同的物体或颗粒在位于离最佳
焦平面越来越远的其他平面中以不同方式经历变暗/失真/模糊，例如由于它们的不同高度、密度/光密度/折射率等。因此，可以更好地区分这样的对象，这提高了分析模块的识别能力。
39.在物理意义上，在不同平面(即，在不同焦平面位置)拍摄的图像不仅包含强度分布信息，而且还共同包含相位信息，因此它们甚至可以应用于生成数字相衬(dpc)图像。例如，通过产生在不同平面拍摄的两个图像的差异，或者通过应用更复杂的函数，可以提供甚至更好/更视觉上吸引人的对比图像。尽管后一函数对于显示图像更有用，但是以这种方式生成的图像也值得输入到分析模块。除此之外，神经网络可以容易地“找出”如何使用图像的差异，并且将学习执行减法。
40.重要的是，当拍摄焦点序列时，连续图像的焦平面彼此之间的距离相等。
41.因此，根据本发明，优选地从每个深度图像序列中选择至少一个附加图像用于进一步的图像处理，其中，在所有深度图像序列中，至少一个附加图像的焦平面位置50位于距最佳对比度焦平面位置50相同的相对距离处。
42.优选地，从每个深度图像序列中选择多于一个的附加图像用于进一步的图像处理，其中附加图像与最佳对比度图像一起具有沿深度方向以相等距离移位的相应焦平面位置50。
43.在特别优选的实施例中，从所有深度图像序列中选择至少一对附加图像用于进一步的图像处理，图像对的图像位于最佳对比度焦平面位置50的距该最佳对比度焦平面位置50距离相同的上方和下方。
44.因此，根据以上所述，本发明涉及一种应用图像分析模块的图像分析方法，该图像分析模块具有被训练用于图像分析的神经网络，其中应用根据本发明的图像拍摄方法拍摄的图像被输入到图像分析模块。
45.通过在每个视场中拍摄附加图像，可选地，所谓的“扩展训练方法”可用于训练图像分析神经网络。这意味着，例如在分析每个分析位置即视场或空间区域中的3幅图像的图像分析系统中，拍摄5幅图像用于训练，其中图像组合1-2-3、2-3-4和3-4-5也用于训练图像分析模块，其中图像3是最佳对比度图像。由此，还训练了最佳对比度图像的 /-一个平面的不确定性，即，可以消除聚焦过程的潜在的一个平面误差，分析的结果将不依赖于它，即，它对于移位 /-一个平面将是不变的。
46.对于待分析的1 2n个图像，优选地不仅拍摄1 2n 2个图像(这是足以用于训练的最小数目)，而且甚至拍摄多达1 4n个图像用于训练过程，使得最佳聚焦平面的不确定性可以被训练高达应用于分析的范围的一半。
47.为了指定应用于扩展训练的范围，必须考虑到，尽管更多的图像包含更多的信息，但是分析算法接收的图像越多，在计算过程中要执行的操作越多，并且分析过程的持续时间越长。
48.优选地，在所拍摄图像的焦平面之间选择dof值附近的步长。其原因在于，如果所拍摄图像的焦平面彼此之间的距离明显大于dof，则可能不会拍摄到真正清晰的最佳聚焦图像。如果应用与dof一样大的距离，则只要适当地选择焦点系列的范围，即，它包括最佳焦点，则将总是存在一个或两个非常高质量的图像。此外，通过应用扩展训练，可以实现与至少 /-一个平面的最佳聚焦误差的约束的独立性。实际上，在选择好的距离接近dof值的情
况下，取得3图像输入和5图像训练文件是明智的。
49.利用与最佳聚焦图像直接相邻的图像不一定获得最佳结果、最高信息量。当实现分析模块时，值得利用位于距最佳聚焦图像 /-2或甚至3平面的图像来尝试3输入平面训练过程。另外选择的图像的焦平面越远，那些图像越不类似于最佳聚焦的图像(这是有利的，因为那些图像具有不同的信息内容)，但是图像越不锐利，因为那些图像离最佳聚焦平面越远(这是不利的，因为包含在图像中的信息不太直接；具有实际上远离最佳聚焦平面的焦平面的图像甚至可以是完全均匀的，即，类似背景，提供非常少的附加信息)。
50.理论方法指示，在应用位于最佳聚焦图像上方和下方相同距离的图像而不是应用理论上可能的非对称图像选择的情况下，相位信息内容是最佳的。
51.当然，本发明原则上可以利用少至两个图像来操作，例如最佳聚焦图像和在另一焦平面处拍摄的另一图像。即使在这种情况下，分析模块也接收附加信息，其中相位信息也是可用的。
52.因此，本发明还涉及一种用于训练图像分析神经网络的方法，其中，应用由根据本发明的图像拍摄方法拍摄的图像来执行网络的训练。
53.如上所述，优选地，针对每个空间区域41、42、43、44、45，应用比要输入到针对每个空间区域41、42、43、44、45的图像分析神经网络以用于图像分析的图像数量更多的拍摄图像，来执行训练。
54.特别优选的是，利用在要输入到图像分析神经网络以用于图像分析的图像上方和下方拍摄的至少两个附加图像来执行训练过程。
55.还可以利用与在最佳对比度焦平面位置50上方和下方拍摄的、要被输入到图像分析神经网络以用于图像分析的图像数量一样多的附加图像来执行训练过程。
56.本发明还涉及一种图像分析神经网络，其适于应用在用于分析体液的装置中，并且通过应用根据本发明的方法来训练。根据本发明的神经网络结构的第一(输入)层适于接收多于一个的输入图像。
57.为了实现本发明，重要的是，快速拍摄在不同平面拍摄的同一视场的图像，即，拍摄图像之间经过的时间尽可能短，使得待分析的对象，例如在尿沉淀物、细菌的情况下，在拍摄图像序列期间移动到最小可能的程度。这是不推荐拍摄离最佳焦平面非常远的图像的原因之一；聚焦到离最佳焦平面更远的平面需要更长的时间。
58.同样重要的是确保系统的机械设计允许拍摄相同视场的图像序列，使得在不同焦平面处拍摄的图像不在x和y方向上移位，即，它们实际上示出相同的视场。这是本发明正确操作的条件。
59.当然，本发明并不限于通过示例示出的实施例，而是在权利要求的范围内可以进行进一步的修改和变化。根据本发明的容器不仅可用于尿液的光学分析，而且还可用于其他液体的光学分析。