医疗图像传输系统、医疗图像处理设备和医疗图像传输方法与流程

1.本技术涉及根据由医疗观察设备生成的医疗图像的图像处理的医疗图像传输系统、医疗图像处理设备和医疗图像传输方法。


背景技术：

2.在诸如内窥镜和显微镜的模态(医疗观察设备)中，当发生诸如相机抖动和地板振动的抖动时发生图像模糊。特别地，近年来，随着模态的清晰度变高，图像模糊对可见性的影响变大。
3.同时，例如，在专利文献1中，已经提出了在相机头中设置陀螺仪并且通过陀螺仪检测相机抖动并在输出图像中校正相机抖动的内窥镜。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请公开第2017
‑
185254号。


技术实现要素：

7.技术问题
8.然而，尽管如专利文献1中所描述的那样将相机抖动校正功能安装在模态上就足够了，但是在没有安装这种相机抖动校正功能的情况下，不能在模态侧执行相机抖动校正。
9.在这种情况下，稍后需要对从模态输出的图像执行诸如相机抖动校正的图像处理。在此处，诸如模态设置和指示警报的字符信息的附加信息通常叠加在从模态输出的图像上。为此，当对这样的图像执行诸如相机抖动校正的图像处理时，附加信息也经过图像处理，这导致附加信息的可见性劣化的问题。
10.考虑到如上所述的情况，本技术的目的是提供医疗图像传输系统、医疗图像处理设备和医疗图像传输方法，该医疗图像传输系统、医疗图像处理设备和医疗图像传输方法能够对以模态生成的医疗图像执行图像处理而不降低附加信息的可见性。
11.问题的解决方案
12.为了实现上述目的，根据本技术的医疗图像传输系统包括：图像获取单元；图像处理单元；叠加单元；以及呈现单元。
13.图像获取单元获取由医疗观察设备生成的医疗图像。
14.图像处理单元将预定图像处理应用于医疗图像。
15.叠加单元将叠加图像叠加在医疗图像的预定区域上。
16.呈现单元基于在执行预定图像处理之前已经显示在预定区域中的附加信息向用户呈现信息。
17.为了实现上述目的，根据本技术的医疗图像处理设备包括：图像获取单元；图像处理单元；叠加单元；以及呈现单元。
18.图像获取单元获取由医疗观察设备生成的医疗图像。
19.图像处理单元将预定图像处理应用于医疗图像。
20.叠加单元将叠加图像叠加在医疗图像的预定区域上。
21.呈现单元生成呈现图像，该呈现图像包括由叠加单元已经叠加了叠加图像的医疗图像和在执行预定图像处理之前已经显示在预定区域中的附加信息。
22.为了实现上述目的，根据本技术的医疗图像传输方法包括：由图像获取单元获取由医疗观察设备生成的医疗图像。
23.由图像处理单元将预定图像处理应用于医疗图像。
24.由叠加单元将叠加图像叠加在医疗图像的预定区域上。
25.由呈现单元基于在执行预定图像处理之前已经显示在预定区域中的附加信息向用户呈现信息。
26.根据该配置，用户可以参考经过图像处理的医疗图像和附加信息两者。
附图说明
27.图1是示出根据本技术的第一实施例的医疗图像传输系统的配置的框图。
28.图2是示出医疗图像传输系统的具体示例的示意图。
29.图3是由医疗图像传输系统中的医疗观察设备生成的医疗图像(在成像时)的示例。
30.图4是由医疗图像传输系统中的医疗观察设备生成的医疗图像(包括附加信息)的示例。
31.图5是医疗图像传输系统中的图像处理的结果的示例。
32.图6是示出在医疗图像传输系统中如何叠加叠加图像的示意图。
33.图7是医疗图像传输系统中的图像处理的结果的示例。
34.图8是医疗图像传输系统中的图像处理的结果的示例。
35.图9是示出医疗图像传输系统中包括的图像处理设备的配置的框图。
36.图10是示出由医疗图像传输系统中包括的图像处理设备的呈现单元生成呈现图像的方法的示意图。
37.图11是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
38.图12是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
39.图13是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
40.图14是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
41.图15是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
42.图16是示出医疗图像传输系统中包括的图像处理设备的硬件配置的框图。
43.图17是示出根据本技术的第二实施例的医疗图像传输系统的配置的框图。
44.图18是示出医疗图像传输系统中包括的图像处理设备的配置的框图。
45.图19是示出由医疗图像传输系统中包括的图像处理设备的呈现单元如何提取附加信息的示意图。
46.图20是由医疗图像传输系统中包括的图像处理设备的呈现单元生成的呈现图像的示例。
47.图21是示出根据本技术的第三实施例的医疗图像传输系统的配置的框图。
48.图22是示出医疗图像传输系统中包括的图像处理设备的配置的框图。
49.图23是示出医疗图像传输系统中包括的控制设备的配置的框图。
具体实施方式
50.(第一实施例)
51.将描述根据本技术的第一实施例的医疗图像传输系统。
52.[医疗图像传输系统的配置]
[0053]
图1是示出根据该实施例的医疗图像传输系统100(在下文中，传输系统100)的配置的框图。如图所示，传输系统100包括医疗观察设备110、图像处理设备120和图像接收设备130。
[0054]
医疗观察设备110和图像处理设备120以及图像处理设备120和图像接收设备130彼此有线或无线连接。
[0055]
医疗观察设备110对成像目标进行成像并生成医疗图像。成像目标没有特别限制，并且例如是生物组织。医疗观察设备110仅需要是诸如内窥镜和显微镜的具有捕获图像的功能的设备，并且该设备的配置不受特别限制。医疗观察设备110也被称为模态。
[0056]
图像处理设备120对从医疗观察设备110输出的医疗图像执行下述图像处理，并且生成呈现图像。此外，图像处理设备120将所生成的呈现图像输出到图像接收设备130。
[0057]
图像处理设备120仅需要是能够对医疗图像执行诸如相机抖动校正的图像处理的设备，并且可以是例如将图像的电信号转换成光信号的交错协议(ip)转换器。此外，图像处理设备120可以是信息处理设备。
[0058]
图像接收设备130接收从图像处理设备120输出的呈现图像。图像接收设备130可以是显示呈现图像的显示器、记录呈现图像的记录器、图像管理服务器等。
[0059]
[医疗图像传输系统的具体示例]
[0060]
图2是示出作为传输系统100的具体示例的医疗图像传输系统150(在下文中，传输系统150)的配置的示意图。如图所示，传输系统150包括术野相机151、内窥镜152、显微镜153、ip转换器154、光学切换器155、服务器156、ip转换器157、监视器158、记录器159和投影仪160。
[0061]
由术野相机151、内窥镜152和显微镜153中的每一个捕获的医疗图像的电信号由ip转换器154转换成光信号，并且由光学切换器155输出到任意ip转换器157。
[0062]
ip转换器157中的每一个将从光学切换器提供的光信号转换成电信号，并且将该电信号提供给监视器158、记录器159或投影仪160。服务器156向光学切换器155指示哪个ip转换器154将连接到哪个ip转换器157。
[0063]
图1所示的医疗观察装置110对应于术野相机151、内窥镜152和显微镜153，并且图像接收设备130对应于监视器158、记录器159和投影仪160。此外，图像接收设备130可以是
服务器156。
[0064]
图像处理设备120对应于ip转换器154、ip转换器157和服务器156中的至少一个。注意，在图2中不一定需要设置服务器156。在这种情况下，图像处理设备120对应于ip转换器154和ip转换器157中的至少一个。
[0065]
注意，图2所示的传输系统150的具体配置是传输系统100的示例，并且传输系统100可以是实现图1所示的配置的传输系统。
[0066]
[关于医疗图像]
[0067]
医疗观察设备110对成像目标进行成像以生成图像，并且基于该图像生成医疗图像。注意，本公开中的“图像”可以是静止图像或运动图像。
[0068]
图3是由医疗观察设备110生成的图像g1的示例。图像g1是通过对成像目标进行成像而生成的未处理图像。如图所示，图像包括成像目标的图像171、光学掩模边界172和光学掩模区域173。
[0069]
光学掩模边界172是内窥镜等的光学视野的周边。作为光学掩模边界172的外周区域的光学掩模区域173例如是内窥镜的内周被成像的区域，并且是用黑色等填充的区域。注意，图像g1不必需要包括光学掩模边界172和光学掩模区域173。
[0070]
医疗观察设备110将附加信息添加到该图像g1以生成医疗图像。图4是由医疗观察设备110生成的医疗图像g2的示例。如图所示，附加信息174被添加到医疗图像g2。
[0071]
附加信息174例如是诸如内窥镜的放大倍率、错误显示和警报的字符信息，并且可以是叠加在图像g1上的字符串。此外，附加信息不限于字符串，并且可以是图标等。医疗观察设备110将附加信息174主要放置在光学掩模区域173上以便不干扰图像171的视觉识别。
[0072]
如果由医疗观察设备110执行相机抖动校正，则仅需要通过陀螺仪等检测成像机构的抖动，并且通过图像处理执行用于消除抖动的校正。医疗观察设备110可以在执行相机抖动校正之后在图像g1上放置附加信息。
[0073]
同时，在通过诸如除了医疗观察设备110之外的ip转换器的设备对从医疗观察设备110输出的医疗图像g2执行相机抖动校正的情况下，不能使用通过陀螺仪等的相机抖动的检测结果。在这种情况下，可以通过执行在医疗图像g2上提取运动向量并且以与所提取的运动向量相反的相位移动医疗图像g2的处理来校正相机抖动。
[0074]
然而，在这种情况下，发生以下问题。图5是基于提取运动向量的处理已经执行了相机抖动校正的医疗图像g3的示例。
[0075]
如图所示，尽管消除了图像171的抖动，但是通过例如移动/旋转医疗图像g2使光学掩模边界172、附加信息174和医疗图像g2的周边175抖动以抑制图像171的抖动，并且医疗图像g3的可见性劣化。因此，在参考医疗图像g3执行医疗治疗等的情况下，存在降低用户的注意力的可能性。
[0076]
同时，数字掩模可以叠加在医疗图像g3上。图6是示出数字掩模如何叠加在医疗图像g3上的示意图。如图6的部分(a)所示，通过在医疗图像g3上叠加覆盖除图像171之外的区域的数字掩模176，光学掩模边界172、附加信息174和周边175可以被数字掩模176覆盖以获得如图6的部分(b)所示的医疗图像g4。
[0077]
因此，可以防止由于光学掩模边界172等的抖动运动而导致的可见性劣化。然而，因为附加信息174也被数字掩模176覆盖，所以在附加信息174是诸如警报和错误呈现的重
要信息的情况下，重要信息不呈现给用户，并且用户不能掌握重要信息。
[0078]
同时，在根据该实施例的传输系统100中，可以解决这些问题。注意，尽管以上作为示例描述了相机抖动校正，但是本技术不限于相机抖动校正，并且类似地也适用于通过数字变焦放大图像的情况或者对图像执行旋转校正的情况。
[0079]
图7是示出已经对医疗图像g2执行了数字变焦的医疗图像g3的示意图，并且图8是示出通过对医疗图像g2执行旋转校正而获得的医疗图像g3的示意图。在这两种情况下，由于附加信息174没有绘制或旋转，所以附加信息174的可见性劣化。
[0080]
[关于图像处理设备的配置]
[0081]
将描述图像处理设备120的配置。图9是示出图像处理设备120的功能配置的示意图。
[0082]
如图所示，图像处理设备120包括图像获取单元121、图像处理单元122、叠加单元123和呈现单元124。这些都是软件和硬件协同实现的功能配置。
[0083]
图像获取单元121从医疗观察设备110获取医疗图像g2(参见图4)，并且将其提供给图像处理单元122和呈现单元124。
[0084]
图像处理单元122将图像处理应用于医疗图像g2。图像处理例如是相机抖动校正。图像处理单元122对医疗图像g2执行运动向量的提取处理，并且以与所提取的运动向量相反的相位移动医疗图像g2以执行相机抖动校正。图像处理单元122将通过对医疗图像g2执行相机抖动校正而获得的医疗图像g3(参见图5)提供给叠加单元123。
[0085]
叠加单元123将叠加图像叠加在医疗图像g3的预定区域上。叠加图像可以是覆盖医疗图像g3中除图像171之外的区域的数字掩模。如图6所示，叠加单元123将数字掩模176叠加在医疗图像g3的区域上以生成医疗图像g4。
[0086]
在医疗图像g4中，医疗图像g3的使可见性劣化的区域(即由于图像处理而引起抖动运动的光学掩模边界172、附加信息174和周边175)被数字掩模176覆盖。叠加单元123将所生成的医疗图像g4提供给呈现单元124。
[0087]
在由图像处理单元122执行图像处理之前，呈现单元124基于已经显示在光学掩模区域173上的附加信息174向用户呈现信息。具体地，呈现单元124生成呈现图像，在该呈现图像中，医疗图像g4和医疗图像g2两者都以画中画的方式被分别设置为主图像和子图像。
[0088]
图10是示出生成呈现图像g5的方法的示意图。如图10的部分(a)所示，呈现单元124缩小医疗图像g2的尺寸，并且将所获得的图像叠加在医疗图像g4(医疗图像g3和数字掩模176)上。
[0089]
因此，如图10的部分(b)所示，生成医疗图像g4和医疗图像g2以画中画的方式被分别设置为主图像g5a和子图像g5b的呈现图像g5。因为医疗图像g2是在由图像处理单元122执行图像处理之前的图像，所以医疗图像g2包括由医疗观察设备110添加的附加信息174而没有变化。呈现单元124将所生成的呈现图像g5输出到图像接收设备130。
[0090]
[医疗图像传输系统的效果]
[0091]
如上所述，在传输系统100中，图像处理设备120对从医疗观察设备110输出的医疗图像g2(参见图4)执行各种类型的处理以生成呈现图像g5(参见图10)，并且将所生成的图像输出到图像接收设备130。
[0092]
在呈现图像g5中，对主图像g5a中包括的图像171执行诸如相机抖动校正的图像处
理，并且数字掩模176叠加在图像171的周边。因此，光学掩模边界172、附加信息174和周边175被数字掩模176覆盖，并且防止了可见性由于其抖动而劣化。
[0093]
此外，图像处理之前的医疗图像g2在呈现图像g5中以画中画的方式被设置为子图像g5b，并且可以检查附加信息174。医疗图像g2中的附加信息174因为没有发生由于相机抖动校正引起的抖动运动，因此可见性优异。因此，用户可以参考已经执行了图像处理的医疗图像和不受图像处理影响的附加信息两者。
[0094]
此外，由于仅需要一个监视器来显示呈现图像g5，因此与在多个监视器上显示医疗图像g2和医疗图像g3的情况相比，可以减少成本的增加和安装位置，并且不需要花费时间和精力来设置。
[0095]
[关于图像处理设备的另一配置]
[0096]
图像处理设备120的配置不限于上述配置，并且可以具有以下配置。
[0097]
例如，图像处理设备120可以以画中画的方式将数字掩模176的显示/非显示与子图像g5b的显示/非显示链接。
[0098]
叠加单元123可以接收预定操作输入以将数字掩模176叠加在医疗图像g3上，并且呈现单元124可以接收操作输入以设置子图像g5b，从而生成呈现图像g5。
[0099]
因此，呈现单元124可以将医疗图像g3输出到图像接收设备130，直到接收到操作输入，并且当接收到操作输入时，将呈现图像g5输出到图像接收设备130。即，用户可以通过单个操作输入以画中画的方式将数字掩模176的显示/非显示与子图像g5b的显示/非显示链接。
[0100]
此外，图像处理设备120可以根据数字掩模176的尺寸来调整呈现图像g5中的子图像g5b的图像尺寸。图11是示出子图像g5b的尺寸调整的示意图。
[0101]
如图11的部分(a)所示，在数字掩模176的尺寸(距图像周边的宽度)较大的情况下，呈现单元124增加子图像g5b的尺寸。此外，如图11的部分(b)所示，在数字掩模176的尺寸较小的情况下，呈现单元124减小子图像g5b的尺寸。因此，可以防止子图像g5b被设置在存在图像171的数字掩模176内部。
[0102]
此外，图像处理设备120可以偏移通过对从医疗观察设备110输出的医疗图像g2执行图像处理而获得的医疗图像g3。图12是示出基于偏移医疗图像g3的呈现图像g5的示意图。
[0103]
图像处理单元122可以对医疗图像g2执行图像处理，并且将医疗图像g2向右或向左偏移。因此，呈现单元124能够使数字掩模176上的子图像g5b更大。
[0104]
此外，图像处理设备120可以在子图像g5b上设置指示数字掩模176的范围的显示项目。图13是示出设置了指示数字掩模176的范围的轮廓177的呈现图像g5的示意图。
[0105]
如图所示，呈现单元124可以在子图像g5b上设置指示数字掩模176的范围的轮廓177，并且用户可以通过预定操作输入来调整轮廓177的位置和尺寸。
[0106]
叠加单元123设置数字掩模176，使得由轮廓177指定的范围是数字掩模176的边界。数字掩模176需要被设置为使得隐藏光学掩模边界172。当用户手动执行该设置时，难以适当地设置数字掩模176的尺寸，因为数字掩模176覆盖光学掩模区域173。
[0107]
在这方面，图像处理设备120在子图像g5b上设置轮廓177，并且因此用户可以容易地掌握数字掩模176与光学掩模区域173之间的位置关系，并且可以容易地调整数字掩模
176的位置和尺寸。
[0108]
注意，指示数字掩模176的范围的显示项目不限于轮廓177，并且可以是任意的显示项目，只要可以掌握数字掩模176的范围，诸如改变由数字掩模176覆盖的区域的颜色。
[0109]
此外，图像处理设备120可以在子图像g5b中执行强调附加信息174的处理。图14是示出在子图像g5b中强调附加信息174的状态的示意图。
[0110]
呈现单元124对子图像g5b执行图像识别，并且提取附加信息174。此外，如图14所示，呈现单元124设置围绕在子图像g5b中提取的附加信息174的框178。
[0111]
由于医疗图像g2在子图像g5b中缩小，因此附加信息174的尺寸也减小。通过用框178强调附加信息174，可以提高可见性。注意，除了框178之外，呈现单元124可以通过诸如放大所提取的附加信息174和改变颜色的处理来强调附加信息174。
[0112]
此外，图像处理设备120能够在呈现图像g5中的主图像g5a与子图像g5b之间切换。图15是示出主图像g5a和子图像g5b如何切换的示意图。
[0113]
如上所述，如图15的部分(a)所示，呈现单元124生成医疗图像g4和医疗图像g2以画中画的方式被分别设置为主图像g5a和子图像g5b的呈现图像g5。在下文中，该状态被称为“第一状态”。
[0114]
此外，如图15的部分(b)所示，呈现单元124生成医疗图像g2和医疗图像g4以画中画的方式被分别设置为主图像g6a和子图像g6b的呈现图像g6。在下文中，该状态被称为“第二状态”。
[0115]
呈现单元124可以通过接收来自用户的操作输入在第一状态与第二状态之间切换。例如，在医疗期间，在某些情况下，用户期望暂时停止相机抖动校正以通过较大图像检查附加信息174的内容。
[0116]
在这种情况下，如图15所示，通过由单个操作输入实现医疗图像g2和医疗图像g4的主图像与子图像之间的关系的切换，容易从第一状态切换到第二状态，并且通过较大图像检查附加信息174的内容。
[0117]
注意，在第二状态下，为了防止子图像g6b隐藏主图像g6a的附加信息174，优选地任意切换子图像g6b的位置。尽管在图15中，子图像g6b被设置在呈现图像g6的右下方，但是可以根据附加信息174的位置设置子图像g6b，例如，设置在呈现图像g6的四个角中的一个角处。
[0118]
[关于图像处理]
[0119]
在图像处理单元122的上述图像处理中，因为对医疗图像g2执行相机抖动校正并且发生附加信息174等的抖动运动，所以通过子图像执行附加信息的呈现(参见图5)。
[0120]
在此处，由图像处理单元122执行的图像处理不限于相机抖动校正，并且可以是如图7所示的变焦或如图8所示的旋转。同样在这些情况下，医疗图像g3中的附加信息174的可见性受到图像处理的影响，但是可以通过生成呈现图像g5来提高附加信息174的可见性。
[0121]
[硬件配置]
[0122]
将描述图像处理设备120的硬件配置。图16是示出图像处理设备120的硬件配置的示意图。
[0123]
如图所示，图像处理设备120包括中央处理单元(cpu)1001。输入/输出接口1005经由总线1004连接到cpu 1001。只读存储器(rom)1002和随机存取存储器(ram)1003连接到总
线1004。
[0124]
输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接到输入/输出接口1005，输入单元1006包括用于用户输入操作命令的输入装置(诸如键盘和鼠标)，输出单元1007将处理操作屏幕的图像和处理结果输出到显示装置，存储单元1008包括存储程序和各种类型的数据的硬盘驱动器等，通信单元1009包括局域网(lan)适配器等并且经由由因特网表示的网络执行通信处理。此外，向/从诸如磁盘、光盘、磁光盘和半导体存储器的可移动存储介质1011读取/写入数据的驱动器1010连接到输入/输出接口1005。
[0125]
cpu 1001根据存储在rom 1002中的程序或从安装在存储单元1008中的并从存储单元1008加载到ram 1003中的可移动存储介质1011(诸如磁盘、光盘、磁光盘和半导体存储器)读取的程序执行各种类型的处理。cpu 1001执行各种类型的处理等所需的数据被适当地存储在ram 1003中。
[0126]
在如上所述配置的图像处理设备120中，例如，cpu 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram 1003中，并且执行该程序，从而执行上述一系列处理。
[0127]
由图像处理设备120执行的程序可以记录在作为封装介质等的可移动存储介质1011上并提供。此外，可以经由有线或无线传输介质(诸如局域网、因特网和数字卫星广播)来提供程序。
[0128]
在图像处理设备120中，可以通过将可移动存储介质1011安装在驱动器1010上，经由输入/输出接口1005将程序安装在存储单元1008中。此外，程序可以由通信单元1009经由有线或无线传输介质接收，并安装在存储单元1008中。另外，程序可以预先安装在rom 1002或存储单元1008中。
[0129]
注意，由图像处理设备120执行的程序可以是以本公开中描述的顺序按时间序列执行处理的程序，或者可以是并行或者在必要的定时(诸如当进行调用时)执行处理的程序。
[0130]
此外，图像处理设备120的所有硬件配置不需要安装在一个装置上，并且图像处理设备120可以由多个装置配置。此外，图像处理设备120的硬件配置的一部分可以安装在经由网络连接的多个装置上。此外，实现图像处理设备120的功能的电路可以是诸如现场可编程门阵列(fpga)的逻辑电路。
[0131]
(第二实施例)
[0132]
将描述根据本技术的第二实施例的医疗图像传输系统。
[0133]
[医疗图像传输系统的配置]
[0134]
图17是示出根据该实施例的医疗图像传输系统200(在下文中，传输系统200)的配置的框图。如图所示，传输系统200包括医疗观察设备210、图像处理设备220和图像接收设备230。
[0135]
医疗观察设备210和图像处理设备220以及图像处理设备220和图像接收设备230彼此有线或无线连接。
[0136]
医疗观察设备210对成像目标进行成像并生成医疗图像。医疗观察设备210是诸如内窥镜和显微镜的具有捕获图像的功能的设备，并且可以具有与根据第一实施例的医疗观察设备110类似的配置。
[0137]
图像处理设备220对从医疗观察设备210输出的医疗图像执行下述图像处理，并且生成呈现图像。此外，图像处理设备220将所生成的呈现图像输出到图像接收设备230。
[0138]
图像处理设备220仅需要是能够对医疗图像执行诸如相机抖动校正的图像处理的设备，并且可以是ip转换器或服务器(参见图2)。
[0139]
图像接收设备230接收从图像处理设备220输出的呈现图像。图像接收设备230是显示呈现图像的显示器、记录呈现图像的记录器、图像管理服务器等，并且可以具有与根据第一实施例的图像接收设备130类似的配置。
[0140]
[关于图像处理设备的配置]
[0141]
将描述图像处理设备220的配置。图18是示出图像处理设备220的功能配置的示意图。
[0142]
如图所示，图像处理设备220包括图像获取单元221、图像处理单元222、叠加单元223和呈现单元224。这些都是软件和硬件协同实现的功能配置。
[0143]
图像获取单元221、图像处理单元222和叠加单元223的配置分别与根据第一实施例的图像获取单元121、图像处理单元122和叠加单元123的配置相同。
[0144]
即，图像获取单元221从医疗观察设备210获取医疗图像g2(参见图4)，并且将所获取的图像提供给图像处理单元222和呈现单元224。
[0145]
图像处理单元222将诸如相机抖动校正的图像处理应用于医疗图像g2，并且生成医疗图像g3(参见图5)。图像处理单元222将所生成的医疗图像g3提供给叠加单元223。
[0146]
叠加单元223将诸如数字掩模的叠加图像叠加在医疗图像g3的预定区域上以生成医疗图像g4(参见图6)。叠加单元223将所生成的医疗图像g4提供给呈现单元224。
[0147]
在由图像处理单元222执行图像处理之前，呈现单元224基于已经显示在光学掩模区域173上的附加信息174向用户呈现信息。具体地，呈现单元224在医疗图像g2中提取包括附加信息174的区域。
[0148]
图19是示出包括附加信息174的区域(在下文中，附加信息区域)179的示意图。如图所示，呈现单元224提取医疗图像g2中存在附加信息174的区域作为附加信息区域179。
[0149]
呈现单元224可以通过图像识别提取附加信息区域179。注意，可以根据附加信息174的形状(诸如矩形和椭圆形)适当地设置附加信息区域179的形状。
[0150]
此外，呈现单元224从医疗图像g2中抽出所提取的附加信息区域179，并且将所抽出的区域叠加在医疗图像g4上(参见图6)以生成呈现图像。图20是示出通过将附加信息区域179叠加在医疗图像g4上而获得的呈现图像g7的示图。
[0151]
如图20所示，呈现单元224在医疗图像g4上设置附加信息区域179以生成呈现图像g7。呈现单元224可以在医疗图像g4中设置附加信息区域179，使得附加信息区域179的位置坐标与医疗图像g2中附加信息区域179的位置坐标相同。
[0152]
注意，在呈现单元224仅从医疗图像g2切出附加信息174的情况下，计算负荷较大，但是可以通过切出包括附加信息174的特定区域作为附加信息区域179来抑制计算负荷。
[0153]
因此，如图20所示，生成呈现图像g7。呈现单元124将所生成的呈现图像g7输出到图像接收设备230。
[0154]
[医疗图像传输系统的效果]
[0155]
如上所述，在传输系统200中，图像处理设备220对从医疗观察设备210输出的医疗
图像g2(参见图4)执行各种类型的处理，生成呈现图像g7，并且将所生成的图像输出到图像接收设备230。
[0156]
在呈现图像g7中，对图像171执行诸如相机抖动校正的图像处理，并且将数字掩模176叠加在图像171的周边。因此，光学掩模边界172、附加信息174和周边175被数字掩模176覆盖，并且防止了可见性由于其抖动运动而劣化。
[0157]
此外，在图像处理之前从医疗图像g2提取的附加信息区域179被叠加在呈现图像g7中，并且可以检查附加信息174。医疗图像g2中的附加信息174因为没有发生由于相机抖动校正引起的抖动运动，因此可见性优异。因此，用户可以参考已经执行了图像处理的医疗图像和不受图像处理影响的附加信息两者。
[0158]
此外，由于仅需要一个监视器来显示呈现图像g7，因此与在多个监视器上显示医疗图像g2和医疗图像g3的情况相比，可以减少成本的增加和安装位置，并且不花费时间和精力来设置。
[0159]
注意，同样在该实施例中，由图像处理单元222执行的图像处理不限于相机抖动校正，并且可以是如图7所示的变焦或如图8所示的旋转。同样在这些情况下，医疗图像g3中的附加信息174的可见性受到图像处理的影响，但是可以通过生成呈现图像g7来提高附加信息174的可见性。
[0160]
图像处理设备220的硬件配置可以与第一实施例中描述的硬件配置类似(参见图16)。
[0161]
(第三实施例)
[0162]
将描述根据本技术的第三实施例的医疗图像传输系统。
[0163]
[医疗图像传输系统的配置]
[0164]
图21是示出根据该实施例的医疗图像传输系统300(在下文中，传输系统300)的配置的框图。如图所示，传输系统300包括医疗观察设备310、图像处理设备320、图像接收设备组330、输出切换设备340和控制设备350。这些设备彼此有线或无线连接。
[0165]
医疗观察设备310对成像目标进行成像并生成医疗图像。医疗观察设备310是诸如内窥镜和显微镜的具有捕获图像的功能的设备，并且可以具有与根据第一实施例的医疗观察设备310类似的配置。
[0166]
图像处理设备320对从医疗观察设备310输出的医疗图像执行下述图像处理。图像处理设备320将已经执行了图像处理的医疗图像输出到图像接收设备组330的第一图像接收设备331。
[0167]
图像处理设备320仅需要是能够对医疗图像执行诸如相机抖动校正的图像处理的设备，并且可以是ip转换器或服务器(参见图2)。
[0168]
图像接收设备组330包括多个图像接收设备。图像接收设备可以是显示图像的监视器等。在该实施例中，图像接收设备组330包括第一图像接收设备331、第二图像接收设备332、第三图像接收设备333和第四图像接收设备334，但是图像接收设备组330仅需要包括三个或更多个图像接收设备。
[0169]
输出切换设备340获取从医疗观察设备310输出的医疗图像，并且切换输出医疗图像的图像接收设备。输出切换设备340仅需要切换医疗图像的目的地，并且其配置不受特别限制。
[0170]
控制设备350连接到医疗观察设备310、图像处理设备320和输出切换设备340，并且控制相应设备。具体地，控制设备350指定将医疗图像输出到输出切换设备340的图像接收设备。控制设备350仅需要是能够控制相应设备的设备，并且例如是诸如系统管理服务器的信息处理设备。
[0171]
[关于图像处理设备的配置]
[0172]
将描述图像处理设备320的配置。图22是示出图像处理设备320的功能配置的示意图。
[0173]
如图所示，图像处理设备320包括图像获取单元321、图像处理单元322、叠加单元323和输出单元324。这些都是软件和硬件协同实现的功能配置。
[0174]
图像获取单元321、图像处理单元322和叠加单元323的配置与根据第一实施例的图像获取单元321、图像处理单元322和叠加单元323相同。
[0175]
即，图像获取单元321从医疗观察设备310获取医疗图像g2(参见图4)，并且将所获取的图像提供给图像处理单元322。
[0176]
图像处理单元322将诸如相机抖动校正的图像处理应用于医疗图像g2以生成医疗图像g3(参见图5)。图像处理单元322将所生成的医疗图像g3提供给叠加单元323。
[0177]
叠加单元323将诸如数字掩模的叠加图像叠加在医疗图像g3的预定区域上以生成医疗图像g4(参见图6)。叠加单元323将所生成的医疗图像g4提供给输出单元324。
[0178]
输出单元324将医疗图像g4输出到第一图像接收设备331。因此，在第一图像接收设备331中显示医疗图像g4。
[0179]
[控制设备的配置]
[0180]
将描述控制设备350的配置。图23是示出控制设备350的功能配置的示意图。
[0181]
如图所示，控制设备350包括呈现单元351。呈现单元351基于在图像处理单元322执行图像处理之前已经显示在光学掩模区域173上的附加信息174向用户呈现信息。
[0182]
具体地，呈现单元351控制图像处理设备320以将医疗图像g4输出到第一图像接收设备331。
[0183]
此外，呈现单元351选择第二图像接收设备332、第三图像接收设备333和第四图像接收设备341中的一个，并且控制输出切换设备340以将医疗图像g2输出到所选择的图像接收设备。
[0184]
此时，呈现单元351可以选择第二图像接收设备332、第三图像接收设备333和第四图像接收设备341中与第一图像接收设备331相邻的图像接收设备。
[0185]
[医疗图像传输系统的操作]
[0186]
具有上述配置的传输系统300如下操作。
[0187]
首先，控制设备350控制医疗观察设备310以将医疗图像g2发送到图像处理设备320。
[0188]
此外，控制设备350控制图像处理设备320以执行诸如相机抖动校正的图像处理。因此，由图像处理设备320执行图像处理，并且生成医疗图像g4(参见图6)。医疗图像g4从图像处理设备320输出到第一图像接收设备331。
[0189]
随后，控制设备350选择第二图像接收设备332、第三图像接收设备333和第四图像接收设备341中与第一图像接收设备331相邻的图像接收设备。
[0190]
控制设备350将所选择的图像接收设备通知给输出切换设备340。输出切换设备340将从医疗观察设备310输出的医疗图像g2输出到作为来自控制设备350的通知的目标的图像接收设备。
[0191]
因此，在第一图像接收设备331上显示已经执行了图像处理的医疗图像g4，并且在与第一图像接收设备331相邻的图像接收设备上显示从医疗观察设备310输出的医疗图像g2。
[0192]
注意，在不存在与第一图像接收设备311相邻的图像接收设备的情况下，控制设备350可以控制图像处理设备320以在第一图像接收设备311上显示具有字符或图标的警报或再现警报声音。
[0193]
[医疗图像传输系统的效果]
[0194]
如上所述，在传输系统300中，图像处理设备320对从医疗观察设备310输出的医疗图像g2(参见图4)执行各种类型的处理，生成医疗图像g4，并且将所生成的图像输出到第一图像接收设备331。
[0195]
在医疗图像g4中，对图像171执行诸如相机抖动校正的图像处理，并且数字掩模176叠加在图像171的周边。因此，光学掩模边界172、附加信息174和周边175被数字掩模176覆盖，并且防止了可见性由于其抖动运动而劣化。
[0196]
此外，在传输系统300中，从医疗观察设备310输出的医疗图像g2被输出到与第一图像接收设备331相邻的图像接收设备。医疗图像g2中的附加信息174因为没有发生由于相机抖动校正引起的抖动运动，因此可见性优异。因此，用户可以参考已经执行了图像处理的医疗图像和不受图像处理影响的附加信息两者。
[0197]
注意，同样在该实施例中，由图像处理单元322执行的图像处理不限于相机抖动校正，并且可以是如图7所示的变焦或如图8所示的旋转。同样在这些情况下，医疗图像g3中的附加信息174的可见性受到图像处理的影响，但是可以通过在另一图像接收设备中显示医疗图像g2来提高附加信息174的可见性。
[0198]
图像处理设备320的硬件配置可以与第一实施例中描述的硬件配置类似(参见图16)。此外，控制设备350的硬件配置也可以与第一实施例中描述的硬件配置类似(参见图16)。
[0199]
注意，尽管在上述第一实施例至第三实施例中将数字掩模叠加为叠加单元，但是仅需要叠加使已经显示在预定区域中的附加信息对于用户不可见或难以视觉识别的图像。例如，可以采用这样的配置，其中，对医疗图像执行电子变焦，并且将变焦图像叠加在医疗图像上并显示，并且然后基于已经显示在原始医疗图像上的附加信息向用户呈现信息。此时，当在医疗图像上叠加变焦图像时，可以显示变焦图像而不是显示医疗图像。
[0200]
注意，本技术也可以采用以下配置。
[0201]
(1)一种医疗图像传输系统，包括：
[0202]
图像获取单元，获取由医疗观察设备生成的医疗图像；
[0203]
图像处理单元，将预定图像处理应用于医疗图像；
[0204]
叠加单元，将叠加图像叠加在医疗图像的预定区域上；以及
[0205]
呈现单元，基于在执行预定图像处理之前已经显示在预定区域中的附加信息向用户呈现信息。
[0206]
(2)根据上述(1)的医疗图像传输系统，其中，
[0207]
叠加图像是覆盖已经执行预定图像处理的医疗图像的一部分的数字掩模。
[0208]
(3)根据上述(1)或(2)的医疗图像传输系统，其中，
[0209]
呈现单元生成呈现图像，已经叠加了叠加图像的医疗图像和由医疗观察设备生成的医疗图像在呈现图像中以画中画的方式被分别设置为主图像和子图像。
[0210]
(4)根据上述(3)的医疗图像传输系统，其中，
[0211]
叠加单元在接收到预定操作输入时，将叠加图像叠加在预定区域上，并且
[0212]
呈现单元在接收到操作输入时设置子图像。
[0213]
(5)根据上述(3)或(4)的医疗图像传输系统，其中，
[0214]
呈现单元根据数字掩模的尺寸调整子图像的图像尺寸。
[0215]
(6)根据上述(3)至(5)中任一项的医疗图像传输系统，其中，
[0216]
图像处理单元偏移通过对由医疗观察设备生成的医疗图像执行预定图像处理而获得的医疗图像。
[0217]
(7)根据上述(3)至(6)中任一项的医疗图像传输系统，其中，
[0218]
呈现单元在子图像上设置指示数字掩模的范围的显示项目。
[0219]
(8)根据上述(3)至(7)中任一项的医疗图像传输系统，其中，
[0220]
呈现单元从子图像中提取附加信息，并且在子图像中执行强调附加信息的处理。
[0221]
(9)根据上述(2)至(8)中任一项的医疗图像传输系统，其中，
[0222]
呈现单元能够在第一状态与第二状态之间切换，在第一状态中生成其中已经叠加了叠加图像的医疗图像和由医疗观察设备生成的医疗图像以画中画的方式被分别设置为主图像和子图像的呈现图像，在第二状态中生成其中由医疗观察设备生成的医疗图像和已经叠加了叠加图像的医疗图像以画中画的方式被分别设置为主图像和子图像的呈现图像。
[0223]
(10)根据上述(1)至(9)中任一项的医疗图像传输系统，其中，
[0224]
预定图像处理是相机抖动校正。
[0225]
(11)根据上述(1)至(9)中任一项的医疗图像传输系统，其中，
[0226]
预定图像处理是医疗图像的变焦。
[0227]
(12)根据上述(1)至(9)中任一项的医疗图像传输系统，其中，
[0228]
预定图像处理是医疗图像的旋转。
[0229]
(13)根据上述(1)的医疗图像传输系统，其中，
[0230]
呈现单元从由医疗观察设备生成的医疗图像中切出作为存在附加信息的区域的附加信息区域，并且将附加信息区域设置在已经叠加了叠加图像的医疗图像上。
[0231]
(14)根据上述(1)的医疗图像传输系统，进一步包括：
[0232]
图像处理设备，包括图像获取单元、图像处理单元和叠加单元；
[0233]
输出切换设备，切换多个图像接收设备中输出由医疗观察设备生成的医疗图像的图像接收设备；以及
[0234]
控制设备，包括呈现单元，其中，
[0235]
呈现单元使第一图像接收设备将由叠加单元已经叠加了叠加图像的医疗图像输出到图像处理设备，并且使与第一图像接收设备相邻的第二图像接收设备将由医疗观察设备生成的医疗图像输出到输出切换设备。
[0236]
(15)一种医疗图像处理设备，包括：
[0237]
图像获取单元，获取由医疗观察设备生成的医疗图像；
[0238]
图像处理单元，将预定图像处理应用于医疗图像；
[0239]
叠加单元，将叠加图像叠加在医疗图像的预定区域上；以及
[0240]
呈现单元，生成呈现图像，该呈现图像包括由叠加单元已经叠加了叠加图像的医疗图像和在执行预定图像处理之前已经显示在预定区域中的附加信息。
[0241]
(16)一种医疗图像传输方法，包括：
[0242]
由图像获取单元获取由医疗观察设备生成的医疗图像；
[0243]
由图像处理单元将预定图像处理应用于医疗图像；
[0244]
由叠加单元将叠加图像叠加在医疗图像的预定区域上；并且
[0245]
由呈现单元基于在执行预定图像处理之前已经显示在预定区域中的附加信息向用户呈现信息。
[0246]
参考标记列表
[0247]
100，200，300 医疗图像传输系统
[0248]
110，210，310 医疗观察设备
[0249]
120，220，320 图像处理设备
[0250]
121，221，321 图像获取单元
[0251]
122，222，322 图像处理单元
[0252]
123，223，323 叠加单元
[0253]
124，224，351 呈现单元
[0254]
130，230 图像接收设备
[0255]
330 图像接收设备组
[0256]
340 输出切换设备
[0257]
350 控制设备。