医疗图像处理系统的制作方法

1.本发明涉及一种医疗图像处理系统。


背景技术：

2.在用内窥镜插入受检体内进行观察时，在吞咽检查中主要拍摄咽部并获取图像。在基于内窥镜的吞咽检查中，从鼻腔插入的内窥镜前端部拍摄咽部，进行咽部期的吞咽的观察。在吞咽中，有将食物从舌头送入咽部的口腔期、将食物从咽部送入食道的咽部期、通过食道将食物送入胃中的食道期。通过基于内窥镜的咽部期的观察能够检查患者的吞咽能力，但若不仅能够得到拍摄咽部而得到的咽部期的吞咽的信息，还能够得到口腔期或食道期的吞咽的信息，则能够更详细地进行吞咽的评价或判定。并且，通过利用不同的方法检查咽部期的吞咽，能够进一步掌握吞咽的详细情况。吞咽造影检查为使用添加有造影剂的吞咽食物，用x射线透视装置观察其动态的方法，其观察与吞咽有关的部位的形态、功能、误咽、吞咽食物的残留等。近年来，还能够进行使用超声波检查装置的观察。超声波检查没有像x射线那样的辐射暴露的风险，是一种能够从体表进行检查，对患者的负担少的检查方法。在超声波检查中，有通过观察食道、呼吸道而得到食道期的吞咽的信息的检查、通过观察咽喉部而观察食物或饮料的吞咽、误咽或残留的检查、通过观察舌或舌骨周边、喉部肌肉的形态而进行吞咽运动评价的检查等。
3.但是，由于使用多个检查系统，因此在短期间内进行多次吞咽检查会对患者带来负担。并且，检查方也分别确认基于各检查系统的吞咽检查的结果，效率差，检查结果的管理往往变得繁琐。而且，回放也花费时间。
4.在专利文献1中记载有如下内容：进行基于内窥镜的吞咽检查和使用x射线透视装置的吞下功能的评价，并将所获取的内窥镜动态图像和x射线造影图像显示于同一画面上。在专利文献2中记载有如下内容：在进行特定的诊断或处置时，使用内窥镜、放射线摄影装置、超声波诊断装置之类的医疗设备进行拍摄，并将各自的获取图像无线发送到同一个平板pc。
5.专利文献1：实用新型登录第3209885号公报
6.专利文献2：日本专利第5823535号公报
7.在专利文献1中，内窥镜动态图像和x射线动态图像的同时显示是实时显示，因此有可能产生播放定时的偏移。并且，并没有与吞咽的具体观察部位或超声波检查的实施有关的记载。在专利文献2中，使用多个医疗设备在手术室进行诊断或处置，但没有进行吞咽检查的记载，也没有摄影装置为可携带的记载。基于上述观点，期望通过在多个系统中无时间延迟地准确地进行拍摄了吞咽的动态图像的同时播放来准确地进行吞咽的观察，从而能够效率良好地进行吞咽的观察。


技术实现要素：

8.本发明的目的在于提供一种在基于多个检查系统的吞咽检查中减轻患者的负担，
医生能够效率良好地进行吞咽的观察的医疗图像处理系统。
9.本发明的医疗图像处理系统具备处理器，处理器进行如下处理：接收利用从患者的鼻腔插入的内窥镜拍摄患者的咽喉部的吞咽检查而得到的内窥镜视频信号；接收利用与患者的颈部接触的超声波检查终端获取的食道、呼吸道、咽喉部、舌或舌骨周边的超声波视频信号；将内窥镜视频信号及超声波视频信号同时显示于显示器。
10.优选处理器进行如下处理：在获取内窥镜视频信号及超声波视频信号时，记录以处理器的时刻为基准的摄影时间；以摄影时间为基准进行用于使内窥镜视频信号及超声波视频信号同步的同步处理；在显示器上同步播放进行了同步处理的内窥镜视频信号及超声波视频信号。
11.优选内窥镜视频信号及超声波视频信号进行自动播放或基于用户操作的播放。
12.优选处理器进行如下处理：在获取内窥镜视频信号及超声波视频信号时，记录以处理器的时刻为基准的摄影时间；以摄影时间为基准进行内窥镜视频信号及超声波视频信号的同步处理；从内窥镜视频信号中检测吞咽定时，对吞咽定时进行标记，并提取内窥镜索引动态图像；对摄影时间与吞咽定时的内窥镜视频信号相同的超声波视频信号进行标记，并提取超声波索引动态图像；在显示器上播放内窥镜索引动态图像及超声波索引动态图像。
13.优选处理器进行如下处理：在获取内窥镜视频信号及超声波视频信号时，记录以处理器的时刻为基准的摄影时间；以摄影时间为基准进行内窥镜视频信号及超声波视频信号的同步处理；从内窥镜视频信号中检测吞咽定时；从超声波视频信号中检测未吞咽定时；对吞咽定时的内窥镜视频信号之中摄影时间与未吞咽定时以外的超声波视频信号相同的内窥镜视频信号进行标记，并提取内窥镜索引动态图像；对未吞咽定时以外的超声波视频信号之中摄影时间与吞咽定时的内窥镜视频信号相同的超声波视频信号进行标记，并提取超声波索引动态图像；在显示器上播放内窥镜索引动态图像及超声波索引动态图像。
14.优选内窥镜索引动态图像及超声波索引动态图像进行自动播放或基于用户操作的播放。
15.优选处理器进行如下处理：从内窥镜视频信号及超声波视频信号中检测正常吞咽、误咽或不明吞咽中的任意者来作为吞咽定时；对检测到吞咽定时的帧图像进行吞咽定时检测的标记。
16.优选如下：内窥镜视频信号及超声波视频信号由帧图像连续的帧图像组构成，关于处理器，在有无内窥镜视频信号的吞咽定时的判定中使用帧图像之间的抖动量的计算、基于帧图像的关键点的计算或帧图像之间的像素值的差分中的任意者，在有无超声波视频信号的吞咽定时的判定中使用机器学习。
17.优选处理器分析内窥镜索引动态图像或超声波索引动态图像中的至少一个来确定吞咽检查的种类。
18.优选处理器进行如下处理：利用吞咽检查食物的种类及吞咽的结果对吞咽检查的种类进行分类；根据分类对内窥镜索引动态图像及超声波索引动态图像进行索引编号的赋予。
19.优选如下：处理器在获取内窥镜视频信号及超声波视频信号时以60fps的帧速率进行拍摄，拍摄以100分之1秒为单位计数时间。
20.优选处理器不使内窥镜视频信号及超声波视频信号同步而实时地同时显示于显示器。
21.优选处理器进行如下处理：接收代替基于超声波检查终端的观察而利用放射线观测装置观察患者的吞咽检查而得到的放射线透视视频信号；将内窥镜视频信号及放射线透视视频信号显示于显示器。
22.优选处理器进行如下处理：接收除了基于超声波检查终端的观察以外还利用放射线观测装置观察患者的吞咽检查而得到的放射线透视视频信号；将内窥镜视频信号、超声波视频信号及放射线透视视频信号显示于显示器。
23.发明效果
24.通过同时进行基于多个吞咽检查系统的吞咽检查来减轻患者的负担，通过将所获取的动态图像显示于同一画面来减轻医生的负担，从而效率良好地进行准确的吞咽的观察。
附图说明
25.图1是具有内窥镜系统及超声波系统的医疗图像处理系统的示意图。
26.图2是表示食物的吞咽阶段的图。
27.图3是表示吞咽检查时的基于内窥镜及超声波检查终端的观察部位的图。
28.图4是表示处理器装置的功能的框图。
29.图5是将内窥镜动态图像和超声波动态图像同步地同时进行画面显示的图。
30.图6是将内窥镜动态图像单独地进行画面显示的图。
31.图7是吞咽食物时及未吞咽食物时的咽部的图像图。
32.图8是吞咽食物时及未吞咽食物时的食道的图像图。
33.图9是从内窥镜动态图像及超声波动态图像中提取索引动态图像的图。
34.图10是表示对吞咽的分类结果及索引编号的分配的图。
35.图11是将内窥镜索引动态图像和超声波索引动态图像同步地同时进行画面播放的图像图。
36.图12是播放显示内窥镜索引动态图像的图像图。
37.图13是同步播放内窥镜动态图像和超声波动态图像的流程图。
38.图14是具有第2实施方式中的内窥镜系统及放射线观测系统的医疗图像处理系统的示意图。
39.图15是同步播放内窥镜动态图像及放射线透视动态图像的图像图。
40.图16是从内窥镜动态图像及放射线透视动态图像中提取索引动态图像的图像图。
41.图17是具有第3实施方式中的内窥镜系统、超声波系统及放射线观测系统的医疗图像处理系统的示意图。
42.图18是同步播放内窥镜动态图像、超声波动态图像及放射线透视动态图像的图像图。
43.图19是从内窥镜动态图像、超声波动态图像及放射线透视动态图像中提取索引动态图像的图像图。
44.符号说明
45.10-医疗图像处理系统，11-内窥镜系统，11a-内窥镜，11b-内窥镜前端部，12-超声波系统，12a-超声波检查终端，12b-超声波检查终端接触部，13-处理器装置，14-显示器，15-用户界面，16-放射线观测系统，16a-放射线观测装置，20-中央控制部，21-输入接收部，22-显示控制部，23-保存存储器，24-内窥镜动态图像处理部，25-超声波动态图像处理部，30-动态图像编辑部，31-临时保存存储器，32-动态图像同步部，33-吞咽定时检测部，34-索引动态图像提取部，35-吞咽分类部，41-内窥镜动态图像，42-内窥镜吞咽帧图像，43-内窥镜未吞咽帧图像，44-内窥镜索引动态图像，44a-内窥镜索引动态图像，44b-内窥镜索引动态图像，44c-内窥镜索引动态图像，44d-内窥镜索引动态图像，44e-内窥镜索引动态图像，45-咽部期吞咽帧图像组，51-超声波动态图像，52-超声波吞咽帧图像，53-超声波未吞咽帧图像，54-超声波索引动态图像，54a-超声波索引动态图像，54b-超声波索引动态图像，54c-超声波索引动态图像，54d-超声波索引动态图像，54e-超声波索引动态图像，55-食道期吞咽帧图像组，60-动态图像信息显示栏，61-播放按钮，62-快退按钮，63-快进按钮，64-暂停按钮，65-滑块，66-拖动条，67-重复播放按钮，68-画面切换按钮，71-放射线透视动态图像，73-一连串吞咽帧图像组，74-放射线索引动态图像，f-食物，th-喉部，nc-鼻腔，r-位置。
具体实施方式
46.[第1实施方式]
[0047]
如图1所示，医疗图像处理系统10具有内窥镜系统11、超声波系统12、处理器装置13、显示器14及用户界面15。处理器装置13与内窥镜系统11、超声波系统12、显示器14及用户界面15电连接。处理器装置13从构成内窥镜系统11的内窥镜11a及构成超声波系统12的超声波检查终端12a获取在吞咽检查中所获取的视频信号。用户界面15为进行向处理器装置13的设定输入等的输入器件，包括键盘等。
[0048]
并且，内窥镜11a及超声波检查终端12a通过电池进行工作而获取患者的吞咽检查的影像。吞咽是动态的，因此在吞咽检查中获取成为动态图像数据的视频信号。视频信号优选以无线方式发送到处理器装置13。另外，当在吞咽的拍摄中没有特别指定时，照明光使用白色光，1秒钟获取60帧图像(60fps(frame per second：每秒钟帧数))的视频信号，并记录以处理器装置13为基准的摄影时间。并且，当视频信号为60fps时，优选以100分之1秒为单位计数时刻。优选为处理器装置13、显示器14及用户界面15作为平板终端而成为一体，且能够与内窥镜系统11及超声波系统12一起携带的医疗图像处理系统。
[0049]
如图2所示，吞咽是指咀嚼放入口中的食物f、吞下、送入胃中的一连串动态。在其进行过程中有放入口中的食物f从舌头送到咽部的“口腔期”、食物f从咽部送到食道的“咽部期”、食物f从食道送到胃的“食道期”。在本实施方式中，用内窥镜11a检查咽部而主要获取吞咽的“咽部期”的动态图像，用超声波检查终端12a检查食道而主要获取吞咽的“食道期”的动态图像。食物f使用即使吞下也对人体无害且吞咽的容易程度不同的多种液体和个体。例如为牛奶、着色的水溶液及布丁等。
[0050]
在吞咽检查中拍摄患者将食物f含在口中，在咽部吞下，通过食道送入胃时的状态。即使患者不吞下食物f，也不终止而进行拍摄。在实施吞咽检查时，优选在不勉强患者的范围内拍摄多次吞咽，而不是拍摄一次吞咽。
[0051]
如图3所示，内窥镜11a为从患者的鼻腔nc插入并以使作为前端的内窥镜前端部
11b来到位置r附近的方式拍摄用照明光照亮的咽部周边的食物f的吞咽的吞咽内窥镜。超声波检查终端12a接触患者的颈部，并以使作为前端的超声波检查终端接触部12b与喉部th附近接触的方式拍摄从呼吸道到食道的食物f的吞咽。另外，在超声波检查中，优选对超声波检查终端接触部12b所接触的患者的体表部位预先涂布专用的凝胶后进行。内窥镜前端部11b相对于地面大致水平地进行拍摄，超声波检查终端接触部12b相对于地面大致垂直地进行拍摄。并且，超声波检查终端12a通过改变接触部位，除了能够拍摄食道期的吞咽以外，还能够拍摄咽部期及口腔期的吞咽。
[0052]
如图4所示，在处理器装置13中，与图像处理等处理有关的程序存储于程序用存储器(未图示)中。在处理器装置13中，通过由处理器构成的中央控制部20使程序用存储器内的程序进行工作而实现输入接收部21、显示控制部22、保存存储器23、内窥镜动态图像处理部24、超声波动态图像处理部25及动态图像编辑部30的功能。并且，随着动态图像编辑部30的功能实现，临时保存存储器31、动态图像同步部32、吞咽定时检测部33、索引动态图像提取部34及吞咽分类部35的功能得以实现。另外，也可以在内窥镜系统11中具有吞咽定时检测部33的功能。
[0053]
由内窥镜系统11获取的内窥镜视频信号经由内窥镜动态图像处理部24发送到动态图像编辑部30，由超声波系统12获取的超声波视频信号经由超声波动态图像处理部25发送到动态图像编辑部30。输入接收部21与用户界面15连接。显示控制部22进行使由动态图像同步部32同步的动态图像显示于显示器14的控制。保存存储器23将各视频信号作为动态图像而临时保存。
[0054]
吞咽检查的拍摄结束后，当记录动态图像时，切换为通常动态图像同步模式或索引动态图像同步模式中的任一模式。通常动态图像同步模式进行动态图像的保存及同步，索引动态图像同步模式进行动态图像的保存、同步、索引动态图像的提取及吞咽检查的种类的分类。在吞咽检查中，设定为实时地显示摄影内容的实时显示模式。
[0055]
若吞咽检查中的拍摄结束，则由实时显示模式切换为通常动态图像同步模式或索引动态图像同步模式中的任一模式。优选在实时显示模式结束之前经由用户界面15预先设定切换为哪一模式。另外，在吞咽检查结束后的定时获取动态图像，但也可以在吞咽检查中实时地处理各视频信号。
[0056]
对通常动态图像同步模式进行说明。如图5所示，所获取的各视频信号在临时保存存储器31中作为内窥镜动态图像41及超声波动态图像51而临时保存，并通过动态图像同步部32以摄影时间为基准进行同步处理。同步后的内窥镜动态图像41及超声波动态图像51经由显示控制部22排列在显示器14上并同步播放。并且，具备播放按钮61、快退按钮62、快进按钮63、暂停按钮64、拖动条65、滑块66、重复播放按钮67、画面切换按钮68，用户能够经由用户界面15使用这些功能。
[0057]
在临时保存存储器31中，发送到动态图像编辑部30的记录了吞咽检查的各视频信号作为内窥镜动态图像41及超声波动态图像51而临时保存。完成了临时保存的各动态图像发送到动态图像同步部32。
[0058]
在动态图像同步部32中，进行临时保存于临时保存存储器31中的内窥镜动态图像41及超声波动态图像51的同步处理。在同步处理中，内窥镜动态图像41和超声波动态图像51以摄影时间为基准并以帧单位同步，从而能够在播放画面上同时播放。并且，还进行患者
的信息或拍摄日期时间等信息的同步。另外，作为同步基准的摄影时间是预先使内窥镜系统11和超声波系统12与处理器装置13对齐时刻后的时间，同步处理后的内窥镜动态图像41及超声波动态图像51发送到显示控制部22。
[0059]
在显示控制部22中，同步处理完的内窥镜动态图像41及超声波动态图像51显示于显示器14的播放画面，进行自动播放或基于用户操作的播放。用户观察同时播放的状态。在播放画面上，能够通过按压播放按钮61而重复播放自动播放结束的内窥镜动态图像41及超声波动态图像51，且能够用快退按钮62追溯看漏的场景，用快进按钮63提高动态图像播放速度，用暂停按钮64在任意的定时停止播放。动态图像的播放状况以拖动条65上的滑块66的位置表示，能够通过拖动滑块66的位置等用户操作而使其移动，从而自由变更播放位置。若选择重复播放按钮67，则播放结束的内窥镜动态图像41及超声波动态图像51进行重复播放。
[0060]
如图6所示，在显示器14的动态图像播放中，通过使用画面切换按钮68，同步的内窥镜动态图像41和超声波动态图像51能够由双画面同步显示切换为单画面显示。优选如下：单画面显示的是内窥镜动态图像41，再次选择画面切换按钮68而画面切换为超声波动态图像51的单画面显示，若进而再次选择画面切换按钮68，则画面切换为双画面同步显示。在单画面显示的情况下，可以展开动态图像信息显示栏69，显示患者的信息等动态图像信息，由用户经由用户界面15输入动态图像信息。
[0061]
用户能够经由输入接收部21从用户界面15进行显示于动态图像信息显示栏69的内窥镜动态图像41及超声波动态图像51的信息的确认及追加或修正之类的编辑。信息例如为进行动态图像播放而得到的观察结果、患者的性别和年龄段等特征。包含进行了编辑的动态图像信息的内窥镜动态图像41和超声波动态图像51保存于保存存储器23中。
[0062]
对索引动态图像同步模式进行说明。与通常动态图像同步模式同样地，内窥镜动态图像41及超声波动态图像51在临时保存存储器31中临时保存，并通过动态图像同步部32以摄影时间为基准进行同步处理。同步后的内窥镜动态图像41及超声波动态图像51通过吞咽定时检测部33进行具有吞咽定时的帧图像的检测及标记。为了在索引动态图像提取部34中效率良好地进行吞咽观察，作为进行了吞咽的场景而提取索引动态图像。通过吞咽分类部35对索引动态图像的种类等进行自动分类。自动分类后，经由显示控制部22排列于显示器14上并进行同步播放。
[0063]
通常动态图像同步模式及索引动态图像同步模式这两个模式共同进行临时保存存储器31的临时保存和动态图像同步部32的同步处理。因此，可以在完成同步处理之前进行通常动态图像同步模式及索引动态图像同步模式的切换。
[0064]
图7是构成内窥镜动态图像41的映出食物f通过咽部的状态的内窥镜吞咽帧图像42和映出食物f未通过咽部的状态的内窥镜未吞咽帧图像43。在内窥镜动态图像41的拍摄中，摄影开始是在患者将食物f含在口中的前后，摄影结束是在进行包括误咽的吞咽之后，但捕捉到吞咽的时间再长也只有几秒钟，因此构成内窥镜动态图像41的帧图像中，内窥镜未吞咽帧图像43变多。
[0065]
图8是构成超声波动态图像51的映出食物f通过食道的状态的超声波吞咽帧图像52和映出食物f未通过食道的状态的超声波未吞咽帧图像53。超声波动态图像51的拍摄与内窥镜动态图像41同样地开始及结束拍摄，因此超声波动态图像51的构成中未映出食物f
的超声波未吞咽帧图像53变多。
[0066]
在吞咽定时检测部33中，进行如下咽部期吞咽检测处理：利用基于深度学习等的机器学习专用工具对内窥镜动态图像41进行图像分析，判别是否具有在咽部食物f通过时的动态即咽部期吞咽定时。被判别为咽部期吞咽定时的部分为映出有食物f的内窥镜吞咽帧图像42，若通过咽部期吞咽检测处理被检测为吞咽定时，则标记为“吞咽定时检测”。
[0067]
并且，与内窥镜动态图像41同样地，进行如下食道期吞咽检测处理：利用基于深度学习等的机器学习专用工具对超声波动态图像51进行图像分析，判别是否具有在食道中食物f通过时的动态即食道期吞咽定时。被判别为食道吞咽定时的部分为映出有食物f的超声波吞咽帧图像52，若通过食道期吞咽检测处理被检测为吞咽定时，则标记为“吞咽定时检测”。
[0068]
标记后的内窥镜动态图像41及超声波动态图像51发送到索引动态图像提取部34。另外，未检测到吞咽定时的内窥镜动态图像41及超声波动态图像51优选保存于保存存储器23中。此时，从临时保存存储器31中被删除。
[0069]
索引动态图像提取部34从内窥镜动态图像41中提取包含标记为“吞咽定时检测”的帧图像的连续的帧图像组即内窥镜索引动态图像44，同样地，从超声波动态图像51中提取包含标记为“吞咽定时检测”的帧图像的连续的帧图像组即超声波索引动态图像54。
[0070]
具体而言，如图9所示，从内窥镜动态图像41及超声波动态图像51所具有的标记为“吞咽定时检测”的咽部期吞咽帧图像组45中提取食道期吞咽帧图像组55的连续的帧图像组及在其前后连续的一定期间的帧图像组。一定期间是指由用户预先设定的3秒或5秒左右的时间，优选捕捉到食物f通过前的咽部的运动或食物f通过后的食道的运动等。箭头表示时间进度，当进行了动态图像的播放时，沿着箭头的朝向播放显示。内窥镜索引动态图像44及超声波索引动态图像54包含咽部期及食道期的吞咽定时。所提取的内窥镜索引动态图像44及超声波索引动态图像54发送到吞咽分类部35。
[0071]
由于内窥镜动态图像41与超声波动态图像51同步，因此可以将一个动态图像的标记的结果与另一个动态图像同步而进行索引动态图像的提取。由此，关于仅在一个动态图像中检测到的吞咽定时，能够确认在另一个动态图像中的影像的样子。
[0072]
内窥镜动态图像41所拍摄到的吞咽定时为咽部期，超声波动态图像51所拍摄到的吞咽定时为食道期，因此同步播放时的映出有食物f的期间并不一致。因此，各索引动态图像的提取范围优选具有内窥镜动态图像41所捕捉到的咽部期吞咽定时和超声波动态图像51所捕捉到的食道期吞咽定时这两个定时。另外，咽部期与食道期的吞咽是连续的，各吞咽定时具有小于1秒的程度的时间差，因此以小于1秒的时间差检测到的咽部期吞咽定时和食道期吞咽定时能够判定为是同一个吞咽。
[0073]
并且，为了提取各索引动态图像而进行吞咽定时检测及标记的方法有多个模型，将在上述记载的内窥镜动态图像41和超声波动态图像51的各自中检测吞咽定时并进行标记的模型设为第1模型，以下举出第2～第6模型的例子。当使用同步处理进行标记时，可以不区分食道期吞咽定时和咽部期吞咽定时而作为吞咽定时从各动态图像或各图像信号进行检测。
[0074]
在第2模型中，对在内窥镜动态图像41中检测到的吞咽定时进行标记，将其反映在同步的超声波动态图像51的摄影时间相同的部分并作为超声波动态图像51的吞咽定时而
进行标记。因此，不进行超声波动态图像51中的吞咽定时的检测。
[0075]
在第3模型中，对在超声波动态图像51中检测到的吞咽定时进行标记，将其反映在同步的内窥镜动态图像41的摄影时间相同的部分并作为内窥镜动态图像41的吞咽定时而进行标记。因此，不进行内窥镜动态图像41中的吞咽定时的检测。
[0076]
也可以将内窥镜动态图像41、超声波动态图像51这两个动态图像组合而进行吞咽定时的检测。在使用单独的动态图像的吞咽定时的检测中存在无法检测的情况或误检测的情况，但通过将内窥镜动态图像41和超声波动态图像51这两个动态图像组合使用，检测的精度提高。例如，在内窥镜动态图像41中，若因咳嗽或呛噎而咽部剧烈运动，则在内窥镜动态图像41中无法与吞咽时的行为进行区分，因此被误检测为吞咽定时，但在超声波动态图像51中肌肉的行为不同，因此能够判断为未吞咽，从而能够从在内窥镜动态图像41中检测到的吞咽定时中排除。例如，在超声波动态图像51中，无法区分使用检查食物的检查和患者无意识地进行了吞咽动作的情况，因此在超声波动态图像51中被检测为吞咽定时，但在内窥镜动态图像41中能够以图像判别检查食物的流入、未流入，因此能够将检查食物的吞咽以外的吞咽排除。
[0077]
在第4模型中，内窥镜动态图像41及超声波动态图像51中的吞咽定时检测后，比较同步的内窥镜动态图像41及超声波动态图像51，仅对摄影时间一致的吞咽定时的各图像信号进行标记。
[0078]
在第5模型中，在内窥镜动态图像41中进行吞咽定时的标记，且在同步的超声波动态图像51中进行未吞咽定时以外的标记。例如，从内窥镜动态图像41中检测吞咽定时的内窥镜视频信号，并且，从超声波动态图像51中检测吞咽定时、未吞咽定时及不明定时中至少未吞咽定时的超声波视频信号。对吞咽定时的内窥镜视频信号中摄影时间与未吞咽定时以外的超声波视频信号相同的内窥镜视频信号进行标记，并且，对未吞咽定时以外的超声波视频信号中摄影时间与吞咽定时的内窥镜视频信号相同的超声波视频信号进行标记。
[0079]
在第6模型中，在超声波动态图像51中进行吞咽定时的标记，且在同步的内窥镜动态图像41中进行未吞咽定时以外的标记。例如，从超声波动态图像51中检测吞咽定时的超声波视频信号，并且，从内窥镜动态图像41中检测吞咽定时、未吞咽定时及不明定时中至少未吞咽定时的内窥镜视频信号。对吞咽定时的超声波视频信号中摄影时间与未吞咽定时以外的内窥镜视频信号相同的超声波视频信号进行标记，并且，对未吞咽定时以外的内窥镜视频信号中摄影时间与吞咽定时的超声波视频信号相同的内窥镜视频信号进行标记。
[0080]
在吞咽分类部35中，进行分析了内窥镜索引动态图像44及超声波索引动态图像54的吞咽检查的吞咽食物的种类和结果的分类或索引编号等的赋予。吞咽食物为所吞咽的食物f的种类，例如有吞下唾液、吞下牛奶、吞下着色的水溶液、吃布丁等，并且，对这些吞咽是正常还是误咽或不明的结果进行分类。也可以使用根据误咽的程度进行评分的分数评价。基于将这些通过机器学习进行了学习的数据进行自动分类。自动分类的吞咽检查食物的种类的信息优选赋予给内窥镜索引动态图像44及超声波索引动态图像54。分类后的内窥镜索引动态图像44及超声波索引动态图像54发送到显示控制部22。另外，吞咽检查的结果可以由吞咽定时检测部33进行判别，并使用其结果。
[0081]
索引编号为用户搜索保存于保存存储器23等中的各索引动态图像时使用的编号，其优选为用字母与数字来标记检测到吞咽定时的顺序及吞咽检查食物的种类等的、未重复
且位数少的字符串。在该情况下，将吞咽检查食物的种类设为唾液(sa)、牛奶(mi)、着色水(cw)、布丁(pu)、不明(un)，而且分类正常吞咽(s)、误咽(a)或不明吞咽(u)。并且，根据动态图像的种类，在内窥镜索引动态图像44的末尾加上(1)，在超声波索引动态图像54的末尾加上(2)。
[0082]
如图10所示，例如，连续提取的内窥镜索引动态图像44a、44b、44c、44d、44e和与这些同步的超声波索引动态图像54a、54b、54c、54d、54e通过吞咽分类部35确定吞咽的种类。利用同步的内窥镜索引动态图像和超声波索引动态图像求出一个吞咽检查的结果。吞咽检查食物、吞咽检查的结果及表示动态图像的种类的记号被编入于表示检测到吞咽定时的顺序的索引编号中。若以检测到吞咽定时的顺序依次提取内窥镜索引动态图像44a～44e，则44a为唾液的正常吞咽且为“001sas1”，44b为牛奶的正常吞咽且为“002mis1”，44c为着色水的不明吞咽且为“003cwu1”，44d为布丁的误咽且为“004pua1”，44e为不明的正常吞咽且为“005uns1”，当与各自同步的超声波索引动态图像54a～54e也是相同的结果时，54a为“001sas2”，54b为“002mis2”，54c为“003cwu2”，54d为“004pua2”，54e为“005uns2”。
[0083]
显示控制部22进行显示于显示器14的画面的切换控制等。在实施吞咽检查时，作为观察画面而显示由用户观察的实时影像，在显示拍摄结束而获取的动态图像等时，作为播放画面而进行显示。观察画面中的播放通过自动播放或用户操作来进行。
[0084]
在动态图像编辑部30中，从内窥镜动态图像41及超声波动态图像51的获取至内窥镜索引动态图像44及超声波索引动态图像54的画面显示是自动进行的。若基于内窥镜11a及超声波检查终端12a的拍摄结束，则显示器14的显示由观察画面切换为播放画面。在播放画面上显示从所获取的内窥镜动态图像41中提取的内窥镜索引动态图像44及从超声波动态图像51中提取的超声波索引动态图像54。
[0085]
关于同步的内窥镜索引动态图像44和超声波索引动态图像54，若对一个动态图像进行标记或信息的附加，则对另一个动态图像也同步进行标记或信息的附加。例如，若对内窥镜索引动态图像44的任意的帧图像进行“吞咽定时”的标记，则对通过同步处理而同步的超声波动态图像51的对应的帧图像也进行“吞咽定时”的标记。
[0086]
同步内容以摄影时间为基准的100分之1秒为单位与对应的各帧图像同步。除了标记的内容以外，还反映基于吞咽分类部35的分类结果或基于动态图像编辑部30的编辑结果。并且，可以使由内窥镜视频信号及超声波视频信号指定的任意内容不同步。
[0087]
如图11所示，显示于显示器14的播放画面上的内窥镜索引动态图像44及超声波索引动态图像54与图5同样地进行两种动态图像的同时显示及同步播放。因此，能够同时观察咽部和食道，且能够连续地同时观察从咽部到食道的食物f的运动。在播放画面上具备用于供用户操作动态图像播放的播放按钮61、快退按钮62、快进按钮63、暂停按钮64、拖动条65、滑块66、重复播放按钮67及画面切换按钮68，用户能够经由用户界面15使用这些功能。
[0088]
如图12所示，显示于显示器14的播放画面上的内窥镜索引动态图像44及超声波索引动态图像54可以通过画面切换按钮68由图11的同时播放进行切换而与图6同样地单独显示。在单独显示的情况下，可以展开动态图像信息显示栏69，进一步显示由吞咽分类部35赋予的吞咽的种类和索引编号。并且，内窥镜索引动态图像44的动态图像标题可以直接适用索引编号。
[0089]
用户能够经由输入接收部21从用户界面15进行显示于动态图像信息显示栏69的
内窥镜索引动态图像44及超声波索引动态图像54的信息的确认及追加或修正之类的编辑。例如为进行动态图像播放而得到的观察结果、患者的性别和年龄段等特征。并且，可以进行自动分类的吞咽检查食物的种类和有无误咽等的编辑。
[0090]
用户除了动态图像信息显示栏69的信息的编辑以外，还能够进行索引动态图像的提取范围的编辑。在播放画面上回放的结果，当吞咽定时的误检测或提取不足的情况等，可以进行包括参考保存于临时保存存储器31中的内窥镜动态图像41的手动提取的再次提取或再次检查来再次获取具有吞咽定时的内窥镜索引动态图像44及超声波索引动态图像54。
[0091]
各种动态图像信息的确认及编辑结束的内窥镜索引动态图像44及超声波索引动态图像54保存于保存存储器23中。此时，优选删除保存于临时保存存储器31中的提取源的内窥镜动态图像41及超声波动态图像51。
[0092]
在内窥镜动态图像41及超声波动态图像51的吞咽检测处理中的深度学习中，预先使工具学习成为检测对象的图像的特征，使工具对所分析的帧图像计算检测对象的概率，将具有阈值以上的概率的帧图像判定为检测对象。检测对象为捕捉到食物f的咽部，追踪食物f的运动，检测内窥镜吞咽帧图像42或超声波吞咽帧图像52，并进行标记。另外，在深度学习中需要进行与用于吞咽检查的食物f的种类相对应的量的学习。
[0093]
内窥镜动态图像41所记录的咽部期吞咽定时为患者吞下食物f时的咽部的动态，在其检测中不需要进行识别食物f的深度学习，可以根据吞咽中的图像的特征或前后的帧图像彼此的变化等而进行吞咽检测处理。具体而言，可以进行基于使用“前后帧图像的像素值差分”、“帧图像的抖动量”、“图像的关键点数”等的吞咽检测算法的吞咽检测处理。另外，不管是哪一吞咽检测处理，对被判定为吞咽中的帧图像都标记为“吞咽定时检测”。
[0094]
在基于“前后帧图像的像素值差分”的检测算法中，吞咽中的图像在帧图像之间被摄体的移动量大，因此计算前后帧图像之间的单纯像素值的差分。吞咽定时检测部33进行与时间序列前后的两个帧图像有关的像素值的差分的计算。用于求出差分(单纯差分值)的函数优选使用搭载于用于图像分析的opencv(注册商标)的absdiff。
[0095]
在基于“帧图像的抖动量”的检测算法中，吞咽中的图像在帧图像之间被摄体的抖动大，因此计算表示帧图像之间的抖动的大小的边缘量。吞咽定时检测部33进行与时间序列前后的两个帧图像有关的边缘量的计算。用于求出边缘量的函数优选使用搭载于用于图像分析的opencv(注册商标)的variance of laplacian。
[0096]
在基于“关键点数”的检测算法中，吞咽中的图像在帧图像之间被摄体的抖动大，因此帧图像的边缘变得不清晰，关键点数减少。关键点是指用线表示帧图像而提取的边缘之中边缘量大的角(角点)的程度高的部分的特征点，吞咽定时检测部33进行与帧图像有关的关键点数的计算。用于求出关键点数的函数优选使用搭载于用于图像分析的opencv(注册商标)的count key point。另外，在特征点提取中使用搭载于用于图像分析的opencv(注册商标)的akaze(accelerated kaze)。在本实施方式中的特征点提取中，优选识别图像的中的边缘量高的部分(被识别为“角”、“角点”的部分)。
[0097]
对实时显示模式进行说明。在内窥镜系统11及超声波系统12中，将拍摄中的未进行同步处理的实时影像排列显示于显示器14。在内窥镜系统11中开始进行咽部内窥镜检查而拍摄的视频信号经由处理器装置13的内窥镜动态图像处理部24发送到显示控制部22。并且，在超声波系统12中开始进行食道部超声波检查而拍摄的视频信号经由处理器装置13的
超声波动态图像处理部25发送到显示控制部22。显示控制部22将视频信号直接作为实时影像而显示于显示器14。另外，当记录所拍摄的吞咽检查的动态图像时，优选用户利用内窥镜11a及超声波检查终端12a所具备的开关等决定开始和结束。
[0098]
图13是表示通过内窥镜动态图像摄影及超声波动态图像摄影的两个系统获取吞咽检查的索引动态图像的一连串流程的流程图。以下，对在吞咽检查中提取内窥镜索引动态图像44及超声波索引动态图像54并播放的流程进行说明。用户获取在实时显示模式中用内窥镜11a拍摄的拍摄了咽部的吞咽检查的状态的内窥镜动态图像41和用超声波检查终端12a拍摄的拍摄了食道部的吞咽检查的状态的超声波动态图像51。吞咽检查的拍摄结束后，切换为通常动态图像同步模式或索引动态图像同步模式。在任一情况下，所获取的内窥镜动态图像41均经由内窥镜动态图像处理部24发送到动态图像编辑部30，超声波动态图像51均经由超声波动态图像处理部25发送到动态图像编辑部30。发送到动态图像编辑部30的内窥镜动态图像41及超声波动态图像51在保存于临时保存存储器31中之后，通过动态图像同步部32进行同步处理。
[0099]
同步处理后的内窥镜动态图像41及超声波动态图像51在通常动态图像同步模式的情况下显示于显示器14，通过进行同步播放而从两种图像中观察吞咽定时。在索引动态图像同步模式的情况下，同步的内窥镜动态图像41及超声波动态图像51通过吞咽定时检测部33进行分析而确定拍摄了吞咽定时的帧图像即咽部期吞咽帧图像组45或食道期吞咽帧图像组55。在吞咽定时检测部33之后发送到索引动态图像提取部34的内窥镜动态图像41及超声波动态图像51中，食道期吞咽帧图像组55及其前后的一定时间段的帧图像从咽部期吞咽帧图像组45中作为内窥镜索引动态图像44及超声波索引动态图像54而被提取。所提取的内窥镜索引动态图像44及超声波索引动态图像54发送到吞咽分类部35，通过机器学习进行吞咽检查的种类的分类或索引编号的赋予。然后，内窥镜索引动态图像44及超声波索引动态图像54发送到显示控制部22，显示于显示器14，并进行同步播放，由此能够在短时间内从两种图像中观察吞咽定时。
[0100]
在通常动态图像同步模式及索引动态图像同步模式下进行基于同步播放的观察之后，能够进行吞咽检查的种类等的确认及追加或修正之类的编辑。动态图像信息的编辑结束的各动态图像保存于处理器装置13内的保存存储器23中。在该情况下，当不需要保存于临时保存存储器31中的内窥镜动态图像41及超声波动态图像51时，优选删除。当所获取的动态图像的数量因提取失败等而不足时或放映状况差时，再次检查而再次获取动态图像。
[0101]
超声波检查中除了上述食道期的吞咽观察以外，还可以进行咽喉部的误咽及残留评价以及吞咽相关肌肉的运动评价。用超声波检查终端12a观察成为对象的部位，获取超声波视频信号。优选分析超声波视频信号而进行吞咽定时的检测及索引动态图像的提取。在超声波检查的吞咽观察中，吞咽检测处理主要为食道期吞咽检测处理，非侵入性超声波检查能够容易变更观察部位，因此还能够进行位于如图2所示的位置的食物f的口腔期吞咽检测处理或咽部期吞咽检测处理。另外，在每个观察部位，距体表的深度或体表的形状不同，因此可以根据超声波检查的观察内容区分使用多个超声波检查终端12a。
[0102]
在咽喉部的误咽及残留评价中，将与基于吞咽内窥镜的观察相同的咽喉部作为观察部位来进行咽部期的食物或饮料的误咽或残留的评价。用超声波检查终端12a获取咽喉
部的超声波动态图像51，通过深度学习而学习吞咽时的图像来检测吞咽定时。通过所检测到的吞咽定时与内窥镜动态图像41的同步，能够进行超声波索引动态图像54的提取。可以将基于内窥镜检查的吞咽食物的种类或结果与基于超声波检查的误咽及残留评价建立关联而进行画面显示。
[0103]
在吞咽相关肌肉的动态评价中，观察舌或舌骨周边、或喉部的肌肉的形态来进行吞咽运动的评价。舌或舌骨周边的观察成为口腔期的吞咽定时的检查，喉部的肌肉的观察成为咽部期的吞咽定时的检查。用超声波检查终端12a获取超声波动态图像51，通过深度学习而学习口腔期或咽部期中的吞咽时的图像来检测吞咽定时。通过所检测到的吞咽定时与内窥镜动态图像41的同步，能够进行超声波索引动态图像54的提取。可以将基于内窥镜检查的吞咽食物的种类或结果与基于超声波检查的吞咽相关肌肉的动态评价建立关联而进行画面显示。
[0104]
[第2实施方式]
[0105]
在本实施方式中，代替第1实施方式的超声波系统12而如图14所示使用具有放射线观测装置16a的放射线观测系统16获取视频信号来进行患者的吞咽检查的观察。以下，对本实施方式的内窥镜动态图像41及放射线透视动态图像71进行说明。另外，省略与上述实施方式重复的内容。
[0106]
放射线观测系统16由放射线观测装置16a构成。放射线观测装置16a拍摄患者吞咽添加有造影剂的食物f的部位而获取放射线透视动态图像71。并且，使处理器装置13接收由放射线观测系统16拍摄的放射线透视动态图像71来实现发送到动态图像编辑部30的放射线透视动态图像的处理部(未图示)的功能。
[0107]
如图15所示，通过将由动态图像同步部32同步的内窥镜动态图像41和放射线透视动态图像71发送到显示控制部22，能够在显示器14上进行同时显示及同步播放。放射线透视动态图像71能够反映包括如图2所示的将食物f用舌头从口腔送入咽部中的口腔期、将食物f从咽部送入食道中的咽部期及将食物f从食道送入胃中的食道期的连续的一连串吞咽的动作。因此，优选从正侧面拍摄患者并在显示器14上显示包含口腔、咽部及食道的影像。
[0108]
如图16所示，放射线透视动态图像71中所包含的捕捉到口腔期至食道期的一连串吞咽帧图像组73包含捕捉到咽部期的吞咽的咽部期吞咽帧图像组45整体，因此内窥镜索引动态图像44及放射线索引动态图像74从内窥镜动态图像41及放射线透视动态图像71中提取一连串吞咽帧图像组73及其前后的一定期间的帧图像组。
[0109]
在吞咽分类部35中，在使用放射线观测系统16的吞咽检查中，使用造影剂，因此食物f的种类与第1实施方式不同。因此，吞咽的种类的分类与第1实施方式不同。在索引编号中，根据动态图像的种类，在内窥镜索引动态图像44的末尾加上(1)，在放射线索引动态图像74的末尾加上(3)。分类后的内窥镜索引动态图像44及放射线索引动态图像74发送到显示控制部22，显示于显示器14，并能够进行同步播放。
[0110]
[第3实施方式]
[0111]
在上述实施方式中，使不同的摄影系统与内窥镜系统11融合而利用两个系统记录了吞咽检查，但本实施方式为使三种摄影系统融合的进行吞咽检查的观察的方式。
[0112]
如图17所示，医疗图像处理系统10进行基于使用内窥镜系统11、超声波系统12及放射线观测系统16的三个系统融合的吞咽检查的观察。以下，对本实施方式的吞咽检查的
回放进行说明。另外，省略与上述实施方式重复的内容。
[0113]
如图18所示，通过将由动态图像同步部32同步的内窥镜动态图像41、超声波动态图像51及放射线透视动态图像71发送到显示控制部22，能够在显示器14上进行同时显示及同步播放。可以用画面切换按钮68由三种同时显示切换为像图6那样的个别显示。
[0114]
如图19所示，放射线透视动态图像71中所包含的捕捉到口腔期至食道期的一连串吞咽帧图像组73包括捕捉到咽部期的吞咽的咽部期吞咽帧图像组45及捕捉到食道期的吞咽的食道期吞咽帧图像组55整体，因此内窥镜索引动态图像44、超声波索引动态图像54及放射线索引动态图像74从内窥镜动态图像41、超声波动态图像51及放射线透视动态图像71中提取一连串吞咽帧图像组73及其前后的一定期间的帧图像组。
[0115]
在各实施方式中，显示控制部22、保存存储器23、内窥镜动态图像处理部24、超声波动态图像处理部25、动态图像编辑部30、临时保存存储器31、动态图像同步部32、吞咽定时检测部33、索引动态图像提取部34及吞咽分类部35之类的执行各种处理的处理部(processing unit：处理单元)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥作用的通用处理器即cpu(central processing unit：中央处理器)、fpga(field programmable gate array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
[0116]
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个fpga或cpu与fpga的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第1，有如下方式：如以用户端或服务器等计算机为代表那样，以一个以上的cpu与软件的组合构成一个处理器，该处理器作为多个处理部发挥作用。第2，有如下方式：如以片上系统(system on chip：soc)等为代表那样，使用以一个ic(integrated circuit：集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此，作为硬件结构，各种处理部使用一个以上的上述各种处理器而构成。
[0117]
此外，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的形态的电路(circuitry)。并且，存储部的硬件结构为hdd(hard disc drive：硬盘驱动器)或ssd(solid state drive：固态驱动器)等存储装置。