医疗图像处理系统及其工作方法与流程

1.本发明涉及一种医疗图像处理系统及其工作方法。


背景技术：

2.在用内窥镜插入到受检体内进行观察时，为了记录受检体内的运动或为了防止静态图像的丢失，有时进行动态图像摄影。内窥镜操作者在观察开始或向受检体内插入内窥镜前端部之前按下动态图像记录装置的录像按钮开始拍摄，直至观察结束或从受检体内拔出内窥镜前端部为止持续进行拍摄，因此所获取的动态图像文件的记录时间变长。在吞咽内窥镜中，以动态图像获取吞咽的一连串形态，但在大多数情况下用于诊断的部分在一次吞咽中少于5秒，并且在一次检查期间观察多次吞咽反应。记录一次吞咽的动态图像的记录时间为几分钟以上，因此在其后确认目标吞咽时产生损失。因此，要求选择性地仅播放进行吞咽的诊断时所获取的动态图像文件的吞咽部分。
3.但是，在吞咽的诊断中通过播放时间的指定或动态图像的快进找出目标部分，效率差，动态图像文件的管理经常变得繁琐，摄影部位大致相同，因此难以得知哪个动态图像是进行了哪个动作的结果。并且，若播放时间长，则回放也花费时间。
4.在专利文献1中记载有如下内容：在用内窥镜获取图像时在任意的定时进行暂停操作而制作章图像(chapter image)，在观察结束后从章图像获取部位进行播放或与过去拍摄的图像进行比较。在专利文献2中记载有如下内容：将摄取食物时的被测试者的吞咽过程的特性与振动传感器和成像技术建立关联来评价吞咽过程的特性。
5.专利文献1：国际公开第2018/043585号
6.专利文献2：日本特表2017-510368号公报
7.在专利文献1中，由于通过用户操作获取章图像，因此有可能发生丢失或播放位置的偏移等。并且，没有与实施吞咽或咽部的观察有关的记载。在专利文献2中，感知吞咽的动态而使用成像技术进行吞咽特性的评价，但其为感知吞咽的振动之后进行拍摄的方法，并没有仅在图像中观察吞咽的记载。基于上述观点，期望能够通过没有时间延迟地准确地进行吞咽的检测和拍摄了吞咽的图像的提取来将基于动态图像的吞咽的观察时间抑制为最小限度而效率良好地进行吞咽的观察。


技术实现要素：

8.本发明的目的在于提供一种能够从拍摄了吞咽检查的动态图像中自动提取索引动态图像并在吞咽检查结束后自动播放的医疗图像处理系统及其工作方法。
9.本发明的医疗图像处理系统具备处理器，处理器进行如下处理：接收利用内窥镜记录了吞咽检查的视频信号；分析视频信号而判定有无吞咽定时，并将吞咽定时的帧图像设为进行了吞咽定时检测的标记的吞咽帧图像；从视频信号中提取包含吞咽帧图像的索引动态图像。
10.优选索引动态图像由包含吞咽帧图像的吞咽帧图像组及与吞咽帧图像组连续的
一定期间量的帧图像组构成。
11.优选一定期间量的帧图像组为在吞咽帧图像组的开始前及结束后且未进行吞咽定时检测的标记的未吞咽帧图像。
12.优选视频信号中包含成为分析的对象的帧图像，处理器使用帧图像的抖动量的计算、基于帧图像的关键点的计算或帧图像之间的像素值的差分中的任一种来进行有无吞咽定时的判定。
13.优选处理器分析索引动态图像来确定吞咽检查的种类。
14.优选处理器对索引动态图像赋予用于动态图像搜索的索引编号。
15.优选处理器在画面显示时无用户操作而自动播放索引动态图像。
16.优选处理器将多个索引动态图像一览显示于显示器，并自动进行同时播放或连续播放。
17.优选处理器在索引动态图像的画面显示时显示吞咽检查的种类或索引编号中的至少任一个。
18.优选处理器将多个索引动态图像连接在一起而制作能够连续播放索引动态图像的合成索引动态图像。
19.优选处理器通过吞咽时的声音识别来进行有无吞咽定时的判定。
20.在本发明的医疗图像处理系统的工作方法中，包括通过处理器执行的如下步骤：接收利用内窥镜记录了吞咽检查的视频信号；分析视频信号来判定有无吞咽定时，并将吞咽定时的帧图像设为进行了吞咽定时检测的标记的吞咽帧图像；及从视频信号中提取包含吞咽帧图像的索引动态图像。
21.发明效果
22.能够从拍摄了吞咽检查的动态图像中自动提取索引动态图像并在吞咽检查结束后自动播放，从而能够效率良好地进行吞咽的观察。
附图说明
23.图1是表示医疗图像处理系统的示意图。
24.图2是表示食物的吞咽阶段的图。
25.图3是表示医疗图像处理装置的功能的框图。
26.图4是从视频信号中检测吞咽定时并提取索引动态图像的说明图。
27.图5是吞咽食物时及未吞咽时的咽部的观察图像的图像图。
28.图6是表示从视频信号中提取多个索引动态图像的图像图。
29.图7是表示对吞咽的分类结果及索引编号的分配的图像图。
30.图8是将索引动态图像一览显示于画面时的图像图。
31.图9是将一个索引动态图像显示于画面的图像图。
32.图10是索引动态图像的搜索画面的图像图。
33.图11是合成索引动态图像彼此的图像图。
34.图12是针对吞咽检查中的摄像方法示出的说明图及图像图。
35.图13是表示基于前后帧图像之间的像素值差分的吞咽的判定方法的说明图。
36.图14是表示基于帧图像的抖动的吞咽的判定方法的说明图。
37.图15是表示基于帧图像的关键点数的吞咽的判定方法的说明图。
38.图16是从视频信号中提取索引动态图像的流程图。
39.图17是在第2实施方式中实现的吞咽定时检测部的功能的框图。
40.图18是同时显示在第3实施方式中实现的所提取的索引动态图像和过去索引动态图像的图像图。
41.符号说明
42.10-医疗图像处理系统，11-医疗图像处理装置，12-数据库，13-内窥镜系统，13a-内窥镜，13b-内窥镜前端部，14-显示器，15-用户界面，20-中央控制部，21-图像接收部，22-显示控制部，23-输入接收部，24-保存存储器，30-索引动态图像制作部，31-临时保存区域，32-吞咽定时检测部，32a-检查动态图像分析部，32b-患者声音判别部，32c-吞咽声音判别部，33-索引动态图像提取部，34-吞咽分类部，41-动态图像文件，42-索引动态图像，42a-索引动态图像，42b-索引动态图像，42c-索引动态图像，42d-索引动态图像，42e-索引动态图像，43-吞咽帧图像组，43a-吞咽帧图像组，43b-吞咽帧图像组，44-吞咽帧图像，45-未吞咽帧图像，46-合成索引动态图像，47-过去索引动态图像，50-动态图像信息显示栏，51-播放按钮，52-快退按钮，53-快进按钮，54-暂停按钮，55-滑块，56-拖动条，57-重复播放按钮，100-图12中的帧图像的例子，101a-图13上段的前帧图像，101b-图13上段的后帧图像，101c-图13上段的差分的例子，101d-图13下段的前帧图像，101e-图13下段的后帧图像，101f-图13下段的差分的例子，101g-图13的图像处理对象区域，102a-图14上段的帧图像，102b-图14上段的边缘量的例子，102c-图14下段的帧图像，102d-图14下段的边缘量的例子，102g-图14的图像处理对象区域，103a-图15上段的帧图像，103b-图15下段的帧图像，103c-特征点，103g-图15的图像处理对象区域，eg-会厌，f-食物，r-位置，rg-声门裂，ps-梨状隐窝。
具体实施方式
43.[第1实施方式]
[0044]
如图1所示，医疗图像处理系统10具有医疗图像处理装置11、数据库12、内窥镜系统13、显示器14及用户界面15。医疗图像处理装置11与数据库12、内窥镜系统13、显示器14及用户界面15电连接。数据库12为能够保管所获取的图像并与医疗图像处理装置11进行数据的收发的设备，可以为usb(universal serial bus：通用串行总线)和hdd(hard disc drive：硬盘驱动器)等记录介质。医疗图像处理装置11从构成内窥镜系统13的内窥镜13a获取在吞咽检查中拍摄的图像。用户界面15为进行向医疗图像处理装置11的设定输入等的输入器件，包括键盘和鼠标等。
[0045]
内窥镜13a为从患者的鼻腔插入并利用照明光照亮咽部周边而进行吞咽的观察及拍摄的吞咽内窥镜。吞咽是动态的，因此在吞咽检查中获取动态图像。另外，当在吞咽的拍摄中没有特别指定时，照明光使用白色光，1秒钟获取60帧图像(60fps(frames per second：每秒钟帧数))的视频信号。
[0046]
如图2所示，吞咽是指咀嚼放入口中的食物f、吞下、送入食道中的一连串动态。在其进行过程中有放入口中的食物f从舌头送到咽部的“口腔期”、食物f从咽部送到食道的“咽部期”、食物f从食道送到胃的“食道期”。在本实施方式中，将吞咽的“咽部期”作为吞咽
定时而观察咽部。食物f使用即使吞下也对人体无害且吞咽的容易程度不同的多种液体和个体。例如为牛奶、着色的水溶液及布丁等。
[0047]
在吞咽检查中拍摄患者将食物f含在口中，在咽部吞下，通过食道送至胃时的情况。即使患者无法吞下食物f，也拍摄其情况。在吞咽检查中，优选每次连续确认多次吞咽，而不是一次吞咽。例如，在吞咽检查时，患者将以着色的水溶液、牛奶、自己的唾液、布丁的顺序吞下食物f。
[0048]
如图3所示，在医疗图像处理装置11中，与图像处理等处理有关的程序存储于程序用存储器(未图示)中。在医疗图像处理装置11中，通过由图像控制用处理器构成的中央控制部20使程序用存储器内的程序进行工作而实现索引动态图像制作部30、图像接收部21及显示控制部22、输入接收部23、保存存储器24的功能。并且，随着索引动态图像制作部30的功能实现，临时保存区域31、吞咽定时检测部32、索引动态图像提取部33及吞咽分类部34的功能得以实现。
[0049]
图像接收部21接收记录了基于内窥镜13a的吞咽检查的动态图像文件41，并发送到索引动态图像制作部30。索引动态图像制作部30从动态图像文件41中提取索引动态图像42，并发送到显示控制部22。显示控制部22进行使索引动态图像42显示于显示器14的控制。输入接收部23与用户界面15连接。保存存储器24能够单独实现保存功能，但也能够与数据库12连接而收发数据。另外，动态图像文件41的接收在吞咽检查结束后的定时进行，但可以在制作动态图像文件41之前的吞咽检查中实时地处理视频信号。
[0050]
如图4所示，在索引动态图像制作部30中，从动态图像文件41中，除了未进行吞咽的场景以外，为了效率良好地进行吞咽观察而进行索引动态图像42的提取。索引动态图像42由吞咽帧图像组43及与吞咽帧图像组43连续的前后一定时间段的帧图像组构成。吞咽帧图像组43由连续的多个吞咽帧图像44构成，吞咽帧图像44为捕捉了吞咽定时的帧图像。图4的箭头表示时间经过，当播放动态图像文件41时，沿着箭头的朝向播放显示帧图像。帧图像单体为一张图像，若其成为连续的图像组，则构成动态图像。
[0051]
临时保存区域31中临时保存有发送到索引动态图像制作部30的动态图像文件41。临时保存的动态图像文件41发送到吞咽定时检测部32。
[0052]
在吞咽定时检测部32中，利用基于深度学习等的机器学习专用工具对动态图像文件41进行图像分析，进行判别是否具有作为在咽部食物f通过时的动态的吞咽定时的吞咽检测处理。与吞咽定时对应的部分为吞咽帧图像组43，是映入有动态图像文件41中所包含的食物f的连续的帧图像。进行了吞咽检测处理的动态图像文件41发送到索引动态图像提取部33。另外，未检测到吞咽定时的动态图像文件41优选保存于保存存储器24中，并从临时保存区域31中被删除。
[0053]
图5是构成动态图像文件41且映入有通过咽部的食物f的帧图像的吞咽帧图像44和构成动态图像文件41且未映入有通过咽部的食物f的帧图像的未吞咽帧图像45。吞咽帧图像44为在吞咽检测处理中识别出食物f而例如进行了“吞咽定时检测”这样的标记的帧图像。未吞咽帧图像45为在吞咽检测处理中通过机器学习未识别出吞咽定时即在深度学习中未捕捉到食物f时的、未进行“吞咽定时检测”的标记的帧图像。
[0054]
索引动态图像提取部33从动态图像文件41中提取包含标记为“吞咽定时检测”的帧的索引动态图像。具体而言，索引动态图像提取部33提取动态图像文件41所具有的吞咽
帧图像组43及与吞咽帧图像组43的开始和结束连续的一定期间段的帧图像组来作为索引动态图像42。在吞咽帧图像组43的提取中，从动态图像文件41中标记为“吞咽定时检测”的帧图像成为对象。并且，一定期间是指用户预先设定的3秒或5秒左右的时间，优选捕捉食物f通过前后的咽部的运动等。
[0055]
如图6所示，在一个动态图像文件41中，吞咽的观察并不仅限于一次，当检测到多个吞咽定时时，从一个动态图像文件中提取多个索引动态图像42。例如，当通过吞咽定时检测部32从一个动态图像文件41中检测到不同的吞咽定时43a及吞咽定时43b时，在索引动态图像提取部33中，个别提取具有吞咽定时43a的索引动态图像42a及具有吞咽定时43b的索引动态图像42b。
[0056]
在吞咽分类部34中，分析索引动态图像42，并进行索引动态图像42中的吞咽检查的吞咽食物的种类和结果和索引编号等的赋予。分类结果是指所吞咽的食物f的种类的分类，例如有吞下唾液、吞下牛奶、吞下着色的水溶液、吃布丁等，并且有它们的吞咽是否正常或者是否发生了误咽。也可以使用根据误咽的程度进行评分的分数评价。基于将这些通过机器学习进行了学习的数据进行自动分类。自动分类的吞咽检查食物的种类的信息优选赋予到索引动态图像42。索引编号为用户搜索保存于保存存储器24等中的索引动态图像42时使用的编号，其优选为用字母与数字来标记检测到吞咽定时的顺序及吞咽检查食物的种类等的、未重复且位数少的字符串。在该情况下，将吞咽的种类设为唾液(sa)、牛奶(mi)、着色水(cw)、布丁(pu)、不明(un)，而且分类正常吞咽(s)或误咽(a)。分类后的索引动态图像42发送到显示控制部22。
[0057]
如图7所示，例如，连续提取的索引动态图像42a、42b、42c、42d、42e通过吞咽分类部34进行吞咽的种类的分类，分类结果被编入于表示检测到吞咽定时的顺序的索引编号中。若以检测到吞咽定时的顺序依次提取索引动态图像42a～42e，则42a为唾液的正常吞咽且为“001sas”，42b为牛奶的正常吞咽且为“002mis”，42c为着色水的正常吞咽且为“003cws”，42d为布丁的误咽且为“004pua”，42e为不明且正常吞咽且为“005uns”。
[0058]
显示控制部22进行显示于显示器14的画面的切换控制等。实施吞咽检查并且用内窥镜13a拍摄咽部时，显示用户所观察的实时影像作为观察画面，结束拍摄并显示所获取的动态图像等时，作为播放画面进行显示。
[0059]
在索引动态图像制作部30中，从动态图像文件41的获取至索引动态图像42向显示控制部22的发送为止是自动进行的。若基于内窥镜13a的拍摄结束，则显示器14的显示由观察画面切换为播放画面。在播放画面上，显示有从所获取的动态图像文件41中提取的索引动态图像42。
[0060]
如图8所示，所获取的各索引动态图像42一览显示于显示器14的播放画面。一览显示的索引动态图像42被自动播放，用户无需进行操作就能够进行吞咽定时的回放及索引动态图像42彼此的比较。该自动播放优选以拍摄的顺序逐个进行播放。当以索引动态图像42a、42b、42c
……
这样的顺序排列时，以该顺序播放。在播放画面上，优选将显示播放中的索引动态图像42的各种信息的动态图像信息显示栏50同时显示。在播放画面上具备用于供用户操作动态图像播放的播放按钮51、快退按钮52、快进按钮53、暂停按钮54、拖动条(seek bar)55、滑块56、重复播放按钮57。
[0061]
在各索引动态图像42的连续播放时，优选强调显示播放中的动态图像。例如，如索
引动态图像42b所示，加粗动态图像的框等而使其易于观看。索引动态图像42在自动显示时进行自动播放，显示于动态图像信息显示栏50的内容能够进行确认及基于用户操作的编辑。在动态图像信息显示栏50中显示有由吞咽分类部34赋予的吞咽的种类和索引编号、患者的姓名和年龄、拍摄者的姓名、动态图像标题、观察结果等信息。并且，索引动态图像42的动态图像标题可以直接适用索引编号。
[0062]
在播放画面上，能够通过按压播放按钮51而重复播放自动播放结束的索引动态图像42，且能够用快退按钮52追溯看漏的场景，用快进按钮53提高动态图像播放速度，用暂停按钮54在任意的定时停止播放。动态图像的播放状况以拖动条55上的滑块56的位置表示，能够通过拖动滑块56的位置等用户操作而使其移动，从而自由变更播放位置。若选择重复播放按钮57，则播放结束的索引动态图像42进行重复播放。连续播放时的拖动条55优选按每个索引动态图像42显示播放时间的划分。
[0063]
如图9所示，能够在显示器14上个别显示所获取的索引动态图像42。通过用户从一览显示的多个索引动态图像42中任意选择个别显示的对象来切换为个别显示。切换为个别显示时，也进行索引动态图像42的自动播放。
[0064]
用户能够进行显示于动态图像信息显示栏50的索引动态图像42的信息的确认及追加或修正之类的编辑。例如，从经由输入接收部23的用户界面15进行播放索引动态图像42而得到的观察结果、患者的性别和年龄段等特征的追加、或自动分类的吞咽的种类等的编辑。
[0065]
用户在编辑动态图像信息显示栏50的信息时还能够进行索引动态图像42的提取范围的编辑。在播放画面上进行回放的结果，当在索引动态图像42上误检测吞咽定时或提取不充分时等，可以进行包括参考保存于临时保存区域31的动态图像文件41的手动提取的再次提取或再次检查来再次获取索引动态图像42。
[0066]
各种动态图像信息的确认及编辑结束的索引动态图像42保存于保存存储器24或数据库12中。优选删除保存于临时保存区域31的提取源的动态图像文件41。
[0067]
如图10所示，在播放画面上播放的索引动态图像42有多个时，可以通过关键词的选择或输入来找出目标的索引动态图像42。在该情况下，将显示器14的显示切换为搜索画面而进行搜索。搜索中，除了索引编号以外，还利用吞咽食物的种类和有无误咽、患者信息、观察结果内容的关键词等进行搜索。
[0068]
如图11所示，在保存各索引动态图像42之后，可以制作将多个任意索引动态图像42连接在一起的一个动态图像，使得能够播放能够连续观察吞咽的动态图像。例如，可以将在图7中分类的索引动态图像42a～42e结合而制作合成索引动态图像46，并以拍摄的顺序连续确认吞咽。在合成索引动态图像46的制作中，除了顺序以外，还可以合成相同种类的吞咽或正常吞咽或误咽的索引动态图像42彼此。另外，索引编号是按每个吞咽定时赋予的，因此合成索引动态图像46的索引编号是将所具有的各吞咽定时的索引编号的总和。
[0069]
对吞咽检测处理进行说明。在深度学习中，预先使工具学习成为检测对象的图像的特征，使工具对所分析的帧图像计算作为检测对象的概率，具有阈值以上的概率的帧图像被判定为是检测对象。检测对象为捕捉到食物f的咽部，追踪食物f的运动，检测吞咽帧图像44，并进行标记。另外，在深度学习中需要进行与用于吞咽检查的食物f的种类相对应的量的学习。
[0070]
吞咽定时为患者吞下食物f时的咽部的动态，在其检测中不需要进行识别食物f的深度学习，可以根据吞咽中的图像的特征或前后帧图像彼此的变化等而进行吞咽检测处理。具体而言，是基于使用“前后帧图像的像素值差分”、“帧图像的抖动量”、“图像的关键点数”等的吞咽检测算法的吞咽检测处理。另外，不管是哪一吞咽检测处理，对被判定为吞咽中的帧图像都标记为“吞咽定时检测”。
[0071]
如图12所示，以使内窥镜13a的前端即内窥镜前端部13b位于位置r附近的方式拍摄动态图像。如例子100所示，在构成动态图像的帧图像中优选包含会厌eg、声门裂rg、左右的梨状隐窝ps等解剖学结构。声门裂rg是指构成声带的左右皱襞之间的空间。
[0072]
在基于“前后帧图像的像素值差分”的检测算法中，吞咽中的图像在帧图像之间被摄体的移动量大，因此计算前后帧图像之间的单纯像素值的差分。吞咽定时检测部32进行与时间序列前后的两个帧图像有关的像素值的差分的计算。用于求出差分(单纯差分值)的函数优选使用搭载于用于图像分析的opencv(注册商标)的absdiff。
[0073]
如图13所示，将从每一帧图像的图像中心朝向纵向及横向至少10像素以上的区域(图像处理对象区域101g)作为图像处理对象，取时间序列前后的在前的帧图像(图13上段、前帧图像101a及图13下段、前帧图像101d)与在后的帧图像(图13上段、后帧图像101b及图13下段、后帧图像101e)的图像处理对象区域101g中的像素值的差即单纯差分值。当该单纯差分值为第1阈值以上时，将计算出单纯差分值的后帧图像101b判定为吞咽中。由于随着吞咽运动而被摄体(尤其是会厌eg附近)剧烈运动，因此第1吞咽检测算法利用与未吞咽中相比帧图像之间的单纯差分值变得较大这一情况。另外，作为第1阈值的值的像素值优选为1至255，能够任意设定。
[0074]
对具体例进行详细说明。图13的上段为计算出未发生吞咽运动的前后两帧图像(前帧图像101a及后帧图像101b)的单纯差分值的例子。在未进行吞咽运动的状态下，会厌eg张开，能够容易观察声门裂rg。并且，作为口腔顶部的软腭(未图示)和会厌eg几乎不动，而只有一定程度的由呼吸引起的微小运动。因此，内窥镜前端部13b的运动少，如图13上段的差分的例子101c所示，在图像整体中几乎不会产生运动或抖动。因此，图像处理对象区域101g中的前帧图像101a与后帧图像101b的单纯差分值成为小于第1阈值，后帧图像101b被判定为未吞咽中。另外，在差分的例子101c中，用线例示出作为单纯差分值而计算出的成为对象的差分。
[0075]
图13的下段为计算出发生吞咽运动的前后两帧图像(前帧图像101d及后帧图像101e)的单纯差分值的例子。在进行吞咽运动的状态下，会发生软腭的移动或基于会厌eg的声门裂rg的闭合运动，因此内窥镜前端部13b剧烈运动，在图像整体中产生大幅抖动，由此如图13的下段的差分的例子101f所示，帧图像之间的差分变大。在该情况下，图像处理对象区域101g中的前帧图像101d与后帧图像101e的单纯差分值成为第1阈值以上，后帧图像101e被判定为吞咽中。另外，与上段同样地，在差分的例子101f中，用线例示出作为单纯差分值而计算出的成为对象的差分。并且，由于在吞咽中帧图像之间的抖动量大，因此与未吞咽中的差分的例子101c相比，吞咽中的下段中的差分的例子101f的差分的线更多。
[0076]
在基于“帧图像的抖动量”的检测算法中，吞咽中的图像在帧图像之间被摄体的抖动大，因此计算表示帧图像之间的抖动的大小的边缘量。吞咽定时检测部32进行与时间序列前后的两个帧图像有关的边缘量的计算。用于求出边缘量的函数优选使用搭载于用于图
像分析的opencv(注册商标)的variance of laplacian。
[0077]
如图14所示，将从至少一帧图像的每一帧图像的图像中心朝向纵向及横向至少10像素以上的区域(图像处理对象区域102g)作为图像处理对象，求出帧图像(图14上段、帧图像102a及图14下段、帧图像102c)的variance 0f laplacian，计算边缘量(图14上段、边缘量的例子102b及图14下段、边缘量的例子102d)。当该边缘量为第2阈值以上时，将计算出边缘量的帧图像判定为吞咽中。由于在吞咽中内窥镜前端部13b剧烈运动，因此第2吞咽检测算法利用随着抖动变大而边缘量也变大这一情况。另外，作为第2阈值的值的像素值优选为1至255，能够任意设定。
[0078]
对具体例进行详细说明。图14的上段为计算出未发生吞咽运动的帧图像102a的边缘量的例子。在未进行吞咽运动的状态下，软腭或会厌eg几乎不动，因此内窥镜前端部13b也几乎不动，如图14的上段的边缘量的例子102b所示，在图像整体中几乎不会产生运动或抖动。在该情况下，图像处理对象区域102g中的边缘量成为小于第2阈值，帧图像102a被判定为未吞咽中。另外，在边缘量的例子102b中，用线例示出作为边缘量而计算的成为对象的部分。
[0079]
图14的下段为计算出发生吞咽运动的帧图像102c的边缘量的例子。在进行吞咽运动的状态下，由于软腭或会厌eg运动而内窥镜前端部13b也大幅运动，在图像整体中产生抖动，因此如图14的下段的边缘量的例子102d所示，边缘量变大。在该情况下，图像处理对象区域102g中的边缘量成为第2阈值以上，帧图像102c被判断为吞咽中。另外，与上段同样地，在边缘量的例子102d中，用线例示出作为边缘量而计算的成为对象的部分。并且，由于在吞咽中抖动量大，因此与未吞咽中的例子102b相比，吞咽中的下段的边缘量的例子102d的成为边缘量的计算对象的线更多。
[0080]
在基于“关键点数”的检测算法中，吞咽中的图像在帧图像之间被摄体的抖动大，因此帧图像的边缘变得不清晰，关键点数减少。关键点是指用线表示帧图像而提取的边缘之中边缘量大的角(角点)的程度高的部分的特征点，吞咽定时检测部32进行与帧图像有关的关键点数的计算。用于求出关键点数的函数优选使用搭载于用于图像分析的opencv(注册商标)的count key point。
[0081]
如图15所示，将从至少一帧图像的每一帧图像的图像中心朝向纵向及横向至少10像素以上的区域(图像处理对象区域103g)作为图像处理对象。如图15中所例示，从帧图像(图15上段、帧图像103a及图15下段、帧图像103b)中提取特征点103c，并计算出数量。当该特征点103c的数量为第3阈值以下时，将计算出特征点数的帧图像判定为吞咽中。由于在吞咽中内窥镜前端部13b剧烈运动，因此第3吞咽检测算法利用抖动变大这一情况。另外，第3阈值的值为0以上，能够任意设定。并且，当特征点数为第3阈值以下时，可以求出像素值乘以-1的吞咽判定值，当吞咽判定值小于阈值时，可以判定为吞咽中。在该情况下，当特征点数超过第3阈值时，判定为未吞咽中。
[0082]
另外，在特征点提取中使用搭载于用于图像分析的opencv(注册商标)的akaze(accelerated kaze)。在本实施方式中的特征点提取中，优选识别图像的中的边缘量高的部分(被识别为“角”、“角点”的部分)。
[0083]
对具体例进行详细说明。图15的上段为计算出未发生吞咽运动的帧图像103a的特征点103c的数量的例子。在未进行吞咽运动的状态下，内窥镜前端部13b几乎不动，在图像
整体中几乎不会产生运动或抖动，因此如图15的上段的帧图像103a所示，检测到的特征点103c的数量变大。在图15的例子中，若将第3阈值设为5，则图像处理对象区域103g中的特征点103c的数量为30且超过第3阈值，因此帧图像103a被判断为未吞咽中。
[0084]
图15的下段为计算出发生吞咽运动的帧图像103b的特征点103c的数量的例子。在进行吞咽运动的状态下，内窥镜前端部13b也大幅运动，因此在图像整体中产生抖动，如图15的下段的帧图像103b所示，难以检测到特征点103c。在图15的例子中，若将第3阈值设为5，则图像处理对象区域103g中的特征点103c的数量为0且为第3阈值以下，因此帧图像103b被判定为吞咽中。
[0085]
图16是表示包含吞咽定时的索引动态图像42的自动提取的一连串流程的流程图。以下，对提取索引动态图像42的流程进行说明。用户获取用内窥镜13a拍摄的咽部的吞咽检查的状态的动态图像文件41。动态图像文件41发送到索引动态图像制作部30。发送到索引动态图像制作部30的动态图像文件41保存于临时保存区域31之后，由吞咽定时检测部32分析动态图像文件41而确定拍摄了吞咽定时的帧图像即吞咽帧图像组43。确定了吞咽帧图像组43的动态图像文件41发送到索引动态图像提取部33，吞咽帧图像组43和其前后一定时间段的帧图像作为索引动态图像42而被提取。索引动态图像42发送到吞咽分类部34，被赋予通过机器学习分类的吞咽的种类和索引编号。然后，索引动态图像42发送到显示控制部22，在显示器14上进行一览显示及自动播放。自动播放而进行索引动态图像42的回放之后，能够进行各索引动态图像42的分类结果等的确认及追加或修正之类的编辑。此时，相对于所拍摄的吞咽定时的数量，所显示的索引动态图像42的数量因提取失败等而不足时或放映状况差时，可以进行再次检查或手动提取。当获取了足够的索引动态图像42时，对显示于动态图像信息显示栏50的信息进行动态图像信息的编辑。动态图像信息的编辑结束的索引动态图像42保存于医疗图像处理装置内的保存存储器24或连接设备的数据库12中。并且，当不需要保存于临时保存区域31的动态图像文件41时，优选删除。
[0086]
[第2实施方式]
[0087]
在上述实施方式中，吞咽定时的检测通过所获取的动态图像文件41的图像分析来进行，但在本实施方式中，除了吞咽时的声音识别以外，还进行有无吞咽定时的判定及分类。以下，对本实施方式的索引动态图像42的提取进行说明。另外，省略与上述实施方式重复的内容。
[0088]
作为吞咽检测算法，使用声音进行口腔期的吞咽判定。连接于医疗图像处理装置11的用户界面15包含获取声音的麦克风(未图示)，从麦克风获取的声音波形每次从输入接收部23输入到医疗图像处理装置11中。声音的获取与咽部的拍摄联动进行，以声音附属于动态图像文件41中的形式发送到索引动态图像制作部30。声音波形作为声音信号而与动态图像文件41建立关联，并保存于索引动态图像制作部30的临时保存区域31之后，发送到吞咽定时检测部32。
[0089]
如图17所示，在第2实施方式中，在吞咽定时检测部32中实现检查动态图像分析部32a、患者声音判别部32b及吞咽声音判别部32c的功能，根据图像分析及声音判别进行有无吞咽定时的判定。
[0090]
在检查动态图像分析部32a中，进行与在第1实施方式中吞咽定时检测部32所执行的内容相同的基于动态图像文件41的图像分析的吞咽检测处理。由此识别食物f，被判定为
具有吞咽定时的动态图像文件41发送到患者声音判别部32b。另外，未检测到吞咽定时的动态图像文件41优选保存于保存存储器24中。此时，从临时保存区域31删除。
[0091]
在患者声音判别部32b中，分析附属于被判定为具有吞咽定时的动态图像文件41中的声音信号，判定是由患者发出的声音还是由患者以外的人发出的声音。当声音信号被判定为是由患者以外的人发出的声音时，与检查时间一同进行记录。当被判定为由患者以外的人发出的声音为医生等发出的特定声音(例如，“开始检查”等呼叫)时，可以将特定声音与发出特定声音的定时的动态图像文件41的帧图像建立对应关系。当声音信号被判定为具有在吞咽定时由患者发出的声音时，发送到吞咽声音判别部32c。并且，可以对与所判别的声音联动的动态图像文件41的帧图像进行“患者声音”或“非患者声音”这样的标记。
[0092]
在吞咽声音判别部32c中，判定声音信号是吞咽相关声音还是未吞咽相关声音。吞咽相关声音是指吞下声音或伴随吞咽而产生的会厌张开闭合声音等，未吞咽相关声音是指咳嗽、呛噎、呼吸、发声等声音。当声音信号为吞咽相关声音时，对与吞咽相关声音联动的动态图像文件41的帧图像标记为“吞咽相关声音”。同样地，对与未吞咽相关声音联动的动态图像文件41的帧图像标记为“未吞咽相关声音”。动态图像文件41与声音信号中的吞咽相关声音的有无无关地发送到索引动态图像提取部33。另外，在吞咽相关声音的判定中，优选计算吞咽中的概率而进行判定。
[0093]
即使利用上述结构的吞咽定时检测部32仅通过图像分析无法判别是吞咽反应还是吞咽以外的反应或精度低，当伴随咳嗽而产生的声门的闭合或会厌的张开闭合等虽然不是吞咽但声门或会厌大幅运动时，使用声音信号将这些吞咽以外的反应排除，由此也能够提高吞咽中或未吞咽中的判定的精度。另外，在图像分析中虽然具有吞咽定时，但由吞咽声音判别部32c仅根据“未吞咽相关声音”而未标记为“吞咽相关声音”的动态图像文件41，优选在通过索引动态图像提取部33的提取之后，通过吞咽分类部34分类是否为误咽。
[0094]
在索引动态图像提取部33中，将标记为“吞咽相关声音”的动态图像文件41的帧图像作为吞咽定时的吞咽帧图像组43，在索引动态图像提取部33中，吞咽帧图像组43和在其前后连续的一定秒数段的帧图像作为索引动态图像42而被提取。另外，未标记为“吞咽相关声音”的动态图像文件41仅通过与第1实施方式相同的图像分析进行索引动态图像42的提取。
[0095]
吞咽分类部34对索引动态图像42除了进行基于图像分析的分类以外，还进行基于声音分析的分类。在产生了吞咽相关声音及未吞咽相关声音的定时，进行正常或异常(吞咽障碍)的分类，并将分类结果赋予给索引动态图像42。具体而言，在进行吞咽相关声音及未吞咽相关声音的次数、吞咽声音的性状或长度、吞咽前后的呼吸声音、吞咽后的呛噎或咳嗽、发出了多次吞咽相关声音时以什么样的间隔发出、伴随吞咽而产生的会厌张开闭合声音是否与吞咽障碍有关等分析之后，判定与吞咽相关声音及未吞咽相关声音有关的正常或异常的分类。通过与基于图像分析的分类结果组合，能够得到更具体的分类结果或精度高的分类结果。
[0096]
在基于吞咽分类部34的分类之后，索引动态图像42经由显示控制部22在显示器14上进行显示及自动播放。自动播放的索引动态图像42优选吞咽相关声音也联动播放。并且，在动态图像信息显示栏50中，优选在所记载的信息中自动显示吞咽是否正常等信息。
[0097]
[第3实施方式]
[0098]
在上述各实施方式中，医疗图像处理装置11从内窥镜系统13中获取所拍摄的动态图像文件41并提取索引动态图像42，但在本实施方式中，除了上述各实施方式的提取以外，还从保管于数据库12中的动态图像文件41中进行提取。以下，对本实施方式的吞咽检查的回放进行说明。另外，省略与上述实施方式重复的内容。
[0099]
在吞咽检查中，为了跟踪病情变化，有时隔开期间而进行多次检查。因此，期望能够比较所获取的吞咽检查的结果与过去实施的吞咽检查的结果。医疗图像处理装置11通过图像接收部21从数据库12接收过去拍摄了吞咽检查的动态图像文件41，并通过索引动态图像制作部30进行提取。
[0100]
如图18所示，将从内窥镜系统13中获取并提取的索引动态图像42和从数据库12中获取并提取的过去索引动态图像47排列显示于显示器14上，并比较食物f的吞咽状态。
[0101]
在从数据库12中获取特定的动态图像文件41时，例如为了确认所获取的索引动态图像42的吞咽是否正常，优选使用吞咽的种类名称和患者的姓名、拍摄日期等从搜索画面进行搜索而获取。
[0102]
从数据库12中获取的动态图像可以为实施提取作业的动态图像文件41，也可以直接获取提取完的过去索引动态图像47并显示于显示器14。并且，可以利用索引动态图像42和过去索引动态图像47进行像图11中所示的合成索引动态图像46那样的动态图像合成。同一患者中的在不同检查日期且相同吞咽种类的合成索引动态图像46适合于追踪病情变化。
[0103]
在各实施方式中，中央控制部20之类的执行各种处理的处理部(processing unit：处理单元)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥作用的通用处理器即cpu(central processing unit：中央处理器)、fpga(field programmable gate array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
[0104]
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个fpga或cpu与fpga的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第1，有如下方式：如以用户端或服务器等计算机为代表那样，以一个以上的cpu与软件的组合构成一个处理器，该处理器作为多个处理部发挥作用。第2，有如下方式：如以片上系统(system on chip：soc)等为代表那样，使用以一个ic(integrated circuit：集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此，作为硬件结构，各种处理部使用一个以上的上述各种处理器而构成。
[0105]
此外，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的形态的电路(circuitry)。并且，存储部的硬件结构为hdd(hard disc drive：硬盘驱动器)或ssd(solid state drive：固态驱动器)等存储装置。