图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型与流程

1.本发明涉及图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型。


背景技术：

2.食管癌是全部癌肿中世界第八多的癌症，癌症关联死亡率排在第六位，每年有超过50万人死于食管癌。在食管癌中，在南美洲和亚洲(包括日本)较多的是食管鳞状细胞癌。进展性食管癌预后较差，但浅表性食管癌如能早期发现，则可通过内窥镜切除等微创疗法治疗，而且预后良好。因此，浅表性食管癌的早期发现是至关重要的课题。
3.由于内窥镜检查技术的日益成熟，食管癌的早期发现更多了，从而改善了预后，实现了保护内脏器官的微创治疗。而且，由于内窥镜黏膜下层剥离术(esd:endoscopic submucosal dissection)的出现，早期食管癌的治疗成为微创治疗。但是，在日本的食管癌诊断治疗指南中，esd仅适合于尚未浸润到黏膜层的食管癌，因此早期发现、诊断食管癌非常重要。
4.然而，即使进行了内窥镜检查(egd:esophagogastroduodenoscopy)，仅通过对被检查者的食管照射白光进行观察的白光观察(wli:white light imaging)也难以发现浅表性食管癌。相对于此，对被检查者的食管照射窄带光进行观察的窄带光观察(nbi:narrow band imaging)对于浅表性食管癌的检测是有用的，但有报告显示，即使使用窄带光观察，经验欠缺的内窥镜医生的检测率也低至53％。
5.作为其原因可以举出，食管癌缺乏色调的变化，作为几乎没有凹凸的平坦病变而发生，如果不熟练的话，很难将这样的观察结果识别为病变。另外，由于其背景黏膜多伴有炎症，经验欠缺的内窥镜医生有可能将炎症黏膜与食管癌混淆，使癌症病变的判断更加困难。这样一来，虽然统称为消化道，但与以息肉为特征的大肠癌相比，从内窥镜上准确地诊断食管癌仍有很多困难，在内窥镜诊断领域要求更高的诊断技术。
6.不仅是内窥镜机器的改进，作为检查技术的生化方法也正在开发中。其中之一是，使用将碘液喷洒到食管内腔的碘(卢戈液，lugol)染色，以高灵敏度检测食管癌的方法。即，有报告称，在将多发性碘染不着色带(multiple iodine intolerance zone，即，在食管内腔喷洒碘液时，未染色成茶褐色而呈黄白色的部分)作为生物标志物的检查方法中，在碘染色后，与在食管未发现多发性碘染不着色带的被检查者相比，在食管内发现多发性碘染不着色带的被检查者(患者)中食管癌、头颈部癌的发生频率更高。
7.多发性碘染不着色带与重度吸烟饮酒、绿黄色蔬菜的摄取量少有关，食管内存在的多发性碘染不着色带是由于背景上皮的癌抑制基因tp53发生变异而产生的，如上所述，存在多发性碘染不着色带的被检查者患食管癌、头颈部癌的风险更高，因此使用碘染色的观察适合用于通过内窥镜检查进行食管癌、头颈部癌的精密筛查。
8.但是，碘染色有导致胸部不适(副作用)、手术时间增加等问题，在所有病例中使用是不现实的，最好是选择有食管癌病史的病例、合并头颈部癌的病例等非常有限的高风险病例并在该病例中使用。为了早期发现食管癌，需要更迅速有效的方法，例如，无须进行碘
染色的高精度检查法、或根据需要组合使用碘染色的检查法等。
9.近年来，利用深度学习(deep learning)的人工智能(ai：artificial intelligence)被开发，也已应用到医疗领域。而且，开发了在维持输入到ai的图像的特征的状态下进行卷积学习的卷积神经网络(cnn:convolutional neural network)，大大提高了对学习得到的图像进行分类和判断的计算机辅助诊断(cad:computer-aided diagnosis)系统的图像诊断能力。
10.关于医疗领域的利用深度学习的图像判断技术，有ai对专科医生的诊断提供辅助的各种各样的报告，如放射线图像诊断、皮肤癌分类、病理标本的组织学分类、利用超放大内窥镜的大肠病变检测等。特别是，已经证明在显微内窥镜层次上，ai呈现出与专科医生同等的精度(参照非专利文献1)。另外，还报道了在皮肤科中，具有深度学习功能的ai拥有与专科医生同等的图像诊断能力(参照非专利文献2)的情况，也已存在利用了各种机器学习方法的专利文献(参照专利文献1、2)。
11.但是，在将静止图像作为训练数据用于学习，由ai对检查时所拍摄的静止图像进行判断的情况下，如果不拍摄静止图像ai就不能进行判断，因此，尚未解决在不进行拍摄的期间漏检癌病灶、通过静止图像观察较大范围需要花费时间等问题。另外，以下的图像诊断技术仍处于尚未导入实际的医疗现场(实际临床)的阶段：推断作为生物标志物之一的多发性碘染不着色带是否存在，来检测食管癌的高风险病例的图像诊断技术。
12.鉴于这样的现状，作为今后的ai诊断辅助技术所需的事项，为了更接近内窥镜专家的综合诊断技术，有以下需求：通过动态图像进行实时且精密的图像诊断支持、以及与利用与癌症风险相关的生物标志物进行的判断一起使用以提高诊断精度，等等。
13.现有技术文献
14.专利文献
15.专利文献1：日本特开2017-045341号公报
16.专利文献2：日本特开2017-067489号公报
17.[非专利文献]
[0018]
非专利文献1：http://www.giejournal.org/article/s0016-5107(14)02171-3/fulltext,“novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy”,yuichi mori et.al.presented at digestive disease week 2014,may 3-6,2014,chicago,illinois,usa
[0019]
非专利文献2：「nature」2017年2月号、巻頭論文、「皮膚
の
病変
を
学習
する
：人工知能
が
画像
から
皮膚
がんを
検出
する
能力
を
強化
する
」(《自然》，2017年2月号，卷首论文，“学习皮肤病变：增强人工智能根据图像检测皮肤癌的能力”)，http://www.natureasia.com/ja-jp/nature/highlights/82762
[0020]
非专利文献3：horie y,yoshio t,aoyama k,et al.“the diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks”,gastrointest endosc.2018,89:25-32


技术实现要素：

[0021]
发明要解决的问题
[0022]
如上所述，虽然医疗领域的ai的图像诊断能力有一部分与专科医生相当，但是，使用ai的图像诊断能力来实时且高精度地进行食管癌的诊断的技术尚未导入实际的医疗现场(实际临床)，期待以后尽早实用化。在癌症的图像诊断中，形态学特征和来自组织的生化方面的生物标志物、细胞生物学反应等基于癌症组织特性的判断基准是必需的，因此，虽然概括地说是通过内窥镜诊断消化器官癌症，但也需要因脏器而异地按每个脏器使ai诊断程序最优的技术和判断标准的设计。
[0023]
例如，扁平的食管癌与因隆起的息肉而容易检测的大肠癌是不同的形态，更难检测，需要新的研究和技术。因医疗设备的操作者的经验有别，很可能得到的结果的精度和判断也不同，因此在该研究和技术中，不仅要研究与内窥镜的图像处理相关的功能，还要研究使作为设备操作者的内窥镜医生的操作方法更恰当的方法。也就是说，各消化器官癌(食管癌、胃癌、大肠癌等)的固有特征量的提取及其病状级别的判断标准不同，需要设计符合各癌种的特征的ai程序。而且，不仅希望进行使运用机器时的操作更恰当的功能、以及黏膜的直接观察方面的研发，还希望研发表征癌症风险的生物标志物之类的评价黏膜特性的新技术，来作为有用的组合技术。
[0024]
本发明的目的在于提供在食管的内窥镜检查中，能够提高食管癌的诊断精度的图像诊断装置、图像诊断方法和图像诊断程序。
[0025]
解决问题的方案
[0026]
本发明的图像诊断装置具备：
[0027]
内窥镜图像获取部，获取对被检查者的食管进行摄像得到的内窥镜动态图像；
[0028]
推断部，使用将对存在食管癌的食管进行摄像得到的食管癌图像作为训练数据而进行了学习的卷积神经网络，推断所获取的所述内窥镜动态图像内存在的食管癌的位置；以及
[0029]
显示控制部，将推断出的食管癌的位置和指示在该位置存在食管癌的可能性的置信度重叠显示在所述内窥镜动态图像上。
[0030]
本发明的图像诊断方法具备：
[0031]
内窥镜图像获取工序，获取对被检查者的食管进行摄像得到的内窥镜动态图像；
[0032]
推断工序，使用将对存在食管癌的食管进行摄像得到的食管癌图像作为训练数据而进行了学习的卷积神经网络，推断所获取的所述内窥镜动态图像内存在的食管癌的位置；以及
[0033]
显示控制工序，将推断出的食管癌的位置和指示在该位置存在食管癌的可能性的置信度重叠显示在所述内窥镜动态图像上。
[0034]
本发明的图像诊断程序使计算机执行以下处理：
[0035]
内窥镜图像获取处理，获取对被检查者的食管进行摄像得到的内窥镜动态图像；
[0036]
推断处理，使用将对存在食管癌的食管进行摄像得到的食管癌图像作为训练数据而进行了学习的卷积神经网络，推断所获取的所述内窥镜动态图像内存在的食管癌的位置；以及
[0037]
显示控制处理，将推断出的食管癌的位置和指示在该位置存在食管癌的可能性的置信度重叠显示在所述内窥镜动态图像上。
[0038]
本发明的学习完毕模型是通过将多发性碘染不着色带食管图像和非多发性碘染
不着色带食管图像作为训练数据来进行卷积神经网络的学习而得到的，所述多发性碘染不着色带食管图像是不进行碘染色地对存在多发性碘染不着色带的食管进行摄像得到的非碘染色图像，所述非多发性碘染不着色带食管图像是不进行碘染色地对不存在多发性碘染不着色带的食管进行摄像得到的非碘染色图像，
[0039]
所述学习完毕模型使计算机以如下方式发挥功能：推断对被检查者的食管进行摄像得到的内窥镜图像与食管癌是否有关联，并输出推断结果。
[0040]
发明效果
[0041]
根据本发明，在食管的内窥镜检查中，能够提高食管癌的诊断精度。
附图说明
[0042]
图1是示出第一实施方式的图像诊断装置的整体结构的框图。
[0043]
图2是示出第一实施方式的图像诊断装置的硬件结构的图。
[0044]
图3是示出第一实施方式的卷积神经网络的结构的图。
[0045]
图4是示出在第一实施方式的内窥镜动态图像上重叠显示判断结果图像的例子的图。
[0046]
图5是示出第二实施方式的图像诊断装置的整体结构的框图。
[0047]
图6是示出第二实施方式的卷积神经网络的结构的图。
[0048]
图7a、图7b、图7c是示出在第二实施方式中，向食管内腔喷洒碘液时，对该食管进行摄像得到的内窥镜图像的例子的图。
[0049]
图8是示出与评价试验用数据集中使用的内窥镜动态图像(低速)相关的被检查者和病变(食管癌)的特征的图。
[0050]
图9是示出与评价试验用数据集中使用的内窥镜动态图像(高速)相关的被检查者和病变(食管癌)的特征的图。
[0051]
图10是示出关于能否正确地诊断出在内窥镜动态图像中存在食管癌(灵敏度)，对照射白光、窄带光的情况进行比较的比较结果的图。
[0052]
图11是示出分别照射白光、窄带光时的图像诊断装置的灵敏度、特异度、阳性预测率和阴性预测率的图。
[0053]
图12a、图12b、图12c、图12d、图12e、图12f是示出评价试验用数据集中使用的内窥镜图像的例子的图。
[0054]
图13是示出与评价试验用数据集中使用的内窥镜图像相关的被检查者的特征的图。
[0055]
图14a、图14b、图14c、图14d、图14e、图14f、图14g、图14h、图14i是示出内窥镜图像中的各种内窥镜观察结果的图。
[0056]
图15是示出图像诊断装置和内窥镜医生的灵敏度、特异度、阳性预测率、阴性预测率和诊断正确率的图。
[0057]
图16是示出进行以下评价所得的评价结果的图：针对存在多发性碘染不着色带的内窥镜图像，评价是否有内窥镜观察结果；以及针对不存在多发性碘染不着色带的内窥镜图像，评价是否有内窥镜观察结果。
[0058]
图17是示出关于能否正确地诊断出在内窥镜图像中存在多发性碘染不着色带(灵
processor，数字信号处理器)进行的处理来实现图像诊断装置100的各功能的一部分或全部，或也可以通过由cpu101、gpu106进行的处理和由dsp进行的处理一起来实现各功能的一部分或全部。另外，同样地，也可以取代由软件进行的处理而通过由专用的硬件电路进行的处理来实现各功能的一部分或全部，或也可以通过由软件进行的处理和由专用的硬件电路进行的处理一起来实现各功能的一部分或全部。
[0070]
如图1所示，图像诊断装置100包括内窥镜图像获取部10、推断部20和显示控制部30。学习装置40具有生成在图像诊断装置100中使用的卷积神经网络的模型数据(对应于本发明的“学习完毕模型”)的功能。此外，显示控制部30还作为本发明的“警报输出控制部”发挥功能。
[0071]
[内窥镜图像获取部]
[0072]
内窥镜图像获取部10获取从内窥镜摄像装置200输出的内窥镜图像数据d1。然后，内窥镜图像获取部10将所获取的内窥镜图像数据d1输出到推断部20。此外，内窥镜图像获取部10在获取内窥镜图像数据d1时，可以从内窥镜摄像装置200直接获取，也可以获取保存在外部存储装置104中的内窥镜图像数据d1或经由因特网线路等提供的内窥镜图像数据d1。
[0073]
[推断部]
[0074]
推断部20使用卷积神经网络，对由从内窥镜图像获取部10输出的内窥镜图像数据d1表示的内窥镜动态图像内的病变(在本实施方式中为食管癌)的存在进行推断，并输出推断结果。具体地，推断部20推断内窥镜动态图像内存在的病变的病变名称(名称)和病变位置(位置)、以及该病变名称和病变位置的置信度(也称为“准确度”)。然后，推断部20将推断结果数据d2和从内窥镜图像获取部10输出的内窥镜图像数据d1输出到显示控制部30，该推断结果数据d2表示对于病变名称、病变位置和置信度的推断结果。
[0075]
另外，当在由内窥镜图像数据d1表示的内窥镜动态图像内，在规定时间(例如0.5秒)内存在规定数量的(例如3个)置信度为规定值(例如0.5)以上的内窥镜图像的情况下，推断部20推断为在内窥镜动态图像内存在病变(食管癌)。在此，将上述规定数量设定为随着上述规定值变小而变大。在推断为在内窥镜动态图像内存在病变的情况下，推断部20将该内容(推断结果)输出到显示控制部30。
[0076]
在本实施方式中，推断部20推断作为表示病变名称和病变位置的置信度的指标的概率评分。概率评分用大于0且1以下的值表示。概率评分越高，意味着病变名称和病变位置的置信度越高。
[0077]
此外，概率评分是表示病变名称和病变位置的置信度的指标的一例，也可以使用其他任意形态的指标。例如，概率评分可以是以0％～100％的值表示的形态，也可以是由多个级别的等级值中的某一个表示的形态。
[0078]
卷积神经网络是前馈型神经网络中的一种，且是基于从大脑视觉皮层的结构得到的启示的神经网络。卷积神经网络基本上是使负责图像的局部的特征提取的卷积层、以及按每个局部将特征汇总的池化层(子采样层)重复而成的结构。卷积神经网络的各层具有多个神经元(neuron)，各个神经元以如与视觉皮层对应的那样的形态来配置。各个神经元的基本的功能包括信号的输入和输出。但是，各层的神经元之间在相互传递信号时，并非将所输入的信号直接输出，而是对各个输入设定连接权重，当该加权的输入的总和超过对各神
经元设定的阈值时，将信号输出至下一层的神经元。事先根据训练用数据计算出这些神经元之间的连接权重。由此，能够通过输入实时的数据来进行输出值的推断。作为公知的卷积神经网络模型，可举出例如googlenet、resnet、senet等。只要是适合该目的的卷积神经网络即可，不特别地限定构成该卷积神经网络的算法。
[0079]
图3是示出本实施方式的卷积神经网络的结构的图。此外，卷积神经网络的模型数据(结构数据和学习完毕权重参数等)与图像诊断程序一起保存在外部存储装置104中。
[0080]
如图3所示，卷积神经网络例如具有特征提取部na和辨别部nb。特征提取部na实施从所输入的图像(具体地，构成由内窥镜图像数据d1表示的内窥镜动态图像的内窥镜图像)中提取图像特征的处理。辨别部nb根据由特征提取部na提取出的图像特征，输出关于图像的推断结果。
[0081]
特征提取部na是将多个特征量提取层na1、na2、
…
分层地连接而构成的。各特征量提取层na1、na2、
…
具备卷积层(convolution layer)、激活层(activation layer)和池化层(pooling layer)。
[0082]
第一层的特征量提取层na1通过光栅扫描按规定尺寸扫描所输入的图像。然后，特征量提取层na1通过由卷积层、激活层和池化层对扫描得到的数据实施特征量提取处理，提取输入图像中包含的特征量。第一层的特征量提取层na1提取例如在水平方向上延伸的线状的特征量、在倾斜方向上延伸的线状的特征量等比较简单的单独的特征量。
[0083]
第二层的特征量提取层na2例如通过光栅扫描按规定尺寸扫描从前一层的特征量提取层na1输入的图像(也称为“特征图”)。然后，特征量提取层na2同样对扫描得到的数据实施利用卷积层、激活层和池化层进行的特征量提取处理，由此提取输入图像中包含的特征量。此外，第二层的特征量提取层na2通过一边参照第一层的特征量提取层na1提取的多个特征量的位置关系等一边进行整合，来提取更高维度的复合特征量。
[0084]
第二层以后的特征量提取层(在图3中，为了便于说明，仅示出两个分层的特征量提取层na)执行与第二层的特征量提取层na2同样的处理。然后，将最终层的特征量提取层的输出(多个特征图的图内的各值)输入到辨别部nb。
[0085]
辨别部nb例如由多个全连接层(fully connected)分层连接而成的多层感知器构成。
[0086]
辨别部nb的输入侧的全连接层与从特征提取部na获取的多个特征图的图内的各值全连接，针对该各值改变权重系数并进行乘积累加运算后输出。
[0087]
辨别部nb的下一层的全连接层与前一层的全连接层的各元件所输出的值全连接，针对该各值应用不同的权重系数并进行乘积累加运算。而且，在辨别部nb的最后级设置有输出在输入到特征提取部na的图像(内窥镜图像)内存在的病变的病变名称和病变位置、以及该病变名称和病变位置的概率评分(置信度)的层(例如，归一化指数函数(softmax function)等)。
[0088]
卷积神经网络事先使用预先由经验丰富的内窥镜医生进行了标记处理的参考数据(以下，称作“训练数据”)进行学习处理，从而能够以可根据所输入的内窥镜图像来输出所希望的推断结果(在此为病变名称、病变位置和概率评分)的方式拥有推断功能。此时，通过用覆盖代表性病状并调整了偏置的足够量的训练数据进行学习，适当地调整权重，能够防止过度学习，制作在食管癌诊断中具有泛化的性能的ai程序。
[0089]
本实施方式的卷积神经网络构成为：将内窥镜图像数据d1作为输入(图3的“输入”(input))，并将与内窥镜图像的图像特征相应的病变名称、病变位置和概率评分作为推断结果数据d2输出(图3的“输出”(output))，该内窥镜图像是构成由该内窥镜图像数据d1表示的内窥镜动态图像的图像。
[0090]
此外，也可以是，优选地，将卷积神经网络设为除了内窥镜图像数据d1以外，还可输入与被检查者的年龄、性别、地域或既往病史相关的信息的结构(例如，作为辨别部nb的输入元件来设置)。由于实际临床上的真实世界数据的重要性特别受到重视，因此通过追加这样的被检查者属性的信息，在实际临床上，能够拓展为更有用的系统。即，认为内窥镜图像的特征和与被检查者的年龄、性别、地域、既往病史、家族病史等相关的信息具有相关关系，因此，通过使卷积神经网络除了参照内窥镜图像数据d1以外还参照年龄等被检查者属性信息，能够成为可更高精度地推断病变名称、病变位置的结构。有时因地域或人种的不同，疾病的病状也会不同，因此尤其是在将本发明在国际范围内有效利用的情况下，上述方法是应采用的事项。
[0091]
另外，推断部20除了进行利用卷积神经网络进行的处理以外，也可以作为预处理，进行转换为内窥镜图像的尺寸或长宽比的处理、内窥镜图像的颜色分割处理、内窥镜图像的颜色转换处理、颜色提取处理、亮度梯度提取处理等。为了防止过度学习，提高精度，优选进行权重的调整。
[0092]
[显示控制部]
[0093]
显示控制部30生成判断结果图像，该判断结果图像用于在由从推断部20输出的内窥镜图像数据d1表示的内窥镜动态图像上，重叠显示由从推断部20输出的推断结果数据d2表示的病变名称、病变位置和概率评分。而且，显示控制部30将内窥镜图像数据d1和表示所生成的判断结果图像的判断结果图像数据d3输出到显示装置300。该情况下，也可以连接进行内窥镜动态图像的病变部分的结构强调或色彩强调、差分处理、高对比度化、高精细化等的数字图像处理系统，实施有助于观察者(例如医生)的理解和判断的加工，并进行显示。
[0094]
显示装置300，在由从显示控制部30输出的内窥镜图像数据d1表示的内窥镜动态图像上，重叠显示由判断结果图像数据d3表示的判断结果图像。显示在显示装置300上的内窥镜动态图像和判断结果图像用于对由医生进行的实时的诊断的支持和诊断辅助。
[0095]
在本实施方式中，在概率评分为某阈值(例如0.4)以上的情况下，显示控制部30在内窥镜动态图像上重叠显示表示病变位置的矩形框、病变名称和概率评分。另一方面，在概率评分小于某阈值(例如0.4)的情况下，即在内窥镜动态图像内存在病变的概率低的情况下，显示控制部30不在内窥镜动态图像上显示表示病变位置的矩形框、病变名称和概率评分。即，显示控制部30根据由从推断部20输出的推断结果数据d2表示的概率评分，变更内窥镜动态图像上的判断结果图像的显示方式。
[0096]
另外，在从推断部20输出了表示推断为在内窥镜动态图像内存在病变的内容的情况下，显示控制部30对显示装置300进行控制，使显示内窥镜动态图像的画面发光，或者使病变判断部的矩形范围闪烁，从而显示和输出警报。由此，能够有效地促使医生注意在内窥镜动态图像内存在病变的情况。此外，在由推断部20推断为在内窥镜动态图像内存在病变的情况下，也可以通过从未图示的扬声器发出(输出)警报音来输出警报。而且，此时，也可以分别计算并显示判断概率和推断概率。
[0097]
图4是示出在内窥镜动态图像上重叠显示判断结果图像的例子的图。图4是在对被检查者的食管照射了窄带光的状态下对该食管内的诊断对象部位摄像而得到的内窥镜动态图像。如图4的右侧示出的内窥镜动态图像所示，作为判断结果图像，显示表示由推断部20推断的病变位置(范围)的矩形框50。图4的左侧显示的多幅(例如3幅)内窥镜图像是将内窥镜动态图像内的置信度为规定值(例如0.5)以上的内窥镜图像按照摄像时刻的顺序(上下方向)进行显示而得到的内窥镜图像。如图4的左侧显示的内窥镜图像所示，作为判断结果图像，显示表示由推断部20推断的病变位置(范围)的矩形框52、54、56、病变名称(例如食管癌：cancer)以及概率评分(例如77.98％、63.44％、55.40％)。
[0098]
[学习装置]
[0099]
学习装置40输入存储在未图示的外部存储装置中的训练数据d4，进行学习装置40的卷积神经网络的学习处理，以使得推断部20的卷积神经网络可以从内窥镜图像数据d1(具体而言，是构成内窥镜动态图像的内窥镜图像)推断病变位置、病变名称和概率评分。
[0100]
在本实施方式中，学习装置40使用如下数据作为训练数据d4进行学习处理：在过去进行的食管的内窥镜检查中对多个被检查者的食管照射白光或窄带光并用内窥镜摄像装置200摄像得到的内窥镜图像(静止图像)、以及由医生预先判断出的该内窥镜图像内存在的病变(食管癌)的病变名称和病变位置。具体地，学习装置40以使输出数据相对于向卷积神经网络输入内窥镜图像时的正确值(病变名称和病变位置)的误差(也称为“损失”)减小的方式，进行卷积神经网络的学习处理。
[0101]
在本实施方式中，学习装置40使用映入有(即，存在)病变(食管癌)的内窥镜图像(与本发明的“食管癌图像”对应)作为训练数据d4，进行学习处理。
[0102]
作为用于学习处理的训练数据d4的内窥镜图像为如下图像：主要使用日本顶级的癌症治疗专科医院的丰富的数据库，具有丰富的诊断治疗经验的日本消化器官内窥镜学会指导医生对所有的图像进行了详细的分析、筛选，并通过精密的手动处理对病变(食管癌)的病变位置进行了标记。作为参考数据的训练数据d4(内窥镜图像数据)的精度管理和偏置排除直接关系到图像诊断装置100的诊断精度，因此，确保由具有丰富经验的专家级内窥镜医生进行了图像筛选、病变辨识、特征提取的标记的足够量的病例数是极其重要的工序。通过这样的高精度的数据清理操作和高质量的参考数据的利用，可以提供可靠性高的ai程序的输出结果。
[0103]
内窥镜图像的训练数据d4可以是像素值的数据，也可以是进行了规定的颜色转换处理等的数据。另外，也可以使用如下数据，即，作为预处理，通过炎症图像与非炎症图像的比较，提取对于癌部来说具有特征性的纹理特征、形状特征、凹凸状况、面积广度特征等而得到的数据。另外，关于训练数据d4，除了内窥镜图像数据之外，还可以将与被检查者的年龄、性别、地区、或既往病史、家族病史等有关的信息关联起来进行学习处理。
[0104]
此外，学习装置40进行学习处理时的算法可以是公知的方法。学习装置40例如使用公知的反向传播(backpropagation：误差反向传播法)，针对卷积神经网络实施学习处理而调整网络参数(权重系数、偏置等)。而且，由学习装置40实施了学习处理的卷积神经网络的模型数据(结构数据和学习完毕权重参数等)例如与图像诊断程序一起保存在外部存储装置104中。作为公知的卷积神经网络模型，可以举出例如googlenet、resnet、senet等。
[0105]
如以上详细说明的那样，在本实施方式中，图像诊断装置100具备：内窥镜图像获
取部10，其获取对被检查者的食管进行摄像得到的内窥镜动态图像；以及推断部20，其使用将对存在食管癌的食管进行摄像得到的食管癌图像作为训练数据而进行了学习的卷积神经网络推断所获取的内窥镜动态图像内的食管癌的存在，并输出推断结果。
[0106]
具体而言，卷积神经网络基于针对多个被检查者分别预先得到的多个食管(消化器官)的内窥镜图像(食管癌图像)、以及针对多个被检查者分别预先得到的病变(食管癌)的病变名称及病变位置的确定判断结果，进行了学习。因此，能够在短时间内且以实质上与经验丰富的内窥镜医生相媲美的精度，推断新的被检查者的食管的病变名称和病变位置。因此，在食管的内窥镜检查中，能够使用本实施方式的卷积神经网络所具有的内窥镜动态图像的诊断能力实时地进行食管癌的诊断。
[0107]
在实际临床上，图像诊断装置100也可以用作对在检查室由内窥镜医生进行的内窥镜动态图像的诊断直接进行辅助的诊断辅助工具。另外，图像诊断装置100也可以用作对从多个检查室传送的内窥镜动态图像的诊断进行辅助的中央诊断辅助服务，或者用作通过经由因特网线路进行的远程操作，对处于远程位置的机构中的内窥镜动态图像的诊断进行辅助的诊断辅助服务。另外，图像诊断装置100也可以在云端工作。而且，还可以将这些内窥镜动态图像和ai判断结果原样制成动态图像库，作为用于教育培训或研究的教材、资料来有效利用。
[0108]
[图像诊断装置的整体结构]
[0109]
接着，对第二实施方式(通过推断是否存在多发性碘染不着色带来进行诊断)的图像诊断装置100a的结构进行说明。图5是示出图像诊断装置100a的整体结构的框图。
[0110]
在由医生(例如，内窥镜医生)进行的消化器官(在本实施方式中为食管)的内窥镜检查中，图像诊断装置100a使用卷积神经网络具有的内窥镜图像的图像诊断能力，推断对被检查者的食管进行摄像得到的内窥镜图像中是否存在多发性碘染不着色带。多发性碘染不着色带是在将碘液喷洒到食管内腔时未染色为茶褐色而呈黄白色的部分。图像诊断装置100a上连接有内窥镜摄像装置200a和显示装置300a。
[0111]
内窥镜摄像装置200a例如是内置有摄像单元的电子内窥镜(也称作“视频内窥镜”)、在光学式内窥镜中安装了内置有摄像单元的摄像头而成的装有摄像机的内窥镜等。内窥镜摄像装置200a例如从被检查者的口或鼻插入到消化器官中，对该消化器官内的诊断对象部位进行摄像。
[0112]
在本实施方式中，内窥镜摄像装置200a在根据医生的操作(例如按钮操作)对被检查者的食管照射了白光或窄带光(例如nbi用窄带光)的状态下，将该食管内的诊断对象部位拍摄成内窥镜图像。内窥镜摄像装置200a将表示摄像得到的内窥镜图像的内窥镜图像数据d1输出到图像诊断装置100a。
[0113]
显示装置300a例如是液晶显示器，将从图像诊断装置100a输出的内窥镜图像和判断结果图像，以能辨别的方式显示给医生。
[0114]
与第一实施方式中的图像诊断装置100同样地，图像诊断装置100a是具备以下部件作为主要的部件的计算机：cpu(central processing unit，中央处理器)101、rom(read only memory，只读存储器)102、ram(random access memory，随机存取存储器)103、外部存储装置(例如，闪存)104、通信接口105、gpu(graphics processing unit，图形处理器)106等(参照图2)。
[0115]
图像诊断装置100a的各功能例如通过cpu101、gpu106参照存储于rom102、ram103、外部存储装置104等中的控制程序(例如，图像诊断程序)和各种数据(例如，内窥镜图像数据、训练数据、卷积神经网络的模型数据(结构数据和学习完毕权重参数等)等来实现。此外，ram103例如作为数据的工作区或临时退避区发挥功能。
[0116]
此外，也可以取代由cpu101、gpu106进行的处理而通过由dsp(digital signal processor，数字信号处理器)进行的处理来实现图像诊断装置100a的各功能的一部分或全部，或也可以通过由cpu101、gpu106进行的处理和由dsp进行的处理一起来实现各功能的一部分或全部。另外，同样地，也可以取代由软件进行的处理而通过由专用的硬件电路进行的处理来实现各功能的一部分或全部，或也可以通过由软件进行的处理和由专用的硬件电路进行的处理一起来实现各功能的一部分或全部。
[0117]
如图5所示，图像诊断装置100a包括内窥镜图像获取部10a、推断部20a和显示控制部30a。学习装置40a具有生成在图像诊断装置100a中使用的卷积神经网络的模型数据(对应于本发明的“学习完毕模型”)的功能。
[0118]
[内窥镜图像获取部]
[0119]
内窥镜图像获取部10a获取从内窥镜摄像装置200a输出的内窥镜图像数据d1。然后，内窥镜图像获取部10a将所获取的内窥镜图像数据d1输出到推断部20a。此外，内窥镜图像获取部10a在获取内窥镜图像数据d1时，可以从内窥镜摄像装置200a直接获取，也可以获取保存在外部存储装置104中的内窥镜图像数据d1或经由因特网线路等提供的内窥镜图像数据d1。
[0120]
[推断部]
[0121]
推断部20a使用卷积神经网络，对由从内窥镜图像获取部10a输出的内窥镜图像数据d1表示的内窥镜图像内的多发性碘染不着色带的存在与否进行推断，并输出推断结果。具体地，推断部20a推断内窥镜图像内的多发性碘染不着色带的存在与否的置信度(也称为“准确度”)。然后，推断部20a将推断结果数据d2和从内窥镜图像获取部10a输出的内窥镜图像数据d1输出到显示控制部30a，该推断结果数据d2表示与多发性碘染不着色带的存在与否的置信度有关的推断结果。
[0122]
在本实施方式中，推断部20a推断作为表示多发性碘染不着色带的存在与否的的置信度的指标的概率评分。概率评分用大于0且1以下的值表示。概率评分越高，意味着多发性碘染不着色带的存在与否的置信度越高。
[0123]
此外，概率评分是表示多发性碘染不着色带的存在与否的置信度的指标的一例，也可以使用其他任意形态的指标。例如，概率评分可以是以0％～100％的值表示的形态，也可以是由多个级别的等级值中的某一个表示的形态。
[0124]
卷积神经网络是前馈型神经网络中的一种，且是基于从大脑视觉皮层的结构得到的启示的神经网络。卷积神经网络基本上是使负责图像的局部的特征提取的卷积层、以及按每个局部将特征汇总的池化层(子采样层)重复而成的结构。卷积神经网络的各层具有多个神经元(neuron)，各个神经元以如与视觉皮层对应的那样的形态来配置。各个神经元的基本的功能包括信号的输入和输出。
[0125]
但是，各层的神经元之间在相互传递信号时，并非将所输入的信号直接输出，而是对各个输入设定连接权重，当该加权的输入的总和超过对各神经元设定的阈值时，将信号
输出至下一层的神经元。事先根据训练用数据计算出这些神经元之间的连接权重。由此，能够通过输入实时的数据来进行输出值的推断。只要是适合该目的的卷积神经网络即可，不特别地限定构成该卷积神经网络的算法。
[0126]
图6是示出本实施方式的卷积神经网络的结构的图。此外，卷积神经网络的模型数据(结构数据和学习完毕权重参数等)与图像诊断程序一起保存在外部存储装置104中。
[0127]
如图6所示，卷积神经网络例如具有特征提取部na和辨别部nb。特征提取部na实施从所输入的图像(具体地，由内窥镜图像数据d1表示的内窥镜图像)中提取图像特征的处理。辨别部nb根据由特征提取部na提取出的图像特征，输出关于图像的推断结果。
[0128]
特征提取部na是将多个特征量提取层na1、na2、
…
分层地连接而构成的。各特征量提取层na1、na2、
…
具备卷积层(convolution layer)、激活层(activation layer)和池化层(pooling layer)。
[0129]
第一层的特征量提取层na1通过光栅扫描按规定尺寸扫描所输入的图像。然后，特征量提取层na1通过由卷积层、激活层和池化层对扫描得到的数据实施特征量提取处理，提取输入图像中包含的特征量。第一层的特征量提取层na1提取例如在水平方向上延伸的线状的特征量、在倾斜方向上延伸的线状的特征量等比较简单的单独的特征量。
[0130]
第二层的特征量提取层na2例如通过光栅扫描按规定尺寸扫描从前一层的特征量提取层na1输入的图像(也称为“特征图”)。然后，特征量提取层na2同样对扫描得到的数据实施利用卷积层、激活层和池化层进行的特征量提取处理，由此提取输入图像中包含的特征量。此外，第二层的特征量提取层na2通过一边参照第一层的特征量提取层na1提取的多个特征量的位置关系等一边进行整合，来提取更高维度的复合特征量。
[0131]
第二层以后的特征量提取层(在图6中，为了便于说明，仅示出两个分层的特征量提取层na)执行与第二层的特征量提取层na2同样的处理。然后，将最终层的特征量提取层的输出(多个特征图的图内的各值)输入到辨别部nb。
[0132]
辨别部nb例如由多个全连接层(fully connected)分层连接而成的多层感知器构成。
[0133]
辨别部nb的输入侧的全连接层与从特征提取部na获取的多个特征图的图内的各值全连接，针对该各值改变权重系数并进行乘积累加运算后输出。
[0134]
辨别部nb的下一层的全连接层与前一层的全连接层的各元件所输出的值全连接，针对该各值应用不同的权重系数并进行乘积累加运算。而且，在辨别部nb的最后级设置有输出在输入到特征提取部na的图像(内窥镜图像)内的多发性碘染不着色带的存在与否的概率评分(置信度)的层(例如，归一化指数函数等)。
[0135]
卷积神经网络事先使用预先由经验丰富的内窥镜医生进行了标记处理的参考数据(以下，称作“训练数据”)进行学习处理，从而能够以可根据所输入的内窥镜图像来输出所希望的推断结果(在此为多发性碘染不着色带的存在与否的概率评分)的方式拥有推断功能。此时，通过用覆盖代表性病状并调整了偏置的足够量的训练数据进行学习，适当地调整权重，能够防止过度学习。另外，通过连接本实施方式的、在多发性碘染不着色带的存在与否的诊断中具有泛化的性能的ai程序，能够实现高速且具有高精度的诊断性能的程序。
[0136]
本实施方式的卷积神经网络构成为：将内窥镜图像数据d1作为输入(图6的“输入”(input))，并将与由内窥镜图像数据d1表示的内窥镜图像的图像特征相应的多发性碘染不
着色带的存在与否的概率评分作为推断结果数据d2输出(图6的“输出”(output))。
[0137]
此外，也可以是，优选地，将卷积神经网络设为除了内窥镜图像数据d1以外，还可输入与被检查者的年龄、性别、地域或既往病史相关的信息的结构(例如，作为辨别部nb的输入元件来设置)。由于实际临床上的真实世界数据的重要性特别受到重视，因此通过追加这样的被检查者属性的信息，在实际临床上，能够拓展为更有用的系统。即，认为内窥镜图像的特征和与被检查者的年龄、性别、地域、既往病史、家族病史等相关的信息具有相关关系，因此，通过使卷积神经网络除了参照内窥镜图像数据d1以外还参照年龄等被检查者属性信息，能够成为可更高精度地推断多发性碘染不着色带的存在与否的结构。有时因根据地域或人种的不同，疾病的病状也会不同，因此尤其是在将本发明在国际范围内有效利用的情况下，上述方法是应采用的事项。
[0138]
另外，推断部20a除了进行利用卷积神经网络进行的处理以外，也可以作为预处理，进行转换为内窥镜图像的尺寸或长宽比的处理、内窥镜图像的颜色分割处理、内窥镜图像的颜色转换处理、颜色提取处理、亮度梯度提取处理等。此外，为了防止过度学习，提高精度，优选进行权重的调整。
[0139]
[显示控制部]
[0140]
显示控制部30a生成判断结果图像，该判断结果图像用于在由从推断部20a输出的内窥镜图像数据d1表示的内窥镜图像上，重叠显示由从推断部20a输出的推断结果数据d2表示的概率评分。而且，显示控制部30a将内窥镜图像数据d1和表示所生成的判断结果图像的判断结果图像数据d3输出到显示装置300a。该情况下，也可以连接进行内窥镜图像的结构强调或色彩强调、差分处理、高对比度化、高精细化等的数字图像处理系统，实施有助于观察者(例如医生)的理解和判断的加工，并进行显示。
[0141]
显示装置300a，在由从显示控制部30a输出的内窥镜图像数据d1表示的内窥镜图像上，重叠显示由判断结果图像数据d3表示的判断结果图像。显示在显示装置300a上的内窥镜图像和判断结果图像例如用于对由医生进行的实时的诊断的支持和诊断辅助。
[0142]
在本实施方式中，在概率评分为某阈值(例如0.6)以上的情况下，显示控制部30a控制显示装置300a，以使显示内窥镜图像的画面发光，从而显示和输出表示存在多发性碘染不着色带的警报。由此，能够有效地促使医生注意在内窥镜图像内存在多发性碘染不着色带的情况。此外，也可以是，图像诊断装置100a在概率评分为某阈值以上的情况下，通过从未图示的扬声器发出(输出)警报音来输出警报。而且，此时，也可以分别计算并显示判断概率和推断概率。
[0143]
[学习装置]
[0144]
学习装置40a输入存储在未图示的外部存储装置中的训练数据d4，进行学习装置40a的卷积神经网络的学习处理，以使得推断部20a的卷积神经网络可以从内窥镜图像数据d1(具体而言，是内窥镜图像)推断多发性碘染不着色带的存在与否的概率评分。
[0145]
在本实施方式中，学习装置40a使用如下数据作为训练数据d4进行学习处理：在过去进行的食管的内窥镜检查中以对多个被检查者的食管照射白光或窄带光的状态由内窥镜摄像装置200a摄像得到的内窥镜图像、以及通过用于确认的碘染色预先判断出的该内窥镜图像中的多发性碘染不着色带的存在与否。具体地，学习装置40a以使输出数据相对于向卷积神经网络输入内窥镜图像时的正确值(多发性碘染不着色带的存在与否)的误差(也称
为“损失”)减小的方式，进行卷积神经网络的学习处理。
[0146]
在本实施方式中，学习装置40a使用对实际存在多发性碘染不着色带的食管进行摄像得到的内窥镜图像(与本发明的“不着色带图像”对应)、和对实际不存在多发性碘染不着色带的食管进行摄像得到的内窥镜图像(与本发明的“非不着色带图像”对应)作为训练数据d4，进行学习处理。
[0147]
图7是示出在食管内腔喷洒碘液时对该食管摄像而得到的内窥镜图像的例子的图。图7a所示的内窥镜图像被医生判断为，食管内存在的多发性碘染不着色带的数量为0，在该内窥镜图像内不存在多发性碘染不着色带(等级a)。图7b所示的内窥镜图像被医生判断为，食管内存在的多发性碘染不着色带的数量为1以上且9以下，在该内窥镜图像内不存在多发性碘染不着色带(等级b)。图7c所示的内窥镜图像被医生判断为，食管内存在的多发性碘染不着色带的数量为10以上，在该内窥镜图像内存在多发性碘染不着色带(等级c)。若使用这样的多发性碘染不着色带的训练数据进行学习而得到程序，利用由该程序驱动的内窥镜图像处理装置(图像诊断装置100a)，即使不进行碘染色，也能够推断出多发性碘染不着色带。
[0148]
作为用于学习处理的训练数据d4的内窥镜图像为如下图像：主要使用日本顶级的癌症治疗专科医院的丰富的数据库，具有丰富的诊断治疗经验的日本消化器官内窥镜学会指导医生详细分析所有的内窥镜图像，进行了多发性碘染不着色带的存在与否的判断。作为参考数据的训练数据d4(内窥镜图像数据)的精度管理和偏置排除直接关系到图像诊断装置100a的诊断精度，因此，确保由具有丰富经验的专家级内窥镜医生进行了图像筛选和多发性碘染不着色带的存在与否的判断的足够量的病例数是极其重要的工序。通过这样的高精度的数据清理操作和高质量的参考数据的利用，可以提供可靠性高的ai程序的输出结果。
[0149]
内窥镜图像的训练数据d4可以是像素值的数据，也可以是进行了规定的颜色转换处理等的数据。另外，也可以使用如下数据，即，作为预处理，通过不着色带图像与非不着色带图像的比较，提取对于多发性碘染不着色带的存在与否来说具有特征性的纹理特征、形状特征、凹凸状况、面积广度特征等而得到的数据。另外，关于训练数据d4，除了内窥镜图像数据之外，还可以将与被检查者的年龄、性别、地区、既往病史、或家族病史等有关的信息关联起来进行学习处理。
[0150]
此外，学习装置40a进行学习处理时的算法可以是公知的方法。学习装置40a例如使用公知的反向传播(backpropagation：误差反向传播法)，针对卷积神经网络实施学习处理而调整网络参数(权重系数、偏置等)。而且，由学习装置40a实施了学习处理的卷积神经网络的模型数据(结构数据和学习完毕权重参数等)例如与图像诊断程序一起保存在外部存储装置104中。作为公知的卷积神经网络模型，可以举出例如googlenet、resnet、senet等。
[0151]
如以上详细说明的那样，在本实施方式中，图像诊断装置100a具备：内窥镜图像获取部10a，其获取对被检查者的食管进行摄像得到的内窥镜图像；以及推断部20a，其使用将对存在多发性碘染不着色带的食管进行摄像得到的多发性碘染不着色带食管图像和对不存在多发性碘染不着色带的食管进行摄像得到的非多发性碘染不着色带食管图像作为训练数据进行了学习，不进行碘染色而检测多发性碘染不着色带的卷积神经网络，推断所获
取的内窥镜图像中是否存在多发性碘染不着色带，并输出推断结果。由于多发性碘染不着色带的存在与癌症风险高有关联，因此本实施方式的图像诊断装置100a直接具有食管癌的风险判断功能并能够用于诊断。
[0152]
具体，卷积神经网络基于针对多个被检查者分别预先得到的多个食管(消化器官)的内窥镜图像(多发性碘染不着色带食管图像、非多发性碘染不着色带食管图像)、以及针对多个被检查者分别预先得到的多发性碘染不着色带存在与否的确定判断结果，进行了学习。因此，能够推断对新的被检查者的食管进行摄像得到的内窥镜图像中是否存在多发性碘染不着色带。因此，在不使用通常的碘染色的常规内窥镜检查中，使用本实施方式的卷积神经网络所具有的内窥镜图像的诊断能力，能够在预测作为食管癌的高风险病例的指标的多发性碘染不着色带的存在与否的同时进行诊断。其结果，能够以与事先进行碘染色的情况同等的水准事先辨识食管癌的高风险病例，从而不给被检查者带来碘染色这样的身体负担而高精度且有效地检测食管癌，并且，通过与本发明的第一实施方式的实时动态图像的诊断相结合地，不进行碘染色而利用ai预测多发性碘染不着色带的存在，可以高效地进行利用实时动态图像的食管癌的有无的判断。
[0153]
在实际临床上，图像诊断装置100a也可以用作对在检查室由内窥镜医生进行的内窥镜图像的诊断直接进行辅助的诊断辅助工具。另外，图像诊断装置100a也可以用作对从多个检查室传送的内窥镜图像的诊断进行辅助的中央诊断辅助服务，或者用作通过经由因特网线路进行的远程操作，对处于远程位置的机构中的内窥镜图像的诊断进行辅助的诊断辅助服务。另外，图像诊断装置100a也可以在云端工作。而且，还可以将这些内窥镜图像和ai判断结果原样制成动态图像库，作为用于教育培训或研究的教材、资料来有效利用。
[0154]
如果与利用多发性碘染不着色带的预测判断进行的癌症风险评价相结合，则通过使手术者侧的操作更加恰当的功能(即，通过在内窥镜插入时决定低速模式和高速模式的方法，在高风险下以低速进行观察，在低风险下以高速进行观察)，更容易进行高效、高精度的诊断。即，在将内窥镜插入食管时，首先根据多发性碘染不着色带的检测状况，能够判断食管癌风险的大小，因此能够通过该判断，在图像装置显示部上显示内窥镜基准插入速度的设定和警报的灵敏度，并再次设定操作条件，在适合食管内腔的观察的条件下进行诊断。对于检查中的内窥镜插入速度，能够以使基准插入速度与实际插入速度的差值减小的方式输出警报。由此维持合适的观察条件。如果未检测出多发性碘染不着色带，癌症风险低，则也可以快速通过食管内腔，但此时可以通过实时图像诊断装置充分检测内窥镜医生难以察觉的病灶。另一方面，在检测出多发性碘染不着色带，癌症风险高的情况下，内窥镜医生进行详细的观察，从而内窥镜医生与实时图像诊断装置相结合，能够进行不放过微细的癌病变的精密诊断。这样的话，通过将内窥镜实时动态图像的诊断和多发性碘染不着色带的预测判断组合起来，即使不拍摄静止图像，即使不进行碘染色，只要将内窥镜放入食管就可以马上知道食管癌风险的程度，可以对如果快速进行患部观察则精度下降，如果缓慢进行患部观察则精度提高的人的判断方式进行补充和扩展，从而以远超人的判断速度的速度高效地判断食管癌风险。由此，对被检查者来说，也能够以最短的时间和所需的最低限度的身体负担来接受检查。
[0155]
如上所述，通过将上述第一实施方式(基于内窥镜实时动态图像的诊断)和上述第二实施方式(多发性碘染不着色带的预测判断)适当组合，能够将内窥镜基准插入速度调整
为可进行与各个被检查者的癌症风险度匹配的观察的速度，以超过现有技术的高效率和高精度对食管癌的诊断提供支持。
[0156]
另外，上述第一和第二实施方式都不过是示出了实施本发明时的具体化的一个例子，本发明的技术范围不应受这些实施方式的限制。即，本发明能够在不脱离其要点或其主要特征的情况下以各种各样的形式实施。
[0157]
最后，对用于确认上述第一和第二实施方式的结构的效果的评价试验进行说明。
[0158]
[第一评价试验]
[0159]
首先，说明用于确认上述第一实施方式的结构的效果的第一评价试验(内窥镜实时动态图像的判断)。
[0160]
[训练数据集的准备]
[0161]
准备了2014年至2017年组织学上被诊断为食管癌的429个病变的内窥镜静止图像8428幅，作为用于图像诊断装置中的卷积神经网络的学习的训练数据集(训练数据)。作为内窥镜摄像装置，使用了奥林巴斯医疗系统公司的gif-h240z、gif-h260z、gif-h290。
[0162]
此外，在作为训练数据集的内窥镜图像中，包含由内窥镜摄像装置对被检查者的食管进行摄像得到的内窥镜图像中的、在图像中辨认出(存在)食管癌的内窥镜图像。另一方面，从训练数据集排除了由于粘液、血液广泛附着、焦点未对准或光晕的原因导致图像质量差的内窥镜图像。作为食管癌专家的日本消化器官内窥镜学会指导医生对所准备的内窥镜图像进行了详细分析、筛选，通过精密的手动处理对病变的病变位置进行了标记，由此准备了训练数据集。
[0163]
[学习和算法]
[0164]
在进行食管癌诊断的图像诊断装置的构筑中，作为卷积神经网络，使用了由22个层构成，与以前的卷积神经网络具有相同的结构，且同时具有足够数量的参数和表现力的googlenet。在学习和评价试验中使用了由伯克利视觉和学习中心(bvlc:berkeley vision and learning center)开发的caffe深度学习框架。卷积神经网络的所有层均使用随机梯度下降法，以0.0001的全局学习率进行了微调。为了与卷积神经网络兼容，将各内窥镜图像的尺寸调整为224
×
224像素。
[0165]
[评价试验用数据集的准备]
[0166]
为了评价所构筑的基于卷积神经网络的图像诊断装置的诊断精度，从在2018年8月至2019年8月的期间，在公益财团法人癌症研究会有明医院作为初次治疗进行了esd的病例中，首先，作为评价试验用数据集，收集了以下的图像：用内窥镜摄像装置对多个被检查者的食管进行摄像而得的、包含对于存在食管癌的多个被检查者的食管的白光观察和窄带光观察这两者的32个内窥镜精密检查动态图像1组；对多个被检查者的食管照射白光或窄带光并由内窥镜摄像装置摄像得到的常规检查动态图像中存在食管癌的20例中的、白光和窄带光的内窥镜动态图像共计40；对多个被检查者的食管由内窥镜摄像装置进行摄像而得且不存在食管癌的20例中的、白光或窄带光的内窥镜动态图像共计40。拍摄了映入有食管癌的内窥镜动态图像和没有食管癌映入的内窥镜动态图像。构成评价试验用数据集的各内窥镜动态图像的帧率为30fps(1个内窥镜图像＝0.033秒)。作为内窥镜摄像装置，与准备训练数据集时同样地，使用了奥林巴斯医疗系统公司的gif-h240z、gif-h260z、gif-h290。关于摄像时的结构强调，在照射白光时设定为a模式5级，在照射窄带光时设定为b模式8级。
[0167]
此外，在评价试验用数据集中，作为满足合格基准的内窥镜动态图像，包含了作为精密检查动态图像的、在注视被检查者的食管的状态下由内窥镜摄像装置摄像了5秒钟得到的内窥镜动态图像。另外，作为常规检查动态图像(具体而言，是为了仔细检查病变而进行详细观察的动态图像)，摄像了以低速(例如1cm/s)移动内窥镜而观察病变的内窥镜动态图像(低速)。另外，作为常规检查动态图像，摄像了从食管入口部到食管胃连接部以高速(例如2cm/s)快速插入内窥镜的内窥镜动态图像(高速)。另一方面，将由于粘液、血液广泛附着、焦点未对准或光晕的理由导致图像质量差的内窥镜动态图像作为满足排除基准的内窥镜动态图像，从评价试验用数据集中排除。作为食管癌专家的日本消化器官内窥镜学会指导医生对准备的内窥镜动态图像进行了详细分析，筛选出存在食管癌的内窥镜动态图像和不存在食管癌的内窥镜动态图像，由此准备了评价试验用数据集。
[0168]
图8是示出与评价试验用数据集中使用的内窥镜动态图像(低速)相关的被检查者和病变(食管癌)的特征的图。关于年龄和肿瘤直径，示出中位数[全范围]。如图8所示，例如，肿瘤直径的中位数为17mm。侵入深度方面，黏膜上皮层(ep)为7个病变，黏膜固有层(lpm)为21个病变，黏膜肌层浸润(mm)为3例，黏膜下层浸润(sm)为1个病变。肉眼型(分类)中，凹陷型(0-llc)最多，有16个病变。
[0169]
图9是表示与评价试验用数据集中使用的内窥镜动态图像(高速)相关的被检查者和病变(食管癌)的特征的图。关于年龄和肿瘤直径，示出中位数[全范围]。如图8所示，例如，肿瘤直径的中位数为17mm。侵入深度方面，黏膜上皮层(ep)为8个病变，黏膜固有层(lpm)为10个病变，黏膜肌层浸润(mm)为3例，黏膜下层浸润(sm)为1个病变。肉眼型(分类)中，凹陷型(0-llc)最多，有16个病变。
[0170]
[评价试验的方法]
[0171]
在本评价试验中，对基于使用训练数据集进行了学习处理的卷积神经网络的图像诊断装置，输入评价试验用数据集，对是否能够正确诊断在构成该评价试验用数据集的各内窥镜动态图像内是否存在食管癌进行了评价。当在规定时间内存在规定数量的置信度为规定值以上的内窥镜图像的情况下，图像诊断装置诊断为在内窥镜动态图像内存在病变。
[0172]
具体地，图像诊断装置将1秒的内窥镜动态图像作为30帧静止图像来识别。当图像诊断装置识别出食管癌时，返回0.5秒(15帧)进行检索，当在其中存在3帧以上的包含食管癌的内窥镜图像的情况下，诊断为在内窥镜动态图像内存在食管癌。
[0173]
另外，在本评价试验中，使用下式(1)计算了针对在对被检查者的食管分别照射白光、窄带光的状态下摄像得到的内窥镜动态图像，图像诊断装置是否能够正确地诊断出食管癌的存在(灵敏度)：
[0174]
灵敏度＝(评价试验用数据集中被正确地诊断为存在食管癌的内窥镜动态图像的数量)/(评价试验用数据集中实际存在食管癌的内窥镜动态图像的数量)
…
(1)
[0175]
另外，在本评价试验中，使用下式(2)～(4)计算了针对在对被检查者的食管分别照射了白光、窄带光的状态下摄像得到的内窥镜动态图像的图像诊断装置的诊断能力的特异度、阳性预测率(ppv)和阴性预测率(npv)：
[0176]
特异度＝(评价试验用数据集中被正确地诊断为不存在食管癌的内窥镜动态图像的数量)/(评价试验用数据集中实际不存在食管癌的内窥镜动态图像的数量)
…
(2)
[0177]
阳性预测率(ppv)＝(评价试验用数据集中被诊断为存在食管癌的内窥镜动态图
像中，实际存在食管癌的内窥镜动态图像的数量)/(评价试验用数据集中被诊断为存在食管癌的内窥镜动态图像的数量)
…
(3)
[0178]
阴性预测率(npv)＝(评价试验用数据集中被诊断为不存在食管癌的内窥镜动态图像中，实际不存在食管癌的内窥镜动态图像的数量)/(评价试验用数据集中被诊断为存在食管癌的内窥镜动态图像的数量)
…
(4)
[0179]
[评价试验的结果]
[0180]
图10是示出针对在对被检查者的食管分别照射了白光、窄带光的状态下摄像得到的内窥镜动态图像的图像诊断装置的灵敏度的图。如图10所示，图像诊断装置对于在对被检查者的食管照射了白光的状态下摄像得到的内窥镜动态图像中的75％(95％ ci)的内窥镜动态图像，正确地诊断出了食管癌的存在。另外，图像诊断装置对于在对被检查者的食管照射了窄带光的状态下摄像得到的内窥镜动态图像中的55％(95％ ci)的内窥镜动态图像，正确地诊断出了食管癌的存在。另外，图像诊断装置对于在对被检查者的食管照射了白光或窄带光的状态下摄像得到的内窥镜动态图像中的85％(95％ ci)的内窥镜动态图像，正确地诊断出了食管癌的存在。
[0181]
图11是示出针对在对被检查者的食管分别照射了白光、窄带光的状态下摄像得到的内窥镜动态图像的图像诊断装置的诊断能力的灵敏度、特异度、阳性预测率(ppv)和阴性预测率(npv)的图。如图11所示，针对在对被检查者的食管照射了白光的状态下摄像得到的内窥镜动态图像，图像诊断装置的灵敏度、特异度、阳性预测率和阴性预测率分别为75％、30％、52％和55％。另外，针对在对被检查者的食管照射窄带光的状态下摄像得到的内窥镜动态图像，图像诊断装置的灵敏度、特异度、阳性预测率和阴性预测率分别为55％、80％、73％和64％。
[0182]
[对第一评价试验的考察]
[0183]
针对为了仔细检查病变而详细观察的内窥镜动态图像(32个)，针对白光、窄带光这两者，图像诊断装置能够识别所有的食管癌。其次，针对不知道食管癌的存在，从食管入口部到食管胃连接部以2.0cm/s快速插入的内窥镜动态图像，如果加上了白光和窄带光这两者，则图像诊断装置能够识别85％的食管癌。如果由15名内窥镜医生(在实际临床中进行食管癌诊断的日本消化器官内窥镜学会认定的专科医生7人和非专科医生8人)诊断同样的快速的内窥镜动态图像，诊断正确率的中位数为45％(25-60％)。另外，针对将图像诊断装置识别为食管癌的区域用矩形框示出的ai辅助下的内窥镜动态图像，15名内窥镜医生中的11人的诊断正确率上升，其上升率为中位数10％(5％-20％)。
[0184]
综上所述，如果内窥镜插入速度为1.0cm/s左右的慢速，则可以认为ai和内窥镜医生都可以诊断几乎所有的食管癌。然而，在2.0cm/s左右的快速插入速度下，内窥镜医生很难识别病变。通过ai在食管癌的位置显示矩形框，从而内窥镜医生的病变识别有所改善。相对于此，ai能够以一定程度的高精度发现食管癌。
[0185]
在非专利文献3中记载了如下内容：使用由nbi并用放大内窥镜摄像得到的内窥镜图像(静止图像)，评价计算机辅助诊断(cad)系统的食管癌诊断能力，结果为：灵敏度77％、特异度79％、阳性预测率39％、阴性预测率95％。另外，作为假阳性的原因的例子，记载了重度阴影、正常的结构(食管胃连接部、左主支气管、椎体)、良性病变(瘢痕、局部萎缩、巴雷特食管)。
[0186]
但是，在非专利文献3中，由于没有对计算机辅助诊断系统的诊断能力和掌握了食管癌的诊断技术的内窥镜熟练医生的诊断能力进行比较，因此用于评价诊断能力的内窥镜图像的诊断难易程度未知，在对计算机辅助诊断系统的诊断能力的解释上存在局限性。
[0187]
另外，在非专利文献3中，进行了使用静止图像(内窥镜图像)的研究，其在内窥镜检查后进行内窥镜图像的二次读影的情况下是有用的，但由于没有进行动态图像的研究，所以难以导入到实时进行食管癌诊断的实际的医疗现场。为了应用于实时动态图像，需要重新设计和优化ai算法。
[0188]
如上所述，由于在现有技术中没有进行基于实时动态图像的研究，因此与本发明相比，在实际临床上的可用性、精度等的评价方面不够充分，产业上的可用性也有限。但是，在本发明中完成了解决这些问题的尝试，与现有技术相比在以下方面特别优异：
[0189]
(1)由于进行了与多名内窥镜医生的诊断能力的比较，所以本发明的图像诊断装置的卷积神经网络中的权重和参数的设定是适当的，并且能够恰当地评价用于动态图像评价的难易程度。另外，通过进行与多名内窥镜医生的比较，还能将因与人数少的内窥镜医生进行比较而产生的偏置调整为较低。而且，cad系统还可以提供具有与熟练医生相当或更高的诊断能力的性能。这表明，除了在实际临床上使用之外，还可以作为教育训练用系统使用。
[0190]
(2)在本发明中，使用常规内窥镜、nbi并用非放大内窥镜，且诊断能力强，因此在实际临床上的可用性高。
[0191]
(3)在本发明中，使用动态图像代替静止图像，因而可以在实际临床上使用图像诊断装置实时地进行食管癌的内窥镜诊断。由此，无需花费在检查后再次查看静止图像进行判断的工夫和时间，在进行内窥镜检查时就能立即进行食管癌的诊断辅助，在检查效率和成本效率方面非常优异。
[0192]
(4)在基于静止图像的诊断中由于仅对拍摄了照片的部分进行评价，所以在内窥镜检查时检测出的食管癌的数量受限，但若采用本发明的动态图像，则能够与拍摄患部的时刻无关地、连续地、且像观察静止图像那样连续观察食管内腔，所以在检查中能够实时地检测食管癌，而且能检测出的食管癌的数量不受限制，从监测食管癌的角度来说，这一点在实际临床上非常有用。
[0193]
[第二评价试验]
[0194]
接着，对用于确认上述第二实施方式的结构的效果的第二评价试验(多发性碘染不着色带的判断)进行说明。
[0195]
[训练数据集的准备]
[0196]
针对在2015年4月至2018年10月的期间，在公益财团法人癌症研究会有明医院的日常临床中曾进行碘染色的病例，从电子病史装置中提取了在对多个被检查者的食管照射白光或窄带光的状态下由内窥镜摄像装置摄像而得的内窥镜图像。然后，将该提取出的内窥镜图像作为在图像诊断装置的卷积神经网络的学习中使用的训练数据集(训练数据)，进行了准备。该训练数据集具体包括：在食管内实际存在多发性碘染不着色带的188个病例的2736幅内窥镜图像(白光观察：1294幅，窄带光观察：1442幅)；以及在食管内实际不存在多发性碘染不着色带的407个病例的3898幅内窥镜图像(白光观察：1954幅，窄带光观察：1944幅)。作为内窥镜摄像装置使用了高分辨率内窥镜(gif-h290z，奥林巴斯医疗系统株式会
社，东京都)和高分辨率内窥镜视频系统(evis lucera elite cv-290/clv-290sl，奥林巴斯医疗系统株式会社，东京都)。关于摄像时的结构强调，在照射白光时设定为a模式5级，在照射窄带光时设定为b模式8级。
[0197]
此外，从训练数据集中排除了在有食管切除病史的病例中摄像得到的内窥镜图像和在接受了食管的化疗或放疗的病例中摄像得到的内窥镜图像。另外，将包含食管癌的内窥镜图像和因空气送入不足、活检后的出血、光晕、模糊、散焦、粘液等理由导致图像质量差的内窥镜图像也从训练数据集中排除。有丰富的诊断治疗经验的日本消化器官内窥镜学会指导医生(2名)对所准备的内窥镜图像进行了详细分析，对是否存在多发性碘染不着色带进行了判断，由此准备了训练数据集。
[0198]
[学习和算法]
[0199]
为了构筑对拍摄被检查者的食管而得的内窥镜图像中是否存在多发性碘染不着色带进行推断的图像诊断装置，作为卷积神经网络，使用了由22个层构成，与以前的卷积神经网络具有相同的结构，且同时具有足够数量的参数和表现力的googlenet。在学习及评价试验中使用了由伯克利视觉和学习中心(bvlc:berkeley vision and learning center)开发的caffe深度学习框架。卷积神经网络的所有层均使用随机梯度下降法，以0.0001的全局学习率进行了微调。为了与卷积神经网络兼容，将各内窥镜图像的尺寸调整为224
×
224像素。
[0200]
[评价试验用数据集的准备]
[0201]
为了评价所构筑的基于卷积神经网络的图像诊断装置的诊断精度，针对在2018年11月至2019年7月的期间，在公益财团法人癌症研究会有明医院的日常临床中进行了碘染色的病例，收集了在对多个被检查者的食管照射了白光或窄带光的状态下由内窥镜摄像装置摄像得到的内窥镜图像，来作为评价试验用数据集。该数据集具体包括：在食管内实际存在多发性碘染不着色带的32个病例的342幅内窥镜图像(白光观察：135幅，窄带光观察：207幅)；以及在食管内实际不存在多发性碘染不着色带的40例病例的325幅内窥镜图像(白光观察：165幅，窄带光观察：160幅)。作为内窥镜摄像装置使用了高分辨率内窥镜(gif-h290z，奥林巴斯医疗系统株式会社，东京都)和高分辨率内窥镜视频系统(evis lucera elite cv-290/clv-290sl，奥林巴斯医疗系统株式会社，东京都)。
[0202]
此外，内窥镜图像的排除基准与训练数据集相同，但为了避免偏置，基本上使用在对食管照射了白光或窄带光的状态下摄像得到的全部内窥镜图像。日本消化器官内窥镜学会指导医生对所准备的内窥镜图像进行了详细分析，对有无多发性碘染不着色带进行了判断，由此准备了评价试验用数据集。
[0203]
图12是示出在评价试验用数据集中使用的内窥镜图像的例子的图。图12a是在对被检查者的食管照射了白光的状态下由内窥镜摄像装置摄像而得的、被判断为食管内实际不存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级a)的内窥镜图像。图12b是在对被检查者的食管照射了窄带光的状态下由内窥镜摄像装置摄像的、被判断为食管内实际不存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级a)的内窥镜图像。
[0204]
图12c是在对被检查者的食管照射了白光的状态下由内窥镜摄像装置摄像的、被判断为食管内实际不存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级
b)的内窥镜图像。图12d是在对被检查者的食管照射了窄带光的状态下由内窥镜摄像装置摄像的、被判断为食管内实际不存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级b)的内窥镜图像。
[0205]
图12e是在对被检查者的食管照射了白光的状态下由内窥镜摄像装置摄像的、被判断为食管内实际存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级c)的内窥镜图像。图12f是在对被检查者的食管照射了窄带光的状态下由内窥镜摄像装置摄像的、被判断为食管内实际存在多发性碘染不着色带(在进行碘染色的情况下的着色程度：等级c)的内窥镜图像。
[0206]
图13是示出与评价试验用数据集中使用的内窥镜图像相关的被检查者的特征的图。在图13中，关于年龄，示出中位数。在食管内实际不存在多发性碘染不着色带的被检查者和在食管内实际存在多发性碘染不着色带的被检查者之间的各种特征的比较中，使用了皮尔森(pearson)卡方检验和费舍尔(fisher)精确检验；另一方面，在观察人年的比较中使用了瓦尔德(wald)检验(参照图13的p值)。在此，在各检验中，将统计学上的显著差异的基准设为小于0.05。在这次的评价试验中，在p值的计算中使用了“ezr version1.27(自治医科大学埼玉医疗中心)”。
[0207]
如图13所示，与食管内不存在多发性碘染不着色带的被检查者相比，食管内存在多发性碘染不着色带的被检查者中大量饮酒者和当前吸烟者的比例显著地高；另一方面，关于性别、年龄及潮红(flushing)反应，未确认两者间有显著差异。在观察期间，在食管内不存在多发性碘染不着色带的被检查者中，每百人年的作为同时性、异时性癌被检测出的食管鳞状细胞癌为5.6个，头颈部鳞状细胞癌为0.3个。另一方面，在食管内存在多发性碘染不着色带的被检查者中，每百人年的作为同时性、异时性癌被检测出的食管鳞状细胞癌为13.3个，头颈部鳞状细胞癌为4.8个。
[0208]
[评价试验的方法]
[0209]
在本评价试验中，对基于使用训练数据集进行了学习处理的卷积神经网络的图像诊断装置输入评价试验用数据集，对是否能够正确诊断(判断)在构成该评价试验用数据集的各内窥镜图像中是否存在多发性碘染不着色带进行了评价。对于多发性碘染不着色带存在与否的置信度为规定值以上的内窥镜图像，图像诊断装置判断为该内窥镜图像中存在多发性碘染不着色带，另一方面，对于多发性碘染不着色带存在与否的置信度小于规定值的内窥镜图像，图像诊断装置判断为该内窥镜图像中不存在多发性碘染不着色带。图像诊断装置针对每张内窥镜图像，对是否存在多发性碘染不着色带进行了判断，并针对每个病例，按照内窥镜图像的少数服从多数的原则对是否存在多发性碘染不着色带进行了判断。
[0210]
另外，在本评价试验中，为了比较图像诊断装置的诊断能力和内窥镜医生的诊断能力，由内窥镜医生观察构成评价试验用数据集的内窥镜图像，并对该内窥镜图像中是否存在多发性碘染不着色带进行了诊断。作为内窥镜医生，选出了日本消化器官内窥镜学会的从医经验8～17年、内窥镜检查件数为3,500～18,000件的10名内窥镜医生。被选出的10名内窥镜医生针对每张内窥镜图像对是否存在多发性碘染不着色带进行了诊断，并针对每个病例，按照内窥镜图像的少数服从多数的原则对是否存在多发性碘染不着色带进行了诊断。
[0211]
在本评价试验中，使用下式(5)～(9)计算了图像诊断装置(或内窥镜医生)的诊断
能力的灵敏度、特异度、阳性预测率(ppv)、阴性预测率(npv)和诊断正确率。
[0212]
灵敏度＝(正确地诊断出了食管内存在多发性碘染不着色带的病例数)/(食管内实际存在多发性碘染不着色带的总病例数)
…
(5)
[0213]
特异度＝(正确地诊断出了食管内不存在多发性碘染不着色带的病例数)/(食管内实际不存在多发性碘染不着色带的总病例数)
…
(6)
[0214]
阳性预测率(ppv)＝(诊断为食管内存在多发性碘染不着色带的病例中，食管内实际存在多发性碘染不着色带的病例数)/(诊断为食管内存在多发性碘染不着色带的病例数)
…
(7)
[0215]
阴性预测率(npv)＝(诊断为食管内不存在多发性碘染不着色带的病例中，食管内实际不存在多发性碘染不着色带的病例数)/(诊断为食管内不存在多发性碘染不着色带的病例数)
…
(8)
[0216]
诊断正确率＝(正确地诊断出了食管内是否存在多发性碘染不着色带的病例数)/(所有病例数)
…
(9)
[0217]
另外，在本评价试验中，经验丰富的内窥镜医生针对构成评价试验用数据集的所有内窥镜图像，评价了是否有背景食管黏膜的内窥镜观察结果(背景食管黏膜的内窥镜观察结果被认为有助于正确诊断多发性碘染不着色带的存在)，并针对每张内窥镜图像，按照内窥镜观察结果少数服从多数的原则，对食管内是否存在多发性碘染不着色带进行了诊断。而且，关于能否正确诊断出食管内存在多发性碘染不着色带(灵敏度)，比较了图像诊断装置与内窥镜观察结果之间哪一个更优。
[0218]
在此，作为上述内窥镜观察结果，可以举出以下(a)～(f)所示的6种观察结果：
[0219]
(a)确认有在一个视野中少于两个的糖原棘皮。
[0220]
(b)确认有角化症(keratosis)。
[0221]
(c)确认有粗糙的食管黏膜。
[0222]
(d)对食管照射白光时，未确认血管透见。
[0223]
(e)对食管照射白光时，确认有发红的背景黏膜。
[0224]
(f)对食管照射窄带光时，确认有茶色的背景黏膜。
[0225]
图14是示出内窥镜图像中的各种内窥镜观察结果的图。图14a示出在对食管照射白光时，在一个视野中确认到两个以上的糖原棘皮(即，未确认到内窥镜观察结果(a))的内窥镜图像。图14b示出在对食管照射窄带光时，在一个视野中确认到两个以上的糖原棘皮(即，未确认到内窥镜观察结果(a))的内窥镜图像。图14c示出在对食管照射白光时，确认有角化症(即，确认到内窥镜观察结果(b))的内窥镜图像。图14d示出在对食管照射窄带光时，确认有角化症(即，确认到内窥镜观察结果(b))的内窥镜图像。
[0226]
图14e示出在对食管照射白光时，确认有粗糙的食管黏膜(即，确认到内窥镜观察结果(c))的内窥镜图像。图14f示出在对食管照射窄带光时，确认有粗糙的食管黏膜(即，确认到内窥镜观察结果(c))的内窥镜图像。图14g示出在对食管照射白光时，确认有血管透见(即，未确认到内窥镜观察结果(d))的内窥镜图像。图14h示出在对食管照射白光时，确认有发红的背景黏膜(即，未确认到内窥镜观察结果(e))的内窥镜图像。图14i示出在对食管照射窄带光时，确认有茶色的背景黏膜(即，确认到内窥镜观察结果(f))的内窥镜图像。
[0227]
[评价试验的结果]
[0228]
图15是示出图像诊断装置和内窥镜医生的灵敏度、特异度、阳性预测率、阴性预测率及诊断正确率的图。在图像诊断装置与内窥镜医生之间的灵敏度、特异度和诊断正确率的比较中，使用了双侧麦克尼马尔(mcnemar)检验。
[0229]
如图15所示，对于食管内存在多发性碘染不着色带的病例中的84.4％(＝27/32)的病例，图像诊断装置正确地诊断出了存在多发性碘染不着色带，对于食管内不存在多发性碘染不着色带的病例中的70.0％(＝28/40)的病例，图像诊断装置正确地诊断出了不存在多发性碘染不着色带。另一方面，对于食管内存在多发性碘染不着色带的病例中的46.9％(＝15/32)的病例，内窥镜医生正确地诊断出了存在多发性碘染不着色带，对于食管内不存在多发性碘染不着色带的病例中的77.5％(＝31/40)的病例，内窥镜医生正确地诊断出了不存在多发性碘染不着色带。关于是否存在多发性碘染不着色带，图像诊断装置的诊断正确率为76.4％，内窥镜医生的诊断正确率为63.9％。特别是，与10名内窥镜医生中的9人相比，图像诊断装置的灵敏度即正确地诊断出在食管内存在多发性碘染不着色带的比率显著地高。另一方面，关于特异度和诊断正确率，图像诊断装置与内窥镜医生之间没有显著差异。
[0230]
图16是示出由内窥镜医生进行以下评价所得的评价结果的图：针对存在多发性碘染不着色带的内窥镜图像，评价是否有内窥镜观察结果；以及针对不存在多发性碘染不着色带的内窥镜图像，评价是否有内窥镜观察结果。关于各种内窥镜观察结果，在存在多发性碘染不着色带的内窥镜图像与不存在多发性碘染不着色带的内窥镜图像之间，对被评价为有观察结果的图象数量进行了比较，在该比较中，使用了皮尔森卡方检验和费舍尔精确检验。
[0231]
如图16所示，关于糖原棘皮(少于两个)、角化症、粗糙的食管黏膜、血管透见消失、发红的背景黏膜及茶色的背景黏膜这类内窥镜观察结果，与不存在多发性碘染不着色带的内窥镜图像相比，食管内存在多发性碘染不着色带的内窥镜图像中被评价为有观察结果的图象数量显著地多。即，在被评价为有内窥镜观察结果时，食管内存在多发性碘染不着色带的可能性相应地高。
[0232]
图17是示出关于能否参照内窥镜图像正确地诊断出在食管内存在多发性碘染不着色带(灵敏度)，对图像诊断装置和内窥镜观察结果进行比较的比较结果的图。在图像诊断装置和各内窥镜观察结果之间的灵敏度的比较中，使用了双侧麦克尼马尔检验。
[0233]
如图17所示，针对所有的内窥镜图像(白光观察和窄带光观察)的图像诊断装置的灵敏度为81.6％(＝279/342)，与被评价为有与糖原棘皮(少于两个)、角化症、粗糙食管黏膜相关的内窥镜观察结果的情况相比，显著地更正确地诊断出了存在多发性碘染不着色带。针对向食管照射了白光的内窥镜图像，图像诊断装置的灵敏度为81.5％(＝110/135)，与被评价为有与发红的背景黏膜相关的内窥镜观察结果的情况相比，显著地更正确地诊断出了存在多发性碘染不着色带。针对向食管照射了窄带光的内窥镜图像，图像诊断装置的灵敏度为81.6％(＝169/207)，与被评价为有与茶色的背景黏膜相关的内窥镜观察结果的情况相比，显著地更正确地诊断出了存在多发性碘染不着色带。如上所述，图像诊断装置的灵敏度比被评价为有与各种内窥镜观察结果相关的观察结果的情况下的灵敏度高，在内窥镜观察结果中，在被评价为有与“血管透见消失”相关的观察结果时灵敏度是最高的。
[0234]
图18是示出关于利用图像诊断装置诊断为在食管内存在(不存在)多发性碘染不
着色带的病例，作为同时性、异时性癌检测出的食管鳞状细胞癌、头颈部鳞状细胞癌的数量的图。在对被诊断为存在多发性碘染不着色带的病例和被诊断为不存在多发性碘染不着色带的病例的比较中，使用了皮尔森卡方检验和费舍尔精确检验。
[0235]
如图18所示，对于利用图像诊断装置诊断为在食管内存在多发性碘染不着色带的病例，每百人年检测出的食管鳞状细胞癌为11.2个，检测出的食管鳞状细胞癌及头颈部鳞状细胞癌为14.6个。对于利用图像诊断装置诊断为在食管内不存在多发性碘染不着色带的病例，每百人年检测出的食管鳞状细胞癌为6.1个，食管鳞状细胞癌及头颈部鳞状细胞癌为7.0个。如上所述，不管是食管鳞状细胞癌，还是食管鳞状细胞癌及头颈部鳞状细胞癌，与被诊断为在食管内不存在多发性碘染不着色带的病例相比，被诊断为在食管内存在多发性碘染不着色带的病例的同时性、异时性癌的发病率显著地高。因此，图像诊断装置不仅判断出了对食管内是否存在多发性碘染不着色带，还能对作为同时性、异时性癌的食管鳞状细胞癌和头颈部鳞状细胞癌的发生风险进行分级。
[0236]
[对第二评价试验的考察]
[0237]
如上所述，图像诊断装置使用卷积神经网络所具有的内窥镜图像的诊断能力，针对拍摄未进行碘染色的食管而得到的内窥镜图像，对于作为食管鳞状细胞癌或头颈部鳞状细胞癌的高风险病例的指标的多发性碘染不着色带的存在与否，以比经验丰富的内窥镜医生更高的灵敏度进行了诊断。
[0238]
以往，作为食管鳞状细胞癌的危险因素，已知有大量饮酒、吸烟、潮红(flushing)反应等。对食管进行碘染色后确认的多发性碘染不着色带的内窥镜观察结果，完全反映了上述危险因素，能够将食管鳞状细胞癌、头颈部鳞状细胞癌的发生风险分级。多发性碘染不着色带对于确定食管鳞状细胞癌、头颈部鳞状细胞癌治疗后的监测(定期检查)时间规划也非常有用。但是，如果不进行碘染色，则不知道是否存在多发性碘染不着色带，因此该碘染色通常只用于癌或疑似为癌的病变，其可用性受到限制。但是，通过使用图像诊断装置，能够在所有被检查者的初次的内窥镜检查(egd)中，根据未进行碘染色而摄像得到的内窥镜图像，判断食管鳞状细胞癌的发生风险。
[0239]
对于食管鳞状细胞癌、头颈部鳞状细胞癌的风险高的高风险病例，理想的是在照射窄带光的状态下仔细观察食管和咽头，并以在食管中进行了碘染色的状态进行观察，但是，在所有病例中实施该碘染色是不现实的。碘染色用于有癌症的人或疑似有癌症的人，目的在于无漏检地发现癌和诊断癌的范围。此外，也可以根据多发性碘染不着色带的程度来判断癌症的风险。但是，也存在有刺激性而产生不适感、对碘过敏的患者不能使用等的问题。如果能不使用碘染色，由ai进行癌症风险判断，从未进行碘染色的食管的内窥镜图像识别风险高的病例，则更有用。但是，用于根据未进行碘染色的食管的内窥镜图像有效地判断多发性碘染不着色带的内窥镜检查的方法迄今还不为人所知，在本发明中首次实现了该方法。
[0240]
因此，在本评价试验中，为了根据未进行碘染色的食管的内窥镜图像来诊断多发性碘染不着色带的存在与否，评价了6种内窥镜观察结果的有无。在存在多发性碘染不着色带的病例中，这些内窥镜观察结果均被高频率地确认。特别是，“一个视野中确认有少于两个的糖原棘皮”以及“对食管照射白光时，未确认血管透见”这两种内窥镜观察结果的灵敏度比预想的高，从未进行碘染色的食管的内窥镜图像就能诊断出多发性碘染不着色带的存
在与否。但是，关于正确地诊断出存在多发性碘染不着色带这一点，内窥镜医生的灵敏度低至46.9％(参照图15)。其理由可以推测为，多数内窥镜医生没有确认到上述两种内窥镜观察结果。而且，除此之外的4种内窥镜观察结果的灵敏度都较低。另一方面，图像诊断装置的灵敏度比6种内窥镜观察结果都高，而且灵敏度比经验丰富的内窥镜医生还高。即，这意味着，就综合判断这些内窥镜观察结果来诊断多发性碘染不着色带的存在与否而言，图像诊断装置优于人类的内窥镜医生。
[0241]
另外，使用评价试验用数据集，分析了松野等人报告的“扩张血管的多发病灶(mdv)”的诊断性能。由于本发明的发明人对于mdv的了解有限，所以从非放大静止图像识别mdv有点困难。虽然为了与其他见解进行比较还需要再进行一些训练，但本发明人分析的结果是，关于mdv，灵敏度为59.4％、特异度为70.4％、精度为79.5％。即，在原著论文中，关于mdv显示出很高的特异度和精度，但原著论文中的灵敏度与本发明人的分析相同，并不那么高。本发明人认为，为了更多地识别食管鳞状细胞癌、头颈部鳞状细胞癌的高风险病例，确保不漏检食管鳞状细胞癌、头颈部鳞状细胞癌，图像诊断装置表现出最高值的灵敏度才是最重要的诊断值。
[0242]
如上所述，本发明人构建了如下的图像诊断装置，其能够根据未进行碘染色的食管的内窥镜图像，以高灵敏度诊断存在多发性碘染不着色带的病例，即，食管鳞状细胞癌、头颈部鳞状细胞癌的发生风险高的病例。通过使用该图像诊断装置，内窥镜医生在不使用碘染色的常规内窥镜检查中，就能够高效地检测出需要慎重监测的食管鳞状细胞癌的高风险病例，能够合理地使用碘染色，进行高精度的食管癌诊断。
[0243]
本技术基于2020年4月27日提交的日本专利申请(特愿2020-078601)，其内容在此作为参照而引入。
[0244]
工业实用性
[0245]
本发明作为能够在食管的内窥镜检查中提高食管癌的诊断精度的图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型是有用的。通过根据实时动态图像诊断、以及根据多发性碘染不着色带的预测进行癌症风险判断，提供适合每个被检查者脏器的、迅速且高精度的利用内窥镜进行的食管癌诊断方法。
[0246]
附图标记说明
[0247]
10、10a 内窥镜图像获取部
[0248]
20、20a 推断部
[0249]
30、30a 显示控制部
[0250]
40、40a 学习装置
[0251]
100、100a 图像诊断装置
[0252]
101 cpu
[0253]
102 rom
[0254]
103 ram
[0255]
104 外部存储装置
[0256]
105 通信接口
[0257]
200、200a 内窥镜摄像装置
[0258]
300、300a 显示装置
[0259]
d1 内窥镜图像数据
[0260]
d2 推断结果数据
[0261]
d3 判断结果图像数据
[0262]
d4 训练数据