用于多模态软组织诊断的方法和装置
1.申请人在此提供在pct规则4.18下通过引用并入的声明，优先权申请ep20176399通过包括说明书、权利要求和附图的其全部内容被包括在本国际申请中。
技术领域
2.本发明涉及用于皮肤和粘膜病变的成像的方法和装置。
背景技术：
3.传统软组织诊断诊断以患者既往病史开始。收集关于患者的处置前的数据，例如吸烟、酗酒、糖尿病或损伤的历史。此外，重要的是评估病变随着时间的发生时间(通常更多是患者的检测时间)和进展。在具有典型的愈合时间的急性损伤的情况下，时间可以是数天，或者在慢性软组织改变例如苔藓型病变的情况下，需要观察数年。传统的口腔软组织诊断依赖于病变的视觉评估，结合其它信息如触觉信息或发白变色的可去除性。对于视觉评估来说，若干因素是重要的。病变的位置和大小、病变的颜色(发红、发白的变色)、变色的结构和均匀性(斑点、网络等)。医生通常将实际的病变与口腔疾病教学书籍中的照片或在用已知诊断实践期间观察到的其它病例进行比较。另外，通过触诊以及与下面的骨骼的关系来评估粘膜的一致度。(是否可能在轻微压力下使病变相对于骨脱位或病变是否固定到骨骼或下面的结构例如肌肉)进一步测试用机械摩擦对发白变色的去除以区分念珠菌病或粘膜白斑型病变。骨骼的涉及可能需要额外的x射线诊断，例如在肿瘤/肿胀的情况下。金标准仍然是取自活组织检查材料的组织学检测。
4.扩展诊断此外，对于“常规诊断”，一些牙医使用蓝色/uv光来激发组织自发荧光并诊断荧光图像(例如vizilite、vel scope或类似)或使用toluidin蓝染色。对于口腔自发荧光诊断来说，光源用于激发诸如烟酰胺腺嘌呤二核苷酸(nadh)和黄素腺嘌呤二核苷酸(fad)的内源性荧光团。为了激发，使用uv/蓝色范围内的波长(375至440nm)。在绿色波长范围内观察到发射。当用抑制激发波长的窄带滤光片观察时，健康的粘膜会发出浅绿色自发荧光。与周围健康组织相比，发育异常组织显示出较少的荧光并且显得较暗(参见图1中的(1))。在文献中质疑了发育异常与良性炎性病变之间的区分能力。良性组织炎症通常会显示出对病变的增加的血液供应。增加的血红蛋白含量可能会吸收激发光和发射光两者，并且引起荧光图像中的强度损失，这可能会错误地归因于瘤形成。vizilite使用化学试剂来产生激发光。为了激活它，弯曲胶囊以使玻璃小瓶破碎，使得化学产品彼此反应并产生具有430-580nm的波长的青白光，其持续大约10分钟。velscope利用400至460nm波长之间的蓝光激发。通过光学成像系统观察感兴趣场(参见图1)。关于用于口腔发育异常检测的自发荧光方法的20项研究的元分析(参见参考文献1)显示出不同出版物之间的灵敏度和特异性的巨大变化。
5.vizilight：比较不同研究，对vizilight的灵敏度和特异性在77%-100%(sens)至0%-28%(spec)之间变化。对于velscope系统，报告22%-100%的灵敏度和16%-100%的特异性。
作为一个示例，甲苯胺蓝的灵敏度和特异性分别被确定为86.36%和76.9%。另一种非光学方法是oral（口腔） cdx系统。用小刷子收集表面细胞并在实验室中分析表面细胞。在不同研究中灵敏度在71.4-100%之间变化，并且特异性在32-100%之间变化。
6.总而言之，单独使用自发荧光似乎不足以作为诊断辅助，尤其是当考虑到恶性肿瘤的低患病率和用户经验的变化时，但可以是与其他组合的一种附加的诊断工具。其它方法如染色或刷活组织检查显示出灵敏度和特异性的中等(染色)或高度变化。因此，期望诊断能力的改进。
7.用于口腔疾病检测的神经元网络人工智能作为用于真皮病变和x射线图像的分类的诊断支持正变得越来越成功。例如，ai网络可以在使用＞100k图像用于700个疾病类别用于训练时，已经实现委员会认证的皮肤科医生的准确度水平(参见参考文献2)。这导致每个类别约150个图像。关于牙科中的深度学习算法的使用的综述文章评述了25篇文章。作为诊断模态，使用了2d x射线、cbct、qlf和oct。这个评述的结论是，典型的数据集大小具有以每个类别大约100个数据集开始直到1000个数据集的增长趋势。报告了1000个数据集以实现大约98%的准确度，并且需要多于4000个数据集以得到大于99%的准确度。评述的文章中仅一个涉及使用qlf的牙龈炎检测和通过cnn的分类。没有文章涉及口腔内疾病分类(参考文献3)。除了纯粹的图像相关分类之外，其他作者报告了关于cnn的使用，包括口腔癌检测中的背景因素。在35个相关因素中选择12个的情况下，将风险因素、社会经济因素添加到临床症状和病历中，实现99%的分类准确度(参考文献4)。总之，如果具有足够的样本大小、特征和质量的数据库是可用的，那么神经网络可以有助于改进的医学和牙科诊断。
8.参考文献1： efficacy of light based detection systems for early detection of oral cancer and oral potentially malignant disorders: systematic review（用于口腔癌和口腔潜在恶性病症的早期检测的基于光的检测系统的功效：系统综述），ravleen nagi, yashoda-bhoomi reddy-kantharaj, nagaraju rakesh, sujatha janardhan-reddy, shashikant sahu med oral patol oral cir bucal. 2016 jul 1;21 (4):e447-55.参考文献2：dermatologist-level classification of skin cancer with deep neural networks（利用深度神经网络对皮肤癌进行皮肤科医生级分类），esteva a. et al. nature 542 115-118(2017).参考文献3：an overview of deep learning in the field of dentistry（牙科领域中的深度学习综述），jae-joon hwang 1,yun-hoa jung 1,bong-hae cho 1, min-suk heo 2, imaging science in dentistry 2019; 49: 1-7.参考文献4： usage of probabilistic and general regression neural network for early detection and prevention of oral cancer （概率和一般回归神经网络用于口腔癌早期检测和预防的用途），neha sharma, hari om the scientific world journal vol. 2015, article id 234191, http://dx.doi.org/10.1155/2015/234191.参考文献5：uv-angeregte autofluoreszenz: spektroskopische und fluoreszenzmikroskopische untersuchungen zur tumorselektivit
ä
t endogener gewebefarbstoffe（紫外激发自发荧光：内源性组织染料对肿瘤选择性的光谱和荧光显微
镜研究），alexander hohla dissertation, lmu, m
ü
nchen, 2003。
技术实现要素：
9.在使用神经元网络的研究中，感兴趣区域的图像的缺乏一致性是一个关注点，并且通常需要图像的手动预处理。照片通常是从不同距离(因此不同的放大倍数)、不同观察角度和不同光照条件拍摄的。对于多模态诊断来说，实现不同诊断模态之间良好的匹配(理想地是像素到像素)是更重要的。
10.本发明解决了所有这些问题，并且可以避免手动预处理，并且减少用于皮肤和粘膜病变的ai分类的计算时间。
11.本发明的目的是克服至少一些上述问题。该目的已经通过根据权利要求1所限定的装置和根据权利要求28所限定的方法实现了。其它权利要求涉及进一步的实施例和改进。使用基于例如共焦，优选地彩色共焦，飞行时间，立体测量或oct技术生成精确3d表面表示的设备具有精确知道病变的尺寸的优点。被扫描的表面和3d成像设备之间的距离总是精确已知的，因此可以计算病变的精确尺寸。还已知的是3d成像设备相对于被扫描的表面的角度，并且光照条件总是相同的，因为照明被集成在设备中。对于3d测量来说，这通常是良好定义的照明图案。将3d测量与光谱分辨的2d图像(例如，3通道(rgb)或更多)组合允许2d和3d数据的匹配。迄今为止，现有技术中未知的是使用3d纹理用于软组织/粘膜病变的诊断目的，以及在这种病变的3d纹理上映射光谱分辨的2d图像数据。
12.大多数实际3d扫描设备使用类似视频的扫描技术，其组合了许多顺序采集的单个3d图像，并且使用3d界标来叠覆它们，以便正确地叠覆单个图像。这对于例如口腔中的牙齿是容易的，但是如果具有单个图像的捕获区的表面示出不足够的3d界标，则变得更加困难。例如，在极端情况下，不能扫描平坦表面或球体。在没有或只有很少界标的情况下，叠加到3d数据上的光谱分辨的2d数据可以支持单个3d图像彼此的正确配准。
13.这在扫描平坦区域中的真皮或粘膜时是有帮助的，因为病变示出与健康组织不同的散射和吸收系数分布，这会导致例如当散射系数增加时的发白着色图案，或者如果吸收系数增加则会导致发褐色的着色(参见图2a发白变色和参见图2b：发褐色变色)。
14.3d图像的分辨率对于例如在牙科应用中使用的实际3d扫描系统来说，10μm-30μm的分辨率实际上可能具有相同数量级的误差。这低于用于诊断组织学的显微镜的分辨率，但是比体内视觉检查好得多。这允许计算病变的表面纹理。
15.用于3d图像生成的波长选择：由于生物组织通常在蓝或近uv区(350nm-400nm)中显示出较低的照明光穿透深度，这主要是由于增加的光散射系数的原因，因此这些波长可以用于与抑制体积散射光的扫描方法(例如基于共焦和oct的方法，其可能与基于焦深的技术组合)组合产生清晰的表面纹理3d图像。
16.在长于840nm、优选长于980nm、最优选在1300nm-1600nm范围内的波长的情况下，散射系数低得多，并且允许3d成像到几十毫米到几百微米的深度。那么次表面（subsurface）结构采集和成像成为可能。
17.提供至少两个波长，一个在350至400nm范围内，并且另一个长于840nm的清晰3d表
面扫描可以与真皮/粘膜损伤的至少几百微米的深度结构信息相结合。在最简单的情况下，照明在不同波长之间顺序切换，并且照明光源利用二向色镜耦合到相同的光路中。这种变型将适用于可用相同传感器检测的波长(例如cmos 350nm-～1000nm)。
18.对于一些3d测量技术，如果光源尺寸足够小(例如led)，则甚至使用不同波长的不完全一致的光通路是可能的。然后，微小的角度偏差将引起传感器上的照明图案的位移，但是这可以通过计算(位移和失真校正)来校正。
19.在需要第二传感器的情况下，在使用超过1000nm的照明波长时将是这种情况，至少一个分束器可以用于分离不同传感器的光路(参见图3)。
20.荧光成像3d成像的进一步扩展是与荧光成像的组合。如导言中所述，当用适当的波长激发时，人体组织会显示出自发荧光。皮肤/粘膜病变显示出不同强度的自发荧光。这可以是fad、nadh和胶原的uv/蓝光范围内的激发，但也可以是红色激发以激发卟啉。与3d成像结合，这允许荧光图像数据叠覆在3d纹理数据上。
21.光学射线路径可以是常规的，具有用于激发光的阻挡滤光片，其使用与用于3d成像的uv/蓝光波长相同的光图案，并且在与照明路径分离之后在成像路径中引入用于荧光检测的阻挡滤光片。然而，这将需要设备中的移动部分(滤光片)。根据计划要扩展的3d扫描器的设计，可能需要进一步更强的激发光功率。
22.在荧光图像数据中放弃3d信息，3d光学路径可以保持不变。可在通常用于可见光谱范围中的2d图像的2d光路中引入uv阻挡滤光片，但仍使用3d成像照明的激发光路(见图4)。
23.然而，最优选的解决方案是使用放置在可更换罩侧面上的单独的激发光源。阻挡滤光片可以集成在罩的窗口中。然后，滤光片不应抑制用于3d测量的结构光(图5)。这是可能的，因为人体的许多荧光团，例如胶原、nadh、fad、弹性蛋白和角蛋白可以在低于350nm被激发，并且3d光图案可以使用365nm-405nm的范围(参考文献5)(参见图6)。
24.另一选项是将激发光阻挡滤光片放置在2d传感器的前面，并且留下3d光路不改变。该滤光片不影响通常用于产生“彩色2d图像”的可视范围内的成像，因为荧光发射也在可视范围内(参见图4)。
25.这种改进的罩代替了传统的罩，无论如何，该罩是可拆卸的以用于消毒。
26.作为示例，但不限于，例如primescan或omnicam(以及其他抗体积散射扫描设备)的口腔内3d扫描设备的能力可以利用上述技术来扩展。
27.替代地，激发led可以放置在罩内，且罩更多或更少是空壳，其可以在不减少led寿命的情况下被消毒，然而这需要对现有3d扫描设备的更多修改。
28.使用口腔内扫描设备作为检测和分类口腔内病变基础的另外的优点是设备的形式，其允许进入口腔的所有区域，与用于捕获皮肤病病变图像的设备非常不同。
29.利用上述技术，以下优选的多模态成像选项变得可能：-使用可见波长2d图像连同3d信息来计算所述病变的放大倍数、距离和角度；-叠覆在病变的3d纹理上的可见波长2d图像；-使用可见波长2d图像 具有用于重新计算放大倍数、距离和角度的3d信息的荧光图像；-叠覆在病变的3d纹理上的可见波长2d图像 荧光图像；-叠覆在病变的3d纹理上的可见波长2d图像 次表面结构信息；-可见波长2d图像 叠覆在病变的3d纹理上的荧光图像 次表面结构信息；然而，不排除不同成像模态、2d彩色图像、3d纹理图像、荧光图像、具有长波长的次表面图像的任何其他组合(参见图7)。
30.由至少3d测量和2d彩色图像的组合提供的绝对尺寸和已知成像条件的另外的优点允许利用最佳拟合算法来叠覆(配准)在不同时间拍摄的相同病变的图像以查看甚至小的偏差，这允许监视病变随着时间的发展。
31.用这种设备捕获的图像可以在诸如作为设备的一部分的计算机的处理装置上处理，并呈现给医生以在计算机屏幕上进行视觉检查，或者可以用来建立多模态图像数据库以用于神经元网络(经由基于云的网络训练服务的外部网络，或者如果内部网络有足够的计算能力可用的话)的训练，单独地或与作为触诊结果的进一步“非成像”信息、发白层的可除去性、病变历史和风险因素(吸烟、酒精等)组合。屏幕可以是具有或不具有触摸屏的台式或移动设备的显示器，或者可以是诸如头戴式显示器的可穿戴设备。
32.在设备中可以实现经训练的网络，以提供诊断建议或推荐，如果不能给出结论性的诊断建议，则将患者送到口腔疾病专家处去进行进一步的检查/活组织检查(参见图8)。
附图说明
33.在随后的描述中，将通过使用示例性实施例并参考附图来更详细地描述本发明的其它方面和有利效果，其中图1：示出照片和相应的自发荧光图像的比较；图2a：示出发白的着色病变；图2b：示出具有增加的色素沉着的病变；图3：示出3d扫描设备的核心功能块；图4：示出3d扫描设备的功能块；图5：示出3d扫描设备的前端罩；图6：示出不同荧光团的发射谱带；图7：示出成像模态的组合；图8：示出具有用于诊断支持的人工神经元网络的设置。
34.附图中所示的附图标记表示下面列出的元件，并且将在示例性实施例的随后描述中被引用。1-1：病变3-1：3d扫描光学器件3-2：二向色镜/分束器3-3：传感器(例如cmos)3-4：传感器(例如ingaas检测器)4-1：3d扫描光学器件4-2：分束器4-3：传感器(例如cmos)
4-4：阻挡滤光片4-5：传感器(例如cmos)4-6：前端5-1：前端罩5-2：uv led5-3：成像窗口7-1：2d彩色图像7-2：自发荧光图像7-3：3d纹理图像7-4：次表面结构图像8-1：设备8-2：2d图像8-3：数据库8-4：刷活组织检查8-5：射线图像8-6：触诊结果。
35.图1示出了照片与对应的自发荧光图像的比较，在这种情况下，用“velscope”设备进行。对应的图像清楚地示出了在自发荧光图像中病变(1-1)和健康组织之间的较好的对比度。
36.图2a示出了主要由表皮层的增厚并因此显著增加的散射系数而引起的白色病变，而图2b示出了具有增加的色素沉着的病变，这导致增加的吸收系数。
37.图3示出了3d扫描设备的功能块。(3-1)是3d扫描光学器件，(3-2)是二向色镜/分束器，其将到达cmos传感器(3-3)的从300nm-800nm范围内的波长带分开，而同时长于1000nm的波长被镜像到传感器(3-4)，其可以是ingaas检测器，其至少覆盖范围从1000nm-1600nm的波长。
38.图4示出了3d扫描设备的功能块。(4-6)是前端，其将图像朝向分束器(4-2)偏转，从而将2d成像路径与3d成像路径分开。(4-1)是具有cmos传感器(4-3)(作为3d传感器)的3d扫描光学器件，并且(4-4)是抑制激发光从而不到达cmos传感器(4-5)的阻挡滤光片。替代地，cmos传感器(4-3)可以可选地由在nir范围内具有扩展灵敏度的cqd传感器(4-3)代替。阻挡滤光片的截止波长在370nm-400nm左右。这允许自发荧光的发射光通过，并且也允许可见波长通过以用于彩色图像。cmos传感器(4-5)不限于传统的rgb 3通道传感器，而是可以包含具有更好光谱分辨率的更多通道的，例如具有多个不同滤光片与图像中未示出的透镜阵列组合的马赛克型cmos传感器。这允许区分不同的荧光团，如图6所示，因为它们具有在不同波长处具有最大值的发射带。图3中的光学组件(3-2)、(3-3)和(3-4)可以代替图4中的组件(4-5)，以便具有用于可见范围的2d传感器(3-3)和用于nir光的另一2d传感器(3-4)。
39.用于皮肤和粘膜病变的多模态成像的装置，包括：扫描设备(8-1)，其具有照明光源和传感器(3-3，3-4，4-3，4-5)；以及至少一个处理部件，用于根据由所述扫描设备(8-1)提供的原始数据计算图像，其适于使用至少两个成像模态，来自所述两个成像模态的第一成像模态在病变的3d扫描中生成针对3d图像(7-3；7-4)的3d数据，其中，处理部件适于通过
使用照明图案、或立体测量、或飞行时间来附加地提供关于扫描设备(8-1)与真皮或粘膜之间的距离和角度的3d信息，并且基于所述3d信息将由第二成像模态生成的至少图像(7-1；7-2)映射在3d扫描的3d图像(7-3；7-4)上。照明图案、或立体测量、或飞行时间的使用是本领域技术人员可以使用的各种技术之一。
40.图5示出了3d扫描设备的前端罩(5-1)。该罩通常可从扫描设备的其余部分去除以进行消毒。uv led(5-2)平行于成像窗口(5-3)定位以照射感兴趣区域并激发自发荧光。反向散射光通过成像窗口(5-3)，如果激发光阻挡滤光片(干涉滤光片)没有位于检测光路中的某个其它地方，则该成像窗口可能已经被该滤光片覆盖。罩可以包含包括uv led的光学元件，或者可以是覆盖罩内部的光学器件的更多或更少空壳。这避免了使uv led经受灭菌循环。
41.图6示出了在308nm处在这种情况下激发的不同荧光团的不同发射带和最大值。不同的峰可以允许不同的荧光团分开。然而，这是归一化图像。实际上，胶原的发射强度形成了可以支配其他荧光团的高背景信号。
42.图7示出了利用所提出的设备可能的成像模态的不同组合，其中，2d彩色图像(7-1)(例如，2d光谱分辨的图像)、自发荧光图像(7-2)、3d纹理图像(7-3)和次表面结构图像(7-4)利用更长的波长取得。
43.图8示出了如何使用人工神经元网络来支持利用所提出的设备(8-1)拍摄的图像对真皮/粘膜病变的诊断的设置。图8仅示出了2d图像(8-2)，其包含附加的3d信息，如距离、角度，但是其不限于这些图像。图7所示或本文所述的所有组合都适用。从2d图像(8-2)建立数据库(8-3)，其用于训练人工神经元网络。为了改善分类性能，除了图像数据之外，还可以作为另外的信息添加到网络中，作为刷活体检查(8-4)结果、x射线图像(8-5)和触诊结果(8-6)。触诊结果的图像(8-6)仅被示例性选择以示出牙龈的隆起，牙龈可能是硬的或软的。当然，具有这些数据的多个病例必须被包括在与用于训练的对应病例图像相关的数据库中。
44.利用本发明，由于已知的准确绝对尺寸和已知的成像条件，例如由至少3d测量和2d彩色图像的组合提供的病变表面相对于成像平面的角度和距离，允许在不同时间拍摄的同一病变的图像叠覆(配准)，以看到甚至小的偏差，这允许监视病变随时间的发展。
1.申请人在此提供在pct规则4.18下通过引用并入的声明，优先权申请ep20176399通过包括说明书、权利要求和附图的其全部内容被包括在本国际申请中。
技术领域
2.本发明涉及用于皮肤和粘膜病变的成像的方法和装置。
背景技术：
3.传统软组织诊断诊断以患者既往病史开始。收集关于患者的处置前的数据，例如吸烟、酗酒、糖尿病或损伤的历史。此外，重要的是评估病变随着时间的发生时间(通常更多是患者的检测时间)和进展。在具有典型的愈合时间的急性损伤的情况下，时间可以是数天，或者在慢性软组织改变例如苔藓型病变的情况下，需要观察数年。传统的口腔软组织诊断依赖于病变的视觉评估，结合其它信息如触觉信息或发白变色的可去除性。对于视觉评估来说，若干因素是重要的。病变的位置和大小、病变的颜色(发红、发白的变色)、变色的结构和均匀性(斑点、网络等)。医生通常将实际的病变与口腔疾病教学书籍中的照片或在用已知诊断实践期间观察到的其它病例进行比较。另外，通过触诊以及与下面的骨骼的关系来评估粘膜的一致度。(是否可能在轻微压力下使病变相对于骨脱位或病变是否固定到骨骼或下面的结构例如肌肉)进一步测试用机械摩擦对发白变色的去除以区分念珠菌病或粘膜白斑型病变。骨骼的涉及可能需要额外的x射线诊断，例如在肿瘤/肿胀的情况下。金标准仍然是取自活组织检查材料的组织学检测。
4.扩展诊断此外，对于“常规诊断”，一些牙医使用蓝色/uv光来激发组织自发荧光并诊断荧光图像(例如vizilite、vel scope或类似)或使用toluidin蓝染色。对于口腔自发荧光诊断来说，光源用于激发诸如烟酰胺腺嘌呤二核苷酸(nadh)和黄素腺嘌呤二核苷酸(fad)的内源性荧光团。为了激发，使用uv/蓝色范围内的波长(375至440nm)。在绿色波长范围内观察到发射。当用抑制激发波长的窄带滤光片观察时，健康的粘膜会发出浅绿色自发荧光。与周围健康组织相比，发育异常组织显示出较少的荧光并且显得较暗(参见图1中的(1))。在文献中质疑了发育异常与良性炎性病变之间的区分能力。良性组织炎症通常会显示出对病变的增加的血液供应。增加的血红蛋白含量可能会吸收激发光和发射光两者，并且引起荧光图像中的强度损失，这可能会错误地归因于瘤形成。vizilite使用化学试剂来产生激发光。为了激活它，弯曲胶囊以使玻璃小瓶破碎，使得化学产品彼此反应并产生具有430-580nm的波长的青白光，其持续大约10分钟。velscope利用400至460nm波长之间的蓝光激发。通过光学成像系统观察感兴趣场(参见图1)。关于用于口腔发育异常检测的自发荧光方法的20项研究的元分析(参见参考文献1)显示出不同出版物之间的灵敏度和特异性的巨大变化。
5.vizilight：比较不同研究，对vizilight的灵敏度和特异性在77%-100%(sens)至0%-28%(spec)之间变化。对于velscope系统，报告22%-100%的灵敏度和16%-100%的特异性。
作为一个示例，甲苯胺蓝的灵敏度和特异性分别被确定为86.36%和76.9%。另一种非光学方法是oral（口腔） cdx系统。用小刷子收集表面细胞并在实验室中分析表面细胞。在不同研究中灵敏度在71.4-100%之间变化，并且特异性在32-100%之间变化。
6.总而言之，单独使用自发荧光似乎不足以作为诊断辅助，尤其是当考虑到恶性肿瘤的低患病率和用户经验的变化时，但可以是与其他组合的一种附加的诊断工具。其它方法如染色或刷活组织检查显示出灵敏度和特异性的中等(染色)或高度变化。因此，期望诊断能力的改进。
7.用于口腔疾病检测的神经元网络人工智能作为用于真皮病变和x射线图像的分类的诊断支持正变得越来越成功。例如，ai网络可以在使用＞100k图像用于700个疾病类别用于训练时，已经实现委员会认证的皮肤科医生的准确度水平(参见参考文献2)。这导致每个类别约150个图像。关于牙科中的深度学习算法的使用的综述文章评述了25篇文章。作为诊断模态，使用了2d x射线、cbct、qlf和oct。这个评述的结论是，典型的数据集大小具有以每个类别大约100个数据集开始直到1000个数据集的增长趋势。报告了1000个数据集以实现大约98%的准确度，并且需要多于4000个数据集以得到大于99%的准确度。评述的文章中仅一个涉及使用qlf的牙龈炎检测和通过cnn的分类。没有文章涉及口腔内疾病分类(参考文献3)。除了纯粹的图像相关分类之外，其他作者报告了关于cnn的使用，包括口腔癌检测中的背景因素。在35个相关因素中选择12个的情况下，将风险因素、社会经济因素添加到临床症状和病历中，实现99%的分类准确度(参考文献4)。总之，如果具有足够的样本大小、特征和质量的数据库是可用的，那么神经网络可以有助于改进的医学和牙科诊断。
8.参考文献1： efficacy of light based detection systems for early detection of oral cancer and oral potentially malignant disorders: systematic review（用于口腔癌和口腔潜在恶性病症的早期检测的基于光的检测系统的功效：系统综述），ravleen nagi, yashoda-bhoomi reddy-kantharaj, nagaraju rakesh, sujatha janardhan-reddy, shashikant sahu med oral patol oral cir bucal. 2016 jul 1;21 (4):e447-55.参考文献2：dermatologist-level classification of skin cancer with deep neural networks（利用深度神经网络对皮肤癌进行皮肤科医生级分类），esteva a. et al. nature 542 115-118(2017).参考文献3：an overview of deep learning in the field of dentistry（牙科领域中的深度学习综述），jae-joon hwang 1,yun-hoa jung 1,bong-hae cho 1, min-suk heo 2, imaging science in dentistry 2019; 49: 1-7.参考文献4： usage of probabilistic and general regression neural network for early detection and prevention of oral cancer （概率和一般回归神经网络用于口腔癌早期检测和预防的用途），neha sharma, hari om the scientific world journal vol. 2015, article id 234191, http://dx.doi.org/10.1155/2015/234191.参考文献5：uv-angeregte autofluoreszenz: spektroskopische und fluoreszenzmikroskopische untersuchungen zur tumorselektivit
ä
t endogener gewebefarbstoffe（紫外激发自发荧光：内源性组织染料对肿瘤选择性的光谱和荧光显微
镜研究），alexander hohla dissertation, lmu, m
ü
nchen, 2003。
技术实现要素：
9.在使用神经元网络的研究中，感兴趣区域的图像的缺乏一致性是一个关注点，并且通常需要图像的手动预处理。照片通常是从不同距离(因此不同的放大倍数)、不同观察角度和不同光照条件拍摄的。对于多模态诊断来说，实现不同诊断模态之间良好的匹配(理想地是像素到像素)是更重要的。
10.本发明解决了所有这些问题，并且可以避免手动预处理，并且减少用于皮肤和粘膜病变的ai分类的计算时间。
11.本发明的目的是克服至少一些上述问题。该目的已经通过根据权利要求1所限定的装置和根据权利要求28所限定的方法实现了。其它权利要求涉及进一步的实施例和改进。使用基于例如共焦，优选地彩色共焦，飞行时间，立体测量或oct技术生成精确3d表面表示的设备具有精确知道病变的尺寸的优点。被扫描的表面和3d成像设备之间的距离总是精确已知的，因此可以计算病变的精确尺寸。还已知的是3d成像设备相对于被扫描的表面的角度，并且光照条件总是相同的，因为照明被集成在设备中。对于3d测量来说，这通常是良好定义的照明图案。将3d测量与光谱分辨的2d图像(例如，3通道(rgb)或更多)组合允许2d和3d数据的匹配。迄今为止，现有技术中未知的是使用3d纹理用于软组织/粘膜病变的诊断目的，以及在这种病变的3d纹理上映射光谱分辨的2d图像数据。
12.大多数实际3d扫描设备使用类似视频的扫描技术，其组合了许多顺序采集的单个3d图像，并且使用3d界标来叠覆它们，以便正确地叠覆单个图像。这对于例如口腔中的牙齿是容易的，但是如果具有单个图像的捕获区的表面示出不足够的3d界标，则变得更加困难。例如，在极端情况下，不能扫描平坦表面或球体。在没有或只有很少界标的情况下，叠加到3d数据上的光谱分辨的2d数据可以支持单个3d图像彼此的正确配准。
13.这在扫描平坦区域中的真皮或粘膜时是有帮助的，因为病变示出与健康组织不同的散射和吸收系数分布，这会导致例如当散射系数增加时的发白着色图案，或者如果吸收系数增加则会导致发褐色的着色(参见图2a发白变色和参见图2b：发褐色变色)。
14.3d图像的分辨率对于例如在牙科应用中使用的实际3d扫描系统来说，10μm-30μm的分辨率实际上可能具有相同数量级的误差。这低于用于诊断组织学的显微镜的分辨率，但是比体内视觉检查好得多。这允许计算病变的表面纹理。
15.用于3d图像生成的波长选择：由于生物组织通常在蓝或近uv区(350nm-400nm)中显示出较低的照明光穿透深度，这主要是由于增加的光散射系数的原因，因此这些波长可以用于与抑制体积散射光的扫描方法(例如基于共焦和oct的方法，其可能与基于焦深的技术组合)组合产生清晰的表面纹理3d图像。
16.在长于840nm、优选长于980nm、最优选在1300nm-1600nm范围内的波长的情况下，散射系数低得多，并且允许3d成像到几十毫米到几百微米的深度。那么次表面（subsurface）结构采集和成像成为可能。
17.提供至少两个波长，一个在350至400nm范围内，并且另一个长于840nm的清晰3d表
面扫描可以与真皮/粘膜损伤的至少几百微米的深度结构信息相结合。在最简单的情况下，照明在不同波长之间顺序切换，并且照明光源利用二向色镜耦合到相同的光路中。这种变型将适用于可用相同传感器检测的波长(例如cmos 350nm-～1000nm)。
18.对于一些3d测量技术，如果光源尺寸足够小(例如led)，则甚至使用不同波长的不完全一致的光通路是可能的。然后，微小的角度偏差将引起传感器上的照明图案的位移，但是这可以通过计算(位移和失真校正)来校正。
19.在需要第二传感器的情况下，在使用超过1000nm的照明波长时将是这种情况，至少一个分束器可以用于分离不同传感器的光路(参见图3)。
20.荧光成像3d成像的进一步扩展是与荧光成像的组合。如导言中所述，当用适当的波长激发时，人体组织会显示出自发荧光。皮肤/粘膜病变显示出不同强度的自发荧光。这可以是fad、nadh和胶原的uv/蓝光范围内的激发，但也可以是红色激发以激发卟啉。与3d成像结合，这允许荧光图像数据叠覆在3d纹理数据上。
21.光学射线路径可以是常规的，具有用于激发光的阻挡滤光片，其使用与用于3d成像的uv/蓝光波长相同的光图案，并且在与照明路径分离之后在成像路径中引入用于荧光检测的阻挡滤光片。然而，这将需要设备中的移动部分(滤光片)。根据计划要扩展的3d扫描器的设计，可能需要进一步更强的激发光功率。
22.在荧光图像数据中放弃3d信息，3d光学路径可以保持不变。可在通常用于可见光谱范围中的2d图像的2d光路中引入uv阻挡滤光片，但仍使用3d成像照明的激发光路(见图4)。
23.然而，最优选的解决方案是使用放置在可更换罩侧面上的单独的激发光源。阻挡滤光片可以集成在罩的窗口中。然后，滤光片不应抑制用于3d测量的结构光(图5)。这是可能的，因为人体的许多荧光团，例如胶原、nadh、fad、弹性蛋白和角蛋白可以在低于350nm被激发，并且3d光图案可以使用365nm-405nm的范围(参考文献5)(参见图6)。
24.另一选项是将激发光阻挡滤光片放置在2d传感器的前面，并且留下3d光路不改变。该滤光片不影响通常用于产生“彩色2d图像”的可视范围内的成像，因为荧光发射也在可视范围内(参见图4)。
25.这种改进的罩代替了传统的罩，无论如何，该罩是可拆卸的以用于消毒。
26.作为示例，但不限于，例如primescan或omnicam(以及其他抗体积散射扫描设备)的口腔内3d扫描设备的能力可以利用上述技术来扩展。
27.替代地，激发led可以放置在罩内，且罩更多或更少是空壳，其可以在不减少led寿命的情况下被消毒，然而这需要对现有3d扫描设备的更多修改。
28.使用口腔内扫描设备作为检测和分类口腔内病变基础的另外的优点是设备的形式，其允许进入口腔的所有区域，与用于捕获皮肤病病变图像的设备非常不同。
29.利用上述技术，以下优选的多模态成像选项变得可能：-使用可见波长2d图像连同3d信息来计算所述病变的放大倍数、距离和角度；-叠覆在病变的3d纹理上的可见波长2d图像；-使用可见波长2d图像 具有用于重新计算放大倍数、距离和角度的3d信息的荧光图像；-叠覆在病变的3d纹理上的可见波长2d图像 荧光图像；-叠覆在病变的3d纹理上的可见波长2d图像 次表面结构信息；-可见波长2d图像 叠覆在病变的3d纹理上的荧光图像 次表面结构信息；然而，不排除不同成像模态、2d彩色图像、3d纹理图像、荧光图像、具有长波长的次表面图像的任何其他组合(参见图7)。
30.由至少3d测量和2d彩色图像的组合提供的绝对尺寸和已知成像条件的另外的优点允许利用最佳拟合算法来叠覆(配准)在不同时间拍摄的相同病变的图像以查看甚至小的偏差，这允许监视病变随着时间的发展。
31.用这种设备捕获的图像可以在诸如作为设备的一部分的计算机的处理装置上处理，并呈现给医生以在计算机屏幕上进行视觉检查，或者可以用来建立多模态图像数据库以用于神经元网络(经由基于云的网络训练服务的外部网络，或者如果内部网络有足够的计算能力可用的话)的训练，单独地或与作为触诊结果的进一步“非成像”信息、发白层的可除去性、病变历史和风险因素(吸烟、酒精等)组合。屏幕可以是具有或不具有触摸屏的台式或移动设备的显示器，或者可以是诸如头戴式显示器的可穿戴设备。
32.在设备中可以实现经训练的网络，以提供诊断建议或推荐，如果不能给出结论性的诊断建议，则将患者送到口腔疾病专家处去进行进一步的检查/活组织检查(参见图8)。
附图说明
33.在随后的描述中，将通过使用示例性实施例并参考附图来更详细地描述本发明的其它方面和有利效果，其中图1：示出照片和相应的自发荧光图像的比较；图2a：示出发白的着色病变；图2b：示出具有增加的色素沉着的病变；图3：示出3d扫描设备的核心功能块；图4：示出3d扫描设备的功能块；图5：示出3d扫描设备的前端罩；图6：示出不同荧光团的发射谱带；图7：示出成像模态的组合；图8：示出具有用于诊断支持的人工神经元网络的设置。
34.附图中所示的附图标记表示下面列出的元件，并且将在示例性实施例的随后描述中被引用。1-1：病变3-1：3d扫描光学器件3-2：二向色镜/分束器3-3：传感器(例如cmos)3-4：传感器(例如ingaas检测器)4-1：3d扫描光学器件4-2：分束器4-3：传感器(例如cmos)
4-4：阻挡滤光片4-5：传感器(例如cmos)4-6：前端5-1：前端罩5-2：uv led5-3：成像窗口7-1：2d彩色图像7-2：自发荧光图像7-3：3d纹理图像7-4：次表面结构图像8-1：设备8-2：2d图像8-3：数据库8-4：刷活组织检查8-5：射线图像8-6：触诊结果。
35.图1示出了照片与对应的自发荧光图像的比较，在这种情况下，用“velscope”设备进行。对应的图像清楚地示出了在自发荧光图像中病变(1-1)和健康组织之间的较好的对比度。
36.图2a示出了主要由表皮层的增厚并因此显著增加的散射系数而引起的白色病变，而图2b示出了具有增加的色素沉着的病变，这导致增加的吸收系数。
37.图3示出了3d扫描设备的功能块。(3-1)是3d扫描光学器件，(3-2)是二向色镜/分束器，其将到达cmos传感器(3-3)的从300nm-800nm范围内的波长带分开，而同时长于1000nm的波长被镜像到传感器(3-4)，其可以是ingaas检测器，其至少覆盖范围从1000nm-1600nm的波长。
38.图4示出了3d扫描设备的功能块。(4-6)是前端，其将图像朝向分束器(4-2)偏转，从而将2d成像路径与3d成像路径分开。(4-1)是具有cmos传感器(4-3)(作为3d传感器)的3d扫描光学器件，并且(4-4)是抑制激发光从而不到达cmos传感器(4-5)的阻挡滤光片。替代地，cmos传感器(4-3)可以可选地由在nir范围内具有扩展灵敏度的cqd传感器(4-3)代替。阻挡滤光片的截止波长在370nm-400nm左右。这允许自发荧光的发射光通过，并且也允许可见波长通过以用于彩色图像。cmos传感器(4-5)不限于传统的rgb 3通道传感器，而是可以包含具有更好光谱分辨率的更多通道的，例如具有多个不同滤光片与图像中未示出的透镜阵列组合的马赛克型cmos传感器。这允许区分不同的荧光团，如图6所示，因为它们具有在不同波长处具有最大值的发射带。图3中的光学组件(3-2)、(3-3)和(3-4)可以代替图4中的组件(4-5)，以便具有用于可见范围的2d传感器(3-3)和用于nir光的另一2d传感器(3-4)。
39.用于皮肤和粘膜病变的多模态成像的装置，包括：扫描设备(8-1)，其具有照明光源和传感器(3-3，3-4，4-3，4-5)；以及至少一个处理部件，用于根据由所述扫描设备(8-1)提供的原始数据计算图像，其适于使用至少两个成像模态，来自所述两个成像模态的第一成像模态在病变的3d扫描中生成针对3d图像(7-3；7-4)的3d数据，其中，处理部件适于通过
使用照明图案、或立体测量、或飞行时间来附加地提供关于扫描设备(8-1)与真皮或粘膜之间的距离和角度的3d信息，并且基于所述3d信息将由第二成像模态生成的至少图像(7-1；7-2)映射在3d扫描的3d图像(7-3；7-4)上。照明图案、或立体测量、或飞行时间的使用是本领域技术人员可以使用的各种技术之一。
40.图5示出了3d扫描设备的前端罩(5-1)。该罩通常可从扫描设备的其余部分去除以进行消毒。uv led(5-2)平行于成像窗口(5-3)定位以照射感兴趣区域并激发自发荧光。反向散射光通过成像窗口(5-3)，如果激发光阻挡滤光片(干涉滤光片)没有位于检测光路中的某个其它地方，则该成像窗口可能已经被该滤光片覆盖。罩可以包含包括uv led的光学元件，或者可以是覆盖罩内部的光学器件的更多或更少空壳。这避免了使uv led经受灭菌循环。
41.图6示出了在308nm处在这种情况下激发的不同荧光团的不同发射带和最大值。不同的峰可以允许不同的荧光团分开。然而，这是归一化图像。实际上，胶原的发射强度形成了可以支配其他荧光团的高背景信号。
42.图7示出了利用所提出的设备可能的成像模态的不同组合，其中，2d彩色图像(7-1)(例如，2d光谱分辨的图像)、自发荧光图像(7-2)、3d纹理图像(7-3)和次表面结构图像(7-4)利用更长的波长取得。
43.图8示出了如何使用人工神经元网络来支持利用所提出的设备(8-1)拍摄的图像对真皮/粘膜病变的诊断的设置。图8仅示出了2d图像(8-2)，其包含附加的3d信息，如距离、角度，但是其不限于这些图像。图7所示或本文所述的所有组合都适用。从2d图像(8-2)建立数据库(8-3)，其用于训练人工神经元网络。为了改善分类性能，除了图像数据之外，还可以作为另外的信息添加到网络中，作为刷活体检查(8-4)结果、x射线图像(8-5)和触诊结果(8-6)。触诊结果的图像(8-6)仅被示例性选择以示出牙龈的隆起，牙龈可能是硬的或软的。当然，具有这些数据的多个病例必须被包括在与用于训练的对应病例图像相关的数据库中。
44.利用本发明，由于已知的准确绝对尺寸和已知的成像条件，例如由至少3d测量和2d彩色图像的组合提供的病变表面相对于成像平面的角度和距离，允许在不同时间拍摄的同一病变的图像叠覆(配准)，以看到甚至小的偏差，这允许监视病变随时间的发展。
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。