食管标志物浸润深度等级确定方法、装置及可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种食管标志物浸润深度等级确定方法、装置及可读存储介质。


背景技术：

2.食道癌是世界范围内第八大最常见的癌症类型，也是第六大癌症死亡原因。我国是食管癌(ec)的高危国家，占全球食管癌负担的50%左右。
3.内镜下治疗早期食管癌相较传统外科手术，具有创伤小、预后好、并发症少等优势，已被广泛应用于早期食管癌的治疗。根据日本和欧洲协会指南，上皮（epithelium,ep)、固有肌层（lamina propria mucosa,lpm)）及黏膜肌层(muscularis mucosa,mm）和黏膜下癌浸润深度200μm以内（sm1）的肿瘤转移风险相对较低（＜10%），可以进行内镜下切除。而食管肿瘤外科切除主要针对黏膜下癌浸润深度超过200μm（sm2及更深）的食管癌，其肿瘤转移风险增加到了25%以上，需接受外科手切除并清扫淋巴结，以实现肿瘤根治。因此，内镜医师需要内镜下对食管病灶进行准确的浸润深度检测，以选择正确的术式对患者进行治疗，减轻健康负担，获取更好的预后。
4.然而，对食管病灶进行准确的浸润深度检测，对内镜医师的资历具有一定的要求，在当前医资不足的情况下，如何有效提高内镜下对食管病灶进行准确的浸润深度检测的效率和准确率，是当前亟需解决的技术问题。


技术实现要素：

5.本技术提供一种食管标志物浸润深度等级确定方法、装置及可读存储介质，旨在解决如何有效提高内镜下对食管病灶进行准确的浸润深度检测的效率和准确率。
6.一方面，本技术提供一种食管标志物浸润深度等级确定方法，所述方法包括：获取待分析的第一食管粘膜图像；对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；确定所述目标食管粘膜图像的代表性颜色特征；基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级。
7.在本技术一种可能的实现方式中，所述预设的标准颜色特征库包括有与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征；所述基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级，包括：分别计算所述预设个核颜色特征中的每个核颜色特征与所述代表性颜色特征对应的三通道像素的欧式距离，得到包括预设个欧式距离；从所述预设个欧式距离中，选取最小距离的目标欧式距离；
确定与所述目标欧式距离对应的目标核颜色特征；将与所述目标核颜色特征对应的食管标志物浸润深度等级，确定为与所述第一食管粘膜图像对应的食管标志物浸润深度等级。
8.在本技术一种可能的实现方式中，在基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级之前，所述方法还包括：获取第一时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第一食管标志物图像样本集；将所述第一食管标志物图像样本集分类为与所述预设个已确定的食管标志物浸润深度等级对应的预设个第一食管标志物图像子样本集；分别计算所述预设个第一食管标志物图像子样本集中的每个食管标志物图像子样本集对应的核颜色特征，得到与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征；基于所述预设个核颜色特征，构建所述预设的标准颜色特征库。
9.在本技术一种可能的实现方式中，在基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级之后，所述方法还包括：获取第二时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第二食管标志物图像样本集；将所述第二食管标志物图像样本集分类为与所述预设个已确定的食管标志物浸润深度等级对应的预设个第二食管标志物图像子样本集；基于所述第一食管标志物图像样本集、所述第二食管标志物图像子样本集以及预设的校准模型，对所述预设的标准颜色特征库中的每个核颜色特征进行校准。
10.在本技术一种可能的实现方式中，所述确定所述目标食管粘膜图像的代表性颜色特征，包括：获取所述目标食管粘膜图像中的初级颜色特征集；剔除所述初级颜色特征集中的黑色颜色特征，得到中级颜色特征集；计算所述中级颜色特征集中每种颜色特征对应的三通道像素的均值；选取所述中级颜色特征集中所有颜色特征对应的三通道像素的均值集中的中值为所述目标食管粘膜图像的代表性颜色特征。
11.在本技术一种可能的实现方式中，所述对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像，包括：判断所述第一食管粘膜图像是否满足预设图像规格要求；若不满足，则将所述第一食管粘膜图像的尺寸调整为满足预设图像规格要求的目标尺寸，得到调整后的第二食管粘膜图像；对所述第二食管粘膜图像进行第二图像预处理，得到预处理后的第三食管粘膜图像；调整所述第三食管粘膜图像对应显示的颜色数目，得到目标食管粘膜图像。
12.在本技术一种可能的实现方式中，所述对所述第二食管粘膜图像进行第二图像预
处理，得到预处理后的第三食管粘膜图像，包括：将所述第二食管粘膜图像由rgb颜色模式转换为lab颜色模式，得到第一模式转换图；对所述第一模式转换图的l通道进行滤波处理，得到滤波后的第一模式转换图；将所述滤波后的第一模式转换图从lab颜色模式转换为rgb颜色模式，得到第三食管粘膜图像。
13.另一方面，本技术提供一种食管标志物浸润深度等级确定装置，所述装置包括：第一获取单元，用于获取待分析的第一食管粘膜图像；第一图像预处理单元，用于对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；第一确定单元，用于确定所述目标食管粘膜图像的代表性颜色特征；第二确定单元，用于基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级。
14.在本技术一种可能的实现方式中，所述预设的标准颜色特征库包括有与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征；所述第二确定单元，具体用于：分别计算所述预设个核颜色特征中的每个核颜色特征与所述代表性颜色特征对应的三通道像素的欧式距离，得到包括预设个欧式距离；从所述预设个欧式距离中，选取最小距离的目标欧式距离；确定与所述目标欧式距离对应的目标核颜色特征；将与所述目标核颜色特征对应的食管标志物浸润深度等级，确定为与所述第一食管粘膜图像对应的食管标志物浸润深度等级。
15.在本技术一种可能的实现方式中，所述装置还用于：获取第一时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第一食管标志物图像样本集；将所述第一食管标志物图像样本集分类为与所述预设个已确定的食管标志物浸润深度等级对应的预设个第一食管标志物图像子样本集；分别计算所述预设个第一食管标志物图像子样本集中的每个食管标志物图像子样本集对应的核颜色特征，得到与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征；基于所述预设个核颜色特征，构建所述预设的标准颜色特征库。
16.在本技术一种可能的实现方式中，所述装置还用于：获取第二时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第二食管标志物图像样本集；将所述第二食管标志物图像样本集分类为与所述预设个已确定的食管标志物浸润深度等级对应的预设个第二食管标志物图像子样本集；基于所述第一食管标志物图像样本集、所述第二食管标志物图像子样本集以及预设的校准模型，对所述预设的标准颜色特征库中的每个核颜色特征进行校准。
17.在本技术一种可能的实现方式中，所述第一确定单元，具体用于：
获取所述目标食管粘膜图像中的初级颜色特征集；剔除所述初级颜色特征集中的黑色颜色特征，得到中级颜色特征集；计算所述中级颜色特征集中每种颜色特征对应的三通道像素的均值；选取所述中级颜色特征集中所有颜色特征对应的三通道像素的均值集中的中值为所述目标食管粘膜图像的代表性颜色特征。
18.在本技术一种可能的实现方式中，所述第一图像预处理单元，具体用于：判断所述第一食管粘膜图像是否满足预设图像规格要求；若不满足，则将所述第一食管粘膜图像的尺寸调整为满足预设图像规格要求的目标尺寸，得到调整后的第二食管粘膜图像；对所述第二食管粘膜图像进行第二图像预处理，得到预处理后的第三食管粘膜图像；调整所述第三食管粘膜图像对应显示的颜色数目，得到目标食管粘膜图像。
19.在本技术一种可能的实现方式中，所述装置还用于：将所述第二食管粘膜图像由rgb颜色模式转换为lab颜色模式，得到第一模式转换图；对所述第一模式转换图的l通道进行滤波处理，得到滤波后的第一模式转换图；将所述滤波后的第一模式转换图从lab颜色模式转换为rgb颜色模式，得到第三食管粘膜图像。
20.另一方面，本技术还提供一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的食管标志物浸润深度等级确定方法。
21.另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的食管标志物浸润深度等级确定方法中的步骤。
22.本技术通过先获取待分析的第一食管粘膜图像；然后对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；再确定所述目标食管粘膜图像的代表性颜色特征；最终基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级，实现了食管标志物浸润深度等级的自动化识别，并且，由于通过将图像的颜色特征和食管标志物浸润深度进行量化，从而提高了识别效率和识别准确率。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术实施例提供的食管标志物浸润深度等级确定系统的场景示意图；
图2是本技术实施例中提供的食管标志物浸润深度等级确定方法的一个实施例流程示意图；图3是本技术实施例中步骤202的一个实施例流程示意图；图4是本技术实施例中步骤303的一个实施例流程示意图；图5是本技术实施例中步骤203的一个实施例流程示意图；图6是本技术实施例中提供的食管标志物浸润深度等级确定方法的另一个实施例流程示意图；图7是本技术实施例中步骤204的一个实施例流程示意图；图8是本技术实施例中提供的食管标志物浸润深度等级确定方法的又一个实施例流程示意图；图9是本技术实施例中提供的食管标志物浸润深度等级确定装置的一个实施例结构示意图；图10是本技术实施例提供的计算机设备一个实施例结构示意图；图11是本技术实施例中提供的边界填充式图像缩放效果图；图12是本技术实施例中提供的调色板控制效果图；图13是本技术实施例中提供的颜色主成分分析示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
27.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
28.本技术实施例提供一种食管标志物浸润深度等级确定方法、装置及可读存储介质，以下分别进行详细说明。
29.如图1所示，图1是本技术实施例提供的食管标志物浸润深度等级确定系统的场景示意图，该食管标志物浸润深度等级确定系统可以包括多个终端100和服务器200，终端100和服务器200网络连接，服务器200中集成有食管标志物浸润深度等级确定装置，如图1中的服务器，终端100可以访问服务器200。
30.本技术实施例中服务器200主要用于获取待分析的第一食管粘膜图像；对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；确定所述目标食管粘膜图像的代表性颜色特征；基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级。
31.本技术实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如本技术实施例中所描述的服务器200，其包括但不限于计算机、网络终端、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。本技术的实施例中，服务器与终端之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd generation partnership project，3gpp）、长期演进（long term evolution，lte)、全球互通微波访问（worldwide interoperability for microwave access，wimax）的移动通信，或基于tcp/ip协议族（tcp/ip protocol suite，tcp/ip）、用户数据报协议（user datagram protocol，udp）的计算机网络通信等。
32.可以理解的是，本技术实施例中所使用的终端100可以是既包括接收和发射硬件的设备，既具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑等中的一种。
33.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本技术方案的一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，或者服务器网络连接关系，例如图1中仅示出1个服务器和2个终端。可以理解的，该食管标志物浸润深度等级确定系统还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。
34.另外，如图1所示，该食管标志物浸润深度等级确定系统还可以包括存储器300，用于存储数据，如存储用户食管粘膜图像和食管标志物浸润深度等级确定数据，例如食管标志物浸润深度等级确定系统运行时的食管标志物浸润深度等级确定数据。
35.需要说明的是，图1所示的食管标志物浸润深度等级确定系统的场景示意图仅仅是一个示例，本技术实施例描述的食管标志物浸润深度等级确定系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着食管标志物浸润深度等级确定系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
36.接下来，介绍本技术实施例提供的食管标志物浸润深度等级确定方法。
37.本申实施例食管标志物浸润深度等级确定方法的实施例中以食管标志物浸润深度等级确定装置作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该食管标志物浸润深度等级确定装置应用于计算机设备，该方法包括：获取待分析的第
一食管粘膜图像；对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；确定目标食管粘膜图像的代表性颜色特征；基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级。
38.请参阅图2至图13，图2为本技术实施例中提供的食管标志物浸润深度等级确定方法的一个实施例流程示意图，该食管标志物浸润深度等级确定方法包括步骤201至步骤204：201、获取待分析的第一食管粘膜图像。
39.其中，第一食管粘膜图像可以是通过窄带成像内镜（narrow band imaging，nbi）获取，具体的，第一食管粘膜图像可以包括背景粘膜色。而nbi是利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱用于获取消化道情况的技术。nbi内镜技术主要的优势在于：不仅能够精确观察消化道粘膜上皮形态，如上皮腺凹结构，还可以观察上皮血管网的形态。这种新技术能够更好地帮助内镜医生区分胃肠道上皮，如barrett食管中的肠化生上皮，胃肠道炎症中血管形态的改变，以及胃肠道早期肿瘤腺凹不规则改变，从而提高内镜检测的准确率。
40.202、对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像。
41.一般情况下，未经过第一图像预处理的原始图像的尺寸会导致后续对图像中包括的颜色特征信息进行分析造成很大的影响，严重降低检测结果的准确度和效率。因此在对第一食管粘膜图像进行分析之前，需要先对其进行第一图像预处理，以提高图像的识别准确度和效率。
42.其具体的图像预处理方案请看下述具体实施方式，在此不作赘述。
43.203、确定目标食管粘膜图像的代表性颜色特征。
44.204、基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级。
45.其中，食管标志物可以是食管肿瘤，炎症物，息肉，食管异物（如外部吞咽物）。本技术主要以食管肿瘤（或食管癌）进行举例说明，即食管标志物即食管癌，以及食管标志物浸润深度等级即食管标志物浸润深度等级。
46.具体的，食管（浅表型）肿瘤在nbi光源内窥镜检查下通常表现为的棕色区域。nbi非放大光源下棕色区域主要由不规则扩张的上皮内乳头状毛细血管袢(ipcls)组成。而在nbi放大光源下可以清晰可见ipcl的区域之间尚存在背景着色区域，又被称为背景粘膜色（background coloration, bgc）。
47.不同于白光光源下内镜成像，nbi窄带成像技术通过滤掉红蓝绿光波中的宽带光谱，增强消化道黏膜血管的图像，突出粘膜表面微血管改变，因此nbi放大光源精查成为食管肿瘤浸润深度判断的首要依据。
48.预设的标准颜色特征库包括有与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征，通过判断目标食管粘膜图像的代表性颜色特征与预设的标准颜色特征库中的每个核颜色特征的关系，然后从该预设个核颜色特征中确定目标核颜色特征，然后再基于该目标颜色特征与其已确定的食管标志物浸润深度等级的对应关系，以确定第一食管粘膜图像对应的食管标志物浸润深度等级。
49.其具体确定方案，请看下述具体实施方式，在此不作赘述。
50.本技术通过先获取待分析的第一食管粘膜图像；然后对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；再确定目标食管粘膜图像的代表性颜色特征；最终基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级，实现了食管标志物浸润深度等级的自动化识别，并且，由于通过将图像的颜色特征和食管标志物浸润深度进行量化，从而提高了识别效率和识别准确率。
51.本技术实施例中，如图3所示，步骤202、对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像，包括步骤301至步骤304：301、判断第一食管粘膜图像是否满足预设图像规格要求。
52.302、若不满足，则将第一食管粘膜图像的尺寸调整为满足预设图像规格要求的目标尺寸，得到调整后的第二食管粘膜图像。
53.预设图像规划要求的目标尺寸可以根据实际情况进行调整，在下一步骤303中，对第二食管粘膜图像进行第二图像预处理前，其要求目标尺寸为（w*,h*），然而第一食管粘膜图像的初始尺寸为（w0,h0），则需要先将初始的第一食管粘膜图像尺寸调整为目标尺寸。
54.具体的，本技术可以采用图像边界填充方式，例如，第一食管粘膜图像的初始尺寸（w0,h0），设定目标尺寸（w*,h*），具体的，本技术中目标尺寸可以是（480，480）。
55.首先，确定缩放系数，，则缩放后图片尺寸为；边界填充时使原图居中，在边缘填充黑边。宽边填充宽度：，长边填充宽度：，由此，使得第一食管粘膜图像的初始尺寸从（w0,h0）转换为目标尺寸（w*,h*）。
56.进一步的，由于上述存在至少两种具体情况，如图11所示，（确定沿x方向为图像的宽，沿y方向为图像的高）a1图像的宽大于高，而a2图像的高大于宽。因此，当第一是管粘膜图像为a1图像时，即第一食管粘膜图像的初始尺寸的w0>h0时，则在a1图像的上方和下方分别填充像素值为0、高度的纯黑图像，a1图像缩放效果如a2图像所示。
57.当第一食管粘膜图像为b1图像时，即第一食管粘膜图像的初始尺寸的w0<h0时，则在图像的左边和右边分别填充像素值为0、宽度的纯黑图像，b2图像缩放效果如b2图像所示。
58.303、对第二食管粘膜图像进行第二图像预处理，得到预处理后的第三食管粘膜图像。
59.为了进一步的提高待分析图像的检测精准度和效率，还可以进行第二图像预处理，其具体方案可以根据实际需求进行调整。以达到此目的，且在本技术的核心思想下的其他方案，都应该属于本技术所保护范围内。
60.304、调整第三食管粘膜图像对应显示的颜色数目，得到目标食管粘膜图像。
61.具体的，将第三食管粘膜图由rgb颜色模式转换为p颜色模式，增加颜色抖动后控制调色板颜色数目，使第三食管粘膜图像由一定数目的颜色特征进行表达，由此，得到由一
定数目的颜色特征进行表达的目标食管粘膜图像。
62.其中，p颜色模式可以理解为调色盘模式，该模式中的调色盘是一个预设好的表，这张表最多能存储256种不同的调色方案，调色方案可根据rgb值定义。颜色抖动是指当丰富的色彩转为较少色彩时，两种颜色分界线会明显而生硬，如果使用抖动，就会在这些地方填上一些过渡性像素。
63.如图12所示，其中c1图像为第三食管粘膜图的原图，而c2、c3、c4图像均是第三食管粘膜图在p颜色模式下调色板控制颜色数目分别为n=10、n=5以及n=2的图像。基于实际测试和研究发现，本技术中关于食管标志物浸润深度所用图片集，当颜色数目n=10时，判断多个层级的浸润深度时效果最好，因此本技术包括但不限于选择颜色数目n=10。
64.如图13所示，右侧条形图e1和e2中都包含10种颜色，即当原图调色板控制数目为10时，图像处于p颜色模式时，由此10种颜色表达。
65.在条形图e1和e2中“0
‑
9”表示10种颜色出现频次的顺序，其中“0”对应的颜色出现次数最多，“9”对应颜色出现次数最少。
66.例如，图13中d1图像对应“深层浸润型”图片，当n=10时，其对应的条形图e1中的颜色调“0
‑
9”从左至右依次对应的颜色像素值及颜色出现次数的对应关系如下所示：[0
‑
(40127,(159,131,108)),1
‑
(39260,(0,0,0)),2
‑
(35653,(145,107,88)),3
‑
(33753,(125,97,78)),4
‑
(32174,(110,75,61)),5
‑
(30981,(83,52,42)),6
‑
(24150,(195,179,155)),7
‑
(23724,(53,36,30)),8
‑
(1776,(4,0,3)),9
‑
(546,(0,0,3))]。
[0067]
需要说明的是，上述合集中，每个单元可以采用x
‑
(a,(r,g,b))表示，其中，x表示图片中颜色条的序号，（r,g,b）为对应的颜色像素值，a为（r,g,b）像素值对应的颜色出现的次数。
[0068]
进一步对比下，图13中d2图像对应“非深层浸润型”图片，当n=10时，其对应的条形图e2中的颜色条“0
‑
9”从左至右依次对应的颜色像素值及颜色出现次数的对应关系如下所示：(39689,(158,154,126)),1
‑
(39551,(0,0,0)),2
‑
(35624,(138,138,111)),3
‑
(35409,(114,107,84)),4
‑
(32515,(137,120,96)),5
‑
(31906,(154,141,115)),6
‑
(27931,(184,179,150)),7
‑
(16430,(85,71,57)),8
‑
(2408,(3,0,4)),9
‑
(681,(0,0,3))]。
[0069]
本技术实施例中，如图4所示，步骤303、对第二食管粘膜图像进行第二图像预处理，得到预处理后的第三食管粘膜图像，包括步骤401至步骤403：401、将第二食管粘膜图像由rgb颜色模式转换为lab颜色模式，得到第一模式转换图。
[0070]
其中，lab颜色模式是一种模拟人眼识别颜色的模式。人眼中有三种感光细胞，一种识别明度（l），一种区分红色和绿色，一种区分黄色和蓝色。在 lab颜色模式下有三个通道，分别是亮度通道（l通道）、a通道和b通道。
[0071]
402、对第一模式转换图的l通道进行滤波处理，得到滤波后的第一模式转换图。
[0072]
其中，滤波处理具体可以是采用双边滤波，双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波器之所以能够做到在平滑去噪的同时还能够很好的保存边缘，是由于其滤波器的核由两个函数生成：一个函数由像素欧式距离决定滤波器模板
的系数，另一个函数由像素的灰度差值决定滤波器的系数。
[0073]
具体如下：；其中，代表输出点；指以为中心的(2n 1)(2n 1)的大小范围；代表（多个）输入点；，为空间临近高斯函数，，为像素值相似度高斯函数，。
[0074]
双边滤波器受3个参数的控制：滤波器半宽n、参数和。n越大，平滑作用越强；和分别控制着空间邻近度因子和亮度像似度因子的衰减程度。本技术中包括但不限于取n=5，。
[0075]
403、将滤波后的第一模式转换图从lab颜色模式转换为rgb颜色模式，得到第三食管粘膜图像。
[0076]
本技术实施例中，如图5所示，步骤203、确定目标食管粘膜图像的代表性颜色特征，包括步骤501至步骤504：501、获取目标食管粘膜图像中的初级颜色特征集。
[0077]
其中，可以从目标食管粘膜图像中提取初级颜色特征集。具体的，可以通过预先设置的图像处理工具包(python image library，pil)自带的getcolors()方法获取目标食管粘膜图像中所有颜色特征：。
[0078]
502、剔除初级颜色特征集中的黑色颜色特征，得到中级颜色特征集。
[0079]
在剔除初级颜色特征集中的黑色颜色特征后，得到中级颜色特征集。
[0080]
503、计算中级颜色特征集中每种颜色特征对应的三通道像素的均值。
[0081]
504、选取中级颜色特征集中所有颜色特征对应的三通道像素的均值集中的中值为目标食管粘膜图像的代表性颜色特征。
[0082]
即目标食管粘膜图像的代表性颜色特征为中级颜色特征集中所有颜色特征对应的三通道像素的均值集中的中值。
[0083]
本技术实施例中，如图6所示，在步骤204、基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级之前，该方法还包括步骤601至步骤604：601、获取第一时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第一食管标志物图像样本集。
[0084]
其中，预设个已确定的食管标志物浸润深度等级，是按照预设标准规则对食管标
志物浸润深度病理结果进行校对后（其中，该预设标准规则是通过多位专家级医师制定的），将确定无误的食管标志物图像进行分类的预设个等级，该预设个等级包括但不限于三个等级，本技术将以三个等级进行距离说明，该三个等级依次为：非深层浸润等级d0、浅层浸润等级d1、深层浸润等级d2。基于此，获取第一时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第一食管标志物图像样本集。
[0085]
602、将第一食管标志物图像样本集分类为与预设个已确定的食管标志物浸润深度等级对应的预设个第一食管标志物图像子样本集。
[0086]
即将第一食管标志物图像样本集中的每张图片都分类至与预设个已确定的食管标志物浸润深度等级对应的预设个第一食管标志物图像子样本集。
[0087]
例如第一食管标志物图像样本集共有10万张图片，将其中的每一张图片根据预设标准规则分类至步骤601中的三个等级中，如非深层浸润等级d0分类对应的样本集有34250张、浅层浸润等级d1分类对应的样本集有53197张、深层浸润等级d2分类对应的样本集有12553张。
[0088]
603、分别计算预设个第一食管标志物图像子样本集中的每个食管标志物图像子样本集对应的核颜色特征，得到与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征。
[0089]
基于步骤601和步骤603中的举例说明，本技术实施例中的三个等级对应的核颜色特征计算如下：非深层浸润等级的核颜色特征为：，其中k为本等级包含的食管标志物图像样本数目，例如为k=34250；浅层浸润等级的核颜色特征为：，其中l为本等级包含的食管标志物图像样本数目，例如l=53197张；深层浸润等级的核颜色特征为：，其中p为本等级包含的食管标志物图像样本数目，例如p=12553张。
[0090]
604、基于预设个核颜色特征，构建预设的标准颜色特征库。
[0091]
本技术实施例中，如图7所示，步骤204、基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级，包括步骤701至步骤704：701、分别计算预设个核颜色特征中的每个核颜色特征与代表性颜色特征对应的三通道像素的欧式距离，得到包括预设个欧式距离。
[0092]
欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二
维和三维空间中的欧氏距离就是两点之间的实际距离。
[0093]
结合上述实施例的举例说明，其代表性颜色特征对应的三通道像素为，而三个核颜色特征中的每个核颜色特征分别为：非深层浸润等级的核颜色特征为，而又包括（，，），浅层浸润等级的核颜色特征为，而又包括（，，），深层浸润等级的核颜色特征为，而又包括（，，）。
[0094]
其预设个核颜色特征中的每个核颜色特征与代表性颜色特征对应的三通道像素的欧式距离如下：；其中，、以及依次为非深层浸润等级的核颜色特征、浅层浸润等级的核颜色特征以及深层浸润等级的核颜色特征与代表性颜色特征对应的三通道像素的欧式距离。
[0095]
702、从预设个欧式距离中，选取最小距离的目标欧式距离。
[0096]
结合步骤701，比较、以及的大小，并从中选取最小值为目标欧式距离。例如，最小。
[0097]
703、确定与目标欧式距离对应的目标核颜色特征。
[0098]
结合步骤702，当确定最小，那么可以确定浅层浸润等级的核颜色特征为与目标欧式距离对应的目标核颜色特征。
[0099]
704、将与目标核颜色特征对应的食管标志物浸润深度等级，确定为与第一食管粘膜图像对应的食管标志物浸润深度等级。
[0100]
结合步骤703，当确定浅层浸润等级的核颜色特征为与目标欧式距离对应的目标核颜色特征时，则可以确定食管标志物浅层浸润深度等级为与第一食管粘膜图像对应的食管标志物浸润深度等级。
[0101]
本技术实施例中，如图8所示，在步骤204、基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级之后，该方法还包括步骤801至步骤803：801、获取第二时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第二食管标志物图像样本集。
[0102]
其中，第二时间段要晚于第一时间段。即在上述实施例实施一段时间后，会基于实际使用效果，对标准颜色特征库中的核颜色特征进行优化和校准。
[0103]
802、将第二食管标志物图像样本集分类为与预设个已确定的食管标志物浸润深度等级对应的预设个第二食管标志物图像子样本集。
[0104]
803、基于第一食管标志物图像样本集、第二食管标志物图像子样本集以及预设的校准模型，对预设的标准颜色特征库中的每个核颜色特征进行校准。
[0105]
其中，结合上述实施例，本技术实施例中的预设的校准模型如下：
；其中，i—三种浸润深度等级，本技术中i取值0，1，2；m—前一轮（对应第一时间段）标准颜色特征库构建完成时，某一浸润深度等级所含食管标志物图像样本数量；n—本轮（对应第二时间段）优化时，某一浸润深度等级新增食管标志物图像样本数量；—新增食管标志物图像前后某一等级浸润深度核颜色特征平均像素误差收敛系数，当误差小于收敛系数，即表明该等级标准颜色特征库校准（或构建）完成，本技术实施例中，需要说明的是，上述参数的具体数值均可根据实际需求进行适应性调整，在本技术的方案思想基础上进行调整的，均应属于本技术所在保护范围内。
[0106]
为了更好实施本技术实施例中食管标志物浸润深度等级确定方法，在食管标志物浸润深度等级确定方法基础之上，本技术实施例中还提供一种食管标志物浸润深度等级确定装置，如图9所示，食管标志物浸润深度等级确定装置900包括第一获取单元901、第一图像预处理单元902、第一确定单元903以及第二确定单元904：第一获取单元901，用于获取待分析的第一食管粘膜图像。
[0107]
第一图像预处理单元902，用于对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像。
[0108]
第一确定单元903，用于确定目标食管粘膜图像的代表性颜色特征。
[0109]
第二确定单元904，用于基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级。
[0110]
在本技术一种可能的实现方式中，预设的标准颜色特征库包括有与预设个已确定的食管标志物浸润深度等级对应的预设个核颜色特征；第二确定单元904，具体用于：分别计算预设个核颜色特征中的每个核颜色特征与代表性颜色特征对应的三通道像素的欧式距离，得到包括预设个欧式距离。
[0111]
从预设个欧式距离中，选取最小距离的目标欧式距离。
[0112]
确定与目标欧式距离对应的目标核颜色特征。
[0113]
将与目标核颜色特征对应的食管标志物浸润深度等级，确定为与第一食管粘膜图像对应的食管标志物浸润深度等级。
[0114]
在本技术一种可能的实现方式中，该装置还用于：获取第一时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第一食管标志物图像样本集。
[0115]
将第一食管标志物图像样本集分类为与预设个已确定的食管标志物浸润深度等级对应的预设个第一食管标志物图像子样本集。
[0116]
分别计算预设个第一食管标志物图像子样本集中的每个食管标志物图像子样本集对应的核颜色特征，得到与预设个已确定的食管标志物浸润深度等级对应的预设个核颜
色特征。
[0117]
基于预设个核颜色特征，构建预设的标准颜色特征库。
[0118]
在本技术一种可能的实现方式中，该装置还用于：获取第二时间段内包括有与预设个已确定的食管标志物浸润深度等级对应的第二食管标志物图像样本集；将第二食管标志物图像样本集分类为与预设个已确定的食管标志物浸润深度等级对应的预设个第二食管标志物图像子样本集；基于第一食管标志物图像样本集、第二食管标志物图像子样本集以及预设的校准模型，对预设的标准颜色特征库中的每个核颜色特征进行校准。
[0119]
在本技术一种可能的实现方式中，第一确定单元903，具体用于：获取目标食管粘膜图像中的初级颜色特征集。
[0120]
剔除初级颜色特征集中的黑色颜色特征，得到中级颜色特征集。
[0121]
计算中级颜色特征集中每种颜色特征对应的三通道像素的均值。
[0122]
选取中级颜色特征集中所有颜色特征对应的三通道像素的均值集中的中值为目标食管粘膜图像的代表性颜色特征。
[0123]
在本技术一种可能的实现方式中，第一图像预处理单元902，具体用于：判断第一食管粘膜图像是否满足预设图像规格要求。
[0124]
若不满足，则将第一食管粘膜图像的尺寸调整为满足预设图像规格要求的目标尺寸，得到调整后的第二食管粘膜图像。
[0125]
对第二食管粘膜图像进行第二图像预处理，得到预处理后的第三食管粘膜图像。
[0126]
调整第三食管粘膜图像对应显示的颜色数目，得到目标食管粘膜图像。
[0127]
在本技术一种可能的实现方式中，该装置还用于：将第二食管粘膜图像由rgb颜色模式转换为lab颜色模式，得到第一模式转换图。
[0128]
对第一模式转换图的l通道进行滤波处理，得到滤波后的第一模式转换图。
[0129]
将滤波后的第一模式转换图从lab颜色模式转换为rgb颜色模式，得到第三食管粘膜图像。
[0130]
本技术通过第一获取单元901先获取待分析的第一食管粘膜图像；然后由第一图像预处理单元902对第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；再由第一确定单元903确定目标食管粘膜图像的代表性颜色特征；最终由第二确定单元904基于目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定第一食管粘膜图像对应的食管标志物浸润深度等级，实现了食管标志物浸润深度等级的自动化识别，并且，由于通过将图像的颜色特征和食管标志物浸润深度进行量化，从而提高了识别效率和识别准确率。
[0131]
除了上述介绍用于食管标志物浸润深度等级确定方法与装置之外，本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种食管标志物浸润深度等级确定装置，所述计算机设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并
配置为由所述处理器执行上述食管标志物浸润深度等级确定方法实施例中任一实施例中所述的任一方法的操作。
[0132]
本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种食管标志物浸润深度等级确定装置。参阅图10，图10是本技术实施例提供的计算机设备一个实施例结构示意图。
[0133]
如图10所示，其示出了本技术实施例所设计的食管标志物浸润深度等级确定装置的结构示意图，具体来讲：该食管标志物浸润深度等级确定装置可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储单元1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图10中示出的食管标志物浸润深度等级确定装置结构并不构成对食管标志物浸润深度等级确定装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器1001是该食管标志物浸润深度等级确定装置的控制中心，利用各种接口和线路连接整个食管标志物浸润深度等级确定装置的各个部分，通过运行或执行存储在存储单元1002内的软件程序和/或模块，以及调用存储在存储单元1002的数据，执行食管标志物浸润深度等级确定装置的各种功能和处理数据，从而对食管标志物浸润深度等级确定装置进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。
[0134]
存储单元1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储单元1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据食管标志物浸润深度等级确定装置的使用所创建的数据等。此外，存储单元1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元1002还可以包括存储器控制器，以提供处理器1001对存储单元1002的访问。
[0135]
食管标志物浸润深度等级确定装置还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0136]
该食管标志物浸润深度等级确定装置还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0137]
尽管未示出，食管标志物浸润深度等级确定装置还可以包括显示单元等，在此不再赘述。具体在本技术实施例中，食管标志物浸润深度等级确定装置中的处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元1002中，并由处理器1001来运行存储在存储单元1002中的应用程序，从而实现各种功能，如
下：获取待分析的第一食管粘膜图像；对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；确定所述目标食管粘膜图像的代表性颜色特征；基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级。
[0138]
本技术通过先获取待分析的第一食管粘膜图像；然后对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；再确定所述目标食管粘膜图像的代表性颜色特征；最终基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级，实现了食管标志物浸润深度等级的自动化识别，并且，由于通过将图像的颜色特征和食管标志物浸润深度进行量化，从而提高了识别效率和识别准确率。
[0139]
为此，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、磁盘或光盘等。该计算机可读存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本技术实施例所提供的任一种食管标志物浸润深度等级确定方法中的步骤。例如，该指令可以执行如下步骤：获取待分析的第一食管粘膜图像；对所述第一食管粘膜图像进行第一图像预处理，得到预处理后的目标食管粘膜图像；确定所述目标食管粘膜图像的代表性颜色特征；基于所述目标食管粘膜图像的代表性颜色特征和预设的标准颜色特征库，确定所述第一食管粘膜图像对应的食管标志物浸润深度等级。
[0140]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0141]
以上对本技术实施例所提供的一种食管标志物浸润深度等级确定方法、装置及可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。