食管内窥镜图像的识别方法及装置与流程

1.本技术主要涉及图像处理技术领域，具体涉及一种食管内窥镜图像的识别方法及装置。


背景技术：

2.内镜下治疗早期食管癌相较传统外科手术，创伤小、预后好、并发症少等优势，已被广泛应用于早期食管癌的治疗。上皮（epithelium, ep)、固有肌层（lamina propria mucosa, lpm)）及黏膜肌层(muscularis mucosa, mm）和黏膜下癌浸润深度200μm以内（sm1）的肿瘤转移风险相对较低（＜10%），可以进行内镜下切除。而食管肿瘤外科切除主要针对黏膜下癌浸润深度超过200μm（sm2及更深）的食管癌，其肿瘤转移风险增加到了25%以上。因此，内镜医师需要内镜下对食管病灶进行准确的浸润深度评估。但现有技术中食管内窥镜图像的识别方法不准确。
3.也即，现有技术中食管内窥镜图像的识别方法不准确。


技术实现要素：

4.本技术提供一种食管内窥镜图像的识别方法及装置，旨在解决现有技术中食管内窥镜图像的识别方法不准确的问题。
5.第一方面，本技术提供一种食管内窥镜图像的识别方法，该食管内窥镜图像的识别方法包括：获取待识别食管内窥镜图像；将所述待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，所述巴黎分型结果为多个巴黎分型中的一个；若所述巴黎分型结果为第一预设巴黎分型，则将所述待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；将所述第一病灶分割区域分割为多个分割子区域；对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到所述第一病灶分割区域的第二当前粗糙量化值；将所述第一病灶分割区域输入预设分类模型，得到病灶分类结果，所述病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；
根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；根据当前表面粗糙度确定所述待识别食管内窥镜图像的识别结果。
6.可选地，所述根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，包括：若病灶分类结果为平坦型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值确定为表面粗糙度；若病灶分类结果为凹陷型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值增加第一预设值之后确定为表面粗糙度；若病灶分类结果为隆起型，则病灶分类结果对应的粗糙度映射策略为：将第二预设值与第二当前粗糙量化值的差值确定为表面粗糙度，其中，第二预设值大于第一预设值；所述根据当前表面粗糙度确定所述待识别食管内窥镜图像的识别结果，包括：判断当前表面粗糙度是否大于预设量化值；若当前表面粗糙度大于预设量化值，则确定所述待识别食管内窥镜图像的识别结果为深层浸润型，若当前表面粗糙度不大于预设量化值，则确定所述待识别食管内窥镜图像的识别结果为非深层浸润型。
7.可选地，所述将所述第一病灶分割区域分割为多个分割子区域，包括：将所述第一病灶分割区域边界上的像素点按序排列，得到像素点序列；分别将像素点序列中各个像素点确定为目标像素点；对目标像素点和目标像素点一侧的多个像素点进行拟合，得到以目标像素点为起点的第一射线；对目标像素点和目标像素点另一侧的多个像素点进行拟合，得到以目标像素点为起点的第二射线；获取目标像素点和第一病灶分割区域形心连成的目标线段；若第一射线和第二射线之间的夹角小于第一预设角度，且第一射线与目标线段之间的夹角大于第二预设角度，且第二射线与目标线段的之间夹角大于第三预设角度，则将目标像素点确定为分割像素点，得到多个分割像素点；利用第一病灶分割区域形心与多个分割像素点之间的线段将第一病灶分割区域分割为多个分割子区域。
8.可选地，所述根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到所述第一病灶分割区域的第二当前粗糙量化值，之前，包括：将各个分割子区域的区域像素平均值确定为各个分割子区域的权重系数，其中，各个分割子区域的区域像素平均值越大，对应的权重系数越大。
9.可选地，所述食管内窥镜图像的识别方法，还包括：若所述巴黎分型结果为第二预设巴黎分型，则获取所述待识别食管内窥镜图像上的第一病灶分割区域；获取所述第一病灶分割区域的病灶轮廓；在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和
病灶轮廓之间的区域确定为第二病灶分割区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为非病灶分割区域，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述非病灶分割区域的面积和所述第二病灶分割区域的面积相同；计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值；计算第一颜色量化值和第二颜色量化值的第一颜色量化比；根据第一颜色量化比确定所述待识别食管内窥镜图像的识别结果。
10.可选地，所述根据第一颜色量化比确定所述待识别食管内窥镜图像的识别结果，包括：获取待识别食管内窥镜图像所属的目标病灶图像集，其中，目标病灶图像集为对同一病灶在不同角度拍摄得到且被识别为第二预设巴黎分型的食管内窥镜图像；获取目标病灶图像集中各个食管内窥镜图像的第一颜色量化比；将多个食管内窥镜图像的第一颜色量化比中的异常值剔除，得到多个第二颜色量化比；将多个第二颜色量化比的平均值确定为第三颜色量化比；根据第三颜色量化比确定所述待识别食管内窥镜图像的识别结果。
11.可选地，所述计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值，包括：获取第二病灶分割区域的一阶矩、二阶矩以及三阶矩；将第二病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第一颜色量化值；获取非病灶分割区域的一阶矩、二阶矩以及三阶矩；将非病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第二颜色量化值。
12.第二方面，本技术提供一种食管内窥镜图像的识别装置，所述食管内窥镜图像的识别装置包括：第一获取单元，用于获取待识别食管内窥镜图像；第一分类单元，用于将所述待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，所述巴黎分型结果为多个巴黎分型中的一个；第一分割单元，用于若所述巴黎分型结果为第一预设巴黎分型，则将所述待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；第二分割单元，用于将所述第一病灶分割区域分割为多个分割子区域；第二获取单元，用于对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；第一确定单元，用于将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；第二确定单元，用于根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；加权单元，用于根据预设的各个分割子区域的权重系数对各个分割子区域的第一
当前粗糙量化值进行加权求和，得到所述第一病灶分割区域的第二当前粗糙量化值；第二分类单元，用于将所述第一病灶分割区域输入预设分类模型，得到病灶分类结果，所述病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；第三确定单元，用于根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；第四确定单元，用于根据当前表面粗糙度确定所述待识别食管内窥镜图像的识别结果。
13.可选地，所述第三确定单元，用于：若病灶分类结果为平坦型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值确定为表面粗糙度；若病灶分类结果为凹陷型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值增加第一预设值之后确定为表面粗糙度；若病灶分类结果为隆起型，则病灶分类结果对应的粗糙度映射策略为：将第二预设值与第二当前粗糙量化值的差值确定为表面粗糙度，其中，第二预设值大于第一预设值；所述第四确定单元，用于：判断当前表面粗糙度是否大于预设量化值；若当前表面粗糙度大于预设量化值，则确定所述待识别食管内窥镜图像的识别结果为深层浸润型，若当前表面粗糙度不大于预设量化值，则确定所述待识别食管内窥镜图像的识别结果为非深层浸润型。
14.可选地，所述第二分割单元，用于：将所述第一病灶分割区域边界上的像素点按序排列，得到像素点序列；分别将像素点序列中各个像素点确定为目标像素点；对目标像素点和目标像素点一侧的多个像素点进行拟合，得到以目标像素点为起点的第一射线；对目标像素点和目标像素点另一侧的多个像素点进行拟合，得到以目标像素点为起点的第二射线；获取目标像素点和第一病灶分割区域形心连成的目标线段；若第一射线和第二射线之间的夹角小于第一预设角度，且第一射线与目标线段之间的夹角大于第二预设角度，且第二射线与目标线段的之间夹角大于第三预设角度，则将目标像素点确定为分割像素点，得到多个分割像素点；利用第一病灶分割区域形心与多个分割像素点之间的线段将第一病灶分割区域分割为多个分割子区域。
15.可选地，所述加权单元，用于：将各个分割子区域的区域像素平均值确定为各个分割子区域的权重系数，其中，各个分割子区域的区域像素平均值越大，对应的权重系数越大。
16.可选地，所述第四确定单元，用于：若所述巴黎分型结果为第二预设巴黎分型，则获取所述待识别食管内窥镜图像上的第一病灶分割区域；获取所述第一病灶分割区域的病灶轮廓；
在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和病灶轮廓之间的区域确定为第二病灶分割区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为非病灶分割区域，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述非病灶分割区域的面积和所述第二病灶分割区域的面积相同；计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值；计算第一颜色量化值和第二颜色量化值的第一颜色量化比；根据第一颜色量化比确定所述待识别食管内窥镜图像的识别结果。
17.可选地，所述第四确定单元，用于：获取待识别食管内窥镜图像所属的目标病灶图像集，其中，目标病灶图像集为对同一病灶在不同角度拍摄得到且被识别为第二预设巴黎分型的食管内窥镜图像；获取目标病灶图像集中各个食管内窥镜图像的第一颜色量化比；将多个食管内窥镜图像的第一颜色量化比中的异常值剔除，得到多个第二颜色量化比；将多个第二颜色量化比的平均值确定为第三颜色量化比；根据第三颜色量化比确定所述待识别食管内窥镜图像的识别结果。
18.可选地，所述第四确定单元，用于：获取第二病灶分割区域的一阶矩、二阶矩以及三阶矩；将第二病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第一颜色量化值；获取非病灶分割区域的一阶矩、二阶矩以及三阶矩；将非病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第二颜色量化值。
19.第三方面，本技术提供一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的食管内窥镜图像的识别方法。
20.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的食管内窥镜图像的识别方法中的步骤。
21.本技术提供一种食管内窥镜图像的识别方法及装置，获取待识别食管内窥镜图像；将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个；若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；将第一病灶分割区域分割为多个分割子区域；对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；根据预设的各个分割子区域的权重系数
对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值；将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。本技术可以提高食管内窥镜图像的识别方法的准确率。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例提供的食管内窥镜图像的识别系统的场景示意图；图2是本技术实施例提供的食管内窥镜图像的识别方法一实施例的流程示意图；图3是本技术实施例提供的食管内窥镜图像的识别方法一实施例中第一病灶分割区域的示意图；图4是本技术实施例提供的食管内窥镜图像的识别方法一实施例中第一病灶分割区域的外接矩形放大1.5倍的示意图；图5是本技术实施例提供的食管内窥镜图像的识别方法另一实施例的流程示意图；图6是本技术实施例中提供的食管内窥镜图像的识别装置的一个实施例结构示意图；图7是本技术实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
26.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任
何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
27.本技术实施例提供一种食管内窥镜图像的识别方法及装置，以下分别进行详细说明。
28.请参阅图1，图1为本技术实施例所提供的食管内窥镜图像的识别系统的场景示意图，该食管内窥镜图像的识别系统可以包括计算机设备100，计算机设备100中集成有食管内窥镜图像的识别装置。
29.本技术实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
30.本技术实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑（personal digital assistant，pda）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。
31.本领域技术人员可以理解，图1中示出的应用环境，仅仅是本技术方案的一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该食管内窥镜图像的识别系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
32.另外，如图1所示，该食管内窥镜图像的识别系统还可以包括存储器200，用于存储数据。
33.需要说明的是，图1所示的食管内窥镜图像的识别系统的场景示意图仅仅是一个示例，本技术实施例描述的食管内窥镜图像的识别系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着食管内窥镜图像的识别系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
34.首先，本技术实施例中提供一种食管内窥镜图像的识别方法，食管内窥镜图像的识别方法包括：获取待识别食管内窥镜图像；将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个；若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；将第一病灶分割区域分割为多个分割子区域；对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；
根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值；将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。
35.如图2所示，图2是本技术实施例中食管内窥镜图像的识别方法的一个实施例流程示意图，该食管内窥镜图像的识别方法包括如下步骤s201~s211：s201、获取待识别食管内窥镜图像。
36.本技术实施例中，医生在对患者进行食管检查时，食管内窥镜会拍摄视频，得到食管内窥镜检查视频。对食管内窥镜检查视频按帧进行解码，得到多个食管帧图像。具体的，将食管内窥镜检查视频按照24帧/秒解析得到多个食管帧图像；将多个食管帧图像中的一张确定为待识别食管内窥镜图像。
37.进一步的，获取多个食管帧图像的清晰度，将多个食管帧图像中清晰度高于预设清晰度的一张食管帧图像确定为待识别食管内窥镜图像。
38.在一个具体的实施例中，将食管帧图像输入食管恶性病变识别模型，得到恶性病变识别结果，若恶性病变识别结果为恶性病变类型，则将食管帧图像确定为待识别食管内窥镜图像。具体的，训练非放大模式下食管恶性病变识别模型，优先选择vgg16，标签为无恶性病变类型、恶性病变类型，数据集为非放大模式下的食管帧图像。
39.如图3和图4所示，进一步的，若恶性病变识别结果为恶性病变类型，则将对食管帧图像输入预设病灶分割模型，得到第一病灶分割区域，将第一病灶分割区域的外接矩形放大1.5倍，将放大1.5倍的外接矩形内的图像确定为待识别食管内窥镜图像。具体的，训练预设病灶分割模型，优先选择unet ，标签由专业内镜医师对非放大模式的食管帧图像中病灶边界进行勾勒。
40.s202、将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个。
41.巴黎分型模型可以为预先训练的分类模型，多个巴黎分型可以为o-i型、o-iii型，以及介于两者之间的o-ii型3种。o-ii型又分为o-iia型、o-iib型以及o-iic型。
42.在一个具体的实施例中，巴黎分型模型可以包括第一分型识别模型和第二分型识别模型。具体的，将待识别食管内窥镜图像输入第一分型识别模型，得到初始分型结果；若第一分型结果不为o-ii型，则将初始分型结果确定为巴黎分型结果；若第一分型结果为o-ii型，则将待识别食管内窥镜图像输入第二分型识别模型，得到巴黎分型结果。巴黎分型结果为o-iia型、o-iib型以及o-iic型中的任意一中。
43.具体的，训练第一分型识别模型，优先选择resnet50，标签为o-i型、o-ii型、o-iii型，数据集为非放大模式下待识别食管内窥镜图像。训练第二分型识别模型，优先选择resnet50，标签为o-iia型、o-iib型、o-iic型，数据集为非放大模式下属于o-ii型的待识别食管内窥镜图像。
44.s203、若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域。
45.本技术实施例中，第一预设巴黎分型为o-iic型。
46.本技术实施例中，若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域。
47.s204、将第一病灶分割区域分割为多个分割子区域。
48.在一个具体的实施例中，随机将第一病灶分割区域分割为多个分割子区域。
49.在另一个具体的实施例中，将第一病灶分割区域分割为多个分割子区域，可以包括：（1）将第一病灶分割区域边界上的像素点按序排列，得到像素点序列。
50.在一个具体的实施例中，第一病灶分割区域边界是由一系列的像素点连接而成的圆环，按着圆环正向或逆向将第一病灶分割区域边界上的像素点按序排列，得到像素点序列。
51.（2）分别将像素点序列中各个像素点确定为目标像素点。
52.（3）对目标像素点和目标像素点一侧的多个像素点进行拟合，得到以目标像素点为起点的第一射线。
53.目标像素点一侧的多个像素点为像素点序列中排序在目标像素点之前的多个像素点。对目标像素点和目标像素点一侧的多个像素点进行拟合，得到以目标像素点为起点的第一射线。
54.（4）对目标像素点和目标像素点另一侧的多个像素点进行拟合，得到以目标像素点为起点的第二射线。
55.目标像素点另一侧的多个像素点为像素点序列中排序在目标像素点之后的多个像素点。对目标像素点和目标像素点另一侧的多个像素点进行拟合，得到以目标像素点为起点的第二射线。
56.（5）获取目标像素点和第一病灶分割区域形心连成的目标线段。
57.（6）若第一射线和第二射线之间的夹角小于第一预设角度，且第一射线与目标线段之间的夹角大于第二预设角度，且第二射线与目标线段之间的夹角大于第三预设角度，则将目标像素点确定为分割像素点，得到多个分割像素点。
58.其中，第一预设角度根据具体情况设定，例如，第一预设角度为90度、100度等等。第二预设角度根据具体情况设定，例如，第二预设角度为90度、100度等。第三预设角度根据具体情况设定，例如，第三预设角度为90度、100度等。
59.若第一射线和第二射线之间的夹角小于第一预设角度，说明目标像素点在此处发生了较大拐角，拐角两侧区域差距较大，不宜看做一个区域。第一射线与目标线段之间的夹角大于第二预设角度，且第二射线与目标线段之间的夹角大于第三预设角度，说明第一射线和第二射线之间的夹角朝向远离第一病灶分割区域形心的一侧，目标像素点为向内凹陷的像素点，将目标像素点确定为分割像素点。将像素点序列中各个像素点确定为目标像素点进行判断，得到多个分割像素点。
60.（7）利用第一病灶分割区域形心与多个分割像素点之间的连线将第一病灶分割区域分割为多个分割子区域。
61.s205、对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均
值。
62.本技术实施例中，获取分割子区域的区域像素平均值，计算公式如下：；其中，为分割子区域的各个像素值，w，h为分割子区域的宽和高。
63.s206、将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值。
64.其中，水平粗糙量化值的计算公式如下：；其中，w，h为分割子区域的宽和高，为过分割子区域形心的水平基准线的高度，为水平基准线的各个像素值，，本发明中。
65.其中，竖向粗糙量化值的计算公式如下：；其中，w，h为分割子区域的宽和高，为过分割子区域形心的竖向基准线的高度，为竖向基准线的各个像素值，，本发明中。
66.s207、根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值。
67.各个分割子区域的第一当前粗糙量化值的计算公式如下：；s208、根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值。
68.在一个具体的实施例中，预设的各个分割子区域的权重系数可以人工设定。
69.在另一个具体的实施例中，预设的各个分割子区域的权重系数可以为各个分割子区域的面积占比。
70.在又一个具体的实施例中，将各个分割子区域的区域像素平均值确定为各个分割子区域的权重系数，其中，各个分割子区域的区域像素平均值越大，对应的权重系数越大。当像素平均值越大时，图像越容易识别，权重越高。
71.在又一个具体的实施例中，获取各个分割子区域的清晰度指标，根据清晰度指标和各个分割子区域的区域像素平均值确定各个分割子区域的权重系数。例如，将各个分割子区域的区域像素平均值和清晰度指标之积确定为各个分割子区域的权重系数。
72.本技术实施例中，根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值。
73.s209、将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种。
74.具体的，训练非放大模式下预设分类模型，优先选择resnet50，标签为平坦型、凹陷型以及隆起型，数据集为非放大模式下食管o-iic型病灶分割图像。
75.s210、根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略。
76.具体的，若病灶分类结果为平坦型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值确定为表面粗糙度；若病灶分类结果为凹陷型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值增加第一预设值之后确定为表面粗糙度；若病灶分类结果为隆起型，则病灶分类结果对应的粗糙度映射策略为：将第二预设值与第二当前粗糙量化值的差值确定为表面粗糙度，其中，第二预设值大于第一预设值。
77.其中，第一预设值为1，第二预设值为2，根据具体情况设定即可。
78.不同病灶分类结果对应不同的粗糙度映射策略，表面粗糙度c与第二当前粗糙量化值的映射关系如下公式所示：其中，pt为病灶分类结果，表示病灶分类结果为平坦型，表示病灶分类结果为凹陷型；表示病灶分类结果为隆起型；c为表面粗糙度，为第二当前粗糙量化值。
79.s211、根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。
80.本技术实施例中，判断当前表面粗糙度是否大于预设量化值；若当前表面粗糙度大于预设量化值，则确定待识别食管内窥镜图像的识别结果为深层浸润型，若当前表面粗糙度不大于预设量化值，则确定待识别食管内窥镜图像的识别结果为非深层浸润型。预设量化值根据具体情况设定。
81.进一步的，参阅图5，食管内窥镜图像的识别方法，还包括：s301、若巴黎分型结果为第二预设巴黎分型，则获取待识别食管内窥镜图像上的第一病灶分割区域。
82.其中，第二预设巴黎分型为o-iia型。
83.s302、获取第一病灶分割区域的病灶轮廓。
84.s303、在病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将内边界轮廓与和病灶轮廓之间的区域确定为第二病灶分割区域，将外边界轮廓与和病灶轮廓之间的区域确定为非病灶分割区域，其中，外边界轮廓、内边界轮廓以及病灶轮廓的形状相同且形心相同，非病灶分割区域的面积和第二病灶分割区域的面积相同。
85.s304、计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值。
86.在一个具体的实施例中，第一颜色量化值和第二颜色量化值可以为一阶矩、二阶矩或者三阶矩等等。
87.在另一个具体的实施例中，计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值，可以包括：（1）获取第二病灶分割区域的一阶矩、二阶矩以及三阶矩。
88.具体的，获取第二病灶分割区域在三个通道的像素的均值，得到一阶矩，如下公式所示：具体的，获取第二病灶分割区域在三个通道的像素的方差，得到二阶矩，如下公式所示：具体的，计算三阶矩，如下公式所示：（2）将第二病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第一颜色量化值。
89.；（3）获取非病灶分割区域的一阶矩、二阶矩以及三阶矩；（4）将非病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第二颜色量化值。
90.具体的，第二颜色量化值记为。
91.s305、计算第一颜色量化值和第二颜色量化值的第一颜色量化比。
92.具体的，第一颜色量化比满足如下公式：s306、根据第一颜色量化比确定待识别食管内窥镜图像的识别结果。
93.具体的，判断第一颜色量化比是否大于预设颜色比，若第一颜色量化比大于预设颜色比，则待识别食管内窥镜图像的识别结果为深层浸润型；若第一颜色量化比不大于预设颜色比，则待识别食管内窥镜图像的识别结果为非深层浸润型。
94.进一步的，根据第一颜色量化比确定待识别食管内窥镜图像的识别结果，可以包括：
（1）获取待识别食管内窥镜图像所属的目标病灶图像集，其中，目标病灶图像集为对同一病灶在不同角度拍摄得到且被识别为第二预设巴黎分型的食管内窥镜图像。
95.其中，可以预先按病灶将食管内窥镜图像分为多个目标病灶图像集。
96.（2）获取目标病灶图像集中各个食管内窥镜图像的第一颜色量化比。
97.具体的，各个食管内窥镜图像的第一颜色量化比可以参考上述待识别食管内窥镜图像的第一颜色量化比的计算步骤。
98.例如，多个第一颜色量化比为m个第一颜色量化比，存入第一列表，所示：（3）将多个食管内窥镜图像的第一颜色量化比中的异常值剔除，得到多个第二颜色量化比。
99.在一个具体的实施例中，获取多个第一颜色量化比的均值和方差：多个第一颜色量化比的均值计算公式如下：；多个第一颜色量化比的方差计算公式如下：；若第一颜色量化比与多个第一颜色量化比的均值的差值的绝对值大于多个第一颜色量化比的方差的两倍时，将第一颜色量化比确定为异常值剔除，得到多个第二颜色量化比。例如，若第一颜色量化比满足，则将第一颜色量化比作为异常值剔除，得到多个第二颜色量化比，例如，得到n个第二颜色量化比：。
100.（4）将多个第二颜色量化比的平均值确定为第三颜色量化比。
101.具体的，第三颜色量化比满足如下公式：（5）根据第三颜色量化比确定待识别食管内窥镜图像的识别结果。
102.具体的，判断第三颜色量化比是否大于预设颜色比，若第一颜色量化比大于预设颜色比，则待识别食管内窥镜图像的识别结果为深层浸润型；若第一颜色量化比不大于预设颜色比，则待识别食管内窥镜图像的识别结果为非深层浸润型。
103.进一步的，若巴黎分型结果为o-iib型，则待识别食管内窥镜图像的识别结果为非深层浸润型。若巴黎分型结果不为o-ii型，则待识别食管内窥镜图像的识别结果为深层浸润型。
104.为了更好实施本技术实施例中食管内窥镜图像的识别方法，在食管内窥镜图像的识别方法基础之上，本技术实施例中还提供一种食管内窥镜图像的识别装置，如图6所示，食管内窥镜图像的识别装置400包括：
第一获取单元401，用于获取待识别食管内窥镜图像；第一分类单元402，用于将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个；第一分割单元403，用于若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；第二分割单元404，用于将第一病灶分割区域分割为多个分割子区域；第二获取单元405，用于对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；第一确定单元406，用于将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；第二确定单元407，用于根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；加权单元408，用于根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值；第二分类单元409，用于将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；第三确定单元410，用于根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；第四确定单元411，用于根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。
105.可选地，第三确定单元，用于：若病灶分类结果为平坦型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值确定为表面粗糙度；若病灶分类结果为凹陷型，则病灶分类结果对应的粗糙度映射策略为：将第二当前粗糙量化值增加第一预设值之后确定为表面粗糙度；若病灶分类结果为隆起型，则病灶分类结果对应的粗糙度映射策略为：将第二预设值与第二当前粗糙量化值的差值确定为表面粗糙度，其中，第二预设值大于第一预设值；第四确定单元，用于：判断当前表面粗糙度是否大于预设量化值；若当前表面粗糙度大于预设量化值，则确定待识别食管内窥镜图像的识别结果为深层浸润型，若当前表面粗糙度不大于预设量化值，则确定待识别食管内窥镜图像的识别结果为非深层浸润型。
106.可选地，第二分割单元，用于：将第一病灶分割区域边界上的像素点按序排列，得到像素点序列；分别将像素点序列中各个像素点确定为目标像素点；对目标像素点和目标像素点一侧的多个像素点进行拟合，得到以目标像素点为起点的第一射线；
对目标像素点和目标像素点另一侧的多个像素点进行拟合，得到以目标像素点为起点的第二射线；获取目标像素点和第一病灶分割区域形心连成的目标线段；若第一射线和第二射线之间的夹角小于第一预设角度，且第一射线与目标线段之间的夹角大于第二预设角度，且第二射线与目标线段的之间夹角大于第三预设角度，则将目标像素点确定为分割像素点，得到多个分割像素点；利用第一病灶分割区域形心与多个分割像素点之间的线段将第一病灶分割区域分割为多个分割子区域。
107.可选地，加权单元，用于：将各个分割子区域的区域像素平均值确定为各个分割子区域的权重系数，其中，各个分割子区域的区域像素平均值越大，对应的权重系数越大。
108.可选地，第四确定单元，用于：若巴黎分型结果为第二预设巴黎分型，则获取待识别食管内窥镜图像上的第一病灶分割区域；获取第一病灶分割区域的病灶轮廓；在病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将内边界轮廓与和病灶轮廓之间的区域确定为第二病灶分割区域，将外边界轮廓与和病灶轮廓之间的区域确定为非病灶分割区域，其中，外边界轮廓、内边界轮廓以及病灶轮廓的形状相同且形心相同，非病灶分割区域的面积和第二病灶分割区域的面积相同；计算第二病灶分割区域的第一颜色量化值和非病灶分割区域的第二颜色量化值；计算第一颜色量化值和第二颜色量化值的第一颜色量化比；根据第一颜色量化比确定待识别食管内窥镜图像的识别结果。
109.可选地，第四确定单元，用于：获取待识别食管内窥镜图像所属的目标病灶图像集，其中，目标病灶图像集为对同一病灶在不同角度拍摄得到且被识别为第二预设巴黎分型的食管内窥镜图像；获取目标病灶图像集中各个食管内窥镜图像的第一颜色量化比；将多个食管内窥镜图像的第一颜色量化比中的异常值剔除，得到多个第二颜色量化比；将多个第二颜色量化比的平均值确定为第三颜色量化比；根据第三颜色量化比确定待识别食管内窥镜图像的识别结果。
110.可选地，第四确定单元，用于：获取第二病灶分割区域的一阶矩、二阶矩以及三阶矩；将第二病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第一颜色量化值；获取非病灶分割区域的一阶矩、二阶矩以及三阶矩；将非病灶分割区域的一阶矩、二阶矩以及三阶矩的方差确定为第二颜色量化值。
111.本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种食管内窥镜图像的识别装置，计算机设备包括：一个或多个处理器；
存储器；以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述食管内窥镜图像的识别方法实施例中任一实施例中的食管内窥镜图像的识别方法中的步骤。
112.如图7所示，其示出了本技术实施例所涉及的计算机设备的结构示意图，具体来讲：该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
113.存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
114.计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
115.该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
116.尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取待识别食管内窥镜图像；将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个；若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；将第一病灶分割区域分割为多个分割子区域；对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值；将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。
117.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
118.为此，本技术实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种食管内窥镜图像的识别方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：获取待识别食管内窥镜图像；将待识别食管内窥镜图像输入巴黎分型模型进行分类，得到巴黎分型结果，其中，巴黎分型结果为多个巴黎分型中的一个；若巴黎分型结果为第一预设巴黎分型，则将待识别食管内窥镜图像输入预设病灶分割模型，得到第一病灶分割区域；将第一病灶分割区域分割为多个分割子区域；对于每个分割子区域，获取分割子区域的区域像素平均值、过分割子区域形心的水平基准线的水平像素平均值以及过分割子区域形心的竖向基准线的竖直像素平均值；将水平像素平均值与区域像素平均值之间的差值确定为水平粗糙量化值，将竖向像素平均值与区域像素平均值之间的差值确定为竖向粗糙量化值，得到各个分割子区域的水平粗糙量化值和竖向粗糙量化值；根据各个分割子区域的水平粗糙量化值和竖向粗糙量化值确定各个分割子区域的第一当前粗糙量化值；根据预设的各个分割子区域的权重系数对各个分割子区域的第一当前粗糙量化值进行加权求和，得到第一病灶分割区域的第二当前粗糙量化值；将第一病灶分割区域输入预设分类模型，得到病灶分类结果，病灶分类结果为平坦型、凹陷型以及隆起型中的任意一种；根据第二当前粗糙量化值和病灶分类结果对应的粗糙度映射策略确定当前表面粗糙度，其中，不同病灶分类结果对应不同的粗糙度映射策略；根据当前表面粗糙度确定待识别食管内窥镜图像的识别结果。
119.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部
分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
120.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
121.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
122.以上对本技术实施例所提供的一种食管内窥镜图像的识别方法及装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。