组织腔体的定位方法、装置、可读介质和电子设备与流程

技术特征：
1.一种组织腔体的定位方法，其特征在于，所述方法包括：获取当前时刻内窥镜采集的组织图像，以及当前时刻之前所述内窥镜采集的至少一个历史组织图像；通过特征提取模型确定所述组织图像对应的特征图，以及每个所述历史组织图像对应的历史特征图，并确定每个所述历史组织图像与所述组织图像的相似度；通过定位模型根据所述特征图对所述组织图像中组织腔体进行定位，得到定位结果，并根据每个所述历史组织图像对应的历史特征图对该历史组织图像中组织腔体进行定位，得到该历史组织图像对应的历史定位结果，所述特征提取模型和所述定位模型根据多个样本图像联合训练得到；根据每个所述历史组织图像与所述组织图像的相似度、所述定位结果和至少一个所述历史定位结果，确定所述组织图像中组织腔体的位置。2.根据权利要求1所述的方法，其特征在于，所述通过特征提取模型确定所述组织图像对应的特征图，以及每个所述历史组织图像对应的历史特征图，并确定每个所述历史组织图像与所述组织图像的相似度，包括：将所述组织图像、每个所述历史组织图像输入所述特征提取模型，以得到所述特征提取模型输出的所述特征图，以及每个所述历史组织图像对应的历史特征图；根据每个所述历史组织图像对应的历史特征图与所述特征图，确定该历史组织图像与所述组织图像的相似度。3.根据权利要求1所述的方法，其特征在于，所述通过定位模型根据所述特征图对所述组织图像中组织腔体进行定位，得到定位结果，并根据每个所述历史组织图像对应的历史特征图对该历史组织图像中组织腔体进行定位，得到该历史组织图像对应的历史定位结果，包括：将所述特征图输入所述定位模型，以得到所述定位模型输出的位置预测图，并将所述位置预测图作为所述定位结果，所述位置预测图用于表征所述组织图像中组织腔体的位置；将每个所述历史特征图输入所述定位模型，以得到所述定位模型输出的该历史特征图对应的历史位置预测图，并将所述历史位置预测图作为该历史特征图对应的所述历史组织图像对应的历史定位结果，所述历史位置预测图用于表征对应的所述历史组织图像中组织腔体的位置。4.根据权利要求3所述的方法，其特征在于，所述根据每个所述历史组织图像与所述组织图像的相似度、所述定位结果和至少一个所述历史定位结果，确定所述组织图像中组织腔体的位置，包括：将每个所述历史组织图像与所述组织图像的相似度，作为该历史组织图像对应的权重，对至少一个所述历史位置预测图与所述位置预测图进行融合，得到综合预测图；根据所述综合预测图确定所述组织图像中组织腔体的位置。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述特征提取模型和所述定位模型是通过以下方式联合训练得到的：获取样本输入集和样本输出集，所述样本输入集包括多个样本输入，每个所述样本输入包括样本组织图像和至少一个样本历史组织图像，所述样本输出集中包括与每个所述样
本输入对应的样本输出，每个所述样本输出包括对应的所述样本组织图像中组织腔体的真实位置，以及对应的每个所述样本历史组织图像中组织腔体的真实位置，所述样本历史组织图像为所述内窥镜在采集所述样本组织图像之前采集的图像；将每个所述样本输入作为所述特征提取模型的输入，以得到所述特征提取模型输出的该样本输入中所述样本组织图像对应的样本特征图，以及该样本输入中每个所述样本历史组织图像对应的样本历史特征图；根据每个所述样本历史组织图像对应的样本历史特征图，与所述样本组织图像对应的样本特征图，确定该样本历史组织图像与所述样本组织图像的相似度；将所述样本组织图像对应的样本特征图，以及每个所述样本历史组织图像对应的样本历史特征图，输入所述定位模型，以根据所述定位模型的输出、每个所述样本历史组织图像与所述样本组织图像的相似度，与该样本输入对应的所述样本输出，联合训练所述特征提取模型和所述定位模型。6.根据权利要求5所述的方法，其特征在于，所述将所述样本组织图像对应的样本特征图，以及每个所述样本历史组织图像对应的样本历史特征图，输入所述定位模型，以根据所述定位模型的输出、每个所述样本历史组织图像与所述样本组织图像的相似度，与该样本输入对应的所述样本输出，联合训练所述特征提取模型和所述定位模型，包括：根据所述定位模型输出的所述样本组织图像对应的样本位置预测图、每个所述样本历史组织图像对应的样本历史位置预测图，以及每个所述样本历史组织图像与所述样本组织图像的相似度，确定样本综合预测图；根据所述样本综合预测图和所述样本组织图像中组织腔体的真实位置，确定整体损失；根据每个所述样本历史组织图像对应的样本历史位置预测图，和每个样本历史组织图像中组织腔体的真实位置，确定部分损失；根据所述整体损失和所述部分损失确定总损失，并以降低所述总损失为目标，利用反向传播算法训练所述特征提取模型和所述定位模型。7.根据权利要求6所述的方法，其特征在于，所述根据所述样本综合预测图和所述样本组织图像中组织腔体的真实位置，确定整体损失，包括：根据所述样本组织图像中组织腔体的真实位置，确定标签图，所述标签图中每个像素点的值，与所述样本组织图像对应的像素点与所述样本组织图像中组织腔体的真实位置的距离负相关；根据所述样本综合预测图和所述标签图，确定所述整体损失；所述根据每个所述样本历史组织图像对应的样本历史位置预测图，和每个样本历史组织图像中组织腔体的真实位置，确定部分损失，包括：根据该样本历史组织图像中组织腔体的真实位置，确定历史标签图，所述历史标签图中每个像素点的值，与该样本历史组织图像对应的像素点与该样本历史组织图像中组织腔体的真实位置的距离负相关；根据该样本历史组织图像对应的样本历史位置预测图，和所述历史标签图，确定该样本历史组织图像对应的损失；将每个所述样本历史组织图像对应的损失的和，作为所述部分损失。
8.一种组织腔体的定位装置，其特征在于，所述装置包括：获取模块，用于获取当前时刻内窥镜采集的组织图像，以及当前时刻之前所述内窥镜采集的至少一个历史组织图像；提取模块，用于通过特征提取模型确定所述组织图像对应的特征图，以及每个所述历史组织图像对应的历史特征图，并确定每个所述历史组织图像与所述组织图像的相似度；定位模块，用于通过定位模型根据所述特征图对所述组织图像中组织腔体进行定位，得到定位结果，并根据每个所述历史组织图像对应的历史特征图对该历史组织图像中组织腔体进行定位，得到该历史组织图像对应的历史定位结果，所述特征提取模型和所述定位模型根据多个样本图像联合训练得到；处理模块，用于根据每个所述历史组织图像与所述组织图像的相似度、所述定位结果和至少一个所述历史定位结果，确定所述组织图像中组织腔体的位置。9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。10.一种电子设备，其特征在于，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种组织腔体的定位方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取当前时刻内窥镜采集的组织图像，以及当前时刻之前内窥镜采集的至少一个历史组织图像。通过特征提取模型确定组织图像对应的特征图，以及每个历史组织图像对应的历史特征图，并确定每个历史组织图像与组织图像的相似度。通过定位模型根据特征图对组织图像中组织腔体进行定位，得到定位结果，并根据每个历史组织图像对应的历史特征图对该历史组织图像中组织腔体进行定位，得到该历史组织图像对应的历史定位结果。根据每个历史组织图像与组织图像的相似度、定位结果和至少一个历史定位结果，确定组织图像中组织腔体的位置。确定组织图像中组织腔体的位置。确定组织图像中组织腔体的位置。


技术研发人员：边成 李永会 杨延展
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：2022.03.04
技术公布日：2022/4/12