一种肠镜报告生成方法和装置

技术特征：
1.一种肠镜报告生成方法，其特征在于，包括：获取进镜开始时刻和肠镜下的多个进镜体内图像；在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。2.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述获取进镜开始时刻和肠镜下的多个进镜体内图像的步骤，包括：响应于用户发出的进镜信号，获取进镜过程中的多个待识别图像；对各待识别图像进行识别处理，得到肠镜下的多个进镜体内图像和多个进镜体外图像，所述多个进镜体内图像包括一个初始态进镜体内图像和若干个中间态进镜体内图像；根据所述初始态进镜体内图像，确定进镜开始时刻。3.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统的步骤，包括：对各进镜体内图像进行识别处理，得到合格进镜体内图像；对所述合格进镜体内图像进行识别处理，得到初始态白光图像；在从所述初始态白光图像中识别到包括目标肠段的初始态白光图像时，输出第一识别结果；根据所述第一识别结果，触发语音交互系统。4.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取肠段识别模型；基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果。5.根据权利要求4所述的肠镜报告生成方法，其特征在于，所述基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果的步骤，包括：基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到各肠段中间态白光图像和描述各肠段中间态白光图像的医学词汇；识别各肠段中间态白光图像，得到各肠段合格中间态白光图像和各肠段不合格中间态白光图像；根据各肠段不合格中间态白光图像和各肠段中间态白光图像，确定各肠段的清洁度评分；根据各肠段合格中间态白光图像、所述医学词汇和所述清洁度评分，确定第二识别结
果。6.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取目标检测模型；基于所述目标检测模型对所述中间态白光图像进行活检钳识别，得到第二识别结果。7.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取病灶检测模型；基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果。8.根据权利要求7所述的肠镜报告生成方法，其特征在于，所述基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果的步骤，包括：基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到病灶图像；通过所述语音交互系统发出基于所述病灶图像的记录询问指令；响应于所述用户基于所述记录询问指令发出的执行信号，获取描述所述病灶图像的医学词汇；根据所述病灶图像和所述医学词汇，确定第二识别结果。9.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述第一识别结果包括图像和词汇，所述第二是识别结果包括图像和词汇，所述根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告的步骤，包括：获取语句生成模型；将所述进镜开始时刻、所述第一识别结果中的词汇、所述退镜结束时刻以及所述第二识别结果中的词汇输入所述语句生成模型，得到结构化语句；根据所述第一识别结果中的图像、所述第二识别结果中的图像以及所述结构化语句，生成肠镜报告。10.一种肠镜报告生成装置，其特征在于，包括：第一获取模块，用于获取进镜开始时刻和肠镜下的多个进镜体内图像；触发模块，用于在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；第一响应模块，用于响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；第二响应模块，用于通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；报告生成模块，用于根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。

技术总结
本申请提供一种肠镜报告生成方法和装置；该方法先获取进镜开始时刻和肠镜下的多个进镜体内图像，在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统，然后获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时确定退镜结束时刻，接着通过语音交互系统响应于用户发出的至少一条第一语音指令，对中间态白光图像进行识别处理得到第二识别结果，最后根据进镜开始时刻、第一识别结果、退镜结束时刻以及第二识别结果生成肠镜报告。该方法将图像识别技术与语音交互技术结合，实现了肠镜报告的自动生成，降低了肠镜检查中的人力成本，提高了报告的准确性。提高了报告的准确性。提高了报告的准确性。


技术研发人员：于红刚 姚理文 张晨霞 张丽辉
受保护的技术使用者：武汉大学
技术研发日：2022.02.11
技术公布日：2022/5/6