双模型协同训练方法、无结构化标注的图文分析方法与流程
本公开涉及人工智能,尤其涉及一种双模型协同训练方法、无结构化标注的图文分析方法。
背景技术:
1、皮肤科疾病种类繁多,湿疹、银屑病、体癣等常见疾病的皮损表现相似度较高,仅依靠视觉图像特征难以实现精准鉴别,容易造成临床误诊。
2、现有皮损图像文本生成模型普遍采用大量皮损影像匹配人工撰写皮损描述的监督方式开展训练,以此优化图像描述生成效果。但真实临床采集的数据普遍存在数据标签不均衡、标注信息不完备的问题,具体地,多数皮损图像仅标注病种目标标签,缺乏单张图像一一对应的结构化人工皮损描述文本,模型生成的皮损表征文本泛化性过强,不同皮损样本的输出内容趋同,难以提供能够区分不同皮损类型的差异化特征信息。
3、同时,模型易受病种标签引导,虚构图像中不存在的皮损特征,文本真实性与图像视觉内容不匹配;模型倾向直接输出病种名称、分类提示、分析结论等,违背客观还原皮损视觉特征的任务边界。
技术实现思路
1、有鉴于此,本公开实施例提供了一种双模型协同训练方法、无结构化标注的图文分析方法,能够解决现有模型对于皮损信息的分析精准差、误判率高等问题。
2、第一方面,本公开实施例提供了一种双模型协同训练方法,包括:
3、获取文本型病例集和图像标签型病例集;所述文本型病例集包括病史类文本、皮损描述文本和文本真实标签,所述图像标签型病例集包括皮损图像及对应的图像真实标签;
4、采用所述文本型病例集训练第一模型,使所述第一模型建立所述病史类文本、所述皮损描述文本与所述文本真实标签之间的映射关系,所述第一模型为文本标签识别模型;
5、将每张所述皮损图像输入第二模型,生成多个候选皮损描述文本,所述第二模型为根据所述皮损图像生成皮损描述文本的图像分析模型;
6、基于训练后的所述第一模型对各所述候选皮损描述文本进行目标标签支持分析,并分别对各所述候选皮损描述文本进行视觉一致性分析和描述合规性分析,获得各所述候选皮损描述文本的复合分析结果;
7、根据同一所述皮损图像对应的多个所述复合分析结果,确定各所述候选皮损描述文本的组内相对优势,并基于所述组内相对优势更新所述第二模型;
8、采用更新后的所述第二模型生成批量的标准化皮损描述文本,将所述标准化皮损描述文本与对应真实标签构成增强训练数据,并利用所述增强训练数据对训练后的所述第一模型进行增量训练。
9、第二方面,本公开实施例还提供了一种皮肤科双模型协同训练系统,包括:
10、数据准备单元,用于对获得的历史文本型病例、历史图像标签型病例处理后,获得文本型病例集、图像标签型病例集;所述文本型病例集包括病史类文本、皮损描述文本和文本真实标签,所述图像标签型病例集包括皮损图像及对应的图像真实标签;
11、第一模型训练与评价单元,用于采用所述文本型病例集训练第一模型,使所述第一模型建立所述病史类文本、所述皮损描述文本与所述文本真实标签之间的映射关系,并训练后的所述第一模型对候选皮损描述文本进行目标标签支持分析;
12、皮损描述生成单元,用于在不向第二模型提供对应真实标签的情况下,生成单张所述皮损图像对应的多个候选皮损描述文本,并采用更新后的第二模型生成批量的标准化皮损描述文本;
13、复合评价及模型更新单元,用于对每个所述候选皮损描述文本进行视觉一致性分析和描述合规性分析,根据目标标签支持分析、视觉一致性分析和描述合规性分析的结果确定组内相对优势,并根据所述组内相对优势更新所述第二模型;
14、闭环迭代管控单元,用于将所述标准化皮损描述文本与对应真实标签构成增强训练数据,对训练后的所述第一模型进行增量训练,并控制所述第一模型和所述第二模型进行双向强化训练,直至满足预设协同训练条件。
15、第三方面,本公开实施例还提供了一种无结构化标注的图文分析方法,包括:
16、获取待处理的目标数据,目标数据为文本或图像;
17、采用所述的双模型协同训练方法获得目标文本标签识别模型或者目标图像描述模型;
18、若所述目标数据为文本,调用所述目标文本标签识别模型对所述目标数据进行处理,获得分析结果;
19、若所述目标数据为图像,调用所述目标图像描述模型对所述目标数据进行处理,获得分析结果。
20、第四方面,本公开实施例还提供了一种计算机装置,采用如下技术方案:
21、所述计算机装置包括:
22、至少一个处理器;以及,
23、与所述至少一个处理器通信连接的存储器;其中,
24、所述存储器存储有可被所述至少一个处理器执行的指令;所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上任一所述的双模型协同训练方法或者所述的无结构化标注的图文分析方法。
25、第五方面,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储计算机指令;该计算机指令用于使计算机执行以上任一所述的双模型协同训练方法或者所述的无结构化标注的图文分析方法。
26、第六方面,本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。
27、本公开实施例提供的双模型协同训练方法包括:采用文本型病例训练第一模型;基于第二模型对图像标签型病例中的每张皮损图像进行分析并生成多个候选皮损描述文本,采用训练后的第一模型对每个该文本进行多维分析,获得复合分析结果,据此确定每个文本对应的组内相对优势,进而动态调整对第二模型的训练过程,通过训练好的第二模型生成批量的标准化皮损表征文本;采用标准化皮损表征文本对第一模型进行增量训练,直至满足训练条件停止双模型协同增强的闭环训练。该方法能在缺少人工结构化皮损描述标注的条件下进行文本标签识别、图像分析模型的协同增强训练。
28、上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
1.一种双模型协同训练方法,其特征在于,包括:
2.根据权利要求1所述的双模型协同训练方法,其特征在于,所述基于训练后的所述第一模型对各所述候选皮损描述文本进行目标标签支持分析,并分别对各所述候选皮损描述文本进行视觉一致性分析和描述合规性分析,获得各所述候选皮损描述文本的复合分析结果,包括:
3.根据权利要求2所述的双模型协同训练方法,其特征在于,所述采用冻结的模型对每个所述候选皮损描述文本进行分析,获得候选标签信息,并根据对应的文本真实标签确定每个所述候选皮损描述文本对应的标签识别分析结果,包括:
4.根据权利要求2所述的双模型协同训练方法,其特征在于,所述对从每个所述候选皮损描述文本中抽取的图像可见字段进行分析,获得每个所述候选皮损描述文本对应的视觉一致性分析结果,包括:
5.根据权利要求2所述的双模型协同训练方法,其特征在于,所述对每个所述候选皮损表征文本进行越权描述和有效信息描述分析,获得描述不可信分析结果,包括:
6.根据权利要求1所述的双模型协同训练方法,其特征在于,所述根据同一所述皮损图像对应的多个所述复合分析结果,确定各所述候选皮损描述文本的组内相对优势,并基于所述组内相对优势更新所述第二模型,包括:
7.一种皮肤科双模型协同训练系统,其特征在于,包括:
8.一种无结构化标注的图文分析方法,其特征在于,包括:
9.一种计算机装置,其特征在于,所述计算机装置包括:
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质存储计算机指令;该计算机指令用于使计算机执行权利要求1-6任一所述的双模型协同训练方法或者权利要求8所述的无结构化标注的图文分析方法。
11.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-6任一所述的双模型协同训练方法或者权利要求8所述的无结构化标注的图文分析方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com