基于迁移学习的模型训练方法、装置、终端及存储介质与流程

摘要: 本申请涉及数据处理,尤其涉及基于迁移学习的模型训练方法、装置、终端及存储介质。背景技术:1、在口腔领域,三维重建技术具有重要作用。在某些场景,采集的三维对象的图...
基于迁移学习的模型训练方法、装置、终端及存储介质与流程

本申请涉及数据处理,尤其涉及基于迁移学习的模型训练方法、装置、终端及存储介质。

背景技术:

1、在口腔领域,三维重建技术具有重要作用。在某些场景,采集的三维对象的图像中存在噪声,为去除噪声,在口内三维扫描流程中,现有技术通过通用场景下的深度学习模型(以下称为通用深度学习模型)可以识别单帧数据中的牙齿和牙龈区域,并去除颊舌侧、口腔镜、医用手套等非感兴趣区域。

2、虽然通用深度学习模型在常规的口腔扫描场景中表现良好,然而,面对多样化的诊断和治疗场景,通用深度学习模型往往难以满足所有需求,例如,使用通用深度学习模型对特殊口腔扫描场景(如无牙颌、即刻种植、牙菌斑染色)下的图像进行处理时,往往会将一些需要保留的区域误识别为噪声区域,模型在特殊口腔扫描场景下的图像处理效果较差。

技术实现思路

1、本申请实施例提供了基于迁移学习的模型训练方法、装置、终端及存储介质,可以提高模型在特殊口腔扫描场景下的图像处理效果。

2、第一方面,本申请实施例提供了一种基于迁移学习的模型训练方法,所述方法应用于用户终端,所述方法包括:

3、向模型服务平台发送针对目标口腔扫描场景的模型搜索指令,并接收所述模型服务平台基于所述模型搜索指令返回的模型搜索结果;

4、当所述模型搜索结果为所述模型服务平台的ai模型库中不存在与所述目标口腔扫描场景对应的目标ai模型时,获取所述目标口腔扫描场景下的多帧口腔扫描样本图像;

5、将多帧所述口腔扫描样本图像发送至所述模型服务平台,使得所述模型服务平台根据多帧所述口腔扫描样本图像对预训练的通用深度学习模型进行训练,得到所述目标ai模型;

6、接收所述模型服务平台发送的所述目标ai模型。

7、第二方面,本申请实施例提供了另一种基于迁移学习的模型训练方法,所述方法应用于模型服务平台,所述方法包括:

8、接收用户终端发送的针对目标口腔扫描场景的模型搜索指令;

9、判断预设的ai模型库中是否存在与所述目标口腔扫描场景对应的目标ai模型,生成并向所述用户终端发送模型搜索结果;

10、当所述模型搜索结果为所述模型服务平台的ai模型库中不存在所述目标ai模型时,接收所述用户终端发送的多帧口腔扫描样本图像;

11、根据多帧所述口腔扫描样本图像对预训练的通用深度学习模型进行训练,得到所述目标ai模型;

12、向所述用户终端发送所述目标ai模型。

13、第三方面,本申请实施例还提供了一种第一基于迁移学习的模型训练装置,所述基于迁移学习的模型训练装置被部署于用户终端,所述基于迁移学习的模型训练装置包括收发单元以及处理单元,所述第一处理单元用于控制所述第一收发单元的收发操作,其中:

14、所述收发单元,用于向模型服务平台发送针对目标口腔扫描场景的模型搜索指令,并接收所述模型服务平台基于所述模型搜索指令返回的模型搜索结果;当所述模型搜索结果为所述模型服务平台的ai模型库中不存在与所述目标口腔扫描场景对应的目标ai模型时,获取所述目标口腔扫描场景下的多帧口腔扫描样本图像;将多帧所述口腔扫描样本图像发送至所述模型服务平台,使得所述模型服务平台根据多帧所述口腔扫描样本图像对预训练的通用深度学习模型进行训练,得到所述目标ai模型;接收所述模型服务平台发送的所述目标ai模型。

15、第四方面,本申请实施例还提供了一种第二基于迁移学习的模型训练装置,所述第二基于迁移学习的模型训练装置被部署于模型服务平台,所述第二基于迁移学习的模型训练装置包括第二收发单元以及第二处理单元,其中:

16、所述第二收发单元,用于接收用户终端发送的针对目标口腔扫描场景的模型搜索指令;

17、所述第二处理单元,用于判断预设的ai模型库中是否存在与所述目标口腔扫描场景对应的目标ai模型,生成并通过所述第二收发单元向所述用户终端发送模型搜索结果;

18、所述第二收发单元,还用于当所述模型搜索结果为所述模型服务平台的ai模型库中不存在所述目标ai模型时,接收所述用户终端发送的多帧口腔扫描样本图像;

19、所述处理单元,还用于根据多帧所述口腔扫描样本图像对预训练的通用深度学习模型进行训练,得到所述目标ai模型;

20、所述第二收发单元,还用于向所述用户终端发送所述目标ai模型。

21、第五方面,本申请实施例还提供了一种用户终端,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面对应的方法。

22、第六方面,本申请实施例还提供了一种模型服务平台,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述第二方面对应的方法。

23、第七方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述第一方面或第二方面对应的方法。

24、本申请实施例提供了基于迁移学习的模型训练方法、装置、终端及存储介质。其中,所述方法包括:用户终端向模型服务平台发送针对目标口腔扫描场景的模型搜索指令,并接收所述模型服务平台基于所述模型搜索指令返回的模型搜索结果;当所述模型搜索结果为所述模型服务平台的ai模型库中不存在与所述目标口腔扫描场景对应的目标ai模型时,获取所述目标口腔扫描场景下的多帧口腔扫描样本图像;将多帧所述口腔扫描样本图像发送至所述模型服务平台,使得所述模型服务平台根据多帧所述口腔扫描样本图像对预训练的通用深度学习模型进行训练,得到所述目标ai模型;接收所述模型服务平台发送的所述目标ai模型。本申请实施例中,当用户在ai模型库中没有搜索目标口腔扫描场景下对应的ai模型时,用户可以通过用户终端实时采集并标注得到目标口腔扫描场景下的口腔扫描样本图像,然后通过迁移学习将口腔扫描样本图像发送至模型服务平台,使模型服务平台根据口腔扫描样本图像对通用深度学习模型进行进一步的训练,得到与目标口腔扫描场景对应的目标ai模型,所得到的目标ai模型可以对目标口腔扫描场景下扫描得到的图像进行精确识别,从而提高了模型在特殊口腔扫描场景(目标口腔扫描场景)下的图像处理效果。

1.一种基于迁移学习的模型训练方法,其特征在于,所述方法应用于用户终端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取所述目标口腔扫描场景下的多帧口腔扫描样本图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于预设的图像标注规则对各帧所述目标口腔扫描图像进行标注处理,得到多帧包含标注区域的口腔扫描样本图像,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于预设的图像标注规则对各帧所述目标口腔扫描图像进行标注处理,得到多帧包含标注区域的口腔扫描样本图像,包括:

5.根据权利要求4所述的方法,其特征在于,所述对所述原始口腔三维模型的标注区域进行反投影操作,以将所述标注区域分别投影至各所述目标口腔扫描图像上,得到多帧所述口腔扫描样本图像,包括:

6.根据权利要求2所述的方法,其特征在于,所述获取所述目标口腔扫描场景下的多帧目标口腔扫描图像,包括:

7.根据权利要求2所述的方法,其特征在于,所述基于预设的图像标注规则对各帧所述目标口腔扫描图像进行标注处理,得到多帧包含标注区域的口腔扫描样本图像之后,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述接收所述模型服务平台发送的所述目标ai模型之后,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,若所述评价结果为测试通过,所述方法还包括:

10.根据权利要求2所述的方法,其特征在于,所述接收所述模型服务平台发送的所述目标ai模型之后,所述方法还包括:

11.一种基于迁移学习的模型训练方法,其特征在于,所述方法应用于模型服务平台,所述方法包括:

12.根据权利要求11所述的方法,其特征在于,所述ai模型库中存储有多个ai模型,各ai模型均携带有不同的描述信息,所述描述信息包括模型关键词和模型场景图像;所述判断预设的ai模型库中是否存在与所述目标口腔扫描场景对应的目标ai模型,生成并向所述用户终端发送模型搜索结果,包括:

13.根据权利要求11所述的方法,其特征在于,所述向所述用户终端发送所述目标ai模型之后,所述方法还包括:

14.根据权利要求13所述的方法,其特征在于,所述将所述目标ai模型存储至所述ai模型库中之后,所述方法还包括:

15.根据权利要求11所述的方法,其特征在于,所述接收所述用户终端发送的多帧口腔扫描样本图像之后,所述方法还包括:

16.一种第一基于迁移学习的模型训练装置,其特征在于,所述第一基于迁移学习的模型训练装置被部署于用户终端,所述第一基于迁移学习的模型训练装置包括第一收发单元以及第一处理单元,所述第一处理单元用于控制所述第一收发单元的收发操作,其中:

17.一种第二基于迁移学习的模型训练装置,其特征在于,所述第二基于迁移学习的模型训练装置被部署于模型服务平台,所述第二基于迁移学习的模型训练装置包括第二收发单元以及第二处理单元,其中:

18.一种用户终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的基于迁移学习的模型训练方法。

19.一种模型服务平台,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求11-15中任一项所述的基于迁移学习的模型训练方法。

20.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10或11-15任一项所述的基于迁移学习的模型训练方法。