用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置与流程

技术特征：
1.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：从由特定机构保留的数据中提取要用于专业化训练的数据集；通过使用预训练的人工智能ai模型从所述数据集中选择需要标注的标注目标；以及通过使用针对所述标注目标标注有标签的数据来执行所述预训练的ai模型的有监督训练。2.根据权利要求1所述的方法，其中，选择所述标注目标包括：通过使用所述预训练的ai模型针对所述数据集中的至少一些数据的预测结果来选择所述预训练的ai模型所不确定的数据作为所述标注目标。3.根据权利要求2所述的方法，其中，选择所述标注目标包括：基于通过使用所述预训练的ai模型的所述预测结果而测量的不确定性分数来选择所述标注目标。4.根据权利要求3所述的方法，其中，所述不确定性分数通过使用在所述预训练的ai模型中预测的每种病变的分数的置信度值、在所述预训练的ai模型中预测的每种病变的热图的熵以及在所述预训练的ai模型中预测的病变共现中的至少一种来测量。5.根据权利要求1所述的方法，其中，选择所述标注目标包括：选择代表所述数据集在所述预训练的ai模型的特征空间中的分布的数据作为所述标注数据。6.根据权利要求1所述的方法，进一步包括：将从放射科医师报告中提取的信息标注在所述标注目标上，或者通过向标注者提供所述预训练的ai模型针对所述标注目标的预测结果来支持标注任务。7.根据权利要求1所述的方法，其中，提取要用于专业化训练的所述数据集包括：基于所述特定机构的数据保留量和数据特性来确定要用于专业化训练的数据的量。8.根据权利要求1所述的方法，其中，执行所述预训练的ai模型的有监督训练包括：将用于维持所述预训练的ai模型的先验知识的信息提供给处于有监督训练中的ai模型。9.根据权利要求8所述的方法，其中，执行所述预训练的ai模型的有监督训练包括：计算在处于有监督训练中的ai模型与教师模型之间的蒸馏损失，并将所述蒸馏损失提供给处于有监督训练中的ai模型，并且其中，所述教师模型与所述预训练的ai模型是相同的模型。10.根据权利要求9所述的方法，其中，所述蒸馏损失是使处于有监督训练中的ai模型遵循所述教师模型的中间特征和/或最终输出的损失。11.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：收集用于预训练的第一数据集；输出已经使用所述第一数据集执行了至少一项任务的预训练的第一ai模型；以及输出已经使用从特定机构收集的第二数据集执行了专业化训练、同时维持在预训练中所获取的先验知识的第二ai模型。12.根据权利要求11所述的方法，其中，所述第一ai模型使用被预处理以便不能区分输入数据的域的数据进行训练，或者执行对抗学习以便不能从所提取的中间特征中检测到所述输入数据的所述域。13.根据权利要求11所述的方法，其中，输出所述第二ai模型包括：计算在处于专业化训练中的ai模型与教师模型之间的蒸馏损失，并且通过将所述蒸馏损失提供给处于专业化训练中的ai模型而使所述第二ai模型维持所述先验知识，并且
其中，所述教师模型与预训练后的所述第一ai模型是相同的模型。14.根据权利要求11所述的方法，其中，输出所述第二ai模型包括：通过使用所述第二数据集当中的标注有标签的标注数据中的至少一些来执行所述第一ai模型的有监督训练，并将用于维持所述第一ai模型的先验知识的信息提供给处于有监督训练中的ai模型，并且其中，用于维持所述第一ai模型的先验知识的所述信息是在处于有监督训练中的ai模型与教师模型之间的蒸馏损失，并且所述教师模型与所述第一ai模型是相同的模型。15.根据权利要求11所述的方法，进一步包括：从由所述特定机构保留的数据中提取要用于专业化训练的所述第二数据集；通过使用所述第一ai模型从所述第二数据集中选择需要标注的标注目标；以及获得针对所述标注目标标注有标签的数据。16.根据权利要求15所述的方法，其中，选择所述标注目标包括：通过使用所述第一ai模型针对所述第二数据集中的至少一些数据的预测结果来选择所述第一ai模型所不确定的数据作为所述标注目标。17.根据权利要求15所述的方法，其中，选择所述标注目标包括：选择代表所述第二数据集在所述第一ai模型的特征空间中的分布的数据作为所述标注目标。18.一种训练装置，包括：存储器，被配置为存储指令；和处理器，被配置为执行所述指令，其中，所述处理器从医疗机构的数据储存库中提取特定量的医疗机构数据，并通过使用所述医疗机构数据来执行预训练的ai模型的专业化训练，同时维持所述预训练的ai模型的先验知识。19.根据权利要求18所述的方法，其中，所述处理器通过使用所述预训练的ai模型针对所述医疗机构数据的预测结果来从所述医疗机构数据中提取所述预训练的ai模型所不确定的数据，将所述不确定的数据选择为需要标注的标注目标，并且使用针对所述标注目标标注有标签的数据来执行所述预训练的ai模型的有监督训练，并且其中，所述处理器通过将用于维持所述先验知识的信息提供给处于有监督训练中的ai模型来使所述先验知识被维持。20.根据权利要求18所述的方法，其中，所述处理器选择代表所述医疗机构数据的分布的特定数量的代表性数据，并从所述代表性数据中选择所述预训练的ai模型的预测是不确定的数据，并且其中，所述不确定的数据通过使用在所述预训练的ai模型中预测的每种病变的分数的置信度值、在所述预训练的ai模型中预测的每种病变的热图的熵以及在所述预训练的ai模型中预测的病变共现中的至少一种来选择。

技术总结
本发明涉及一种用于对部署机构中的人工智能模型进行专业化的训练方法，以及一种用于对人工智能模型进行训练的装置。用于由至少一个处理器操作的训练装置的操作方法包括以下步骤：从由特定机构所拥有的数据中提取要用于专业化训练的数据集；通过使用预训练人工智能模型来从数据集中选择需要标注的标注目标；以及通过使用针对标注目标标注有标签的数据来对预训练的AI模型进行有监督训练。对预训练的AI模型进行有监督训练。对预训练的AI模型进行有监督训练。


技术研发人员：兪同根 白昇煜 金民哲 朴钟赞
受保护的技术使用者：株式会社润医
技术研发日：2020.09.25
技术公布日：2022/5/10