特定领域的人类模型协同注释工具的制作方法

技术特征：
1.一种用于训练人类注释器以注释图像的训练方法，其特征在于，包括：将图像样本呈现给人类注释器用于注释，其中，所述图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从所述人类注释器接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误；根据在所述比较中识别的任何错误选择下一个图像样本。2.根据权利要求1所述的方法，其特征在于，还包括根据所述比较使用加权函数和数字度量来评估所述人类注释器的注释性能。3.根据权利要求2所述的方法，其特征在于，还包括在所述人类注释器被评估为具有高于阈值的注释性能时，呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到图像样本池，所述图像样本池包括先前由所述专家人类注释器或所述机器学习注释器注释的图像样本。4.根据权利要求3所述的方法，其特征在于，来自所述人类注释器的添加到所述池的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。5.根据权利要求1所述的方法，其特征在于，还包括当所述人类注释器的注释性能高于所述人类注释器已经被训练过的类型的注释的预定水平时，认证所述人类注释器用于未来的注释任务。6.根据权利要求1所述的方法，其特征在于，还包括针对同一组图像比较多个人类注释器的注释性能，以建立所述多个人类注释器的质量度量。7.根据权利要求1所述的方法，其特征在于，呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误包括利用所述注意力图在显示器上提供对所述注释错误的个性化解释。8.根据权利要求1所述的方法，其特征在于，所述待注释的图像包括医学图像、地理图像和行业图像中的至少一个。9.一种人类模型协同注释系统，其特征在于，包括：数据库，所述数据库存储先前由专家人类注释器和机器学习注释器中的至少一个注释的图像；显示器，所述显示器显示从所述数据库中选择的图像；注释系统，所述注释系统用于使人类注释器能够注释呈现在所述显示器上的图像；注释训练系统，所述注释训练系统：从所述数据库中选择图像样本以显示在所述显示器上，以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较中识别的任何错误从所述数据块中选择下一个图像样本。10.根据权利要求9所述的系统，其特征在于，所述注释训练系统通过将加权函数和数字度量应用于将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述
机器学习注释器对所述图像样本的先前注释进行比较的比较结果，进一步评估所述人类注释器的注释性能。11.根据权利要求10所述的系统，其特征在于，在所述人类注释器被评估为具有高于阈值的注释性能时，所述注释训练系统还呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到所述数据库。12.根据权利要求11所述的系统，其特征在于，来自所述人类注释器的添加到所述数据库的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。13.根据权利要求9所述的系统，其特征在于，当所述人类注释器的注释性能高于所述人类注释器已经被训练过的类型的注释的预定水平时，所述注释训练系统还认证所述人类注释器用于未来的注释任务。14.根据权利要求9所述的系统，其特征在于，所述注释训练系统还针对同一组图像比较多个人类注释器的注释性能，以建立所述多个人类注释器的质量度量。15.根据权利要求9所述的系统，其特征在于，所述注释训练系统利用所述注意力图在所述显示器上提供对所述注释错误的个性化解释。16.根据权利要求9所述的系统，其特征在于，所述待注释的图像包括医学图像、地理图像和行业图像中的至少一个。17.一种计算机可读介质，其特征在于，存储用于训练人类注释器以注释图像的计算机指令，当所述计算机指令由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：将图像样本呈现给人类注释器用于注释，其中，所述图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从所述人类注释器接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误；根据在所述比较中识别的任何错误选择下一个图像样本。18.根据权利要求17所述的介质，其特征在于，还包括指令，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器根据所述比较使用加权函数和数字度量来评估所述人类注释器的注释性能。19.根据权利要求18所述的介质，其特征在于，还包括指令，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器在所述人类注释器被评估为具有高于阈值的注释性能时，呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到图像样本池，所述图像样本池包括先前由所述专家人类注释器或所述机器学习注释器注释的图像样本。20.根据权利要求19所述的介质，其特征在于，来自所述人类注释器的添加到所述池的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。

技术总结
一种用于训练人类注释器的人类模型协同注释系统，包括：数据库，所述数据库存储先前由专家人类注释器和/或机器学习注释器注释的图像；显示器，所述显示器显示从所述数据库中选择的图像；注释系统，所述注释系统使所述人类注释器注释呈现在所述显示器上的图像；注释训练系统。所述注释训练系统：从所述数据库中选择图像样本以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较步骤中识别的任何错误从所述数据块中选择下一个训练图像样本。训练图像样本。训练图像样本。


技术研发人员：罗睿 罗杰波 陈林
受保护的技术使用者：华为云计算技术有限公司
技术研发日：2019.10.17
技术公布日：2022/6/7