用于对象检测的增量学习的系统和方法与流程

技术特征：
1.一种用于在图像中增量学习对象检测而不会灾难性遗忘先前学习的一个或多个对象类别的方法，所述方法包括：通过迭代地更新两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别图像中的属于附加对象类别的对象，其中执行所述更新以便平衡最小化定位和识别属于所述先前学习的一个或多个对象类别的对象的初始能力的损失和最大化附加地定位和识别属于所述附加对象类别的对象的能力，以及评估是否满足总体检测准确度标准包括：基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级神经网络对象检测器的当前版本输出的当前区域提议来确定区域提议的蒸馏损失；以及基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习的对象预测与由所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的对象识别蒸馏损失。2.如权利要求1所述的方法，其中所述两级神经网络对象检测器被更新以便最小化所述区域提议蒸馏损失和所述先前学习的对象识别蒸馏损失。3.如权利要求2所述的方法，其中通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所述总损失是以下各项的组合：所述区域提议的蒸馏损失，所述先前学习的对象识别蒸馏损失，所述两级神经网络对象检测器的所述当前版本的区域提议网络损失，以及所述两级神经网络对象检测器的所述当前版本的对象识别损失，并且所述区域提议网络损失和所述对象识别损失分别量化定位和识别属于所述附加对象类别的所述对象的所述能力。4.如权利要求3所述的方法，其中，如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对象类别的对象的能力减小到低于第二预定阈值，则应用另一优化方法，或放弃所述训练。5.如权利要求3所述的方法，其中所述优化方法是应用于所述总损失的随机梯度下降法。6.如权利要求1所述的方法，其中所述训练使用训练图像，并且使用与所述训练图像不同的验证图像来评估所述总体检测准确度标准。7.如权利要求1所述的方法，进一步包括：通过迭代地附加地更新所述两级神经网络对象检测器直到满足另一总体检测准确度标准来附加地训练所述两级神经网络对象检测器以定位和识别属于另一附加对象类别的对象，其中，执行所述附加地更新，以便最小化定位和识别属于所述一个或多个先前学习的
对象类别和所述附加类别的所述对象的能力的损失，同时最大化定位和识别属于所述其他附加对象类别的所述对象的附加能力。8.如权利要求1所述的方法，其中所述两级神经网络对象检测器被同时训练以定位和识别属于所述附加对象类别的所述对象和属于另一附加对象类别的对象。9.如权利要求1所述的方法，进一步包括以下各项中的至少一项：接收用于训练所述两级神经网络对象检测器以定位和识别属于所述附加对象类别的所述对象的用户请求，以及从互联网检索包括属于所述附加对象类别的对象的训练图像。10.一种用于增量学习对象检测而不会灾难性遗忘先前学习的对象类别的方法，所述方法包括：接收训练图像，所述训练图像包括属于对两级神经网络对象检测器的初始版本未知的对象类别的对象，所述两级神经网络对象检测器能够检测属于至少一个先前学习的对象类别的对象；以及使用所述训练图像中的一个接一个的多个图像，训练所述两级神经网络对象检测器以检测初始未知的所述对象类别的所述对象，直到通过以下方式满足预定条件：将所述多个图像中的一个图像输入到所述两级神经网络对象检测器的所述初始版本以获得针对所述至少一个先前学习的对象类别的第一区域提议和第一对象预测，将所述一个图像输入到所述两级神经网络对象检测器的当前版本，以获得针对所述至少一个先前学习的对象类别和所述最初未知的对象类别的第二区域提议和第二对象预测，将所述第一区域提议与所述第二区域提议进行比较，以估计量化定位所述至少一个先前学习的对象类别的对象的能力的降低的区域提议蒸馏损失，将所述第一对象预测与所述第二对象预测进行比较以估计对象识别蒸馏损失，所述对象识别蒸馏损失量化识别所述至少一个先前学习的对象类别的对象的能力的降低，将所述第二区域提议与所述一个图像的基础事实标签进行比较，以估计最初未知的所述对象类别的区域提议网络损失，将所述第二对象预测与所述基础事实标签进行比较以估计最初未知的所述对象类别的对象识别损失，计算结合所述区域提议蒸馏损失、所述对象识别蒸馏损失、所述区域提议网络损失和所述对象识别损失的总损失，以及更新所述两级神经网络对象检测器的当前版本以便使所述总损失最小化，其中，当训练迭代的数量达到预定数量时，或者当总损失降低率低于预定阈值时，满足所述预定条件。11.一种包含计算机可读代码的计算机可读介质，所述计算机可读代码在被计算机读取时使得所述计算机执行用于针对图像中的对象检测的增量学习的方法，而不灾难性遗忘先前学习的一个或多个对象类别，所述方法包括：通过迭代地更新两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别图像中的属于附加对象类别的对象，其中
执行所述更新以便平衡最小化定位和识别属于所述先前学习的一个或多个对象类别的对象的初始能力的损失和最大化附加地定位和识别属于所述附加对象类别的对象的能力，以及评估是否满足总体检测准确度标准包括：基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级神经网络对象检测器的当前版本输出的当前区域提议来确定区域提议的蒸馏损失；以及基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习的对象预测与由所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的对象识别蒸馏损失。12.如权利要求11所述的计算机可读介质，其中，所述两级神经网络对象检测器被更新以便最小化所述区域提议蒸馏损失和所述先前学习的对象识别蒸馏损失。13.如权利要求12所述的计算机可读介质，其中通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所述总损失是以下各项的组合：所述区域提议的蒸馏损失，所述先前学习的对象识别蒸馏损失，所述两级神经网络对象检测器的所述当前版本的区域提议网络损失，以及所述两级神经网络对象检测器的所述当前版本的对象识别损失，并且所述区域提议网络损失和所述区域卷积神经网络损失分别量化定位和识别属于所述附加对象类别的所述对象的所述能力。14.如权利要求12所述的计算机可读介质，其中如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对象类别的对象的能力减小到低于第二预定阈值，则应用另一优化方法，或放弃所述训练。15.如权利要求12所述的计算机可读介质，其中，所述优化方法是应用于所述总损失的随机梯度下降法。16.如权利要求11所述的计算机可读介质，其中，所述训练使用训练图像，并且使用与所述训练图像不同的验证图像来评估所述总体检测准确度标准。17.如权利要求11所述的计算机可读介质，其中，所述方法进一步包括：通过迭代地附加地更新所述两级神经网络对象检测器直到满足另一总体检测准确度标准来附加地训练所述两级神经网络对象检测器以定位和识别属于另一附加对象类别的对象，其中，执行所述附加地更新，以便最小化定位和识别属于所述一个或多个先前学习的对象类和所述附加类别的所述对象的能力的损失，同时最大化定位和识别属于所述其他附加对象类别的所述对象的附加能力。18.如权利要求11所述的计算机可读介质，其中所述两级神经网络对象检测器被同时训练以定位和识别属于所述附加对象类别的所述对象和属于另一附加对象类别的对象。
19.如权利要求11所述的计算机可读介质，其中所述方法进一步包括以下各项中的至少一项：接收用于训练所述两级神经网络对象检测器以定位和识别属于所述附加对象类别的所述对象的用户请求，以及从互联网检索包括属于所述附加对象类别的对象的训练图像。20.一种包含计算机可读代码的计算机可读介质，当由计算机读取所述计算机可读代码时，使得所述计算机执行用于在图像中对象检测的增量学习的方法，而没有灾难性遗忘先前学习的对象类别，所述方法包括：使用所述训练图像中的一个接一个的多个图像，训练所述两级神经网络对象检测器以检测初始未知的所述对象类别的所述对象，直到通过以下方式满足预定条件：将所述多个图像中的一个图像输入到所述两级神经网络对象检测器的所述初始版本以获得针对所述至少一个先前学习的对象类别的第一区域提议和第一对象预测，将所述一个图像输入到所述两级神经网络对象检测器的当前版本，以获得针对所述至少一个先前学习的对象类别和所述最初未知的对象类别的第二区域提议和第二对象预测，将所述第一区域提议与所述第二区域提议进行比较，以估计量化定位所述至少一个先前学习的对象类别的对象的能力的降低的区域提议蒸馏损失，将所述第一对象预测与所述第二对象预测进行比较以估计对象识别蒸馏损失，所述对象识别蒸馏损失量化识别所述至少一个先前学习的对象类别的对象的能力的降低，将所述第二区域提议与所述一个图像的基础事实标签进行比较，以估计最初未知的所述对象类别的区域提议网络损失，将所述第二对象预测与所述基础事实标签进行比较以估计最初未知的所述对象类别的对象识别损失，计算结合所述区域提议蒸馏损失、所述对象识别蒸馏损失、所述区域提议网络损失和所述对象识别损失的总损失，以及更新所述两级神经网络对象检测器的当前版本以便使所述总损失最小化，其中，当训练迭代的数量达到预定数量时，或者当总损失降低率低于预定阈值时，满足所述预定条件。21.一种用于增量学习对象检测而不会灾难性遗忘先前学习的对象类别的系统，所述系统包括：计算设备，所述计算设备具有用户界面并被配置成使用两级神经网络对象检测器来定位和识别对象并与云服务器通信；以及所述云服务器被配置为收集训练图像、存储定位和识别先前学习的对象类别的所述两级神经网络对象检测器的初始版本、以及与所述计算设备和互联网通信，其中所述计算设备和所述云服务器中的至少一个被配置为通过迭代地更新能够定位和识别属于先前学习的对象类别的对象的所述两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别属于附加对象类别的对象，执行所述更新以便平衡最小化所述两级神经网络检测器定位和识别属于所述一个或多个对象类别的对象的初始能力的损失和最大化所述两级神经网络检测器附加地定位和
识别属于所述附加对象类别的对象的能力，以及评估是否满足总体检测准确度标准包括：基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级神经网络对象检测器的当前版本输出的当前区域提议来确定区域提议的蒸馏损失；以及基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习对象预测与通过所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的对象识别蒸馏损失。22.如权利要求21所述的系统，其中通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所述总损失是以下各项的组合：所述区域提议的蒸馏损失，所述先前学习的对象识别蒸馏损失，所述两级神经网络对象检测器的所述当前版本的区域提议网络损失，并且所述两级神经网络对象检测器的所述当前版本的对象识别损失，并且所述区域提议网络损失和所述对象识别损失分别量化定位和识别属于所述附加对象类别的所述对象的所述能力。23.如权利要求22所述的系统，其中如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对象类别的对象的能力减小到低于第二预定阈值，则应用另一优化方法，或放弃所述训练。24.如权利要求21所述的系统，其中所述两级神经网络对象检测器被训练成与训练所述两级神经网络对象检测器定位和识别属于所述另一附加对象类别的所述对象同时地或顺序地定位和识别属于所述另一附加对象类别的对象。

技术总结
方法和系统在图像和/或视频中执行增量学习对象检测，而不会灾难性遗忘先前学习的对象类别。通过迭代地更新两级神经网络对象检测器直到满足总体检测准确度标准来训练两级神经网络对象检测器以定位和识别属于附加对象类别的对象。执行更新以便平衡最小化定位和识别属于先前学习的对象类别的对象的初始能力的损失和最大化附加地定位和识别属于附加对象类别的对象的能力。评估是否满足总体检测准确度标准将两级神经网络对象检测器的初始版本的输出与由两级神经网络对象检测器的当前版本输出的当前区域提议进行比较，以确定区域提议蒸馏损失和先前学习到的对象识别蒸馏损失。议蒸馏损失和先前学习到的对象识别蒸馏损失。议蒸馏损失和先前学习到的对象识别蒸馏损失。


技术研发人员：周旺 常十雨 N
受保护的技术使用者：国际商业机器公司
技术研发日：2020.03.13
技术公布日：2021/11/4