存储器引导的视频对象检测的制作方法

技术特征：
1.一种用于检测视频中的对象的计算机实现的方法，包括：将视频输入到包括第一特征提取器网络、第二特征提取器网络和共享存储器层的交织对象检测模型中，所述视频包括多个帧；用所述第一特征提取器网络分析所述视频的初始帧，以确定初始化的特征集；将所述初始化的特征集存储在所述共享存储器层中；以及针对所述视频的一个或多个后续帧中的每一个：选择所述第一特征提取器网络或所述第二特征提取器网络来分析所述后续帧；由所选择的特征提取器网络分析所述后续帧，以确定所述后续帧的一个或多个后续特征；至少部分地基于所述一个或多个后续特征来确定更新的特征集；以及至少部分地基于所述更新的特征集来检测所述后续帧中的对象。2.根据权利要求1所述的计算机实现的方法，其中，选择所述第一特征提取器网络或所述第二特征提取器网络来分析所述后续帧包括：根据自适应交织策略，至少部分地基于先前存储在所述共享存储器层中的一个或多个特征来选择所述第一特征提取器网络或所述第二特征提取器网络。3.根据权利要求2所述的计算机实现的方法，其中，所述交织对象检测模型已经被训练以实现所述自适应交织策略。4.根据权利要求3所述的计算机实现的方法，其中，所述交织对象检测模型已经被训练以至少部分地基于包括速度奖励分量和准确性分量的奖励函数来实现所述自适应交织策略。5.根据权利要求1所述的计算机实现的方法，其中，选择所述第一特征提取器网络或所述第二特征提取器网络来分析所述后续帧包括：根据固定的交织策略来选择所述第一特征提取器网络或所述第二特征提取器网络。6.根据前述权利要求中的任一项所述的计算机实现的方法，其中，当所述第一特征提取器网络已经被选择时，至少部分地基于所述一个或多个后续特征来确定所述更新的特征集包括：使用所述一个或多个后续特征作为所述更新的特征集。7.根据权利要求6所述的计算机实现的方法，还包括：将所述更新的特征集存储在所述共享存储器层中。8.根据前述权利要求中的任一项所述的计算机实现的方法，其中，当所述第二特征提取器网络已经被选择时，至少部分地基于所述一个或多个后续特征来确定所述更新的特征集包括：将最近的已经存储在所述共享存储器层中的特征集与所述一个或多个后续特征进行融合。9.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络和所述第二特征提取器网络被配置为在同步模式中顺序地运行，在所述同步模式中针对每个帧运行单个特征提取器网络。10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络和所述第二特征提取器网络被配置为在异步模式中并发地运行，在所述异步模式中所述第一特征提取器网络和所述第二特征提取器网络在并行线程中运行。11.根据权利要求10所述的计算机实现的方法，其中，所述第一特征提取器网络被配置
为定期地更新存储在所述共享存储器层中的所述特征集；其中所述第二特征提取器网络被配置为分析每个帧以确定所述一个或多个后续特征；以及其中所述共享存储器层被配置为通过将所述一个或多个后续特征与最近被存储在所述共享存储器层中的所述特征集进行融合来确定所述更新的特征集。12.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络和所述第二特征提取器网络包括卷积神经网络。13.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络包括与所述第二特征提取器网络相比具有减少的检测损失的、被配置用于准确性的特征提取器网络。14.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第二特征提取器网络包括与所述第一特征提取器网络相比具有更短的运行时间的、被配置用于速度的特征提取器网络。15.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络和所述第二特征提取器网络具有不同的计算延迟。16.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一特征提取器网络和所述第二特征提取器网络具有不同的输入分辨率。17.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述共享存储器层包括长短期存储器网络。18.一种计算系统，包括：一个或多个处理器；以及一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储指令，所述指令在由所述一个或多个处理器执行时使所述计算系统执行操作，所述操作包括：将视频输入到包括多个特征提取器网络和共享存储器层的交织对象检测模型中，所述视频包括多个帧；以及针对一个或多个帧中的每一个：选择所述多个特征提取器网络中的一个特征提取器网络来分析所述一个或多个帧；由所选择的特征提取器网络分析所述一个或多个帧，以确定所述一个或多个帧的一个或多个特征；至少部分地基于所述一个或多个特征和从存储在所述共享存储器层中的先前帧中提取的一个或多个先前提取特征来确定更新的特征集；以及至少部分地基于所述更新的特征集来检测所述一个或多个帧中的对象。19.根据权利要求18所述的计算系统，其中，选择所述多个特征提取器网络中的一个特征提取器网络来分析所述一个或多个帧包括：根据自适应交织策略来选择所述多个特征提取器网络中的一个特征提取器网络。20.根据权利要求19所述的计算系统，其中，所述交织对象检测模型还包括自适应交织策略网络，所述自适应交织策略网络已经被训练以实现所述自适应交织策略。21.根据权利要求20所述的计算系统，其中，所述自适应交织策略网络已经被训练以至
少部分地基于包括速度奖励分量和准确性分量的奖励函数来实现所述自适应交织策略。22.根据权利要求18所述的计算系统，其中，选择所述多个特征提取器网络中的一个特征提取器网络来分析所述后续帧包括：根据固定的交织策略来选择所述多个特征提取器网络中的一个特征提取器网络。23.根据权利要求18
‑
22中的任一项所述的计算系统，其中，当所述多个特征提取器网络中的第一特征提取器网络已经被选择时，至少部分地基于所述一个或多个后续特征来确定所述更新的特征集包括：使用所述一个或多个后续特征作为所述更新的特征集。24.根据权利要求23所述的计算系统，还包括：将所述更新的特征集存储在所述共享存储器层中。25.根据权利要求18
‑
24中的任一项所述的计算系统，其中，当第二特征提取器网络已经被选择时，至少部分地基于所述一个或多个后续特征来确定所述更新的特征集包括：将最近的已经存储在所述共享存储器层中的所述特征集与所述一个或多个后续特征进行融合。26.根据权利要求18
‑
25中的任一项所述的计算系统，其中，所述多个特征提取器网络被配置为在同步模式中顺序地运行，在所述同步模式中针对每个帧运行单个特征提取器网络。27.根据权利要求18
‑
25中的任一项所述的计算系统，其中，所述多个特征提取器网络被配置为在异步模式中并发地运行，在所述异步模式中所述多个特征提取器网络在相应的并行线程中运行。28.根据权利要求18
‑
27中的任一项所述的计算系统，其中，所述共享存储器层包括长短期存储器网络。29.根据权利要求28所述的计算系统，其中，所述长短期存储器网络被配置成将从所述先前帧提取的一个或多个先前提取特征分割成多个切片；将所述多个切片中的每个切片与所述一个或多个特征组合，以生成多个更新的切片；使用所述长短期存储器网络的一个或多个卷积层单独地处理所述多个更新的切片中的每一个，以生成多个处理的切片；以及将所述多个处理的切片组合成处理的输出。30.根据权利要求18
‑
29中的任一项所述的计算系统，其中，所述一个或多个特征和所述一个或多个先前提取特征各自包括相应的特征映射，所述相应的特征映射包括宽度、高度和多个信道。31.根据权利要求18
‑
30中的任一项所述的计算系统，其中，所述计算系统包括被配置为以在线模式运行的移动计算设备。32.一种训练包括第一特征提取器网络、第二特征提取器网络和共享存储器层的交织对象检测模型的计算机实现的方法，包括：将包括多个图像帧的训练视频输入到所述交织对象检测模型中；以及针对所述视频的一个或多个帧：随机选择所述第一特征提取器网络或所述第二特征提取器网络中的任一个；用所选择的特征提取器网络分析所述训练视频的所述一个或多个图像帧，以确定所述多个图像帧中存在的一个或多个检测到的对象；
至少部分地基于地面实况检测与所述一个或多个检测到的对象的比较来确定检测损失函数；以及至少部分地基于所述检测损失函数来训练所述交织对象检测模型。33.根据权利要求32所述的计算机实现的方法，还包括：使用图像分类训练数据集来预训练所述第一特征提取器网络、所述第二特征提取器网络和所述共享存储器层，以确定所述交织对象检测模型的初始权重集。34.根据权利要求32所述的计算机实现的方法，还包括：从静态图像帧生成所述训练视频。35.根据权利要求34所述的计算机实现的方法，其中，从所述静态图像帧生成所述训练视频包括：生成多个连续静态图像帧并且在两个或更多个连续静态图像帧之间执行一个或多个增强效果。36.根据权利要求35所述的计算机实现的方法，其中，所述一个或多个增强效果包括一个或多个修剪、变焦或平移。37.一种训练用于对象检测模型的自适应交织策略网络的计算机实现的方法，所述对象检测模型包括所述自适应交织策略网络、被配置用于准确性的第一特征提取器网络、被配置用于速度的第二特征提取器网络、以及共享存储器层，所述方法包括：将训练数据输入到所述对象检测模型中以生成一个或多个批量的推断数据，每个批量的推断数据包括状态数据、动作数据和奖励函数数据；以及至少部分地基于所述一个或多个批量的推断数据来训练所述自适应交织策略网络。38.根据权利要求37所述的计算机实现的方法，其中，所述奖励函数数据包括速度奖励和准确性奖励的总和。39.根据权利要求38所述的计算机实现的方法，其中，所述速度奖励包括当使用所述第二特征提取器网络时授予的定义值。40.根据权利要求38
‑
39中的任一项所述的计算机实现的方法，其中，所述准确性奖励包括检测损失，所述检测损失是至少部分地基于最小损失特征提取器网络与所选择的特征提取器网络之间的损失差来确定的。41.根据权利要求37
‑
40中的任一项所述的计算机实现的方法，其中，所述状态数据包括由所述第一特征提取器网络或由所述第二特征提取器网络在特定时间步处输出的数据。42.根据权利要求37
‑
41中的任一项所述的计算机实现的方法，其中，所述动作数据包括与在特定时间步处运行所述第一特征提取器网络或所述第二特征提取器网络相对应的数据。43.根据权利要求37
‑
42中的任一项所述的计算机实现的方法，其中，所述对象检测模型先前已经被训练。44.一种装置，所述装置被配置为执行前述权利要求中的任一项所述的方法。45.一种计算机可读指令，当计算机可读指令由计算装置执行时使得执行前述权利要求中的任一项所述的方法。

技术总结
提供了用于检测视频中的对象的系统和方法。一种方法可以包括将包括多个帧的视频输入到包括多个特征提取器网络和共享存储器层的交织对象检测模型中。针对一个或多个帧中的每个帧，操作可以包括选择多个特征提取器网络中的一个特征提取器网络以分析所述一个或多个帧，由所选择的特征提取器网络分析所述一个或多个帧以确定所述一个或多个帧的一个或多个特征，至少部分地基于所述一个或多个特征和从存储在共享存储器层中的先前帧提取的一个或多个先前提取特征来确定更新的特征集，以及至少部分地基于更新的特征集来检测所述一个或多个帧中的对象。多个帧中的对象。多个帧中的对象。


技术研发人员：朱梦龙 马松
受保护的技术使用者：谷歌有限责任公司
技术研发日：2019.02.22
技术公布日：2021/11/8