模型的训练及场景识别方法、装置、设备及介质与流程

技术特征：
1.一种场景识别方法，其特征在于，所述方法包括：通过预先训练的场景识别模型中的特征提取层，获取待识别图像的特征图；对于所述场景识别模型中的至少两个第一分类层，通过所述第一分类层中的第一子网络，基于所述特征图以及上一第一分类层输出的融合特征向量，确定第一特征向量；通过所述第一分类层中的第二子网络，确定所述第一特征向量对应的第二特征向量，基于所述第一特征向量及所述第二特征向量，确定所述第一分类层对应的融合特征向量并输出至下一第一分类层，并基于所述第二特征向量，确定所述待识别图像在所述第一分类层对应的层级所归属的场景；其中，不同层级所包含的场景不同。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述场景识别模型中的第二分类层，基于所述特征图以及最后一个第一分类层输出的融合特征向量，确定所述待识别图像在所述第二分类层对应的层级所归属的场景；其中，所述第二分类层对应的层级所包含的场景与所述至少两个第一分类层分别对应的层级所包含的场景不同。3.根据权利要求1或2所述的方法，其特征在于，所述场景识别模型通过如下方式训练：获取样本集中的任一样本图像；其中，所述样本图像在每个预设层级均对应有样本场景标签，任一预设层级的样本场景标签用于标识所述样本图像在所述预设层级所归属的场景，所述至少一个样本场景标签不同，所述每个预设层级包括所述至少两个第一分类器分别对应的层级；通过原始场景识别模型，基于所述样本图像，确定所述样本图像在所述每个预设层级分别对应的场景概率向量；其中，任一预设层级所对应的场景概率向量包括所述样本图像分别归属于该层级的每个场景的概率值；根据所述每个预设层级分别对应的场景概率向量、及对应预设层级的样本场景标签所对应的概率值，对所述场景识别模型进行训练。4.根据权利要求3所述的方法，其特征在于，所述根据每个所述场景概率向量及对应的样本场景标签所对应的概率值，对所述场景识别模型进行训练，包括：根据所述样本图像在所述每个预设层级分别对应的场景概率向量以及对应预设层级的样本场景标签，确定第一损失值；根据所述第一损失值，对所述场景识别模型中的参数值进行调整。5.根据权利要求4所述的方法，其特征在于，所述根据所述样本图像在所述每个预设层级分别对应的场景概率向量以及对应预设层级的样本场景标签，确定第一损失值，包括：根据所述样本图像在所述每个预设层级分别对应的场景概率向量以及对应预设层级的样本场景标签，确定所述每个预设层级分别对应的多分类交叉熵子损失值；根据所述每个预设层级分别对应的多分类交叉熵子损失值的和，确定所述第一损失值。6.根据权利要求5所述的方法，其特征在于，所述根据所述样本图像在所述每个预设层级分别对应的场景概率向量以及对应预设层级的样本场景标签，确定所述每个预设层级分别对应的多分类交叉熵子损失值，包括：对于所述每个预设层级的第一分类层，根据该层级的第一分类层对应的场景概率向量、及该层级的父层级的第一分类层对应的场景概率向量，确定该层级对应的多分类交叉
熵子损失值。7.根据权利要求6所述的方法，其特征在于，所述根据该层级的第一分类层对应的场景概率向量、及该层级的父层级的第一分类层对应的场景概率向量，确定该层级对应的多分类交叉熵子损失值，包括：对于该层级所包含的每个场景，根据所述样本集中归属于该场景的所有样本图像的数量、以及该层级所包含的场景的数量，确定该场景对应的第一采样频率；并根据该层级所包含的场景的总数量、以及样本集中归属于该场景的不同样本图像分别对应的数量，确定该场景对应的第二采样频率；根据所述第一采样频率以及所述第二采样频率，确定该场景对应的平衡权重值；根据该层级的第一分类层对应的场景概率向量、该层级的父层级的第一分类层对应的场景概率向量、以及该层级所包含的所有场景分别对应的平衡权重值，确定该层级的第一分类器对应的多分类交叉熵子损失值。8.根据权利要求4所述的方法，其特征在于，所述根据所述第一损失值，对所述场景识别模型中的参数值进行调整，包括：获取所述样本集中的至少一张原始样本图像分别对应的调整后的样本图像；根据所述至少一张原始样本图像及其分别对应的调整后的样本图像，确定至少一个样本图像组合；针对所述至少一个样本图像组合，将该样本图像组合中的原始样本图像及其对应的调整后的样本图像，均确定为正样本，并除该样本图像组合之外的其它样本图像组合中的样本图像，均确定为负样本；根据每个所述正样本、每个所述负样本、及通过场景识别模型中的特征提取层，获取到的所述至少一个样本图像组合中各个样本图像的特征图，确定该样本图像组合对应的子损失值；根据所述至少一个样本图像组合分别对应的子损失值的和，确定第二损失值；根据所述第二损失值以及所述第一损失值，对所述场景识别模型中的参数值进行调整。9.根据权利要求8所述的方法，其特征在于，所述根据所述第二损失值以及所述第一损失值，对所述场景识别模型中的参数值进行调整，包括：根据所述第一损失值及其对应的第一权重值，和所述第二损失值及其对应的第二权重值，确定综合损失值；根据所述综合损失值，对所述场景识别模型中的参数值进行调整。10.一种场景识别装置，其特征在于，所述装置包括：获取单元，用于获取待识别图像；处理单元，用于通过预先训练的场景识别模型中的特征提取层，获取待识别图像的特征图；对于所述场景识别模型中的至少两个第一分类层，通过所述第一分类层中的第一子网络，基于所述特征图以及上一第一分类层输出的融合特征向量，确定第一特征向量；通过所述第一分类层中的第二子网络，确定所述第一特征向量对应的第二特征向量，基于所述第一特征向量及所述第二特征向量，确定所述第一分类层对应的融合特征向量并输出至下一第一分类层，并基于所述第二特征向量，确定所述待识别图像在所述第一分类层对应的层级所归属的场景；其中，不同层级所包含的场景不同。
11.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1
‑
9中任一所述方法的步骤。12.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1
‑
9中任一所述方法的步骤。

技术总结
本发明公开了一种模型的训练及场景识别方法、装置、设备及介质，用以准确地识别图像所述的场景。由于在通过预先训练的场景识别模型，确定待识别图像所归属的场景时，对于该场景识别模型中的每个分类层，是根据获取到的特征图以及上一分类层输出的融合特征向量，确定样本图像在该分类层所对应层级的场景中所归属的场景的，从而实现根据不同层级的场景之间的关联性，准确地确定待识别图像所归属的场景，提高了场景识别的准确性。提高了场景识别的准确性。提高了场景识别的准确性。


技术研发人员：温偲 项伟 陈德健
受保护的技术使用者：百果园技术（新加坡）有限公司
技术研发日：2021.09.07
技术公布日：2021/12/7