神经网络模型的优化、数据处理方法及装置、存储介质与流程

技术特征：
1.一种神经网络模型的优化方法，其特征在于，所述方法包括：从所述神经网络模型中选取至少两个目标网络层，其中，所述至少两个目标网络层包括第一网络层和与所述第一网络层的输入端连接的第二网络层，所述第一网络层为逐元素操作层；将所述至少两个目标网络层进行融合处理，得到优化后的所述神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述将所述至少两个目标网络层进行融合处理，包括：将所述第一网络层的逐元素操作融合到所述第二网络层中。3.根据权利要求1或2所述的方法，其特征在于，所述从所述神经网络模型中选取至少两个目标网络层，包括：从与所述逐元素操作层的输入端连接的至少一个网络层中，选取网络深度最深的网络层作为所述第二网络层。4.根据权利要求1-3任一项所述的方法，其特征在于，所述第二网络层用于实现第一操作，优化后的所述神经网络模型的数据处理过程包括：从第一存储设备读取所述第二网络层的第一输入数据和所述逐元素操作层的至少一个第二输入数据；通过融合层对所述第一输入数据进行所述第一操作的处理，得到第一处理结果，其中，所述融合层是通过对所述至少两个目标网络层进行融合处理得到的；通过所述融合层对所述第一处理结果和所述至少一个第二输入数据进行所述逐元素操作层的逐元素操作的处理，得到第二处理结果；将所述第二处理结果写入第二存储设备，其中，所述优化后的神经网络模型的输出结果是基于所述第二处理结果得到的。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：确定所述融合处理得到的融合层一次性处理的数据的目标数目，所述目标数目为大于2的整数；所述通过所述融合层对所述第一处理结果和所述至少一个第二输入数据进行所述逐元素操作层的逐元素操作的处理，得到第二处理结果，包括：基于所述目标数目，同步读取所述第一处理结果和所述至少一个第二输入数据，进行所述逐元素操作层的逐元素操作的处理，得到第二处理结果，其中，所述第一处理结果和所述至少一个第二输入数据的数据数量之和等于所述目标数目。6.根据权利要求5所述的方法，其特征在于，所述确定所述融合层一次性处理的目标数目，包括：获取所述神经网络模型分别在多个候选数据数量条件下的测试性能参数；基于所述测试性能参数，从所述多个候选数据数量中确定所述目标数目。7.根据权利要求5或6所述的方法，其特征在于，所述第一网络层的逐元素操作包括基于特定参数的乘加操作；所述基于所述目标数目，同步读取所述第一处理结果和所述至少一个第二输入数据，进行所述逐元素操作层的逐元素操作的处理，得到第二处理结果，包括：将同步读取的所述第一处理结果和所述至少一个第二输入数据写入所述目标数目的
第一寄存设备中；将预先写入至少一个第二寄存设备中的所述特定参数，分别与至少一个第一寄存设备中的数据乘加操作，得到所述第二处理结果。8.根据权利要求1-7任一项所述的方法，其特征在于，所述第一网络层的逐元素操作包括基于特定参数的乘加操作；所述方法还包括：如果所述乘加操作中的至少一个特定参数包括目标数值，对所述第一网络层的逐元素操作进行优化处理，得到优化处理后的所述逐元素操作。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一网络层的逐元素操作包括乘加操作，所述方法还包括：接收乘加指令；基于所述乘加指令，执行所述第一网络层的乘加操作。10.一种数据处理方法，其特征在于，所述方法包括：从存储设备读取目标数目个第一输入数据，所述目标数目为大于2的整数；对读取到的所述目标数目个第一输入数据进行神经网络模型中第一网络层的逐元素操作的处理，得到第一逐元素处理结果；将所述第一逐元素处理结果存储到所述存储设备。11.根据权利要求10所述的方法，其特征在于，在所述逐元素操作的多个待处理数据的数目大于预设数值的情况下，所述方法还包括：从所述存储设备获取多个第二输入数据，其中，所述多个第二输入数据包括所述第一逐元素处理结果；对所述多个第二输入数据进行所述逐元素操作的处理，得到第二逐元素处理结果。12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：获取所述神经网络模型分别在多个候选数据数量条件下的测试性能参数；基于所述测试性能参数，从所述多个候选数据数量中确定所述目标数目。13.根据权利要求根据权利要求10-12任一项所述的方法，其特征在于，所述逐元素操作包括基于特定参数的乘加操作；所述对读取到的所述目标数目个第一输入数据进行逐元素操作的处理，得到第一逐元素处理结果，包括：将读取到的所述目标数目个第一输入数据写入所述目标数目的第一寄存设备中；将预先写入多个第二寄存设备中的特定参数与所述目标数目个第一寄存设备中的数据进行乘加操作，得到所述第一逐元素处理结果。14.根据权利要求10至13中任一项所述的方法，其特征在于，还包括：接收目标乘加指令；所述对读取到的所述目标数目个第一输入数据进行神经网络模型中第一网络层的逐元素操作的处理，包括：按照所述目标乘加指令，对读取到的所述目标数目个第一输入数据进行神经网络模型中第一网络层的逐元素操作的处理。15.根据权利要求10至14中任一项所述的方法，其特征在于，所述目标数目个第一输入数据包括所述神经网络模型中的第二网络层的至少一个输入数据和所述第一网络层的至
少一个输入数据，其中，所述第二网络层的输出端与所述第一网络层的输入端连接；所述对读取到的所述目标数目个第一输入数据进行神经网络模型中第一网络层的逐元素操作的处理，得到第一逐元素处理结果，包括：对所述第二网络层的至少一个输入数据进行所述第二网络层的操作处理，得到第一处理结果；对所述第一处理结果和所述第一网络层的至少一个输入数据进行逐元素操作的处理，得到第一逐元素处理结果。16.一种神经网络模型的优化装置，其特征在于，所述装置包括：选取模块，用于从所述神经网络模型中选取至少两个目标网络层，其中，所述至少两个目标网络层包括第一网络层和与所述第一网络层的输入端连接的第二网络层，所述第一网络层为逐元素操作层；融合处理模块，用于将所述至少两个目标网络层进行融合处理，得到优化后的所述神经网络模型。17.一种数据处理装置，其特征在于，所述装置包括：第一读取模块，用于从存储设备读取目标数目个第一输入数据，所述目标数目为大于2的整数；第一数据处理模块，用于对读取到的所述目标数目个第一输入数据进行神经网络模型中第一网络层的逐元素操作的处理，得到第一逐元素处理结果；存储模块，用于将所述第一逐元素处理结果存储到所述存储设备。18.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的神经网络模型的优化方法或权利要求10-15任一所述的数据处理方法。19.一种神经网络模型的优化装置，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-9中任一项所述的神经网络模型的优化方法或权利要求10-15中任一项所述的数据处理方法。

技术总结
本公开提供了一种神经网络模型的优化、数据处理方法及装置、存储介质，其中，神经网络模型的优化方法包括：从所述神经网络模型中选取至少两个目标网络层，其中，所述至少两个目标网络层包括第一网络层和与所述第一网络层的输入端连接的第二网络层，所述第一网络层为逐元素操作层；将所述至少两个目标网络层进行融合处理，得到优化后的所述神经网络模型。得到优化后的所述神经网络模型。得到优化后的所述神经网络模型。


技术研发人员：蔡林金 陈凯亮 李天健
受保护的技术使用者：上海商汤智能科技有限公司
技术研发日：2020.04.24
技术公布日：2021/10/26