一种基于网络协同的深度学习算法管理系统的制作方法

1.本发明涉及一种基于网络协同的深度学习算法管理系统，属于数字信息技术、工业自动化领域。


背景技术：

2.深度学习算法的优化机制与传统视觉算法对于算法文件的管理不同在于深度学习算法中算法文件的依赖数据集更新快、算法优化相关参数多、算法迭代后的更新需要及时告知客户端，一些单纯以普通文件管理的存储方式不足以满足现有的算法文件迭代管理。
3.目前基于深度学习的检测主要使用目标检测算法，其运行依赖实时产生的数据集，并且通过向算法训练模块提供该数据集用以驱动算法的训练，对产生的训练网络文件以及权重文件需要进行储存管理，形成新的知识/模型库，将此次训练的结果以及此次训练文件的参数：分类准确率、召回率、平均准确率训练次数、产品类别通过网络传输至客户端设备。本专利能够实现对深度学习算法和部署的统一管理，从而提高算法开发效率和应用效率。
4.申请号为202011280276.1的发明专利申请公开了一种算法管理方法、装置、电子设备及存储介质，涉及计算机技术领域，进一步涉及人工智能技术领域中的算法管理技术，可应用于数据自动标注等技术，但是，其未有包含对数据集的统一管理，并提交训练服务器端无法将存储算法和数据集合，不利于对检测项目的统一管理。
5.申请号为202110920263.4的发明专利申请公开了一种边缘计算设备的算法管理方法及装置，应用于边缘计算设备，方法包括：接收打包算法文件，所述打包算法文件至少由待部署算法运行的主入口文件和协助文件打包得到；接收所述待部署算法的参数配置数据，完成所述待部署算法的参数配置工作，并得到可调度使用的部署算法。该方法中对算法的接收和解压集中在边缘侧，该专利申请描述的方法是可以部署于云端从而下发各个不同设备，实现网络协同作用。
6.申请号为202110723773.2的发明专利申请公开了一种基于空间知识模型库系统的算法管理方法、装置、设备和计算机可读存储介质。所述方法包括：在模型层，对资源层的机器学习算法库中预存的机器学习算法进行分类；根据空间算法描述模型对分类后的机器学习算法进行算法知识的形式化表达；在数据库层，将所述算法知识的形式化表达进行存储，形成知识/模型库；在应用服务层，向应用层提供对所述知识/模型库中的算法知识的数据交互和处理服务。其通过划分层级对算法进行管理，缺乏对数据集的同步获取策略。


技术实现要素：

7.本发明要解决的技术问题是：现有技术中虽然有管理软件对一些常用文件管理，但是面对深度学习网络特征文件却无统一的管理和分配方式。
8.为了解决上述技术问题，本发明的技术方案是提供了一种基于网络协同的深度学
习算法管理系统，其特征在于，包括边缘侧设备以及基于网络协同的算法管理系统的服务器设备，其中：
9.在边缘侧设备上配置算法管理系统的网络地址、检测产品种类、检测数据集本地地址、上传周期，这些配置信息周期性地以udp通信报文方式发送至服务器设备；边缘侧设备接收发送自服务器设备的优化后的深度学习算法，并且该深度学习算法运行在边缘侧设备上；同时，边缘侧设备通过采集设备获取训练集数据，并通过基于配置信息周期性地向服务器设备上传训练集数据；
10.训练集数据包括此次待上传的数据集文件数、数据集种类信息、数据集产品信息；算法管理系统接收同步接收由边缘侧设备上传的训练集数据，并根据当前训练集数据进行权重参数路径、源文件路径以及保存路径的配置后，驱动在线深度学习算法的训练；在训练过程中，算法管理系统与运行于服务器设备上的算法训练模块进行交互，获取算法训练模块中的调试信息、当前训练进展百分比，以此得知是否结束对深度学习算法的训练；算法管理系统将训练输出的文件存储形成知识/模型库，包括基于当前训练获得的优化后的深度学习算法生成的网络模型文件以及基于当前训练的网络分类准确率、召回率、平均准确率、训练次数、产品类别生成的网络模型权重文件，网络模型文件以及网络模型权重文件存于mysql数据库中，以条目形式记录，记录分类准确率、召回率、平均准确率、训练次数、产品类别；算法管理系统按照配置需求，当边缘侧设备需要进行算法更新时，将网络模型文件连同对应的网络模型权重文件传输至边缘侧设备；服务器设备通过网络向边缘侧设备发送报文，报文内容包含分类准确率、召回率、平均准确率、训练次数、产品类别，边缘侧设备将新的权重文件对比平均准确率、新模型的训练次数与当前运行的深度学习算法的参数进行对比，判断是否使用新的深度学习算法。
11.优选地，所述边缘侧设备先以udp通信通知运行于服务器设备的算法管理系统开启tftp服务器，进行文件的接收；所述算法管理系统完成接收后，进行文件个数的校验，同时根据数据集种类信息以及数据集产品信息校验头文件内容。
12.优选地，所述算法管理系统根据当前训练集数据所属的数据集产品信息，设置训练次数后进行深度学习算法训练。
13.优选地，所述算法管理系统与所述算法训练模块的通信通过共享数据进行，算法的实时信息通过部署redis数据库进行，以满足实时查询训练状态。
14.优选地，所述算法管理系统展示训练产品种类、训练进度、训练剩余次数、标注框与预测框的重合度、图形处理器内存占用率，这些数据将以统一的udp数据报形式以端口8100对外发送。
15.优选地，所述分类准确率p＝正确数/预测总数；召回率r＝预测正确数/真实a类总数；计算平均准确率map时，把置信度设定在0.5，超过0.5认定是某类物体，低于0.5认定不是某类物体。
16.本发明利用网络协同方式同步接收数据集数据，对深度学习算法训练产生的深度卷积神经网络模型以及权重文件进行管理，主要涉及深度神经已识别的分类准确率、召回率、平均准确率，跟踪算法训练模块过程中的主要参数诸如训练次数、产品类别，并将以上信息下发至端侧供其决策，解决了现有技术中虽然有管理软件对一些常用文件管理，但是面对深度学习网络特征文件却无统一的管理和分配方式的问题。
17.因此，与现有技术相比，本发明具有如下有益效果：
18.本发明通过调研在视觉检测中广泛使用的目标算法，发现深度学习算法的优化机制与传统视觉算法的不同在于算法文件的迭代比较快、算法优化的维度比较广，一些单纯以普通文件管理的存储方式不足以满足现有的算法文件迭代管理。对于深度学习算法训练所需的数据集实时的进行采集、并对训练产生的网络模型以及权重文件需要逐一加以记录，并通过网络传输实时反馈训练结果至端用户，端用户根据实际情况判断是否加载。本发明为深度学习算法管理提供了一种新的思路与解决方案。
附图说明
19.图1为深度学习算法管理系统结构示意图；
20.图2为深度学习算法管理系统数据集更新流程图；
21.图3为深度学习算法管理系统算法训练流程图；
22.图4为深度学习算法管理系统更新算法流程图；
23.图5示意了mysql数据库中，以条目形式记录，记录分类准确率、召回率、平均准确率、训练次数、产品类别。
具体实施方式
24.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
25.如图1所示，本发明公开了一种基于网络协同的深度学习算法管理系统包括边缘侧设备以及基于网络协同的算法管理系统的服务器设备，其中：
26.在边缘侧设备上配置算法管理系统的网络地址、检测产品种类、检测数据集本地地址、上传周期等信息，这些配置信息周期性地以udp通信报文方式发送至服务器设备。边缘侧设备接收发送自服务器设备的优化后的深度学习算法，并且该深度学习算法运行在边缘侧设备上。同时，边缘侧设备通过采集设备获取训练集数据，并通过基于配置信息周期性地向服务器设备上传训练集数据。
27.本实施例中，训练集数据包括此次待上传的数据集文件数、数据集种类信息、数据集产品信息等。边缘侧设备先以udp通信通知运行于服务器设备的算法管理系统开启tftp服务器，进行文件的接收。算法管理系统完成接收后，进行文件个数的校验，同时根据数据集种类信息以及数据集产品信息校验头文件内容。
28.运行于服务器设备的算法管理系统接收同步接收由边缘侧设备上传的训练集数据，并根据当前训练集数据进行权重参数路径、源文件路径以及保存路径的配置后，驱动在线深度学习算法的训练。本实施例中，算法管理系统根据当前训练集数据所属的数据集产品信息，设置训练次数后进行深度学习算法训练。本发明可实现多个深度学习算法的同时在线优化。在训练过程中，算法管理系统与运行于服务器设备上的算法训练模块进行交互，获取算法训练模块中的调试信息、当前训练进展百分比，以此得知是否结束对深度学习算法的训练。本实施例中，算法管理系统与算法训练模块的通信通过共享数据进行，算法的实
时信息通过部署redis数据库进行，以满足实时查询训练状态。利用redis快速存取的特点可以实现同步训练信息至算法管理系统，算法管理系统将展示训练产品种类、训练进度、训练剩余次数、标注框与预测框的重合度、图形处理器内存占用率。这些数据将以统一的udp数据报形式以端口8100对外发送。并且，算法管理系统将训练输出的文件存储形成知识/模型库，包括基于当前训练获得的优化后的深度学习算法生成的网络模型文件以及基于当前训练的网络分类准确率、召回率、平均准确率、训练次数、产品类别生成的网络模型权重文件。网络模型文件以及网络模型权重文件为非实时性数据，算法管理系统将非实时性数据存于mysql数据库中，以条目形式记录，记录分类准确率、召回率、平均准确率、训练次数、产品类别，如图5所示。本实施例中：分类准确率p＝正确数/预测总数；召回率r＝预测正确数/真实a类总数；平均准确率map，就是把置信度设定在0.5，超过0.5认定是某类物体，是确定算法训练迭代优化程度的重要变量。本发明以此数据结构，通过分类loss 框回归loss判断模型收敛的程度，并结合平均准确率map综合评价模型的好坏。网络模型文件以及对应的网络模型权重文件被保存在指定路径。算法管理系统按照配置需求，当边缘侧设备需要进行算法更新时，将网络模型文件连同对应的网络模型权重文件传输至边缘侧设备。服务器设备通过网络向边缘侧设备发送报文，报文内容包含分类准确率、召回率、平均准确率、训练次数、产品类别，边缘侧设备将新的权重文件对比平均准确率、新模型的训练次数与当前运行的深度学习算法的参数进行对比，判断是否使用新的深度学习算法。
29.传统的视觉检测算法通常着重于在不同场景下，比如光线变换下需要手动调整大规模的参数。深度视觉算法将原始图片分割成互不重合的小方块,然后通过卷积最后生产这样大小的特征图，基于实时更新的训练集规避了参数的反复手动输入。本发明针对算法迭代频率快的特点，记录训练过程中的重要参数提供给客户端历次训练后的最优解。