一种物联网边缘代理人工智能模型集成方法和系统与流程

1.本发明涉及物联网及人工智能技术领域，尤其涉及一种物联网边缘代理人工智能模型集成方法和系统


背景技术：

2.随着人工智能和基于边缘计算的物联网技术在国内外已取得较大的研究发展，边缘计算最近被应用于各种智能物联网应用，例如智能生产、智能运输、智能运检等等，其核心能力是实现现场各感知设备物联感知、实时采集。近些年人工智能技术被广泛采用，有望为边缘节点提供分布式智能服务，为边缘计算赋予更多智能功能。将人工智能集成到边缘代理中，实现分析预警前置化，具有较大的应用场景，例如在变电站、配电站房智能运检业务中，对站内生产环境实现智能分析、现场作业安全违章识别等ai模型集成在边缘代理中，不依赖于网络传输，告警产生后现场即时处理，较大提高了安全管控和管理能力。
3.两者融合最初的尝试是将简单机器学习算法部署到边缘节点以实现对视频流数据的识别认知，比如：火灾检测、交通流分析等。然而，边缘计算、人工智能和物联网技术是为特定目的而开发的，将它们组合成一个统一的解决方案较为突出的有两点技术问题：一是在传统的边缘云范例中，人工智能模型由云服务器上的公共数据集进行全面训练，而边缘侧只负责推理操作。因此，这些模型对于个性化上下文或服务于特定目的效率低下；二是由于边缘设备在计算、存储和通信能力方面受到限制，频繁从云端接收大型ai模型可能会导致设备过载和网络拥塞。


技术实现要素：

4.本发明其中一个发明目的在于提供一种物联网边缘代理人工智能模型集成方法和系统，所述方法和系统在人工智能模型引导阶段对人工智能模型进行修剪，去除掉无用的冗余连，减少人工智能模型的大小，使得人工智能模型在传输过程中减少了带宽消耗，提高人工智能模型传输效率。
5.本发明另一个发明目的在于提供一种物联网边缘代理人工智能模型集成方法和系统，所述方法和系统在人工智能模型部署阶段对所述人工智能模型进行压缩，通过哈希函数映射的方式降低了人工智能模型的层数和维度，从而整体降低模型数据，降低数据传输的消耗。
6.本发明另一个发明目的在于提供一种物联网边缘代理人工智能模型集成方法和系统，所述方法和系统在所述人工智能模型传输到边缘端后执行解压操作，利用哈希函数映射的方法恢复参数序列，并填充被修剪的参数序列，从而实现在物联网边缘端的人工智能模型快速重构。
7.本发明另一个发明目的在于提供一种物联网边缘代理人工智能模型集成方法和系统，所述方法和系统利用边缘端的私有数据对边缘端人工智能模型进行增量学习，从而使得所述边缘端的人工智能模型可以适应场景变化，无需云端和边缘端的频繁数据交互导
致模型变化和更新，使得模型场景预测准确率显著提高。
8.为了实现至少一个上述发明目的，本发明提供一种物联网边缘代理集成人工智能模型方法、装置、系统和计算机可读存储介质，将人工智能模型高效地、高准确率地集成到边缘代理装置中，以提高物联网智能化、ai前置化能力。
9.为了实现至少一个上述发明目的，本发明提供了一种物联网边缘代理人工智能模型集成方法，所述方法包括以下关键步骤：
10.s101：在模型引导阶段，获取云端的人工智能模型，并对云端的人工智能模型进行修剪，修建后减少人工智能模型参数数量，并去除人工智能模型层之间的冗余连接；
11.s102：对人工智能模型进行部署，在模型部署阶段，对修剪后的人工智能模型进行压缩并发布到物联网边缘端；
12.s103：所述压缩的人工智能模型发布到边缘端后，对压缩后的人工智能模型进行解压缩并在物联网边缘端重构所述人工智能模型；
13.s104：对重构后的人工智能模型采用边缘端场景数据执行对应人工智能模型的增量学习训练，在模型训练阶段，得到符合场景并训练好的物联网边缘端人工智能模型。
14.其中，所述人工智能模型包括不限于tensorflow、pytorch、keras、paddlepaddle等人工智能平台下机器学习或深度学习模型，本公开以mobilenets模型为例进行说明。
15.在本发明其中一个较佳实施例中，在模型引导阶段中所述模型修剪方法如下：
16.s20101：给定n层人工智能模型m，参数序列p＝{wi|1≤i≤n}，压缩比λ在0到1之间，删除所有在阈值k以下的权重；
17.s20102：在设定层数、参数序列和压缩比的基础上进行修剪，其中阈值k计算公式为：其中和分别表示下限和上限函数,修剪后的模型参数序列为p’。
18.根据本发明其中一个较佳实施例，对所述人工智能模型压缩方法如下：
19.获取修剪后的人工智能模型参数序列，将修剪后的人工智能模型参数序列中相似参数进行参数映射；
20.利用哈希函数将修剪后人工智能相似参数映射到中心点。
21.进一步地，所述模型部署阶段中对所述人工智能模型压缩方法如下：
22.s20301：给定人工智能模型m，经修剪后的参数序列p
′
＝{w
′
j|1≤j≤n
′
}，其中n
′
《n；
23.s20302：将所有相似的参数w
′j∈p
′
归集到c中心点vc，其中一个或多个w
′j即被映射到一个中心点vc；
24.s20303：该映射被定义为哈希函数hj→
c∈{0,1}，如果hj→
c＝1，则参数wj被映射到vc，中心点vc定义公式为：其中m是hj→
c＝1的数量，通过上述步骤，减少了模型m的层数和维度。
25.进一步地，所述s103模型训练阶段中，在模型成功部署到边缘设备后，需对模型进行解压缩，通过从c中心点vc恢复参数序列p来重构模型m，所述模型解压缩方法如下：
26.s20601：首先通过计算wi'的近似值来恢复修剪后的参数序列p'，表示为其计算公式为：哈希函数和哈希种子云和边缘设备之间预先共享；
27.s20602：通过在p'中低于阈值k的修剪后参数填充一个小的θ值来获得参数序列p，这些参数在后续的增量学习中将会被更新。
28.根据本发明另一个较佳实施例，所述模型训练阶段的增量学习方法包括：利用云端公共数据集对重构后的人工智能模型进行预训练，将预训练的模型在边缘端利用边缘端数据重新进行迁移学习训练得到迁移学习相关训练参数；
29.利用微调方法调整迁移学习的人工智能模型相关训练参数；
30.通过增量数据对所述迁移学习的人工智能模型进行增量学习，并更新模型参数，利用损失函数计算模型训练结果得到最佳人工智能模型。
31.进一步地，所述s103模型训练阶段中，所述增量学习方法如下：
32.s20701：给定一个具有l层和每层i个神经元的ai模型m，首先使用云上的公共数据集ds(c)对模型m进行预训练；给定学习率γ1、期望准确度ε1和迭代次数n1，预训练过程表示为c
t
(ds(c),γ1,ε1,n1)；
33.s20702：使用迁移学习t
l
(d
p
(e),γ2,ε2,n2)在边缘侧重新训练模型m，其中d
p
(e),γ2,ε2,n2分别是边缘侧私有数据、学习率、期望精度和迭代次数，为提高准确性，微调优化被应用到最后一层
34.s20703：假设w
l
层的输入和输出为x
l
和w
l
的损失函数定义为：其中y和k分别是m中的标记数据和神经元数量，计算w
l
的梯度下降值计算公式为：的梯度下降值计算公式为：层w
l
的权重被重新定义为：w
l
＝w
l-γ2δw
l
；
35.s20704：通过使用增量学习，使用新传入的边缘端场景增量数据对模型m进行更新，并根据损失函数得到最佳的人工智能模型，系统只需使用小批量的最新数据来更新模型就可保持其高可用性。
36.进一步地，本说明书一个或多个实施例的方法可以由单个设备执行，包括不限于一台计算机、嵌入式设备或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
37.作为本发明的第二个方面，提供了一种物联网边缘代理人工智能模型集成系统，包括：
38.获取单元，用于获取物联网系统内各项物联感知数据、包括用于图像识别视频流数据；
39.处理单元，用户对物联感知数据进行本地分析计算、以及对图像识别基于所集成的人工智能视觉识别算法进行ai分析计算的本地处理；
40.输出单元，对处理单元的计算结果以及ai分析的结果进行输出，包含产生的告警
及预警；
41.存储单元，对人工智能模型、物联感知采集数据及采集视频流数据、以及增量数据库数据进行存储；
42.其中所述处理单元执行人工智能模型在基于所述一种物联网边缘代理人工智能模型集成方法基础上执行所述本地处理。
43.作为本发明的第三个方面，提供了一种物联网边缘代理集成人工智能模型电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种物联网边缘代理人工智能模型集成方法。
44.作为本发明的第四个方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令可被处理器执行所述一种物联网边缘代理人工智能模型集成方法。
45.从上面所述的方法和系统可以看出，本发明提供的一种物联网边缘代理集成人工智能模型方法、装置、电子设备及存储介质，在模型引导阶段，对云端的人工智能模型进行修剪，减少模型参数数量，并去除层之间的冗余连接；在模型部署阶段，对模型进行压缩并发布到边端，减小模型的大小及网络传输消耗；在模型训练阶段，对模型进行解压缩得以恢复重构，并通过模型增量学习，保证模型的精度和识别准确性，并满足边缘个性化需求。与现有技术相比，本发明有效减少了原始模型文件大小以及通过云端下发到边端的数据传输带宽消耗，提高数据传输及模型部署效率；使用本地数据通过增量训练使模型更符合实际场景，有效避免了边缘设备收集的上下文和数据经常变化，导致部署到边缘的模型更新频繁或不满足后续场景等问题，较大提高了其推理准确性。本发明使得边端设备高效率、高准确率地集成了人工智能模型，提高了物联网智能化、ai前置化水平。
附图说明
46.为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1为本发明一种物联网边缘代理人工智能模型集成方法总体流程示意图。
48.图2为本发明一种物联网边缘代理人工智能模型集成方法一个或多个实施例的构造方法关键步骤示意图；
49.图3为本发明中一个或多个实施例的人工智能模型在物联网边缘端不同阶段构造方法总体流程示意图；
50.图4为本发明中一个或多个实施例的人工智能模型模型修剪、压缩、解压原理示意图；
51.图5为本发明中一个或多个实施例的增量学习原理示意图；
52.图6为本发明中一个或多个实施例的构造装置逻辑示意图；
53.图7为本发明中一个或多个实施例的的电子设备逻辑示意图。
具体实施方式
54.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
55.需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
56.请参考图1-图7，本发明公开了一种本公开实施例提出一种物联网边缘代理集成人工智能模型方法、装置、电子设备及存储介质，将人工智能模型高效地、高准确率地集成到边缘代理装置中，所述集成方法包括以下关键步骤：在模型引导阶段，对云端的人工智能模型进行修剪，减少模型参数数量，并去除层之间的冗余连接；在模型部署阶段，对模型进行压缩，减小模型的大小；在模型训练阶段，对模型进行解压缩得以恢复重构，并通过模型增量学习，保证模型的精度和识别准确性，并满足边缘个性化需求。本公开实施例有效减少了原始模型文件大小以及通过云端下发到边端的数据传输带宽消耗，提高数据传输及模型部署效率；使用本地数据通过增量训练使模型更符合实际场景，有效避免了边缘设备收集的上下文和数据经常变化，导致部署到边缘的模型更新频繁或不满足后续场景等问题，较大提高了其推理准确性。本发明公开实施例使得边端设备高效率、高准确率地集成了人工智能模型，提高了物联网智能化、ai前置化水平。
57.以下，通过具体的实施例来详细说明本公开的技术方案。
58.图2提供本公开一种物联网边缘代理集成人工智能模型构造方法的关键步骤，包括：
59.s101：在模型引导阶段，对云端的人工智能模型进行修剪，减少模型参数数量，并去除层之间的冗余连接；
60.s102：在模型部署阶段，对模型进行压缩并发布到边端，减小模型的大小及网络传输消耗；
61.s103：在模型训练阶段，对模型进行解压缩使得模型得以恢复重构，并通过模型增量学习，保证模型的精度和识别准确性，并满足边缘个性化需求。
62.其中，所述人工智能模型包括不限于tensorflow、pytorch、keras、paddlepaddle等人工智能平台下机器学习或深度学习模型，本公开以mobilenets模型为例进行说明。
63.图3提供本公开一种物联网边缘代理集成人工智能模型构造方法的总体流程，包括：
64.s201：在模型引导阶段，需从模型库中提取预训练的模型进行模型修剪；
65.s202：在模型引导阶段，将修剪优化后的模型，进行模型容器创建；
66.s203：在模型部署阶段，对模型进行压缩处理，减少模型文件大小，压缩后的模型存放到模型共享仓库中；
67.s204：在模型部署阶段，部署加载前，进行操作权限判断，具备权限者才可进入下一步骤，否则终止操作并结束；
68.s205：在模型训练阶段，将修剪优化及压缩后的模型加载到边缘代理装置中；
69.s206：在模型训练阶段，对模型进行解压缩，使模型得以恢复重构；
70.s207：在模型训练阶段，结合边代增量数据库中所存增量数据，根据边缘设备收集的上下文和实际数据，对模型进行增量学习，提高识别准确率。
71.s208：在模型训练阶段，讲经增量学习后的模型推送到应用服务容器，即可开展业务应用。
72.图4提供本公开一种物联网边缘代理集成人工智能模型构造方法的模型修剪、模型压缩、模型解压原理说明，包括：
73.s301模型修剪包括以下方法：
74.1、给定n层人工智能模型m，参数序列p＝{w_i|1≤i≤n}，压缩比λ在0到1之间，删除所有在阈值k以下的权重；
75.2、在此基础上进行修改，其计算公式为：其中和分别表示下限和上限函数，修剪后的模型参数序列为p’。
76.s302模型压缩包括以下方法：
77.1、给定人工智能模型m，经修剪后的参数序列p
′
＝{w
′
j|1≤j≤n
′
}，其中n
′
《n；
78.2、将所有相似的参数w
′j∈p
′
归集到c中心点vc，其中一个或多个w
′j即被映射到一个中心点vc；
79.3、该映射被定义为哈希函数hj→
c∈{0,1}，如果hj→
c＝1，则参数wj被映射到vc，中心点vc定义公式为：其中m是hj→
c＝1的数量。通过上述步骤，减少了模型m的层数和维度。
80.s303模型解压包括以下方法：
81.1、首先通过计算wi'的近似值来恢复修剪后的参数序列p'，表示为其计算公式为：哈希函数和哈希种子云和边缘设备之间预先共享；
82.2、通过在p'中低于阈值k的修剪后参数填充一个小的θ值来获得参数序列p，这些参数在后续的增量学习中将会被更新。
83.图5提供本公开一种物联网边缘代理集成人工智能模型构造方法的增量学习方法原理说明，包括：
84.1、给定一个具有l层和每层i个神经元的ai模型m，首先使用云上的公共数据集ds(c)对模型m进行预训练。给定学习率γ1、期望准确度ε1和迭代次数n1，预训练过程表示为c
t
(ds(c),γ1,ε1,n1)；
85.2、使用迁移学习t
l
(d
p
(e),γ2,ε2,n2)在边缘侧重新训练模型m，其中d
p
(e),γ2,ε2,n2分别是边缘侧私有数据、学习率、期望精度和迭代次数。为提高准确性，微调优化被应用到最后一层
86.3、假设w
l
层的输入和输出为x
l
和w
l
的损失函数定义为：的损失函数定义为：其中y和k分别是m中的标记数据和神经元数量，计算w
l
的梯度下降值计算公式为：层w
l
的权重被重新定义为：w
l
＝w
l-γ2δw
l
；
87.4、通过使用增量学习，使用新传入的增量数据对模型m进行更新，系统只需使用小批量的最新数据来更新模型就可保持其高可用性。
88.需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，包括不限于一台计算机、嵌入式设备或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
89.图6提供本公开一种物联网边缘代理集成人工智能模型构造方法的装置，包括：
90.获取单元501，用于获取物联网系统内各项物联感知数据、包括用于图像识别视频流数据；
91.处理单元502，用户对物联感知数据进行本地分析计算、以及对图像识别基于所集成的人工智能视觉识别算法进行ai分析计算的本地处理；
92.输出单元503，对处理单元的计算结果以及ai分析的结果进行输出，包含产生的告警及预警等；
93.存储单元504，对人工智能模型、物联感知采集数据及采集视频流数据、以及增量数据库等数据进行存储；
94.其中所述处理单元执行人工智能模型在基于所述一种物联网边缘代理人工智能模型集成方法基础上执行所述本地处理。
95.需要说明的是，本说明书一个或多个实施例提供了一种物联网边缘代理集成人工智能模型电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
96.图7提供本公开一种物联网边缘代理集成人工智能模型构造方法的电子设备硬件结构示意图，该设备包括：处理器610、存储器620、输入/输出接口630、通信接口640和总线650。
97.其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接；
98.处理器610可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案；
99.存储器620可以采用rom(read only memory，只读存储器)、ram(random accessmemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器620可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行；
100.输入/输出接口630用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等；
101.通信接口640用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
102.总线650包括一通路，在设备的各个组件(例如处理器610、存储器620、输入/输出接口630和通信接口640)之间传输信息。
103.需要说明的是，尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
104.与所述一种物联网边缘代理集成人工智能模型方法对应的，本发明还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上所述方法。
105.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
106.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
107.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
108.尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
109.本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。