一种边缘计算控制系统的制作方法

1.本发明涉及数据处理技术领域，尤其涉及一种边缘计算控制系统。


背景技术：

2.随着端侧算力提升，大量的智能化算法在端侧被广泛使用，根据用户驾驶行为自学习，涉及智能空调控制、智能调整油门响应、判断驾驶风格。
3.在用户个人数据进入端侧后，需对用户进行隐私保护，对数据进行重新编码、加密，数据会呈现出多种不同的形态，对不同的形态会有不同的分析、处理和配置方法，需要不同算法库处理。
4.传统算法工程师会在pc或者云端训练好模型下发到端侧预测，用户数据需出端，不利于用户隐私保护，不具备安全，个性化、自动化，且无法实时更新用户驾驶行为模型。因此，端侧边缘计算自动化计算系统就变的尤为重要。


技术实现要素：

5.本发明提供了一种边缘计算控制系统，能够自动化的进行统一高效地管理和决定执行时机，提高了边缘计算系统的灵活性、完整性、严密性、高效性和准确性。
6.根据本发明的一方面，提供了一种边缘计算控制系统，包括：数据存储库、特征识别模块、数据分析模块、数据处理模块、数据检验模块及模型训练模块；其中，所述数据存储库与所述特征识别模块连接；所述特征识别模块与所述数据分析模块连接；所述数据分析模块与所述数据处理模块连接；所述数据处理模块与所述数据检验模块连接；所述数据检验模块与所述数据模型训练模块连接；所述数据存储库，用于基于预设方式对原始数据进行存储；所述特征识别模块，用于对所述原始数据进行特征识别，得到特征数据；所述数据分析模块，用于对所述特征数据进行分析，生成对应的处理策略；所述数据处理模块，用于按照所述处理策略对所述特征数据进行处理，以得到处理后的特征数据；所述数据检验模块，用于对所述处理后的特征数据进行检验；所述模型训练模块，用于依据系统的资源分配，基于所述处理后的特征数据对选取的模型进行训练。
7.可选的，所述系统还包括分析报告模块，其中，所述分析报告模块与数据模型训练模块连接；所述分析报告模块用于根据对各个模块处理操作进行分析，生成分析报告。
8.可选的，所述系统还包括监控器，用于对各个模块进行监控，根据当前系统内存状态选择执行各个模块的操作。
9.可选的，所述模型训练模块还用于对训练后的模型进行评估；若训练后的模型不符合预设条件，则重新对所述模型进行训练。
10.可选的，所述模型训练模块，具体用于，依据当前系统的资源分配状态，设置阈值执行点，执行对所述处理后的特征数据的选取对应的模型。
11.可选的，所述模型训练模块包括：模型训练单元和算法存储单元；所述算法存储单元用于存储的待训练的算法模型；所述模型训练单元用于从所述算法存储单元中提取算法模型进行训练。
12.可选的，所述系统还包括，情景预测模块，用于依据所述模型训练模块的评估结果对当前实时环境预测，判断分析报告是否符合当前情景信息。
13.可选的，所述模型训练模块，还用于：若所述处理后的特征数据与历史处理后的特征数据相匹配，则选取所述历史处理后的特征数据对应的模型。
14.可选的，所述数据检验算模块，具体用于依据检验条件对所述处理后的特征数据检验是否异常；若检验所述处理后的特征数据异常，则将所述处理后的特征数据返回至数据分析数模块内进行重新分析。
15.可选的，所述数据检验模块，还用于检验所述处理后的特征数据是否格式一致。
16.本发明实施例的技术方案，通过所述数据存储库，用于基于预设方式对原始数据进行存储；所述特征识别模块，用于对所述原始数据进行特征识别，得到特征数据；所述数据分析模块，用于对所述特征数据进行分析，生成对应的处理策略；所述数据处理模块，用于按照所述处理策略对所述特征数据进行处理，以得到处理后的特征数据；所述数据检验模块，用于对所述处理后的特征数据进行检验；所述模型训练模块，用于依据系统的资源分配，基于所述处理后的特征数据对选取的模型进行训练。本系统能够自动化的进行统一高效地管理和决定执行时机，提高了边缘计算系统的灵活性、高效性以及准确性。
17.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是根据本发明实施例一提供的一种边缘计算控制系统的结构示意图；图2是根据本发明实施例二提供的一种边缘计算控制系统的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
21.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.实施例一图1是根据本发明实施例一提供的一种边缘计算控制系统的结构示意图。如图1所示，边缘计算控制系统，包括：数据存储库110、特征识别模块120、数据分析模块130、数据处理模块140、数据检验模块150及模型训练模块160；其中，所述数据存储库110与所述特征识别模块120连接；所述特征识别模块120与所述数据分析模块130连接；所述数据分析模块130与所述数据处理模块140连接；所述数据处理模块140与所述数据检验模块150连接；所述数据检验模块150与所述数据模型训练模块160连接。
23.本实施例中的该系统可以作用于各种端上，示例性的，如移动端或者车载端等。
24.本实施例中边缘计算控制系统的数据存储库110，可以用于基于预设方式对原始数据进行存储。其中，预设方式可以理解为根据用户的选择设置的方式。示例性的，数据存储库可以根据用户用户选择以数据库、文件、内存等形式，还可以包括但不限于数据的加密方案、数据实例构建等方式存储。本实施例中用户可以根据实际需求进行选择存储的方式。原始数据可以是通过数据导入的方式导入到数据存储库中进行存储。原始数据的数据格式不受限制，可以是加密混淆过的秘文，也可以是其它形式；导入方式不受限制，可从本地数据库中导入，亦可文件导入等方式。
25.此外，本实施例中还可以对导入到数据存储库的原始数据进行检查控制，一般可以包括但不限于缺失值检测、数据类型检测、数据大小检测以及合法合规性检测。本实施例中可以将检查通过的数据送入特征识别模块中进行特征自动识别。
26.本实施例中边缘计算控制系统的特征识别模块120，可以用于对所述原始数据进行特征识别，得到特征数据。本实施例中的特征识别模块可以包括但不限于图片识别算法，指纹识别算法等机器识别技术。本实施例中的特征识别模块还可以建立自动化识别算法，该算法无需人工干预自动选择合适的特征识别算法处理输入的有效数据并能够把数据存储库中的数据投影到数据分析模块中能够识别的数据格式，一般为矩阵或向量。本实施例汇总的特征识别模块对原始数据进行特征识别，以得到特征数据。
27.本实施例中边缘计算控制系统的数据分析模块130，可以用于对所述特征数据进行分析，生成对应的处理策略。本实施例中的数据分析模块可以包包括统计学中所有相关公开数据分析算法（例如相关系数、统计信息、聚类分析等算法）以及自动分析调度算法。数据分析模块可以用于分析包括但不限于特征数据的结构、性质、异常点、缺失值等分析。自动分析调度算法旨在自动为数据特征建立评价标准，可以为数据处理模块选择合适的处理方案，生成对应的处理策略关系表。
28.具体的，数据分析模块的数据分析可以包括分析特征数据属性、相关性（线性、非线性）、统计量（最大、最小值，标准差等）以及概率分布等分析，还可以利用自动化分析的数
值结果为后续计算提供指导。示例性的，如果两个特征数据之间数据数量级相差过大，那么处理策略就会对偏差过大的数据自动选用能够降低大数数量级的算法（log变换等）进行处理；本实施例中的相关性检测可以为后续特征工程选择提供指导；本实施例中的统计特征的概率分布可以为检测离群之提供帮助等。本实施例对于非数值类型数据分析其特征可以为下一步特征数据处理做准备，如分析到类人物性别的数据，则在下一步处理过程中可选择特征编码、one hot进行处理，能够自动化完成数据分析并有效控制下一步操作。本实施例中数据处理模块处理后的特征数据可能会增多，也可能会减少。例如，特征编码经过处理后变成多位的，就会使特征数据增多。
29.本实施例中边缘计算控制系统的数据处理模块140，可以用于按照所述处理策略对所述特征数据进行处理，以得到处理后的特征数据。所述数据处理模块可以根据数据分析模块中选择的处理策略关系表对特征数据进行处理。在特征数据处理过程中，系统可以根据处理策略关系表，从数据处理模块的算法库中逐个搜索，还可以根据当前监控器返回的状态，计算可能的资源消耗，动态分配资源对特征数据进行处理。
30.具体的，本实施例中的数据处理模块可以随着端集成一部分，也可以通过云动态增加或更新，根据数据分析模块的控制指令选择合理恰当的数据处理策略对各特征数据进行处理，处理过程也可以自动完成，无需干预。例如在数据分析模块中检测出特征数据有缺失值，则在数据处理模块中索引到缺失值处理算法对其处理并保存到内存中。本实施例中可以建立一张处理策略对应关系表，针对不同的情况对应一种或多种处理方案。本实施例中的特征数据可以是经过多次不同处理得到的数据。本实施例中可以对每一个特征数据的处理方法也建立一张表，用于保存已处理的方案，以便于后续检验模块对处理后的特征数据进行自动检验。
31.本实施例中边缘计算控制系统的数据检验模块150，可以用于对所述处理后的特征数据进行检验。本实施例中可以对数据处理模块处理后的特征数据进行整合，检验。具体的可以包括处理后的特征数据大小、特征数据的完整性、量纲一致性以及标签正确性等检验操作。
32.在本实施例中，可选的，所述数据检验模块，具体可以用于依据检验条件对所述处理后的特征数据检验是否异常；若检验所述处理后的特征数据异常，则将所述处理后的特征数据返回至数据分析数模块内进行重新分析。
33.本实施例中的数据检验模块可以检验经过处理后的特征数据与数据分析模块的数据进行对比，使其不会丢失原始特性，否则返回到数据分析模块重新迭代分析和处理并记录状态。
34.具体的，本实施例中可以依据对处理后的特征数据大小、特征数据的完整性、量纲一致性以及标签正确性等条件进行检验特征数据是否异常；如果检查出处理后的特征数据异常，则将所述处理后的特征数据返回至数据分析数模块内异常特征数据重新分析直到问题被解决。本实施例中通过数据检验模块检验后，把检验通过的特征数据发送至模型训练模块进行训练。本实施例中可以通过数据检验模块对处理后的特征数据进行检验，以保证数据的保持原始特征。
35.在本实施例中，可选的，所述数据检验模块，还可以用于检验所述处理后的特征数据是否格式一致。
36.本实施例中的数据检验模块可以对处理后的特征数据进行整合检验其对应的处理结果，并检验处理后的特征数据格式是否一致，便于统一格式以便于后续使用。
37.本实施例中边缘计算控制系统的模型训练模块160，可以用于依据系统的资源分配，基于所述处理后的特征数据对选取的模型进行训练。
38.在本实施例中，可选的，所述模型训练模块，具体用于，依据当前系统的资源分配状态，设置阈值执行点，执行对所述处理后的特征数据的选取对应的模型。
39.本实施例中由于不同的系统，不同的设备它们的性能情况都不一样，同样在不同的时间段同一台设备的的资源分配情况也是不同的，因此，需要经过实验数据分析获取不同的阈值范围执行点。阈值执行点可以预先设置好。本实施例中可以依据当前系统的资源分配状态，设置阈值执行点，动态的执行对处理后的特征数据的选取对应的模型。
40.在本实施例中，可选的，所述模型训练模块包括：模型训练单元和算法存储单元；所述算法存储单元用于存储的待训练的算法模型；所述模型训练单元用于从所述算法存储单元中提取算法模型进行训练。
41.本实施例中的模型训练模块可以理解为从算法存储单元中的机器/深度学习算法库找到一个最优的算法模型，模型训练单元从算法存储单元中提取算法模型进行训练；算法存储单元可以包括但不限于samc、蚁群以及遗传等算法；机器/深度学习算法可以包括但不限于svm、决策树、马尔可夫链以及神经网络等算法。本实施例中可以包括所有模型参数的自动寻优过程，超参自学习过程。本实施例中的模型训练模块可以在众多机器学习算法、深度学习算法中学习训练出适合特征数据集的模型。本系统中算法参数可以动态更新，对旧的模型能做到重训练。
42.具体的，本实施例中的模型训练的过程中会对特征数据集完成数据集拆分、超参自学习、数据的交叉验证、参数寻优、模型选择评估过程，执行训练不受限制，过程中也可能会穿插执行。在该模型训练模块中，需要一些控制参数，比如自动化过程执行时间、算法迭代次数以及提前结束执行条件等，条件均可存在默认状态，也可在进入系统提前设定，本实施例的系统可以不受默认值与设定方式的影响。本实施例中在模型训练过程中可以根据当前系统的资源分配情况，动态选择执行时机，并能保证能够断点续连，更便于系统的完整性。
43.在本实施例中，可选的，所述模型训练模块还用于对训练后的模型进行评估；若训练后的模型不符合预设条件，则重新对所述模型进行训练。
44.本实施例在模型训练模块对处理后的特征数据选取的模型进行训练完成后，可以输出适合特征数据的最优算法模型及参数、精度进行模型评估。
45.具体的，本实施例中可以模型训练单元输入的模型和经过拆分后的测试特征数据，对测试特征数据进行评估；预设条件可以理解为评估标准，可以包括但不限于模型精确度、准确度、召回率以及均方根误差等。本实施例中可以根据评估标准来衡量模型的准确度，如果评估精度不符合标准则需要重新对所述模型进行训练，否则可以对模型输入至情景预测模块进行处理。此外，本实施例中还可以使用模型训练模块经过评估验证的模型进行推理，模型训练模块可以对训练过程推理与真实环境推理，模型训练模块还需要把评估后的模型推理结果转换为用户能理解的业务场景。
46.本实施例中可以对训练后的模型进行评估，若不满足预设条件，可以重新进行训
练，进一步提高了模型的精度。
47.在本实施例中，可选的，所述模型训练模块，还用于：若所述处理后的特征数据与历史处理后的特征数据相匹配，则选取所述历史处理后的特征数据对应的模型。
48.本实施例中若处理后的特征数据与数据处理模块保存的历史处理后的特征数据相匹配，可以理解为是同类的特征数据，就可以选取与历史处理后的特征数据对应的模型，就不需要对该处理后的特征数据进行再次训练。示例性的，本实施例中特征数据可以日期信息，在经过处理后选取了对应的模型数据进行保存。若再次导入的特征数据是其他日期信息，则可以直接选择保存过的特征数据对应的模型进行处理。本实施例通过这样的设置，体现了系统的灵活性，更加便捷。
49.在本实施例中，可选的，所述系统还包括分析报告模块，其中，所述分析报告模块与数据模型训练模块连接；所述分析报告模块用于根据对各个模块处理操作进行分析，生成分析报告。
50.本实施例中的分析包括模块可以根据对系统中各个模块处理操作进行分析，生成分析报告。具体的，本实施例中分析报告模块可以主要分析整个系统工作过程中的资源消耗、模型训练以及评估和推理时长等内容，从而生成完整性报告。本实施例中可以根据分析模块生成分析报告，便于基于分析报告来确定情景推断信息。
51.在本实施例中，可选的，所述系统还包括监控器，用于对各个模块进行监控，根据当前系统内存状态选择执行各个模块的操作。
52.本实施例中系统还包括监控器，可以通过监控器对各个模块进行监控，并根据当前系统内存状态，动态的选择很仔细各个模块的操作。
53.具体的，本实施例中监控器可以完整记录本系统的所有过程，开启系统前首先需开启系统资源监测选项，可以包括但不限于当前进程cpu、gpu、内存，系统cpu、gpu、内存，实时监听端侧状态。在系统中根据监控器监控到的当前系统内存的状态选出恰当的执行时机。由于不同系统、不同时间性能表现不同，本实施例中根据系统状态可动态分析设置阈值，比如cpu、gpu、npu等当前状态。本实施例的监控器旨在优化端侧计算，可以充分利用资源，自主选择执行时机。
54.本实施例中可以通过监听器完成对端侧系统状态的监听，能够进行统一高效地管理和决定执行时机，提高了边缘计算系统的灵活性、完整性、严密性、高效性和准确性。
55.在本实施例中，可选的，所述系统还包括，情景预测模块，用于依据所述模型训练模块的评估结果对当前实时环境预测，判断分析报告是否符合当前情景信息。
56.本实施例中系统还包括情景预测模块，可以利用真实用户环境信息，借助模型训练模块推理完成对当前实时环境预测，系统执行的每一个过程都可以通过分析报告模块生成分析报告。本实施例中可以根据分析报告，根据分析报告提示信息来确定是否完成对用户场景的信息推断；如果分析报告不能满足当前场景信息或者用户确认推断错误，则需要根据环境状态对数据特征、模型重新处理。
57.本实施例中的系统结构中，其各种模块以及算法库都可以在不升级系统的情况下动态添加，提高了边缘计算系统的灵活性、完整性、严密性、高效性和准确性。适应了智能端侧发展的未来需求，可持续对数据量日益增长的场景进行有效处理，达到更高级别的智能化水平。
58.实施例二图2是根据本发明实施例二提供的一种边缘计算控制系统的结构示意图。如图2所示，所述系统包括监控器200、数据存储库210、特征识别模块220、数据分析模块230、数据处理模块240、数据检验模块250、模型训练模块260、情景预测模块270以及分析报告模块280；还包括具体的处理过程，数据导入过程、特征识别过程、数据分析过程、数据处理过程、整合检验过程、模型训练过程、模型评估过程、模型推理过程、模型分析过程以及情景推断过程。本实施例中处理过程交错执行，组成强大的端侧计算控制系统。
59.监控器200，通过过程0，其可以完整记录本系统的所有过程，在系统中根据监控器的状态选出恰当的执行时机，旨在优化端侧计算，充分利用资源，自主选择执行时机。
60.数据存储库210可以用于加密数据的存储，数据实例化，数据解析等存储；数据存储可以根据用户选择以数据库、文件、内存等形式，也包括但不限于数据的加密方案、数据实例构建，用户在处理问题中在1中进行选择符合自身要求的处理方案。
61.特征识别模块220，用于对数据存储库中的特征数据进行识别，包括但不限于图片识别算法，指纹识别算法等机器识别技术。同时建立自动化识别算法，该算法无需人工干预自动选择合适的特征识别算法处理输入的有效数据并能够把数据存储库中的数据投影到下一步数据分析控制模块中能够识别的数据格式，一般为矩阵或向量。
62.数据分析模块230，可以包括统计学中所有相关公开数据分析算法（包括相关系数、统计信息、聚类分析等）、自动分析调度算法。数据分析算法库用于分析包括但不限于特征数据的结构、性质、异常点、缺失值等。自动分析调度算法旨在自动为数据特征建立评价标准，为数据处理阶段6、7选择合适的处理方案，生成处理策略关系表。
63.数据处理模块240可以处理4和5过程中选择的处理方法。在这过程中，系统会根据处理策略关系表，从算法库中逐个搜索，根据当前监控器返回的系统各内存的状态，计算可能的资源消耗，动态分配资源对特征进行处理。
64.数据检验模块250，整合检验阶段8整合6和7中的处理结果，并统一格式供10和11 使用。数据检验通过处理的数据与6中处理的数据进行对比，使其不会丢失原始特性，否则返回到过程21重新迭代分析和处理并记录状态。
65.模型训练模块260，模型训练模块包括了模型训练处理过程以及模型评估处理过程。模型训练模块通过处理阶段10后，则为模型训练阶段，该阶段也可以理解为维护一个算法库，旨在从模型训练模块的机器/深度学习算法库找到一个最优的模型，控制器的模型训练的算法库中可以包括但不限于samc、蚁群以及遗传等；机器/深度学习算法可以包括但不限于svm，决策树、马尔可夫链以及神经网络等。在模型训练阶段中包括所有模型参数的自动寻优过程，超参自学习过程。模型训练模块260的处理过程中需要根据当前系统的资源分配情况，动态选择执行时机，并能保证能够断点续连。完成该阶段后进入12与14进行模型评估与模型推理。
66.其中，模型评估与模型推理阶段旨在评估自动化训练控制过程中模型的好坏程度，如果该阶段与自动化模型训练阶段不符或者精度较低，则需要进入22重新进行过程分析，直到完成该阶段的评估为止。
67.情景预测模块270，可以利用真实用户环境信息，借助15模型推理完成对当前实时环境预测；分析报告模块280可以主要分析整个系统工作过程中的资源消耗、模型训练以及
评估和推理时长等内容，从而生成完整性报告。本实施例中可以根据分析模块生成分析报告，便于基于分析报告来确定情景推断信息。本实施例中系统执行的每一个过程都需要进行分析16形成17的分析报告；根据分析报告中的提示信息来确定是否完成对用户场景的信息推断18，如果分析报告不能满足当前场景信息或者用户确认推断错误，则需要进入20根据环境状态对特征数据以及模型重新处理。如果情景推断有问题或者与实际情景不同，则需要进入19重新对数据进行导入阶段。
68.示例性的，自动化完成模型推理过程后，可能推理得到的结果不是用户所想要的，就需要重新进程数据分析模块进行数据处理过程。示例性的，在某一种场景中，通过情景预测模块得到的信息是驾驶员准备回家洗澡，则系统会自动帮助打开家里空调，但用户最终并没有回家，而是去商场了，那这个情景预测的结果就是一个错误的，系统需要根据反馈对数据特征以及模型再重新分析处理。
69.本实施例中可以通过监听器完成对端侧系统状态的监听，能够进行统一高效地管理和决定执行时机，提高了边缘计算系统的灵活性、完整性、严密性、高效性和准确性。
70.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
71.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。