一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

算力确定方法、装置及算力共享系统与流程

2022-05-26 18:44:29 来源:中国专利 TAG:


1.本技术属于资源分配与调度技术领域,尤其涉及一种算力确定方法、装置及算力共享系统。


背景技术:

2.在边缘网络场景下,传统方式仅简单考虑单一因素如内存、cpu、磁盘等资源指标,确定各边缘设备(边缘节点)的算力,以对任务进行资源分配,或对各边缘设备进行任务分配,然而,该方式无法准确得到边缘网络中各边缘设备的实际资源情况,相应无法为边缘网络中的资源分配或任务分配提供高参考价值的决策依据。


技术实现要素:

3.为此,本技术公开如下技术方案:
4.一种算力确定方法,应用于第一电子设备,所述方法包括:
5.获得至少一第二电子设备的资源信息,所述资源信息包括与算力有关的多种资源信息,所述第二电子设备与所述第一电子设备至少具有空间上的关联关系;
6.至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,以基于所述算力确定模型确定目标网络下的算力信息,所述目标网络是所述第一电子设备和所述至少一第二电子设备组成的网络。
7.可选的,所述获得至少一第二电子设备的资源信息,包括:
8.向目标网络下的每一第二电子设备发送握手信号,以通过所述握手信号获得每一第二电子设备的资源信息;或,
9.向目标网络下的第一部分的第二电子设备发送握手信号,以通过所述握手信号获得每一第二电子设备的资源信息,其中,所述第一部分的第二电子设备能够与所述目标网络下的剩余部分的第二电子设备交互,以获得所述剩余部分的第二电子设备的资源信息。
10.可选的,所述获得至少一第二电子设备的资源信息,包括:
11.确定轮询算法和/或轮询周期,按照所述轮询算法和/或所述轮询周期获得所述资源信息;或,
12.基于第二电子设备中的长轮询模型获得所述资源信息。
13.可选的,所述至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,包括:
14.至少对所述资源信息中的属性信息和使用信息进行训练得到所述算力确定模型;或,
15.基于所述资源信息中的属性信息和使用信息对已有的模型进行参数调整,得到所述算力确定模型;
16.其中,所述属性信息至少包括算力资源的类型和标识,所述使用信息至少包括算力资源的使用情况。
17.可选的,至少对所述资源信息中的属性信息和使用信息进行训练得到所述算力确定模型,包括:
18.基于所述属性信息和使用信息将所述资源信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型;或,
19.基于所述属性信息和使用信息以及所述目标网络的网络信息将所述资源信息和所述网络信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型。
20.可选的,上述方法,还包括:
21.响应于获得一目标任务,确定所述目标网络下的算力信息,以基于所述算力信息以对应的分配策略向所述至少一第二电子设备分配目标子任务、以及接收所述目标子任务的执行结果,所述目标子任务是所述目标任务的一部分。
22.可选的,上述方法,还包括:
23.获得每一第二电子设备反馈的针对所述目标子任务的执行结果;
24.至少基于所述目标子任务的信息对所述执行结果进行拼接处理,得到所述目标任务的处理结果;且/或,
25.卸载所述目标任务,以及通知对应的第二电子设备卸载对应的目标子任务。
26.可选的,上述方法,还包括:
27.按照轮询周期基于电子设备的运行变化信息和/或目标网络的网络信息优化所述算力确定模型和/或所述分配策略。
28.一种算力确定装置,应用于第一电子设备,所述装置包括:
29.获取模块,用于获得至少一第二电子设备的资源信息,所述资源信息包括与算力有关的多种资源信息,所述第二电子设备与所述第一电子设备至少具有空间上的关联关系;
30.确定模块,用于至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,以基于所述算力确定模型确定目标网络下的算力信息,所述目标网络是所述第一电子设备和所述至少一第二电子设备组成的网络。
31.一种第一电子设备,包括:
32.存储器,用于至少存储一组指令集;
33.处理器,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集实现如上文任一项所述的算力确定方法。
34.一种算力共享系统,包括第一电子设备及至少一第二电子设备,所述第二电子设备与所述第一电子设备至少具有空间上的关联关系;
35.所述第一电子设备通过执行如上文任一项所述的算力确定方法,确定目标网络下的算力信息,所述目标网络是所述第一电子设备和所述至少一第二电子设备组成的网络。
36.由以上方案可知,本技术公开的算力确定方法、装置及算力共享系统,获得至少一第二电子设备的与算力有关的多种资源信息,至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,以基于算力确定模型确定目标网络(第一电子设备和上述至少一第二电子设备组成的网络)下的算力信息。与传统的简单算力确定方式相比,本技术基于至少一第二电子设备的与算力有关的多种资源信息中的属性信息和使用信息,能更完备的表
征目标网络下各设备节点的资源信息,资源建模维度更为丰富、全面,资源结构更为合理,相应能基于该资源结构更精准地确定目标网络下的算力情况,且本技术通过模型方式进一步提升了目标网络的算力确定准确度。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
38.图1是本技术提供的算力确定方法的一种流程示意图;
39.图2(a)和图2(b)是本技术提供的获得至少一第二电子设备的资源信息的两种不同实现方式示意图;
40.图3是本技术提供的基于异步servlet的http长轮询模型进行资源请求的示意图;
41.图4是构建算力确定模型的处理过程图;
42.图5是本技术提供的算力确定方法的另一种流程示意图;
43.图6是本技术提供的算力确定方法的又一种流程示意图;
44.图7是本技术提供的算力确定方法的再一种流程示意图;
45.图8是本技术提供的第一电子设备的组成结构图。
具体实施方式
46.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
47.本技术公开一种算力确定方法、算力确定装置及算力共享系统,用于通过对边缘网络等算力共享网络中的各设备实际资源进行全方位考察、对网络进行资源结构更合理的资源建模,来提升网络算力信息的确定准确度,进而提升网络中任务分配/资源分配的合理性、均衡性。
48.其中,本技术公开的算力确定方法可应用于第一电子设备,第一电子设备可以是但不限于众多通用或专用的计算装置环境或配置下的设备,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、手机、电子手表、ar/vr设备、多处理器装置等等。本技术方法的一典型应用场景是确定边缘网络等能用于算力共享的网络的算力信息,该应用场景中,第一电子设备相应可以是边缘网络中的某一边缘设备,或者,还可以是独立于边缘网络并需调用边缘网络所提供的算力进行任务协作的设备,如云服务器等;当然本技术公开的技术方案主要应用于边缘网络场景或某一具体的空间内,如家庭空间、办公区域、学校、教室、甚至会议室等不同空间范围的具体空间内,所述具体空间内具有多个能够组成边缘网络的电子设备。
49.边缘网络就近利用周边的一些小算力终端(如,笔记本电脑、手机、平板等)作为边缘设备,来提供高质量的计算服务。边缘网络中的边缘设备/边缘节点相应为构成边缘网络
的各个小算力终端。
50.本技术实施例公开的算力确定方法的处理过程如图1所示,具体包括:
51.步骤101、获得至少一第二电子设备的资源信息,所获得的资源信息包括与算力有关的多种资源信息,第二电子设备与第一电子设备至少具有空间上的关联关系。
52.第二电子设备为能用于提供算力共享服务的设备,如边缘网络中的各个边缘设备。可选的,第二电子设备与第一电子设备至少具有空间上的关联关系,可以是指,第一电子设备和第二电子设备处于同一空间环境内或处于同一局域网对应的网络空间,例如,第一电子设备与第二电子设备属于同一边缘网络、均处于所属的边缘网络对应的网络空间等。
53.第二电子设备与第一电子设备至少具有空间上的关联关系,还可以是指,第一电子设备和第二电子设备未处于同一局域网,但能通过通信网络完成相互间的通信,如第一电子设备为独立于由多个第二电子设备构成的边缘网络的云服务器,并能够借助网关通过通信网络与边缘网络中的小算力终端进行通信交互等。
54.可选的,在一实施方式中,参见图2(a)所示,第一电子设备可向目标网络下的每一第二电子设备发送握手信号,通过握手信号获得每一第二电子设备的资源信息。其中,目标网络是第一电子设备和上述至少一第二电子设备组成的网络,如边缘网络等拓扑网络/局域网络,或由云服务器结合边缘网络构成的通信网络等,目标网络的网络类型视第一电子设备和至少一第二电子设备的空间关联而定。
55.该实施方式中,第一电子设备通过向目标网络下的每一第二电子设备发送握手信号分别建立与每一第二电子设备间的通信连接,并基于通信连接分别收集目标网络下每一第二电子设备的资源信息,可选的,握手信号中携带对第二电子设备的资源请求,每一第二电子设备通过解析并响应握手信号中的资源请求向第一电子设备反馈其资源信息。但不限于此,还可以不在握手信号中携带资源请求,第一电子设备在通过对应的握手信号建立与每一第二电子设备的连接基础上,进一步基于建立的连接向每一第二电子设备发起资源请求,并收集每一第二电子设备通过响应资源请求所反馈的设备自身资源信息。
56.在另一实施方式中,参见图2(b)所示,第一电子设备向目标网络下的第一部分的第二电子设备发送握手信号,以通过握手信号获得每一第二电子设备的资源信息,其中,第一部分的第二电子设备能够与目标网络下的剩余部分的第二电子设备交互,以获得该剩余部分的第二电子设备的资源信息。
57.第一部分的第二电子设备,可以是目标网络下的一个或多于一个的第二电子设备,对此不作限制。该实施方式基于中心节点思想,利用目标网络下能够与目标网络中其他至少部分第二电子设备交互的一个或多个第二电子设备作为网络的中心节点,并基于中心节点功能对目标网络中至少部分非中心节点的第二电子设备资源信息进行收集。第一电子设备作为中心节点(第一电子设备也可以直接通过与作为中心节点的一个或多个第二电子设备进行通信(即第一部分的第二电子设备)),来获取目标网络下每一第二电子设备的资源信息。该实施方式针对第一电子设备为云服务器等远程设备的情况,具备更好的性能优势,可避免云服务器等第一电子设备与边缘网络中所有边缘节点的远程交互,提升了资源信息获取效率,并节省了网络资源。
58.相类似,上述第二种实施方式中,第一电子设备可通过在握手信号中携带资源请
求,来直接获取第一部分的第二电子设备反馈的目标网络下每一第二电子设备的资源信息,或者,也可以不在握手信号中携带资源请求,而是在通过握手信号建立与第一部分的第二电子设备的连接后,通过进一步基于建立的连接向第一部分的第二电子设备发起资源请求,来获取第一部分的第二电子设备反馈的目标网络下每一第二电子设备的资源信息,对此不作限制。
59.可选的,第一电子设备可预先确定轮询算法和/或轮询周期,其中,轮询周期用于指示前后相邻的两次轮询事件之间的时间间隔,如30s、60s等,轮询算法包括对目标网络下至少部分第二电子设备(如,目标网络下的每一第二电子设备,或目标网络下的上述用于作为中心节点的第二设备等)的轮询策略,如至少部分第二电子设备在轮询过程中的访问顺序等,除此之外,轮询算法还可以包括轮询周期,即前后相邻的两次轮询事件之间的时间间隔。在此基础上,按照确定的轮询算法和/或轮询周期获得至少一第二电子设备的资源信息。
60.其中,具体可通过time和threading库实现多线程的设备资源轮询。time和threading是python提供的两个库,time提供获取当前时间等功能,可以用于在指定时间去轮询设备的算力资源情况,threading是python用于支持多线程的编程库,能够让轮询变为多线程执行,以提高效率。
61.另外,可选的,第一电子设备基于第二电子设备中的长轮询模型获得至少一第二电子设备的资源信息。具体的,可利用servlet规范中提供的异步servlet作为服务端(第二电子设备端)的http(hyper text transfer protocol,超文本传输协议)长轮询模型,其中,servlet是用于客户-服务器端之间通信的一种规范化的接口标准,规定了通信中传输的数据格式等,其中包括了异步servlet。
62.基于上述长轮询模型,第一电子设备具体可通过基于异步servlet的长轮询方式对各第二电子设备进行设备主机资源轮询,示例性的,如图3所示,作为请求端的第一电子设备,采用基于异步servlet的http长轮询模型,向作为服务端的相应第二电子设备(目标网络下的每一第二电子设备或作为中心节点的电子设备)请求资源,服务端响应请求抓取自身资源信息,或抓取自身及其他相应第二电子设备的资源信息,然后将抓取的相关资源信息返回给请求端。
63.由于采用异步servlet作为http长轮询模型,从而轮询过程中,可批量向各第二电子设备发起资源请求,而不必阻塞等待,也就是说,轮询过程中,将各个第二电子设备对应的资源请求异步处理,且对于需要异步处理的请求,在完成请求发起后,将第一电子设备中处理该请求的工作线程回收进工作线程池,而不是阻塞在该请求上,以避免因“发起请求-等待第二电子设备获取资源信息后返回”的非异步方式而造成盲等,进而提升获取各第二电子设备的资源信息的效率。
64.图3中各资源主机为不同第二电子设备分别对应的资源主机,资源分配单元部署于第一电子设备端,采集器、监控器在第一电子设备/第二电子设备端以进程/线程方式实现所需功能。
65.第一电子设备获取的每一第二电子设备的资源信息,包括第二电子设备与算力有关的多种资源信息的属性信息和使用信息,其中,属性信息至少包括算力资源的类型和标识,使用信息至少包括算力资源的使用情况相关信息。
66.属性信息中算力资源的类型,包括但不限于处理器资源、磁盘资源、内存资源、寄存器资源等多种与算力相关的资源类型,属性信息中算力资源的标识,包括但不限于硬盘型号、处理器型号等相关标识信息。上述使用信息包括但不限于第二电子设备当前各类型资源的占用率、设备上运行的线程数/进程数、任务数、可用带宽、数据流流量、数据传输速率、拥塞情况信息等中的部分或全部信息。
67.在对边缘设备的实际资源建模过程中,传统的资源建模主要以主机内存、cpu占用率等单一因素表征,资源结构缺乏合理性,无法完备地表征各边缘设备的资源信息。申请人研究发现,算力共享技术的实现,需要对“算力”资源进行全面的分析,才能最大化资源的利用效率,例如,每台资源主机的资源储量、资源类型都存在差异,如果用单一的资源指标衡量各设备的资源特征,显然是缺乏代表性的。鉴于此,本技术实施例通过获取第二电子设备与算力有关的上述多种资源信息的属性信息和使用信息,用于后续的资源建模,来完备的表征目标网络下各设备节点(如各第二电子设备)的资源信息,使资源建模维度更为全面,资源结构更为合理。
68.步骤102、至少基于所获得资源信息中的属性信息和使用信息获得算力确定模型,以基于算力确定模型确定目标网络下的算力信息。
69.第一电子设备至少基于所获得资源信息中的属性信息和使用信息获得算力确定模型,可实现为如下处理中的任意一种:
70.11)至少对所获得资源信息中的属性信息和使用信息进行训练得到算力确定模型;
71.12)基于所获得资源信息中的属性信息和使用信息对已有的模型进行参数调整,得到算力确定模型。
72.这里,已有的模型,即指基于相应模型算法进行训练以得到算力确定模型的训练过程中所得的中间模型,也可以理解为还未达到优化目标/训练目标的算力确定模型。其中,可以但不限于采用强化学习算法进行模型训练,如具体采用强化学习q-learning中的dqn(deep q network)算法训练一“资源数据-算力确定”的dnn(deep neural networks,深度神经网络)模型,以将训练得到的dnn模型作为算力确定模型来最佳求解网络的算力确定问题等。
73.第一电子设备在获得至少一第二电子设备的资源信息时,如果模型处于初始未训练状态,则基于方式11)至少对所获得资源信息中的属性信息和使用信息进行训练,以得到算力确定模型,反之,如果此时历史上已执行过一定的模型训练,模型当前处于未达到优化目标/训练目标的中间状态,则进一步基于方式12),通过利用所获得资源信息中的属性信息和使用信息继续对已有模型进行训练,实现对已有模型的参数(如模型各网络层的权重参数)调整、优化,以得到算力确定模型。
74.其中,第一电子设备至少对所获得资源信息中的属性信息和使用信息进行训练得到算力确定模型的过程,可进一步实现为以下处理中的任意一种:
75.21)基于所述属性信息和使用信息将所述资源信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型;
76.该方式21)中,模型训练所基于的输入数据(样本数据),为获得的各第二电子设备的资源信息,参见图4所示,通过模型训练构建算力确定模型的过程主要包括资源建模、数
据集训练及此基础上基于q-learning的模型调整等过程。
77.其中,资源建模是指,基于获得的至少一第二电子设备的资源信息,对该至少一第二电子设备进行资源建模,具体的,可基于每一第二电子设备资源信息的属性信息和使用信息中的各种参数及指标值,如不同的资源类型、资源标识、不同类型资源的占用率、线程数/进程数、任务数、可用带宽、数据流流量、数据传输速率、拥塞率等等,对应构建每一第二子设备的多维特征向量,并作为第二电子设备的资源模型/资源特征,实现基于所述属性信息和使用信息将所述资源信息构建成对应的多维的特征向量,第二电子设备资源属性信息和使用信息中的每个参数和/或指标值,作为第二电子设备的多维特征向量的一个维度分量。模型训练和/或使用阶段,通过资源建模,可以获知并支持用户查看目标网络整体网络下各个第二电子设备的资源状况/资源特征。
78.申请人发现,算力共享技术中,算力共享网络(如上述目标网络)的设备资源建模技术面临的主要挑战,源于多维资源耦合的复杂网络环境,基于此,本技术实施例在设备的多维特征向量包括上述各单一维度参数/指标的情况下,进一步从“多维资源耦合角度”向目标网络下设备的多维特征向量引入组合维度资源参数/指标,组合维度资源参数/指标是指由多个(如2个、3个等)具有相关性的单一维度资源参数/指标构成的参数/指标组合,包括但不限于“数据流流量-数据传输速率”、“拥塞情况-可用带宽”、“内存占用率-cpu占用率-磁盘占用率”等等。一个多维特征向量包括的组合维度资源参数/指标的数量可以为一个或多个,通过引入组合维度资源参数/指标,来解决多维资源耦合的复杂网络环境中设备节点的资源表征问题,进一步优化资源建模中设备的资源结构。
79.其中,具体可通过统计学中的多元相关性分析方法,确定组合维度资源参数/指标中不同资源参数/指标之间的相关性数值(相关系数),并将确定的相关性数值(相关系数),作为第二电子设备的多维特征向量的一个分量。
80.另外,申请人还发现,不同类型(如,不同操作系统/硬件平台)的设备,因其系统、配置的不同,具备相关性的参数/指标组合可能不同,相同参数/指标组合间的相关程度也可能不同,因此优选的,实际应用中,至少针对不同类型的第二电子设备分别进行参数/指标信息采集,并分别分析其不同参数/指标间是否具备相关性,以及实际的相关性数值。
81.如图4所示,在完成资源建模后,继续基于资源建模所得的目标网络下各第二电子设备的多维特征向量进行模型训练(数据集训练),及此基础上模型参数的调整、优化,其中,目标网络下各第二电子设备的多维特征向量中每一参数/分量均参与基于q-learning的dnn训练,通过多轮训练过程使dnn模型的算力确定结果不断逼近目标网络下各设备的实际算力,直至dnn模型的算力确定结果对目标网络下各设备实际算力的拟合达到设定的拟合条件时,完成模型训练,得到算力确定模型。
82.拟合条件可以但不限于设定为:模型的迭代训练次数达到设定阈值,或模型损失不高于设定损失率。
83.22)基于所述属性信息和使用信息以及所述目标网络的网络信息将所述资源信息和所述网络信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型。
84.方式22)中,模型训练所基于的输入数据,包括各第二电子设备的资源信息以及目标网络的网络信息,该方式在上一方式21)的基础上,从算力共享网络因多维资源耦合导致
的“复杂网络环境”角度,向模型训练时的输入数据引入目标网络的网络信息,相应向所构建的多维特征向量中引入目标网络的网络信息,以此进一步提升算力确定模型的准确度。
85.目标网络的网络信息,包括但不限于目标网络的网络时延、带宽、吞吐量、网络速率以及目标网络的拓扑状态信息等中的部分或全部信息。可选的,具体通过sdn(network defined software,软件定义网络)控制器并利用网络功能虚拟化(network function virtualization,nfv)技术,检测与收集目标网络的网络信息。
86.后续,当存在针对目标网络的任务分配或资源分配需求时,可首先利用算力确定模型确定目标网络下的算力信息,以用于为目标网络下对任务的资源分配或向不同设备节点的任务分配提供决策依据。
87.由以上方案可知,本技术实施例的方法,获得至少一第二电子设备的与算力有关的多种资源信息,至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,以基于算力确定模型确定目标网络(第一电子设备和上述至少一第二电子设备组成的网络)下的算力信息。与传统的简单算力确定方式相比,本技术基于至少一第二电子设备的与算力有关的多种资源信息中的属性信息和使用信息,能更完备的表征目标网络下各设备节点的资源信息,资源建模维度更为丰富、全面,资源结构更为合理,相应能基于该资源结构更精准地确定目标网络下的算力情况,且本技术通过模型方式进一步提升了目标网络的算力确定准确度。
88.在一实施例中,参见图5提供的算力确定方法流程图,本技术公开的算力确定方法在步骤102之后,还可以包括以下处理:
89.步骤103、响应于获得一目标任务,确定目标网络下的算力信息,以基于确定的算力信息以对应的分配策略向至少一第二电子设备分配目标子任务、以及接收目标子任务的执行结果,目标子任务是目标任务的一部分。
90.在通过模型训练得到算力确定模型的基础上,当第一电子设备获得一目标任务,如ai(artificial intelligence,人工智能)模型训练任务、音视频剪辑任务、图像渲染任务等等,相应存在将目标任务分配至目标网络的至少部分第二电子设备进行任务处理时(如单设备处理,或多个设备协作处理等),首先利用算力确定模型确定目标网络下的算力信息。
91.具体的,可采集目标网络下各第二电子设备当前的资源信息,或采集各第二电子设备当前的资源信息及目标网络当前的网络信息,并将采集信息输入算力确定模型,相应得到模型输出的算力确定结果,算力确定结果包括目标网络下各第二电子设备分别对应的算力预测信息,如各第二电子设备各自对应的算力评分值,和/或各第二电子设备各自对应的算力等级等等。
92.之后,根据目标任务的任务信息及目标网络下的算力信息,以目标网络下各设备节点负载均衡为目标,确定对应的任务分配策略。
93.目标任务的任务信息,包括但不限于目标任务的类型、待处理的数据量、任务复杂度、任务速率要求/执行稳定性要求等中的任一种或多种信息。确定的任务分配策略,包括但不限于基于负载均衡确定的是否需将目标任务进行拆解、按怎样的拆分方式拆解成几个目标子任务、每个目标子任务对应分发至目标网络下的哪个节点(即哪个第二电子设备)等等。在此基础上,根据任务分配策略向至少一第二电子设备分配目标子任务,其中,如果任
务分配策略中负责任务处理的第二电子设备数量为一个,则向该一个第二电子设备分配的目标子任务即为目标任务本身。
94.响应于接收到对应的目标子任务,各第二电子设备基于其提供的算力或服务执行对目标子任务的处理,并将处理结果反馈至第一电子设备。
95.步骤104、获得每一第二电子设备反馈的针对所接收目标子任务的执行结果。
96.步骤105、至少基于目标子任务的信息对接收的执行结果进行拼接处理,得到上述目标任务的处理结果。
97.第一电子设备接收到各第二电子设备的执行结果后,至少基于目标子任务的信息对接收的执行结果进行拼接处理。
98.示例性的,目标任务为串流数据,相应可按各个目标子任务的时序对各个目标子任务的执行结果进行拼接处理,得到目标任务的处理结果。
99.在其他实施方式中,目标任务为非串流数据,该实施方式中,按各个执行结果所对应的目标子任务的任务标识/标签,对各个执行结果进行拼接处理,得到目标任务的处理结果。其中,各个执行结果所对应的目标子任务的任务标识/标签之间的关联,表征不同目标子任务之间的逻辑关联,如,序号相邻的标签表征对应的两个目标子任务在目标任务中为逻辑上耦合的两个任务块。通过对各个目标子任务的拼接处理得到目标任务的处理结果。
100.容易理解,如果目标任务由单设备执行,则单个第二电子设备反馈的结果即为目标任务的执行结果,无需拼接处理。
101.除了目标子任务的信息,可选的,还可以但不限于基于设备信息、时间信息、任务信息等任意一种或多种其他信息进行拼接处理,对此不做限制。
102.需要说明的是,第一电子设备可以参与或不参与对目标任务的协作处理,对此不作限制,可视实际情况而定,如果第一电子设备在目标任务执行过程中参与任务协作,则第一电子设备对对应目标子任务的执行结果同样参与拼接处理,如按其对应的时序参与拼接,或按其对应的任务标识/标签参与拼接等。
103.本实施例基于至少一第二电子设备的与算力有关的多种资源信息中的属性信息和使用信息,能更完备的表征目标网络下各设备节点的资源信息,资源建模维度更为丰富、全面,资源结构更为合理,相应能基于该资源结构通过训练得到高预测准确度的算力确定模型,以更精准地确定目标网络下的算力情况,进而使得目标网络下的任务分配或资源分配更为合理、均衡。
104.在一实施例中,参见图6提供的算力确定方法流程图,可选的,本技术公开的算力确定方法在步骤105之后,还可以包括以下处理:
105.步骤106、卸载上述目标任务,以及通知对应的第二电子设备卸载对应的目标子任务。
106.可选的,在得到目标任务的执行结果后,第一电子设备进一步执行对目标任务的卸载操作,包括但不限于从待执行列表中删除任务,以及释放目标任务对应的资源,如释放目标任务的相关任务数据、中间数据所占用的cpu等计算资源,和/或磁盘/内存/寄存器等存储资源。
107.除此之外,第一电子设备还向参与任务协作的各个第二电子设备发送通知信息,各个第二电子设备基于接收的通知信息卸载对应的目标子任务,包括但不限于从待执行列
表中删除对应的目标子任务,以及释放目标子任务对应的资源。
108.本实施例在通过拼接子任务执行结果得到任务的执行结果后,及时在参与协作的各个电子设备上对已协作完成的任务进行卸载,尽可能节省了对各个电子设备的资源占用。
109.在一实施例中,参见图7提供的算力确定方法流程图,可选的,本技术公开的算力确定方法,还可以包括以下处理:
110.步骤107、按照轮询周期基于电子设备的运行变化信息和/或目标网络的网络信息优化所述算力确定模型和/或对目标任务的分配策略。
111.电子设备的运行变化信息,包括参与目标任务的任务协作的电子设备的运行变化信息,如参与协作的第一电子设备的运行变化信息,和/或各个第二电子设备的运行变化信息。
112.本实施例中,第一电子设备在向各第二电子设备分配对应的目标子任务,以由多个设备进行任务协作之后,按照轮询周期检测参与协作的各个设备的运行状态变化,和/或检测目标网络的网络状态。
113.如果检测到参与协作的相应设备发生运行状态变化,和/或目标网络的网络状态发生变化,相应基于电子设备的运行变化信息和/或目标网络的网络信息,优化算力确定模型和/或对目标任务的分配策略,如调整算力确定模型至少部分网络层的网络参数,和/或调整对目标任务的分配策略中协作节点的个数、子任务的任务量以使任务分配适应于当前的变化等等。
114.针对对目标任务分配策略的优化,在一实施方式中,参与协作的第一电子设备的运行状态发生变化,则可根据第一电子设备的运行变化信息,更新目标任务的分配策略。例如,第一电子设备新增对其他任务的执行,导致cpu或内存等资源的资源使用接近上限,此时,可将第一电子设备负责执行的相应目标子任务的部分或全部分发至其他设备。
115.在另一实施方式中,参与任务协作的第二电子设备的运行状态发生变化,相应可根据第二电子设备的运行变化信息,更新目标任务的分配策略。比如,某第二电子设备新增对其他任务的执行导致cpu或内存等资源的资源使用接近上限,则可将第二电子设备负责执行的相应目标子任务的部分或全部分发至其他设备,再比如,某第二电子设备关机、故障或设备异常等,则可将该第二电子设备负责执行的目标子任务迁移至其他设备。
116.具体的,针对第二电子设备关机或严重故障,无法获取其负责的目标子任务的当前进度及当前进度下的任务数据的情况,按该第二电子设备的目标子任务未执行时的初始进度进行子任务迁移;针对第二电子设备异常,但仍能将其负责的目标子任务的当前进度及当前进度下的任务数据同步至第一电子设备的情况,按当前任务进度进行子任务迁移。
117.上述各实施方式中的其他设备,可以是指当前参与第一目标任务的任务协作的相应设备,或目标网络中其他未参与任务协作的第二电子设备。
118.本实施例通过基于电子设备的运行变化信息和/或目标网络的网络信息优化算力确定模型和/或对目标任务的分配策略,实现了基于各协作设备的实际运行变化情况或网络状态对任务协作或算力确定模型进行适应性调整,可进一步保证任务协作的有效执行与稳定性,以及算力确定模型的模型性能。
119.对应于上述的方法,本技术还公开一种算力确定装置,该装置应用于第一电子设
备,该算力确定装置包括:
120.获取模块,用于获得至少一第二电子设备的资源信息,所述资源信息包括与算力有关的多种资源信息,所述第二电子设备与所述第一电子设备至少具有空间上的关联关系;
121.确定模块,用于至少基于所述资源信息中的属性信息和使用信息获得算力确定模型,以基于所述算力确定模型确定目标网络下的算力信息,所述目标网络是所述第一电子设备和所述至少一第二电子设备组成的网络。
122.在一实施方式中,获取模块,具体用于:
123.向目标网络下的每一第二电子设备发送握手信号,以通过所述握手信号获得每一第二电子设备的资源信息;或,
124.向目标网络下的第一部分的第二电子设备发送握手信号,以通过所述握手信号获得每一第二电子设备的资源信息,其中,所述第一部分的第二电子设备能够与所述目标网络下的剩余部分的第二电子设备交互,以获得所述剩余部分的第二电子设备的资源信息。
125.在一实施方式中,获取模块,具体用于:
126.确定轮询算法和/或轮询周期,按照所述轮询算法和/或所述轮询周期获得所述资源信息;或,
127.基于第二电子设备中的长轮询模型获得所述资源信息。
128.在一实施方式中,确定模块,在至少基于所述资源信息中的属性信息和使用信息获得算力确定模型时,具体用于:
129.至少对所述资源信息中的属性信息和使用信息进行训练得到所述算力确定模型;或,
130.基于所述资源信息中的属性信息和使用信息对已有的模型进行参数调整,得到所述算力确定模型;
131.其中,所述属性信息至少包括算力资源的类型和标识,所述使用信息至少包括算力资源的使用情况。
132.在一实施方式中,确定模块,在至少对所述资源信息中的属性信息和使用信息进行训练得到所述算力确定模型时,具体用于:
133.基于所述属性信息和使用信息将所述资源信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型;或,
134.基于所述属性信息和使用信息以及所述目标网络的网络信息将所述资源信息和所述网络信息构建成一个多维的特征向量,基于所述多维特征向量得到能够确定目标网络下的算力信息的算力确定模型。
135.在一实施方式中,上述装置还包括:
136.任务收发模块,用于响应于获得一目标任务,确定所述目标网络下的算力信息,以基于所述算力信息以对应的分配策略向所述至少一第二电子设备分配目标子任务、以及接收所述目标子任务的执行结果,所述目标子任务是所述目标任务的一部分。
137.在一实施方式中,上述装置还包括:
138.拼接模块,用于获得每一第二电子设备反馈的针对所述目标子任务的执行结果;至少基于所述目标子任务的信息对所述执行结果进行拼接处理,得到所述目标任务的处理
结果;且/或,
139.卸载模块,用于卸载所述目标任务,以及通知对应的第二电子设备卸载对应的目标子任务。
140.在一实施方式中,上述装置还包括:
141.优化模块,用于按照轮询周期基于电子设备的运行变化信息和/或目标网络的网络信息优化所述算力确定模型和/或所述分配策略。
142.本技术实施例还公开一种第一电子设备,可以是但不限于众多通用或专用的计算装置环境或配置下的设备,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置等等。
143.第一电子设备的组成结构,如图8所示,至少包括:
144.存储器10,用于存放计算机指令集;
145.计算机指令集可以通过计算机程序的形式实现。
146.处理器20,用于通过执行计算机指令集,实现如上文任一方法实施例公开的算力确定方法。
147.处理器20可以为中央处理器(central processing unit,cpu),特定应用集成电路(application-specific integrated circuit,asic),数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件等。
148.除此之外,第一电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
149.通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等,该通信总线可以分为地址总线、数据总线、控制总线等。
150.另外,本技术实施例还公开一种算力共享系统,包括第一电子设备及至少一第二电子设备,第二电子设备与第一电子设备至少具有空间上的关联关系;
151.其中,第一电子设备通过执行如上述任一方法实施例公开的算力确定方法,确定目标网络下的算力信息,以进行目标网络下的任务分配或资源分配,目标网络是第一电子设备和上述至少一第二电子设备组成的网络。
152.关于第一电子设备、第二电子设备及两者各自的功能或处理,可参见上文各实施例的说明,这里不再详述。
153.需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
154.为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
155.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例或者实施例的某些
部分所述的方法。
156.最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
157.以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献