异构网络中数据访问方法、装置及相关产品与流程

1.本技术涉及异构技术领域，特别是涉及一种异构网络中数据访问方法、装置及相关产品。


背景技术：

2.随着云计算领域技术的不断发展，各种云平台产品也不断丰富，不同的云服务厂商在私有云，公有云，社区云领域都推出自己的基础社区云平台产品。随着选择越来越多，越来越多的云计算用户也将自身业务部署到不同的云平台之上，呈现混合云，多云部署的发展趋势。但是，多云部署增加了数据访问的难度。


技术实现要素：

3.基于上述问题，本技术实施例提供了一种异构网络中数据访问方法、装置及相关产品。
4.本技术实施例公开了如下技术方案：
5.一种异构网络中数据访问方法，其括：
6.获取异构网络中的数据访问请求，以生成数据访问子任务；
7.确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池；
8.计算所述资源池中每个数据节点的分流指标值；
9.建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；
10.汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
11.可选地，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：通过设置的定时轮询接口，按照设定的轮询时间范围获取异构网络中的数据访问请求，以生成数据访问子任务。
12.可选地，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：将获取到的异构网络中的数据访问请求添加到预先创建的请求队列中，并按照数据访问请求的优先级进行对请求队列中的数据访问请求进行排序，以按照排序的先后分配响应的优先级。
13.可选地，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
14.可选地，所述根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务，包括：基于设定的异步切分器，根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
15.可选地，所述确定所述异构网络中可响应所述数据访问请求的数据节点，并基于
确定出的数据节点形成资源池，包括：
16.获取异构网络中有空闲资源的数据节点，并对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计，以从中确定出所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池。
17.可选地，所述计算所述资源池中每个数据节点的分流指标值，包括：
18.基于最短延迟任务响应评价值、各个数据节点的连接稳定性评价值以及资源有效性评价值，计算所述资源池中每个数据节点的分流指标值。
19.可选地，所述建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应，包括：
20.以所述数据访问请求为根节点、所述数据节点为树结构的分叉节点，所述有索引关系的子任务为叶子节点，建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应。
21.可选地，所述汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应，包括：以所述叶子节点作为分叉节点，将对应的响应结果作为所述叶子节点的再次叶子节点，以将所述树结果转换为响应结果树，基于所述响应结果树，汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
22.一种异构网络中数据访问装置，其包括：
23.第一处理单元，用于获取异构网络中的数据访问请求，以生成数据访问子任务；
24.第二处理单元，用于确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池；
25.第三处理单元，用于计算所述资源池中每个数据节点的分流指标值；
26.第四处理单元，用于建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；
27.第五处理单元，用于汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
28.可选地，所述第一处理单元具体用于：通过设置的定时轮询接口，按照设定的轮询时间范围获取异构网络中的数据访问请求，以生成数据访问子任务。
29.可选地，所述第一处理单元具体用于：将获取到的异构网络中的数据访问请求添加到预先创建的请求队列中，并按照数据访问请求的优先级进行对请求队列中的数据访问请求进行排序，以按照排序的先后分配响应的优先级。
30.可选地，所述第一处理单元具体用于：根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
31.可选地，所述第一处理单元具体用于：基于设定的异步切分器，根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
32.可选地，所述第二处理单元具体用于：
33.获取异构网络中有空闲资源的数据节点，并对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计，以从中确定出所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池。
34.可选地，所述第三处理单元具体用于：
35.基于最短延迟任务响应评价值、各个数据节点的连接稳定性评价值以及资源有效性评价值，计算所述资源池中每个数据节点的分流指标值。
36.可选地，所述第四处理单元具体用于：
37.以所述数据访问请求为根节点、所述数据节点为树结构的分叉节点，所述有索引关系的子任务为叶子节点，建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应。
38.可选地，所述第五处理单元具体用于：以所述叶子节点作为分叉节点，将对应的响应结果作为所述叶子节点的再次叶子节点，以将所述树结果转换为响应结果树，基于所述响应结果树，汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
39.一种电子设备，其包括：存储器以及处理器，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术实施例任一项所述的方法。
40.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术实施例任一项所述的方法。
41.本技术实施例中，获取异构网络中的数据访问请求，以生成数据访问子任务；确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池；计算所述资源池中每个数据节点的分流指标值；建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应，降低了异构网络中数据访问的难度。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例一种异构网络中数据访问方法的流程示意图；
44.图2为本技术实施例一种异构网络中数据访问装置的结构示意图；
45.图3为本技术实施例电子设备结构示意图；
46.图4为本技术实施例电子设备的硬件结构示意图。
具体实施方式
47.实施本技术实施例的任一技术方案必不一定需要同时达到以上的所有优点。
48.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本技术实施例中，获取异构网络中的数据访问请求，以生成数据访问子任务；确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源
池；计算所述资源池中每个数据节点的分流指标值；建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应，降低了异构网络中数据访问的难度。
50.本技术下述实施例中，所述方法的执行主体的可以为服务器。
51.图1为本技术实施例一种异构网络中数据访问方法的流程示意图；
52.如图1所示，其包括：
53.s101、获取异构网络中的数据访问请求，以生成数据访问子任务；
54.可选地，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：通过设置的定时轮询接口，按照设定的轮询时间范围获取异构网络中的数据访问请求，以生成数据访问子任务。
55.本实施例中，所述定时轮询接口直接作为api接口，以快速简单的实现数据访问请求的获取，以生成数据访问子任务。
56.本实施例中，轮询时间范围可以根据应用场景的需求灵活设置。
57.本实施例中，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：将获取到的异构网络中的数据访问请求添加到预先创建的请求队列中，并按照数据访问请求的优先级进行对请求队列中的数据访问请求进行排序，以按照排序的先后分配响应的优先级。
58.为此，通过请求队列实现了对数据访问请求的管理，尤其可以是优先级的管理，从而可以根据异构网络的实时情况，动态地调整数据访问请求的响应优先级，从而提高了数据访问的泛化性能和实时性，避免出现数据访问被误拒绝。
59.可选地，所述获取异构网络中的数据访问请求，以生成数据访问子任务，包括：根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
60.具体地，所述根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务，包括：基于设定的异步切分器，根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
61.具体地，本实施例中，所述异步切分器可以根据数据访问请求在请求队列的优先级逐一进行切分，为此，异步切分器切分的粒度为单个数据访问请求，而在对单个数据访问请求进行切分时，是以设定的任务切分步长为粒度进行切分，从而保证了切分时的准确度和效率。
62.本实施例中，具体地，可以基于将所述单个数据访问请求分配到多个线程上进行执行，以实现切分。
63.s102、确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池；
64.本实施例中，所述确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池，包括：
65.获取异构网络中有空闲资源的数据节点，并对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计，以从中确定出所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池。
66.本实施例中，可以对应异构网络中所有的数据节点进行监控，以实时判断异构网络中有空闲资源的数据节点。
67.本实施例中，对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计时，可以以数据节点为键值对中的key，而历史能耗和响应时间作为键值对中的value，从而实现了所述空闲的数据资源的数据节点的便捷管理，在对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计时，快速地从对应的键值对中获取要用的历史能耗和响应时间即可。
68.具体地，从中确定出所述异构网络中可响应所述数据访问请求的数据节点，比如，将历史能耗和响应时间的平均值均大于对应设定阈值的数据节点作为可响应所述数据访问请求的数据节点。
69.s103、计算所述资源池中每个数据节点的分流指标值；
70.本实施例中，所述计算所述资源池中每个数据节点的分流指标值，包括：基于最短延迟任务响应评价值、各个数据节点的连接稳定性评价值以及资源有效性评价值，计算所述资源池中每个数据节点的分流指标值。
71.具体地，可以最短延迟任务响应评价值、各个数据节点的连接稳定性评价值以及资源有效性评价值分配不同的权重，通过权重和对应的评价值进行乘积再求和，从而得到每个数据节点的分流指标值，值越大，则分流性能越好，即越能满足执行子任务的需求。
72.s104、建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；
73.本实施例中，所述建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应，包括：以所述数据访问请求为根节点、所述数据节点为树结构的分叉节点，所述有索引关系的子任务为叶子节点，建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应。
74.本实施例中，通过所述树结构，实现了数据节点和子任务之间对应关系的快速构建，在后续进行子任务执行时，基于树结构可快速地实施，提高了方案执行的效率。
75.s105、汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
76.本实施例中，所述汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应，包括：以所述叶子节点作为分叉节点，将对应的响应结果作为所述叶子节点的再次叶子节点，以将所述树结果转换为响应结果树，基于所述响应结果树，汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
77.本实施例中，在上述步骤s103中的树结构基础上，进一步生成了响应结果树，简化了算法设计的难度，同时提高了执行步骤s103的速度和降低了算法执行的难度。
78.图2为本技术实施例一种异构网络中数据访问装置的结构示意图；
79.如图2所示，其包括：
80.第一处理单元，用于获取异构网络中的数据访问请求，以生成数据访问子任务；
81.第二处理单元，用于确定所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池；
82.第三处理单元，用于计算所述资源池中每个数据节点的分流指标值；
83.第四处理单元，用于建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应；
84.第五处理单元，用于汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
85.可选地，所述第一处理单元具体用于：通过设置的定时轮询接口，按照设定的轮询时间范围获取异构网络中的数据访问请求，以生成数据访问子任务。
86.可选地，所述第一处理单元具体用于：将获取到的异构网络中的数据访问请求添加到预先创建的请求队列中，并按照数据访问请求的优先级进行对请求队列中的数据访问请求进行排序，以按照排序的先后分配响应的优先级。
87.可选地，所述第一处理单元可以包括：
88.添加单元，用于将获取到的异构网络中的数据访问请求添加到预先创建的请求队列中；
89.排序单元，用于按照数据访问请求的优先级进行对请求队列中的数据访问请求进行排序，以按照排序的先后分配响应的优先级。
90.可选地，所述第一处理单元具体用于：根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
91.可选地，所述第一处理单元具体用于：基于设定的异步切分器，根据设定的任务切分步长，对数据访问请求进行切分，以生成数据访问子任务。
92.可选地，所述第二处理单元具体用于：
93.获取异构网络中有空闲资源的数据节点，并对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计，以从中确定出所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池。
94.可选地，所述第二处理单元具体包括：
95.统计单元，用于获取异构网络中有空闲资源的数据节点，并对所述空闲的数据资源的数据节点进行历史能耗和响应时间的统计；
96.选择单元，用于从中确定出所述异构网络中可响应所述数据访问请求的数据节点，并基于确定出的数据节点形成资源池。
97.可选地，所述第三处理单元具体用于：
98.基于最短延迟任务响应评价值、各个数据节点的连接稳定性评价值以及资源有效性评价值，计算所述资源池中每个数据节点的分流指标值。
99.可选地，所述第四处理单元具体用于：
100.以所述数据访问请求为根节点、所述数据节点为树结构的分叉节点，所述有索引关系的子任务为叶子节点，建立数据节点和子任务之间的索引关系，以基于所述索引关系，使得每个数据访问子任务以被至少一个数据节点响应。
101.可选地，所述第四处理单元具体包括：
102.索引建立单元，用于以所述数据访问请求为根节点、所述数据节点为树结构的分叉节点，所述有索引关系的子任务为叶子节点，建立数据节点和子任务之间的索引关系；
103.响应使能单元，用于以基于所述索引关系，使得每个数据访问子任务以被至少一
个数据节点响应。
104.可选地，所述第五处理单元具体用于：以所述叶子节点作为分叉节点，将对应的响应结果作为所述叶子节点的再次叶子节点，以将所述树结果转换为响应结果树，基于所述响应结果树，汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
105.可选地，所述第五处理单元具体包括：
106.节点扩展单元，用于以所述叶子节点作为分叉节点，将对应的响应结果作为所述叶子节点的再次叶子节点，以将所述树结果转换为响应结果树；
107.汇总单元，用于基于所述响应结果树，汇总所有数据访问子任务的响应结果，以拼接形成针对所述数据访问请求的响应。
108.本技术实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术实施例任一项所述的方法。
109.本技术实施例还提供一种计算机程序产品，所述计算机程序产品上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术实施例任一项所述的方法。
110.图3为本技术实施例电子设备结构示意图；如图3所示，其包括：存储器301以及处理器302，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术任一实施例所述的方法。
111.图4为本技术实施例电子设备的硬件结构示意图；如图4所示，该电子设备的硬件结构可以包括：处理器401，通信接口402，计算机可读介质403和通信总线404；
112.其中，处理器401、通信接口402、计算机可读介质403通过通信总线404完成相互间的通信；
113.可选的，通信接口402可以为通信模块的接口，如gsm模块的接口；
114.其中，处理器401具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
115.处理器401可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
116.本技术实施例的电子设备以多种形式存在，包括但不限于:
117.(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
118.(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
119.(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
120.(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能
力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
121.(5)其他具有数据交互功能的电子装置。
122.需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
123.上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的校验码生成方法。此外，当通用计算机访问用于实现在此示出的校验码生成方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的校验码生成方法的专用计算机。
124.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
125.以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。