一种跨云平台的终端数据服务方法及系统与流程
本发明涉及终端数据服务,具体为一种跨云平台的终端数据服务方法及系统。
背景技术:
1、随着云计算技术的快速普及与多云部署策略的广泛应用,各类终端设备如物联网传感器、移动智能终端、工业采集节点等所产生的海量数据,需要被高效上传、存储并在多个云平台之间实现共享与调度;
2、目前,一种常见的跨云数据服务架构是部署统一的调度存储平台,各终端设备将数据上传至该平台进行集中存储与管理,调度存储平台与多个云平台相对接,作为数据流转的中枢,负责根据各云平台的业务需求将终端数据分发给相应的云平台,以支撑其上层业务应用或计算任务的运行;
3、在多云共享场景下,当某个终端设备的数据被多个云平台频繁需求时,现有技术通常采用将该终端数据挂载至共享数据平台的方式,供各云平台通过网络挂载协议如nfs、cifs或对象存储挂载进行拉取,该挂载数据的生命周期通常延续至所有已注册的需求平台完成数据消费为止,期间数据内容保持不变,不会因任何外部处理而更新;
4、然而,上述挂载共享机制在实际应用中,由于挂载数据的静态性与各云平台业务处理的动态性之间缺乏有效协同,各云平台在拉取挂载的原始数据后,会根据自身业务逻辑对其进行处理,例如执行数据过滤、格式规范化、维度对齐、特征计算、语义标注等操作,以形成符合自身业务所需形态的数据集,这些处理过程是针对特定需求平台业务场景定制的,因此处理后的数据通常更贴合该需求平台的内部数据模型和接口规范,但并不意味着这些数据对后续其他需求平台不具有更高的适用性,不同云平台的业务背景、数据使用方式和质量要求可能会相同,加工后的数据可能更易于某些需求平台进行自主加工,然而,现有技术中,先完成数据消费的云平台所产出的处理结果,并不会被反馈或回写至共享挂载点,后需求该终端数据的云平台仍只能获取原始的、未经任何业务加工的数据,不得不重复执行相似甚至相同的预处理步骤,造成计算资源与存储带宽的浪费;
5、且在多云环境中,各云平台对同一终端数据的需求时刻存在先后顺序,这种天然的时间差为共享数据的优化提供了潜在机会,具体而言,较早获取数据的云平台已经完成了特定业务处理,其处理结果中可能包含若干通用性较强的中间环节例如数据去重、异常值剔除、统一单位换算等,这些中间结果对于后续需求平台而言具有一定的参考价值,即使不能完全替代其完整的业务处理流程,至少可以减少部分重复劳动,但是,目前的技术方案中,挂载数据在其整个生命周期内保持原始静态状态,无法利用先到需求平台的处理成果来对挂载数据进行更新或增补,使得共享数据始终停留在初始原始形态,无法随着被消费次数的增加而逐步积累有价值的处理信息,进而降低后续需求平台的数据获取与处理成本;
6、为了解决上述问题,本发明提出了一种解决方案。
技术实现思路
1、本发明的目的在于提供一种跨云平台的终端数据服务方法及系统,为了解决上述背景技术中提出的问题。
2、本发明提供了一种跨云平台的终端数据服务方法,包括以下步骤:
3、步骤一、数据统筹模块每接收到任一授信终端设备按照其预设的采集周期采集到的终端数据后对所述终端数据进行是否需要挂载共享判定,判定过程中若判定需要挂载共享,同步生成所述终端数据的需求对象数据,所述需求对象数据内包含若干需求平台及其对应的需求业务项和需求周期;
4、步骤二、挂载共享平台每接收到任一授信终端设备的任一条终端数据及其需求对象数据后根据所述需求对象数据按照所述授信终端设备的预设的挂载共享规则对所述终端数据进行挂载共享,其中任一终端数据在被挂载共享期间,其的挂载状态为有效挂载;
5、步骤三、跟踪采集模块实时监测挂载共享平台内每一个挂载状态为有效挂载的终端数据,针对任一挂载状态为有效挂载的终端数据,所述终端数据每被任一需求平台拉取一次,生成所述终端数据此次拉取的拉取跟踪数据并对其进行存储,其中任一需求平台拉取所述终端数据后会按照预设的加工处理规则对其进行加工处理输出对应的加工处理数据;
6、步骤四、数据分析模块在跟踪采集模块内存储任一授信终端设备的所有终端数据的拉取跟踪数据的数量达到预设的固定数量后对存储的所述授信终端设备的所有终端数据的所有条拉取跟踪数据进行分析,确定所述授信终端设备的所有需求集合;
7、步骤五、挂载共享平台在接收到任一授信终端设备的所有需求集合后,后续接收到的所述授信终端设备的任一条终端数据及其需求对象数据后对所述终端数据的挂载共享过程进行优化,优化过程中向所述需求对象数据内的所有需求平台开放拉取权限,并在若干需求平台对所述终端数据进行加工处理输出对应加工处理数据后对其进行获取,根据获取到的所有加工处理数据向若干需求平台开放拉取权限。
8、进一步的,步骤一中,各授信终端设备每间隔一个对应预设的采集周期进行一次终端数据采集,并即时传输到数据统筹模块中进行存储,数据统筹模块内还预存储有若干授信终端设备的所有需求平台,以及各授信终端设备的所有需求平台内部署的所有需求业务项的需求周期,其中,需求平台是从各授信云平台中确定出的,需求业务项是在授信云平台被确定为需求平台后从其内部署的所有业务项中确定出来的。
9、进一步的,步骤一中,对所述终端数据进行是否需要挂载共享判定的内容如下:
10、获取所述终端数据对应的授信终端设备的预设的采集周期,同步获取存储的所述授信终端设备的所有需求平台,以及所述授信终端设备相对其的所有需求平台内部署的所有需求业务项的需求周期;
11、根据所述采集周期以及所述所有需求平台内部署的所有需求业务项的需求周期确定需要拉取所述终端数据的所有需求平台和需求业务项,统计需要拉取所述终端数据的需求平台的总数量,若确定的所述总数量大于等于预设的需求数量阈值,则判定所述终端数据需要被挂载共享,此时根据确定的所述所有需求平台、需求业务项和需求业务项的需求周期生成所述终端数据的需求对象数据,反之则判定所述终端数据不需要被挂载共享,此时向所述所有需要拉取所述终端数据的需求平台发起直接拉取指令,对应需求平台接收到直接拉取指令后从所述数据统筹模块直接拉取所述终端数据。
12、进一步的,步骤二中,对所述终端数据进行挂载共享的挂载共享规则如下:
13、根据所述需求对象数据内所有需求平台、需求业务项和需求业务项的需求周期向所有需求平台开放所述终端数据的拉取权限,并从所述所有需求业务项的需求周期内选定数值最大的需求周期的周期时长作为所述终端数据的有效挂载共享时长,从所述终端数据被挂载共享的时刻开始,经过所述有效挂载共享时长后,将所述终端数据的挂载状态变更为无效挂载,所述终端数据自动被取消挂载共享,其中,向任一需求平台开放所述终端数据的拉取权限后,所述需求平台可直接从挂载共享平台拉取所述终端数据。
14、进一步的,步骤三中,获取所述终端数据一次拉取的拉取跟踪数据的内容如下:
15、获取此次拉取所述终端数据的需求平台和需求业务项,并在所述需求平台按照所述需求业务项基于所述终端数据的预设的加工处理规则对所述终端数据进行加工处理完毕输出所述终端数据的加工处理数据后,对所述加工处理数据、加工处理时长以及此次拉取的拉取时刻进行获取,根据获取到的所述加工处理数据以及加工处理时长、所述拉取时刻、所述需求平台和所述需求业务项生成所述终端数据一次拉取的拉取跟踪数据。
16、进一步的,生成任一授信终端设备的所有需求集合的内容如下:
17、s11: 按照存储的先后顺序将数据分析模块内存储的所述授信终端设备的终端数据依次标记为a1、a2、...、aa,a≥1;
18、s12:从跟踪采集模块内获取终端数据a1的所有条拉取跟踪数据并对其进行数据提取,提取过程中,每从一条拉取跟踪数据内提取出需求平台和需求业务项,将所述需求平台作为键,将所述需求业务项作为值,构建所述拉取跟踪数据对应的需求字典,将构建的所述所有拉取跟踪数据对应的需求字典统一添加入一个空的集合当中,得到终端数据a1的需求集合;
19、s13:按照s12分别获取终端数据a2、a3、...、aa的需求集合,对终端数据a1、a2、...、aa的需求集合进行去重,将去重后剩余的所有需求集合分别标记为c1、c2、...、cc,c≥1;
20、s14:对终端数据a1、a2、...、aa的需求集合进行遍历,获取其中对应与需求集合c1相一致的需求集合的所有终端数据并对其进行重新标记,分别标记为d1、d2、...、dd,1≤d≤a;
21、s15:对需求集合c1进行一次复制,得到需求集合c1的一个副本集合,并根据终端数据d1的所有条拉取跟踪数据及其对应的需求字典对所述副本集合内所有需求字典进行数据绑定;
22、s16:再次对需求集合c1进行d-1次复制,得到需求集合c1的d-1个副本集合,按照s15分别根据终端数据d2、d3、...、dd对d-1个副本集合进行数据绑定;
23、s17:按照预设的筛选绑定规则首先确定需求集合c1内需要进行数据绑定的所有需求字典,并筛选得到对应应绑定的依赖需求集合,筛选完毕后对需求集合c1内对应需求字典进行数据绑定;
24、s18:按照s13到s17分别对需求集合c2、c3、...、cc内若干需求字典进行数据绑定,并将已完成数据绑定的所有需求集合传输到挂载共享平台进行存储。
25、进一步的,s15中,对所述副本集合内所有需求字典进行数据绑定的具体内容如下:
26、ss21:按照存储入的先后顺序从先往后将终端数据d1的所有次拉取的拉取跟踪数据依次标记e1、e2、...、ee,e为终端数据d1的挂载状态为有效时被拉取的总次数;
27、ss22:依次从拉取跟踪数据e1、e2、...、ee中提取出加工处理数据,对应标记为f1、f2、...、fe;
28、ss23:创建加工处理数据f1的不可转换变量g1,初始的不可转换变量g1的值为0;
29、将加工处理数据f1选定为转换源,根据加工处理数据f2选定是对所述转换源进行一次预设的增益向判定,还是对不可转换变量g1的值进行自增1操作,其中,若选定对所述转换源执行一次预设的拉取增益向判定,且在判定完毕后判定拉取增益向为正向,则将拉取跟踪数据f2对应的需求字典选定为拉取跟踪数据f1的需求字典的附属需求字典;
30、ss24:按照ss23分别根据加工处理数据f3、f4、...、fe选定是对所述转换源进行一次预设的增益向判定,还是对不可转换变量g1的值进行自增1操作,并在所有执行完毕后获取选定为拉取跟踪数据f1对应的需求字典的所有附属需求字典,将其统一划归入一个空的集合中得到拉取跟踪数据f1对应的需求字典的附属需求集合;
31、ss25:在ss24步骤执行完毕后,获取此时不可转换变量g1的值j1,统计步骤ss24执行完毕后判定拉取增益向分别为正、负向的数量j2、j3;
32、利用公式计算获取拉取跟踪数据e1对应的需求字典相对终端数据d1的绑定倾向指数k1,将所述绑定倾向指数k1与所述副本集合中与拉取跟踪数据e1对应的需求字典相一致的需求字典进行关联绑定,同步将所述需求字典与拉取跟踪数据e1对应的附属需求集合进行关联绑定,n为总判定次数,为j1、j2、j3的和,ɑ1、ɑ2、ɑ3分别为预设的变量占比系数、正、负向向占比系数;
33、ss26:分别创建加工处理数据f2、f3、...、fe的不可转换变量,分别将加工处理数据f2、f3、...、fe选定为转换源,按照ss21到ss25分别对所述副本集合中所有需求字典进行数据绑定。
34、进一步的,ss23中,根据加工处理数据f2选定是对所述转换源执行一次预设的增益向判定还是对不可转换变量g1的值执行自增1操作的内容具体如下:
35、将加工处理数据f2选定为所述转换源的目标源,分别获取包含转换源与目标源的拉取跟踪数据即拉取跟踪数据e1、e2对应的需求字典,将获取到的两个需求字典作为检索条件在数据分析模块内检索是否预存储有一个转换列表,其内索引为0、1的转换字典分别与拉取跟踪数据e1、e2对应的需求字典相一致,若存在,则选定对转换源进行一次预设的拉取增益向判定,若不存在,则选定对不可转换变量g1的值执行自增1操作;
36、其中,若选定对所述转换源执行一次预设的拉取增益向判定,则执行对其的拉取增益向判定,判定内容如下:
37、获取数据分析模块内预存储的所述转换列表对应的转换规则,将转换源按照所述转换规则进行转换,并在转换完毕后获取转换源相对目标源的转换时长即加工处理数据f1转换为加工处理数据f2的转换时长h2;
38、利用公式i1=h1+h2-(h3+h4)-p1计算获取转换源相对目标源的拉取增益值i1,式中h1为包含转换源的拉取跟踪数据内的加工处理时长,h3为拉取跟踪数据e1、e2内的拉取时刻作差的绝对值得到的拉取间隔时长,h4为拉取跟踪数据e1内的加工处理时长,p1为预设的时长补偿常数;
39、若i1≥0,判定转换源相对目标源的拉取增益向为正向,将拉取跟踪数据f2对应的需求字典选定为拉取跟踪数据f1的附属需求字典,反之,则不做任何处理。
40、进一步的,s17中,对需求集合c1内若干需求字典进行数据绑定的内容如下:
41、ss31:将需求集合c1内包含的所有需求字典分别标记为l1、l2、...、ll,l≥1,l为需求集合c1内需求字典的总数量;
42、ss32:在需求集合c1的d个副本集合数据绑定完毕后,获取d个副本集合内与需求字典l1进行关联绑定的绑定倾向指数,采用离散点过滤算法计算获取到的所有绑定倾向指数进行数据处理,获取经过数据处理后剩余的所有绑定倾向指数的平均值,将所述平均值作为需求字典l1的挂载对等均值;
43、ss33:将所述挂载对等均值与预设的挂载对等阈值进行大小比较判定,若所述挂载对等均值≥所述挂载对等阈值,则确定需求字典l1需要进行数据绑定,此时分别获取d个副本集合内与需求字典l1进行关联绑定的附属需求集合,共获得d个附属需求集合;统计这d个附属需求集合中每个附属需求字典出现的次数,计算每个附属需求字典的出现次数与d的占比值;
44、将各附属需求字典的占比值与预设比例阈值逐一进行大小比较,保留所有占比值≥预设比例阈值的附属需求字典,将所有被保留的附属需求字典归入一个空集合中,将该集合作为需求字典l1对应应绑定的依赖需求集合在需求集合c1内与需求字典l1进行数据绑定;
45、反之若所述挂载对等均值<所述挂载对等阈值,则不做任何处理;
46、ss34:按照ss31到ss33分别对需求集合c1内需求字典l2、l3、...、ll确定是否需要进行数据绑定,并基于确定结果对需求集合c1内若干需求字典进行数据绑定。
47、一种跨云平台的终端数据服务系统,其特征在于,包括:
48、数据统筹模块,用于接收并存储各授信终端设备周期性回传的终端数据,具体的,各授信终端设备每间隔一个对应预设的采集周期进行一次终端数据采集,并即时传输到数据统筹模块;
49、数据统筹模块,也用于在接收到各授信终端设备周期性回传的终端数据后对所述终端数据进行是否需要挂载共享判定,其中,所述授信终端设备指代的是,经过系统身份认证与权限校验、被授权接入的各类终端节点;
50、数据统筹模块内预存储有各授信终端设备的所有需求平台,以及各授信终端设备相对其的所有需求平台内部署的所有需求业务项的需求周期;
51、挂载共享平台,用于每接收到一个终端数据及其需求对象数据后,根据所述需求对象按照预设的挂载共享规则对所述终端数据进行挂载共享;
52、跟踪采集模块,用于对挂载共享平台内每一个挂载状态为有效挂载的终端数据进行实时监测,针对任一挂载状态为有效挂载的终端数据,每监测到所述终端数据被拉取一次,获取此次拉取所述终端数据的需求平台和需求业务项,并在所述需求平台按照所述需求业务项基于所述终端数据的预设的加工处理规则对所述终端数据进行加工处理完毕输出所述终端数据的加工处理数据后,对所述加工处理数据、加工处理时长以及此次的拉取时刻进行获取,根据获取到的所述加工处理数据以及加工处理时长、所述拉取时刻所述需求平台和所述需求业务项生成所述终端数据一次拉取的拉取跟踪数据并对其进行存储;
53、数据分析模块,用于在跟踪采集模块内存储的任一授信终端设备的终端数据的拉取跟踪数据的数量达到预设的固定数量后对存储的所述授信终端设备的所有终端数据的所有条拉取跟踪数据进行分析,确定所述授信终端设备的所有需求集合;
54、挂载共享平台,也用于在接收到所述授信终端设备的所有需求集合后,后续接收到的所述授信终端设备的任一条终端数据及其需求对象数据后对所述终端数据的挂载共享过程进行优化,优化过程中向所述需求对象数据内的所有需求平台开放拉取权限,并在若干需求平台对所述终端数据进行加工处理输出对应加工处理数据后对其进行获取,根据获取到的所有加工处理数据向若干需求平台开放拉取权限。
55、与现有技术相比具备以下有益效果:
56、本发明通过数据统筹模块对各授信终端设备周期性回传的终端数据进行接收并存储,并对周期性回传的终端数据进行是否挂载共享判定,基于判定结果选择性地将若干终端数据传输到挂载共享平台,由挂载共享平台对其进行挂载共享,通过此种方式,可以将需求较多、被多个授信云平台频繁拉取的终端数据放置在同一个挂载共享平台当中,由挂载共享平台统一进行挂载共享以及权限分发,减少数据统筹模块的并发拉取压力;同时,将需求较少、仅被个别授信云平台需要的终端数据保留在数据统筹模块,由数据统筹模块直接管理其拉取权限,避免低频数据挂载造成共享存储资源的浪费,通过上述高频数据集中共享、低频数据按需直连的分流策略,在保证各需求平台数据获取效率的前提下,显著降低了系统整体的存储开销与网络传输负担;
57、本发明通过跟踪采集模块对在挂载共享平台中挂载共享的各终端数据的拉取过程进行实时监测,每次拉取时从对应需求平台获取其对终端数据进行加工处理后输出的加工处理数据以及加工处理时长,并结合拉取时刻以及对应拉取的需求平台和需求业务项,生成对应的拉取跟踪数据,由数据分析模块对其进行分析,分析过程中,基于各拉取跟踪数据内的加工处理数据、加工处理时长、拉取时刻等参数,依次进行数据绑定操作,量化评估不同需求平台之间是否存在加工结果的依赖复用价值,后续当各授信终端设备的终端数据被判定需要挂载共享时,系统不仅向各需求平台开放原始终端数据的拉取权限,还向需求集合中经过数据绑定判定为具有正向依赖关系的需求平台,开放对应已加工处理完成的数据的拉取权限,通过此种方式,使得后续拉取终端数据的需求平台在自身业务允许的情况下,可以直接获取已由先到平台完成清洗、转换、聚合等预处理操作的加工结果,而无需从原始终端数据开始重复执行相同的加工步骤,从而大幅减少了各授信云平台针对同一终端数据的重复计算开销,缩短了数据从拉取到最终可用的端到端时延,同时充分挖掘并利用了跨云平台之间存在的时间差优势,使挂载共享数据随被消费次数的增加而不断积累高价值的中间处理成果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com