一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据处理方法及装置与流程

2022-04-09 08:42:55 来源:中国专利 TAG:


1.本技术涉及网络技术领域,尤其涉及一种数据处理方法及装置。


背景技术:

2.随着企业的业务发展和技术迭代,当前信息总中心已经实现基于数据库流水、网络流量、系统指标、应用日志等多种类数据源的实时监控功能,覆盖核心重点系统、重点应用组件、共同运营系统约200个系统共计3.7万个监控对象。
3.现有技术中,一般通过各通用流式计算框架,如apache storm,apache samza等,基于主机的cpu(中央处理器)的分布式架构对业务系统的业务数据进行监控和处理。该种方式可以实现对各企业、机构或组织的业务系统中业务数据的监控,保证业务系统的健康运行与发展。但随着技术的发展,业务数据的急剧增加,该种监控和计算方式监控时延较大,且服务器资源损耗较大,计算成本高。
4.因此,现在亟需一种数据处理方法及装置,能够降低监控时延,降低监控服务器资源损耗,节约计算成本。


技术实现要素:

5.本发明实施例提供一种数据处理方法及装置,能够降低监控时延,降低监控服务器资源损耗,节约计算成本。
6.第一方面,本发明实施例提供一种数据处理方法,适用于具有流式处理能力的中央处理器和并行处理能力的图形处理器的服务器,该方法包括:
7.针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并将各计算结构发送至所述图形处理器;
8.针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器;
9.针对每个计算结构,所述图像处理器根据所述计算结构,对所述计算结构对应的业务数据进行并行处理,并将处理结果发送给所述中央处理器。
10.上述方法中,针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并将各计算结构发送至所述图形处理器。如此,中央处理器将只适用于本身的业务系统中各处理逻辑转换为适用于图形处理器的计算结构,使得图形处理器接收到可以识别的计算结构,可以执行该计算结构实现对应的处理功能。进一步,针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器。如此,图形处理器接收业务数据,根据已经接收的该业务数据对应的计算结构对该业务数据进行处理得到处理结果。相比于现有技术中通过中央处理器的流式处理能力(单个中央处理器同时只能单进程进行执行处理逻辑),本技术可以通过图形处理器执行计算结果实现并行“执行处理逻辑”,且无需将中央处理器上执行的代码改写为适应图形处理器的代码,降低人力成本,提高处理效率,降低监控时延。
11.可选的,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,包括:
12.针对任一处理逻辑,所述中央处理器构建所述处理逻辑的语义树;
13.所述中央处理器遍历所述语义树,提取所述语义树中的数据对象、运算符及数据对象对应的系数,从而构建计算结构;
14.若所述计算结构具有各数据对象的系数,则所述计算结构适用于图形处理器的并行处理。
15.上述方法中,中央处理器从内存中获取处理逻辑,从处理逻辑提取数据对象、数据对象的系数和数据对象之间的运算符,并以数据对象、数据对象的系数和数据对象作为节点生成语义树,进一步,通过语义树分析得到计算结构中的数据对象、运算符和数据对象对应的系数,再进一步根据语义树构建完整的图形处理器可识别的计算结构,提高图形处理器的处理效率和计算结果的准确性。若计算结构具有各数据对象的系数,则确定该计算结构适用于图形处理器的并行处理,否则可以通过中央处理器对该计算结构的业务数据进行处理。如此,保证所有处理逻辑的业务数据均能获取处理结果,进一步保证处理功能的可靠性。
16.可选的,所述中央处理器遍历所述语义树,提取所述语义树中的数据对象、运算符及数据对象对应的系数,从而构建计算结构,包括:
17.所述中央处理器遍历所述语义树,针对所述语义树中的每一层,通过四元式方式提取该层的运算符、数据对象及运算结果;
18.通过每层构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。
19.上述方法中,中央处理器遍历所述语义树,针对所述语义树中的每一层,通过四元式方式提取该层的运算符、数据对象及运算结果,以实现根据语义树中每一层节点对应的运算符、数据对象及运算结果构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到计算结构。如此,中央处理器将自身存储的,适合中央处理器的处理逻辑转变为图形处理器可识别的矩阵形式的计算结构,在后续图形处理器接收计算结构和对应的业务数据后,将业务数据中对应的数据填写在计算结构中对应的数据对象中,得到数据计算结构,以使得图形处理器直接根据数据计算结构矩阵进行计算。相比于现有技术中将cpu(中央处理器)上执行的代码改写为适应gpu(图形处理器)的代码耗费的人力成本,本技术可以简单快速的将cpu上执行的代码改写为适应gpu计算结构矩阵。
20.可选的,通过每层构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构,包括:
21.针对每层构建的四元式,若所述四元式中具有相同属性的数据对象或具有相同属性的数据对象和运算结果,则根据所述四元式中的运算符将所述相同属性的数据对象或所述具有相同属性的数据对象和运算结果运算得到简化结果并删除所述四元式,将所述简化结果设置到下层四元式中对应位置,从而得到简化后的各四元式;通过简化后的各四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。
22.上述方法中,根据四元式中的运算符将相同属性的数据对象或具有相同属性的数
据对象和运算结果运算得到简化结果并删除该四元式,将简化结果设置到下层四元式中对应位置,从而得到简化后的各四元式。如此,使得最终得到的四元式是最简化的,没有重复属性对象的四元式,便于得到数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,进一步得到计算结构。如此,提高计算结构的准确性和简单性。
23.可选的,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器,包括:
24.所述中央处理器将从所述业务系统接收的所述计算结构的业务数据满足数据量阈值后,发送至所述图形处理器。
25.上述方法中,设置数据量阈值,中央处理器在接收的计算结构的业务数据的数据量不小于数据量阈值时,将接收的计算结构的业务数据发送至图形处理器。如此,消除流式计算中,因为单次业务数据中数据量小,数据传输频率高,导致的cpu向gpu传输的过程中的大量时间损耗。
26.可选的,还包括:所述中央处理器将从所述业务系统接收的所述计算结构的业务数据未满足所述数据量阈值且所述中央处理器接收所述计算结构的业务数据的时长大于预设时间阈值,则将所述计算结构的业务数据发送至所述图形处理器。
27.上述方法中,为了保证处理结果的有效性,设置预设时间阈值,即,若计算结构的业务数据中业务数据的最早采集时间和当前时间的时间间隔超过预设时间阈值,为了保证最早采集的业务数据的处理结果的有效性,则应立即发送计算结构的业务数据至图形处理器,以尽快获取计算结果。
28.可选的,所述数据量阈值通过如下方式得到,包括:所述中央处理器根据限制时长、数据计算时长、第一时长和第二时长确定所述数据量阈值,所述限制时长为所述业务数据的计算结果有效时长,所述数据计算时长为所述图形处理器处理所述业务数据得到计算结果的时长,所述第一时长为所述图形处理器接收并存储单位数据的时长,所述第二时长为所述中央处理器接收并存储单位数据的时长。
29.上述方法中,根据处理结果的有效性得到限制时间,根据限制时间和图形处理器处理所述业务数据得到计算结果的时长、图形处理器接收并存储单位数据的时长、中央处理器接收并存储单位数据的时长得到数据量阈值,限制时长的确定考虑中央处理器采集数据速度和传输数据速度。如此,保证处理结果的有效性。
30.可选的,还包括:所述中央处理器对从所述业务系统接收的非计算结构对应的业务数据,进行流式处理,得到处理结果。
31.上述方法中,若中央处理器不能将处理逻辑转换得到计算结构,则中央处理器对该处理逻辑的业务数据进行流式处理,获取处理结果。如此,保证主机处理功能的可靠性。
32.第二方面,本发明实施例提供一种数据处理装置,适用于具有流式处理能力的中央处理器和并行处理能力的图形处理器的服务器,该装置包括:
33.处理模块,用于针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并通过收发模块将各计算结构发送至所述图形处理器;
34.所述收发模块还用于,针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器;
35.所述处理模块还用于,针对每个计算结构,所述图像处理器根据所述计算结构,对所述计算结构对应的业务数据进行并行处理,并通过所述收发模块将处理结果发送给所述中央处理器。
36.第三方面,本技术实施例还提供一种计算设备,包括:存储器,用于存储程序;处理器,用于调用所述存储器中存储的程序,按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
37.第四方面,本技术实施例还提供一种计算机可读非易失性存储介质,包括计算机可读程序,当计算机读取并执行所述计算机可读程序时,使得计算机执行如第一方面的各种可能的设计中所述的方法。
38.本技术的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
40.图1为本发明实施例提供的一种数据处理系统的架构示意图;
41.图2为本发明实施例提供的一种数据处理方法的流程示意图;
42.图3为本发明实施例提供的一种语义树的示意图;
43.图4为本发明实施例提供的一种数据处理方法的流程示意图;
44.图5为本发明实施例提供的一种数据处理装置示意图。
具体实施方式
45.为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
46.图1为本发明实施例提供的一种数据处理系统的系统架构,其中,业务服务器101可以是业务系统中的任一业务服务器,业务系统可以基于业务服务器集群运行。数据处理服务器102可以是数据处理系统中的任一数据处理服务器,数据处理系统可以基于数据处理服务器集群运行,这里对业务系统或数据处理系统所基于的物理硬件架构具体不做限制。另外,业务服务器101在一种可能的设计中,也可以是客户端,则数据处理服务器102采集该客户端的业务数据,这里的业务服务器101指示一种示例,用于清晰描述本方案,但对本方案的具体实施不做限制。数据处理服务器102中包含中央处理器和图形处理器,且数据处理服务器102的内存中包含业务数据对应的处理逻辑。数据处理服务器102从内存中获取各处理逻辑,将各业务处理逻辑构建为语义树,并根据语义树的每层节点得到对应的四元式和四元式中每个元素(这里的元素指数据对象、数据对象对应的系数、运算符)的属性类型。进一步根据语义树各层节点对应的四元式和四元式中相同属性元素,将该四元式简化得到简化后的四元式。根据简化后的四元式确定数据对象的系数矩阵、数据对象矩阵及符
合运算符的矩阵运算方式,得到计算结构。数据处理服务器102将计算结构发送至图形处理器,数据处理服务器102还在该计算结构对应的业务数据不小于数据量阈值时,将该计算结构对应的业务数据发送至图形处理器,图形处理器根据该计算结构处理业务数据得到处理结果,并将处理结果返回至中央处理器。数据处理服务器102还在该计算结构对应的业务数据小于数据量阈值时,确定当前该计算结果的业务数据中最早采集的业务数据的采集时间与当前时间的时间间隔,若时间间隔超过预设时间阈值,为保证该计算结构的业务数据的处理结果的有效性,仍然将该计算结构对应的业务数据发送至图形处理器,以获取处理结果。另外,若中央处理器无法根据处理逻辑得到计算结构,则中央处理器通过流式处理能力处理该处理逻辑对应的业务数据,获得处理结果。
47.基于此,本技术实施例提供了一种数据处理方法的流程,适用于具有流式处理能力的中央处理器和并行处理能力的图形处理器的服务器,如图2所示,包括:
48.步骤201、针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并将各计算结构发送至所述图形处理器;
49.此处,业务数据可以是业务处理请求中的数据。如,业务处理请求为转账请求,则可以基于转账金额计算转账人和被转账人的账户余额。也可以是业务运维数据,当业务数据是业务运维数据时,系统架构中的数据处理服务器可以用于业务运维的监控和告警等。如,业务运维数据包括日交易量、交易成功率等,则系统架构中的数据处理服务器可以在日交易量超过预设阈值、或交易成功率低于预设阈值时产生告警等。即,此处对业务数据的类型具体不做限制,相应的数据处理服务器的相应处理功能可以根据业务数据对应设置。
50.步骤202、针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器;
51.步骤203、针对每个计算结构,所述图像处理器根据所述计算结构,对所述计算结构对应的业务数据进行并行处理,并将处理结果发送给所述中央处理器。
52.上述方法中,针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并将各计算结构发送至所述图形处理器。如此,中央处理器将只适用于本身的业务系统中各处理逻辑转换为适用于图形处理器的计算结构,使得图形处理器接收到可以识别的计算结构,可以执行该计算结构实现对应的处理功能。进一步,针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器。如此,图形处理器接收业务数据,根据已经接收的该业务数据对应的计算结构对该业务数据进行处理得到处理结果。相比于现有技术中通过中央处理器的流式处理能力(单个中央处理器同时只能单进程进行执行处理逻辑),本技术可以通过图形处理器执行计算结果实现并行“执行处理逻辑”,且无需将中央处理器上执行的代码改写为适应图形处理器的代码,降低人力成本,提高处理效率,降低监控时延。
53.本技术实施例提供了一种数据处理方法,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,包括:
54.针对任一处理逻辑,所述中央处理器构建所述处理逻辑的语义树;
55.所述中央处理器遍历所述语义树,提取所述语义树中的数据对象、运算符及数据对象对应的系数,从而构建计算结构;
56.若所述计算结构具有各数据对象的系数,则所述计算结构适用于图形处理器的并
行处理。也就是说,因为中央处理器是流式处理功能,比图形处理器的并行处理功能处理效率低。因此,为了提高处理效率,降低监控时延(此时业务数据是业务运维数据等监控相关数据),考虑将中央处理器中的处理任务转移至图形处理器中,利用图形处理器的并行处理功能,但若将中央处理器中的处理任务转移至图形处理器中,则图形处理器中需要包含对应的处理逻辑,而中央处理器的处理逻辑形式与图形处理器的处理逻辑形式不同,直接将中央处理器中的处理逻辑设置在图形处理器中,图形处理器是无法识别并运行的。若将中央处理器可运行的处理逻辑(如,计算程序代码)重新编写为图形处理器可运行的处理逻辑,则需要将中央处理器中的各处理逻辑重新编写,需要耗费大量人力成本和时间成本。则可以通过上述方法,将中央处理器中的处理逻辑,通过构建该处理逻辑的语义树,提取该语义树中的数据对象、运算符及数据对象对应的系数,从而构建图形处理器可识别运行的计算结构,可以实现在无需耗费人力成本和时间成本的前提下,应用该图形处理器的并行处理功能处理业务数据。
57.本技术实施例提供了一种获取计算结构的方法,所述中央处理器遍历所述语义树,提取所述语义树中的数据对象、运算符及数据对象对应的系数,从而构建计算结构,包括:
58.所述中央处理器遍历所述语义树,针对所述语义树中的每一层,通过四元式方式提取该层的运算符、数据对象及运算结果;
59.通过每层构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。在一种示例中,中央处理器中的处理逻辑如下:
[0060][0061]
则中央处理器基于上述处理逻辑分析获取对应的语义树如图3所示,其中,id1为position的标识,id2为initial的标识,id3为rate的标识。即,中央处理器通过对上述处理逻辑进行词法分析获取id1=id2 id3*60,进一步,通过语法分析获取表征语法的树,再进一步,通过语义分析获取语义树。
[0062]
中央处理器还根据上述处理逻辑获取各数据对象、数据对象系数和运算符的属性,得到属性表。则中央处理器针对语义树中的每一层,通过四元式方式提取该层的运算符、数据对象及运算结果得到如下四元式(运算符,数据对象1、数据对象2,运算结果):
[0063]
[0064]
其中,(1)中的四元式来自于图3中的第一层节点,(2)中的四元式来自于图3中的第二层节点,(3)中的四元式来自于图3中的第三层节点,(4)中的四元式来自于图3中的第四层节点。根据该四元式确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到计算结构。
[0065]
本技术实施例提供了一种获取计算结构的方法,通过每层构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构,包括:
[0066]
针对每层构建的四元式,若所述四元式中具有相同属性的数据对象或具有相同属性的数据对象和运算结果,则根据所述四元式中的运算符将所述相同属性的数据对象或所述具有相同属性的数据对象和运算结果运算得到简化结果并删除所述四元式,将所述简化结果设置到下层四元式中对应位置,从而得到简化后的各四元式;通过简化后的各四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。基于上述示例,根据属性表inttoreal与60的属性相同,则t1=60,将t1=60代入到(2)的四元式中,得到四元式(*id3 60 t2)。id1与t3的属性相同,则id1=t3,将id1=t3代入(3)的四元式中,得到( id2 t2 id1)。根据四元式(*id3 60 t2)和四元式( id2 t2 id1)得到数据对象的系数矩阵(1 60)及数据对象矩阵,得到符合运算符的矩阵运算方式:若initial=10,rate=1,则运算结果为10 60=70。
[0067]
本技术实施例还提供了一种业务数据发送方法,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器,包括:
[0068]
所述中央处理器将从所述业务系统接收的所述计算结构的业务数据满足数据量阈值后,发送至所述图形处理器。
[0069]
此处,在数据处理过程中,可能出现单次发送的业务数据的数据量小,且发送频率高的情况,而这种情况下,中央处理器接收并存储数据的时长,以及图形处理器接收并存储数据的时长相对数据处理时长变大。在一种示例中,中央处理器接收并存储单位数据的时长为t1,以及图形处理器接收并存储数据的时长为t2,图形处理器处理单位数据的时间为t3,若每次数据传输均传输单位数据,则处理10个单位数据所耗费的时间为t=10(t1 t2 t3),若每次数据传输均传输10个单位数据,则处理10个单位数据所耗费的时间为t=10t1 t2 t3,这里只是用于简单描述每次传输数据量对数据处理效率的影响,假设数据传输中没有其他影响因素。因此,中央处理器中设置数据量阈值,将当业务数据的数据量不小于数据量阈值时,将该业务数据发送至图形处理器。如此,有效提高数据处理效率,节约数据传输和读取资源。
[0070]
本技术实施例还提供了一种业务数据发送方法,还包括:
[0071]
所述中央处理器确定从所述业务系统接收的所述计算结构的业务数据未满足所述数据量阈值且所述中央处理器接收所述计算结构的业务数据的时长大于预设时间阈值,则将所述计算结构的业务数据发送至所述图形处理器。也就是说,可能存在一种情况,业务数据的数据量一直没有达到数据量阈值,则业务数据处于未处理状态,没有对应的处理结果。但是该业务数据的处理结果是有时效的,若超过时效,则影响相应的服务。因此,为了防止发生这种情况,设置超时机制,即,即使业务数据的数据量未超过数据量阈值,也确认当
前数据量窗口中的最早采集的业务数据的采集时间和当前时间的时间间隔是否超过预设时间阈值,若超过了,则应立即将该数据量窗口的业务数据发送,以保证图形处理器返回的处理结果是有效的。
[0072]
本技术实施例还提供了一种数据量阈值确定方法,所述数据量阈值通过如下方式得到,包括:
[0073]
所述中央处理器根据限制时长、数据计算时长、第一时长和第二时长确定所述数据量阈值,所述限制时长为所述业务数据的计算结果有效时长,所述数据计算时长为所述图形处理器处理所述业务数据得到计算结果的时长,所述第一时长为所述图形处理器接收并存储单位数据的时长,所述第二时长为所述中央处理器接收并存储单位数据的时长。也就是说,综合考虑业务数据的处理结果的有效时间和中央处理器的采集业务数据的数据流大小,得到限制时长。根据中央处理器/图形处理器的数据传输速率得到图形处理器接收并存储单位数据的时长,和中央处理器接收并存储单位数据的时长,以及获取图形处理器处理业务数据得到计算结果的时长。如此,可以准确确定数据量阈值大小,实现即可以提高处理效率,又保证了处理结果的有效性。
[0074]
本技术实施例还提供了一种数据处理方法,还包括:所述中央处理器对从所述业务系统接收的非计算结构对应的业务数据,进行流式处理,得到处理结果。也就是说,若存在一种无法转换为计算结构的处理逻辑,则中央处理器根据该处理逻辑处理对应的业务数据,保证业务数据处理的可靠性。
[0075]
基于上述方法流程,本技术实施例提供了一种数据处理方法的流程,如图4所示,包括:
[0076]
步骤401、中央处理器从内存中获取处理逻辑。
[0077]
步骤402、中央处理器将该处理逻辑转换为语义树,并得到属性表。
[0078]
此处,若中央处理器无法将处理逻辑转换为语义树,则中央处理器采集该处理逻辑对应的业务数据,并进行处理获取处理结果。
[0079]
步骤403、中央处理器根据该语义树的各层节点得到对应的初始的各四元式。
[0080]
步骤404、中央处理器根据属性表对初始的各四元式进行简化得到简化后的各四元式。
[0081]
步骤405、中央处理器根据简化后的各四元式得到数据对象矩阵、数据对象的系数矩阵以及符合运算符的矩阵运算方式。
[0082]
步骤406、中央处理器该数据对象矩阵、数据对象的系数矩阵以及符合运算符的矩阵运算方式构建计算结构。
[0083]
步骤407、中央处理器将该计算结构发送至图形处理器。
[0084]
步骤408、中央处理器采集业务数据。
[0085]
步骤409、中央处理器判断业务数据在当前数据量窗口的数据量是否超过数据量阈值。若超过,则执行步骤411,否则,执行步骤410。
[0086]
此处,数据量窗口为中央处理器中需要发送至图形处理器获取处理结果的业务数据。其中可以包含多组业务数据,每组业务数据可以对应至少一个处理结果。
[0087]
步骤410、中央处理器判断当前数据量窗口中最早采集的业务数据的采集时间与当前时间的时间间隔是否超过预设时间阈值,若超过,则执行步骤411,否则,执行步骤408。
[0088]
步骤411、中央处理器将该数据量窗口中的业务数据发送至图形处理器。
[0089]
步骤412、图形处理器接收该业务数据后,根据该业务数据对应的计算结构获取处理结果,并将处理结果返回至中央处理器。
[0090]
步骤413、中央处理器接收该处理结果。
[0091]
需要说明的是,上述流程步骤并不唯一,如,步骤408可以在步骤401至步骤407的计算结构获取流程中的任一步骤前后执行。步骤401至步骤407的计算结构获取流程可以只执行一次,该计算结构的处理逻辑不变,则可以直接执行步骤408至步骤413。
[0092]
基于同样的构思,本发明实施例提供一种数据处理装置,适用于具有流式处理能力的中央处理器和并行处理能力的图形处理器的服务器,图5为本技术实施例提供的一种数据处理装置示意图,如图5示,包括:
[0093]
处理模块501,用于针对业务系统中的各处理逻辑,所述中央处理器将可并行处理的处理逻辑转换为适用于图形处理器的计算结构,并通过收发模块502将各计算结构发送至所述图形处理器;
[0094]
所述收发模块502还用于,针对每个计算结构,所述中央处理器将从所述业务系统接收的所述计算结构的业务数据发送至所述图形处理器;
[0095]
所述处理模块501还用于,针对每个计算结构,所述图像处理器根据所述计算结构,对所述计算结构对应的业务数据进行并行处理,并通过所述收发模块502将处理结果发送给所述中央处理器。
[0096]
可选的,所述处理模块501具体用于,针对任一处理逻辑,构建所述处理逻辑的语义树;遍历所述语义树,提取所述语义树中的数据对象、运算符及数据对象对应的系数,从而构建计算结构;若所述计算结构具有各数据对象的系数,则所述计算结构适用于图形处理器的并行处理。
[0097]
可选的,所述处理模块501具体用于,遍历所述语义树,针对所述语义树中的每一层,通过四元式方式提取该层的运算符、数据对象及运算结果;通过每层构建的四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。
[0098]
可选的,所述处理模块501具体用于,针对每层构建的四元式,若所述四元式中具有相同属性的数据对象或具有相同属性的数据对象和运算结果,则根据所述四元式中的运算符将所述相同属性的数据对象或所述具有相同属性的数据对象和运算结果运算得到简化结果并删除所述四元式,将所述简化结果设置到下层四元式中对应位置,从而得到简化后的各四元式;通过简化后的各四元式,确定数据对象的系数矩阵、数据对象矩阵及符合运算符的矩阵运算方式,得到所述计算结构。
[0099]
可选的,所述收发模块502具体用于,从所述业务系统接收的所述计算结构的业务数据满足数据量阈值后,发送至所述图形处理器。
[0100]
可选的,所述收发模块502还用于,确定从所述业务系统接收的所述计算结构的业务数据未满足所述数据量阈值且接收所述计算结构的业务数据的时长大于预设时间阈值,则将所述计算结构的业务数据发送至所述图形处理器。
[0101]
可选的,所述数据量阈值通过如下方式得到,所述处理模块501具体用于,根据限制时长、数据计算时长、第一时长和第二时长确定所述数据量阈值,所述限制时长为所述业务数据的计算结果有效时长,所述数据计算时长为所述图形处理器处理所述业务数据得到
计算结果的时长,所述第一时长为所述图形处理器接收并存储单位数据的时长,所述第二时长为所述中央处理器接收并存储单位数据的时长。
[0102]
可选的,所述处理模块501还用于对从所述业务系统接收的非计算结构对应的业务数据,进行流式处理,得到处理结果。
[0103]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0104]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0105]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0106]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0107]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献