数据处理方法、装置、设备、介质及产品与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备、介质及产品。


背景技术：

2.随着智能技术的发展，越来越多的智能技术应用到了作业机械领域，以对作业机械的工况情况和运行情况等情况对应数据进行采集。进而，通过转换并分析采集的数据，提高作业机械的整体性能和水平。但目前采集的作业机械的数据量极大。
3.现有技术通过直接对海量的作业数据进行转换，进而基于转换结果实现用户的需求。为了能够转换海量的作业数据，需要专门购置处理性能很高的处理器，造成了成本增加。另外，海量数据的转换过程服务压力较大，导致整个数据转换过程耗时长、效率低。


技术实现要素：

4.本发明提供一种数据处理方法、装置、设备、介质及产品，用以解决现有技术中处理海量数据时，造成的成本高、耗时长和效率低的缺陷，实现快速、低成本的完成海量数据的处理。
5.本发明提供一种数据处理方法，包括：
6.获取当前待处理文件，其中，所述当前待处理文件包括：当前原始作业数据、第一文件名，所述当前待处理文件的文件大小小于或等于预设值，所述预设值通过处理器的处理性能得到；
7.基于所述第一文件名，创建第二文件名的已处理文件，其中，所述第一文件名的文件类型和所述第二文件名的第二文件类型不一致；
8.响应于接收的文件转化指令，转换所述当前原始作业数据，将得到的目标作业数据存储在所述已处理文件；
9.响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
10.根据本发明提供一种的数据处理方法，所述获取当前待处理文件，包括：
11.获取所述待处理文件的文件存储路径；
12.获取所述文件存储路径对应的文件存储库中的待处理文件名；
13.从所述待处理文件名中，确定所述第一文件名；
14.获取与所述第一文件名对应的所述当前待处理文件。
15.根据本发明提供一种的数据处理方法，所述获取当前待处理文件之前，还包括：
16.获取原始作业数据；
17.基于预设数据提取策略，从所述原始作业数据中，依次提取数据大小为所述预设值的子数据集合；
18.将每个所述子数据集合中的原始作业数据存储在对应的所述待处理文件。
19.根据本发明提供一种的数据处理方法，所述原始作业数据包括：时间信息；
20.将每个所述子数据集合中的原始作业数据存储在对应的所述待处理文件之前，还包括：
21.基于所述时间信息，确定所述待处理文件名；
22.所述将每个所述子数据集合中的原始作业数据存储在对应的所述待处理文件之后，还包括：
23.基于所述待处理文件名，对所述待处理文件进行排序；
24.将排序后的所述待处理文件存储在所述文件存储库。
25.根据本发明提供一种的数据处理方法，所述响应于接收的文件转化指令，转换所述当前原始作业数据，将得到的目标作业数据存储在所述已处理文件，包括：
26.响应于所述文件转化指令，确定所述当前原始作业数据的每个位对应的物理含义；
27.基于预先确定的转换策略，转换所述当前原始作业数据，得到所述目标作业数据；
28.将所述目标作业数据存储在所述已处理文件。
29.根据本发明提供一种的数据处理方法，所述将得到的目标作业数据存储在所述已处理文件之后，还包括：
30.生成文件转化日志，所述文件转化日志包括：文件转化状态；
31.当确定所述文件转化状态为失败时，停止执行所述响应于接收的文件触发指令，获取下一待处理文件的步骤；
32.当确定所述文件转化状态为成功时，执行所述响应于接收的文件触发指令，获取下一待处理文件的步骤。
33.本发明还提供一种数据处理装置，包括：
34.第一获取模块，用于获取当前待处理文件，其中，所述当前待处理文件包括：当前原始作业数据、第一文件名，所述当前待处理文件的文件大小小于或等于预设值，所述预设值通过处理器的处理性能得到；
35.创建模块，用于基于所述第一文件名，创建第二文件名的已处理文件，其中，所述第一文件名的文件类型和所述第二文件名的第二文件类型不一致；
36.转换模块，用于响应于接收的文件转化指令，转换所述当前原始作业数据，将得到的目标作业数据存储在所述已处理文件；
37.第二获取模块，用于响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的数据处理方法。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的数据处理方法。
40.本发明还提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任一项所述的数据处理方法。
41.本发明提供的数据处理方法、装置、设备、介质及产品，通过获取当前待处理文件，
其中，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到，可见，本发明无需专门购置处理性能很高的处理器，直接可以得到与现有的处理器的处理性能对应的当前待处理文件，节约了成本；基于第一文件名，创建第二文件名的已处理文件；响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致，目的是能够使得转换后得到的目标作业数据与已处理文件能够有效匹配；响应于接收的文件触发指令，获取下一待处理文件，在将当前待处理文件转化成功之后，自动进入循环，自动执行下一个待处理文件，直至所有的待处理文件转化完成，这个过程简单、便捷、耗时短和效率高，有效的解决了现有技术中在转换海量数据时，造成的成本高、耗时长和效率低的问题。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明提供的数据处理方法的流程示意图之一；
44.图2是本发明提供的数据处理方法的流程示意图之二；
45.图3是本发明提供的数据处理方法的流程示意图之三；
46.图4是本发明提供的数据处理装置的结构示意图；
47.图5是本发明提供的电子设备的结构示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.下面结合图1至图3描述本发明的数据处理方法。
50.具体的，通过can总线从作业机械中采集作业数据，其中，作业数据为can信号数据，can信号数据用于表示整车的车速、加速度、温度、电流等。can信号数据，数据量庞大，数据的抽取及转换工作耗时耗力，且成本高。
51.其中，can总线是控制器局域网络的简称，实现各个can网络节点之间的通讯。can网络节点和作业机械的各个执行组件对应，用于采集各个执行组件对应的作业数据。
52.其中，通过can总线采集的can信号数据是基于第一分辨率进行采集的，例如，间隔100ms采集一次can信号数据。而处理器处理数据是基于第二分辨率进行处理的，例如间隔10ms按照数据处理逻辑执行一次数据处理操作。因此，本发明需要基于分辨率确定can信号数据的可靠性和可调节的柔性，以保证数据的准确性。
53.本发明实施例提供了一种数据处理方法，该方法可以应用在服务器中，也可以应用在智能终端中。下面以该方法应用在服务器中为例进行说明，但需要说明的是此处仅为举例说明，并不用于对保护范围进行限定。在实施例中的具体例子，也不用于对保护范围进
行限定，之后不再一一说明。该方法的具体实现，如图1所示：
54.步骤101，获取当前待处理文件。
55.其中，当前待处理文件包括：当前原始作业数据、第一文件名，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到。
56.其中，文件名通过文件名称和扩展名组成，中间用“.”进行分隔。文件名称由用户自行确定，扩展名用来表示文件类型。
57.一个具体实施例中，获取当前待处理文件之前，需要得到待处理文件，待处理文件的获得方式如下所示：
58.获取原始作业数据；基于预设数据提取策略，从原始作业数据中，依次提取数据大小为预设值的子数据集合；将每个子数据集合中的原始作业数据存储在对应的待处理文件。
59.其中，数据大小与文件大小存在对应关系。例如，数据大小和文件大小一致。数据大小用于指示子数据集合占用存储空间的大小。
60.其中，预设数据提取策略可以为：基于预设时间间隔的提取策略。其中，预设时间间隔是基于第二分辨率得到的。由于，通过处理器抽取的一次can信号数据的数据量是一定的，因此，基于第二分辨率和每次抽取的can信号数据的数据量，便可以得到预设时间间隔。其中，数据量用于指示一次抽取的can信号数据占用存储空间的大小。其中，数据量小于或等于数据大小。
61.其中，预设数据提取策略还可以为：基于预设数据量的提取策略。这样，用户基于自己的实际情况进行预设数据量的设置即可。
62.下面，以预设数据提取策略为基于预设时间间隔的提取策略为例进行说明：
63.例如，为了能够保证市面上的任意普通计算机都能够快速的处理原始作业数据，对市面上的计算机的处理性能分析，确定预设值为150m比较理想，而这150m相当于预设时间间隔为30min。
64.具体的，从存储有原始作业数据的数据库中，按照预设时间间隔为30min，基于第二分辨率依次抽取数据大小为150m左右的子数据集合，将每个字数据集合中的原始作业数据存储在对应的待处理文件中。
65.本发明对大量的原始作业数据进行分包处理，得到多个能够满足任意计算机都能够处理的待处理文件。并且，本实施例按照预设数据提取策略进行数据抽取，能够使市面上的计算机能够进行数据抽取操作，不用专门购置高性能的计算机，节约了成本，提高了用户体验。
66.一个具体实施例中，原始作业数据包括：时间信息；将每个子数据集合中的原始作业数据存储在对应的待处理文件之前，创建待处理文件，基于时间信息，确定待处理文件名；进而，将每个子数据集合中的原始作业数据存储在对应的待处理文件之后，基于待处理文件名，对待处理文件进行排序；将排序后的待处理文件存储在文件存储库。
67.具体的，基于时间信息，确定待处理文件名的具体实现方式有多种：
68.例如，通过确定子数据集合中的原始作业数据的最早原始作业数据对应的时刻，定义待处理文件名；
69.又例如，通过确定子数据集合中的原始作业数据的最晚原始作业数据对应的时
刻，定义待处理文件名；
70.又例如，通过确定子数据集合中的原始作业数据的最早原始作业数据对应的时刻和最晚原始作业数据对应的时刻，定义待处理文件名；
71.又例如，通过待处理文件的创建时刻，定义待处理文件名。
72.由于can信号数据具有时序性，为了能够保证准确的抽取并转换can信号数据，本实施例通过时间信息定义待处理文件的待处理文件名。
73.另外，基于待处理文件名对待处理文件进行排序，也是基于待处理文件中携带的时间参数进行排序，以保证数据的时序性，避免出现错误。
74.一个具体实施例中，按照预设数据提取策略，从原始作业数据中得到了多个待处理文件，而本实施例采用循环的方式，依次对每个待处理文件进行处理，以实现最终的对所有的原始作业数据的处理。因此，在一个循环体中，需要获取当前待处理文件，其具体实现如图2所示：
75.步骤201，获取待处理文件的文件存储路径。
76.具体的，在基于原始作业数据得到多个待处理文件之后，将且存储在文件存储库。其中，文件存储库可以为数据库，也可以为云服务器，也可以为计算机的硬盘中。下面，文件存储库为计算机的硬盘为例进行说明。
77.具体的，基于预先设置的智能机器人进行文件存储路径的输入，以获得文件存储路径。例如，e:/原始作业数据/can信号数据。
78.具体的，在确定需要获取当前待处理文件时，向智能机器人发送输入路径输入指令，智能机器人基于输入路径输入指令，进行文件存储路径的输入。
79.步骤202，获取文件存储路径对应的文件存储库中的待处理文件名。
80.具体的，读取该文件存储路径下的所有待处理文件名。
81.步骤203，从待处理文件名中，确定第一文件名。
82.具体的，基于预先排序好的待处理文件，按照时间先后顺序，将时间最靠前的待处理文件名作为第一文件名。
83.具体的，在该过程中为了保证数据的准确性，可以基于时间先后顺序，对文件存储路径下的所有待处理文件名进行重新排序，将时间最靠前的待处理文件名作为第一文件名。
84.步骤204，获取与第一文件名对应的当前待处理文件。
85.本实施例通过智能机器人输入文件存储路径，无需用户去输入或者通过复制粘贴的方式输入，降低了通过用户操作的时间，提高了作业效率，节约了人工成本，提高了用户体验。
86.另外，本实施例通过循环的方式进行数据的转换，在任意一个待处理文件出现问题时，针对一个待处理文件中的原始作业数据进行排查即可，无需对所有原始作业数据进行排查，提高了排查效率，也保证最终的转换后的目标作业数据的准确性。
87.步骤102，基于第一文件名，创建第二文件名的已处理文件。
88.其中，第一文件名的文件类型和第二文件名的第二文件类型不一致。
89.具体的，在得到当前待处理文件之后，需要创建已处理文件，用于存储转换后的原始作业数据。此时，向智能机器人发送输出路径输入指令，智能机器人基于输出路径输入指
令，进行输出路径的输入。例如，e:/目标作业数据/转换后的作业数据。
90.得到智能机器人输入的输出路径之后，触发确定指令，以在该输出路径创建已处理文件。其中，第一文件名和第二文件名的文件名称一致。
91.本实施例通过智能机器人输入输出路径，无需用户去输入或者通过复制粘贴的方式输入，降低了通过用户操作的时间，提高了作业效率，节约了人工成本，提高了用户体验。
92.步骤103，响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件。
93.一个具体实施例中，转换当前原始作业数据，得到目标作业数据的具体实现如下所示：
94.响应于文件转化指令，确定当前原始作业数据的每个位对应的物理含义；基于预先确定的转换策略，转换当前原始作业数据，得到目标作业数据；将目标作业数据存储在已处理文件。
95.其中，原始作业数据为通过16进制进行表示的can信号数据。原始作业数据以时间信息为基准进行分行部署，例如，表1所示：
96.时间信息(ms)can信号数据100000101100200101001001300011001101
97.表1原始作业数据
98.例如，第1-3位代表的物理含义为电流、第4-6位代表的物理含义为整车的车速，第7-9位代表的物理含义为温度，等。
99.基于16进制转10进制的转换方式，得到100ms、200ms和300ms时分别对应的电流值、车速值和温度值，等。
100.其中，目标作业数据为通过十进制表示的作业数据。
101.其中，转换策略为目标作业数据的展示方式，例如，以表格的形式进行展示，把时间信息归置在表格的列，把参数信息(电流、车速和温度)归置在表格的行，或者，把时间信息归置在表格的行，把参数信息归置在表格的列。
102.其中，第一文件类型包括asc，第二文件类型包括csv。
103.步骤104，响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
104.具体的，响应于接收的文件触发指令，从文件存储库中获取下一待处理文件，将下一待处理文件作为当前待处理文件进行步骤101至步骤103的转换操作，直至文件存储库中所有的待处理文件处理完成。
105.一个具体实施例中，将得到的目标作业数据存储在已处理文件之后，生成文件转化日志，文件转化日志包括：文件转化状态；当确定文件转化状态为失败时，停止执行响应于接收的文件触发指令，获取下一待处理文件的步骤；当确定文件转化状态为成功时，执行响应于接收的文件触发指令，获取下一待处理文件的步骤，具体可参见图3。
106.其中，通过图3中的每条日志信息的最后预设个数个字符，确定文件转化状态，当最后预设个数个字符为“写入成功”时，确定文件转化状态为成功，当最后预设个数个字符
为“写入失败”时，确定文件转化状态为失败。以图3为例为最后4个字符，其中，标识文件转化状态前面的信息为已处理文件的文件名称。
107.下面，通过一个具体的实施例对本发明进行具体说明：
108.步骤一：完成小包数据抽取及转换，数据包设置成150m比较理想，相当于整车30min数据，一旦转换错误只需要调整前一个150m数据，避免出现大量数据错误。
109.其中，小包数据为待处理文件。
110.步骤二：实现待处理文件名读取；通过待处理文件名的排列顺序逐一确认选取需要转换的文件；完成上述操作后进行已处理文件名写入，其文件名称保证跟待处理文件名保持一致，仅格式的差异；然后对第二文件名进行确认；准备就绪后开始进行文件转换；转换完成后触发下一待处理文件的转换开始。
111.步骤三：智能机器人可编辑输入路径及输出路径，减少大数据复制粘贴转移操作时间，提高效率。
112.步骤四：生成日志，确保数据的历史追溯；增加报错即停止机制，确保错误数据不会流入下一批数据，提高数据准确性。
113.本发明提供的数据处理方法，通过获取当前待处理文件，其中，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到，可见，本发明无需专门购置处理性能很高的处理器，直接可以得到与现有的处理器的处理性能对应的当前待处理文件，节约了成本；基于第一文件名，创建第二文件名的已处理文件；响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致，目的是能够使得转换后得到的目标作业数据与已处理文件能够有效匹配；响应于接收的文件触发指令，获取下一待处理文件，在将当前待处理文件转化成功之后，自动进入循环，自动执行下一个待处理文件，直至所有的待处理文件转化完成，这个过程简单、便捷、耗时短和效率高，有效的解决了现有技术中在转换海量数据时，造成的成本高、耗时长和效率低的问题。
114.下面对本发明提供的数据处理装置进行描述，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照，重复之处不再赘述，具体如图4所示，该装置包括：
115.第一获取模块401，用于获取当前待处理文件，其中，当前待处理文件包括：当前原始作业数据、第一文件名，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到；
116.创建模块402，用于基于第一文件名，创建第二文件名的已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致；
117.转换模块403，用于响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件；
118.第二获取模块404，用于响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
119.一个具体实施例中，第一获取模块401，用于获取待处理文件的文件存储路径；获取文件存储路径对应的文件存储库中的待处理文件名；从待处理文件名中，确定第一文件名；获取与第一文件名对应的当前待处理文件。
120.一个具体实施例中，第一获取模块401，还用于获取原始作业数据；基于预设数据
提取策略，从原始作业数据中，依次提取数据大小为预设值的子数据集合；将每个子数据集合中的原始作业数据存储在对应的待处理文件。
121.一个具体实施例中，原始作业数据包括：时间信息；第一获取模块401，还用于基于时间信息，确定待处理文件名；基于待处理文件名，对待处理文件进行排序；将排序后的待处理文件存储在文件存储库。
122.一个具体实施例中，转换模块403，具体用于响应于文件转化指令，确定当前原始作业数据的每个位对应的物理含义；基于预先确定的转换策略，转换当前原始作业数据，得到目标作业数据；将目标作业数据存储在已处理文件。
123.一个具体实施例中，转换模块403，还用于生成文件转化日志，文件转化日志包括：文件转化状态；当确定文件转化状态为失败时，停止执行响应于接收的文件触发指令，获取下一待处理文件的步骤；当确定文件转化状态为成功时，执行响应于接收的文件触发指令，获取下一待处理文件的步骤。
124.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行数据处理方法，该方法包括：获取当前待处理文件，其中，当前待处理文件包括：当前原始作业数据、第一文件名，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到；基于第一文件名，创建第二文件名的已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致；响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件；响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
125.此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
126.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的数据处理方法，该方法包括：获取当前待处理文件，其中，当前待处理文件包括：当前原始作业数据、第一文件名，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到；基于第一文件名，创建第二文件名的已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致；响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件；响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
127.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的数据处理方法，该方法包括：获取当前待处理文件，其中，当前待处理文件包括：当前原始作业数据、第一文件名，当前待处理文件的文件大小小于或等于预设值，预设值通过处理器的处理性能得到；基于第一文件名，创建第二文件名的已处理文件，其中，第一文件名的文件类型和第二文件名的第二文件类型不一致；响应于接收的文件转化指令，转换当前原始作业数据，将得到的目标作业数据存储在已处理文件；响应于接收的文件触发指令，获取下一待处理文件，直至所有待处理文件转换完成。
128.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
129.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
130.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。