数据的结构化方法、系统、装置、设备和存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种数据的结构化方法、系统、装置、设备和存储介质。


背景技术：

2.视频结构化是一种视频内容信息提取技术。经过视频结构化后，可以将视频画面中人、车、物、颜色、数字及其他属性特征转换为机器可理解的视频内容信息。
3.视频结构化在安防、智能交通等领域有着广泛应用。并且对于视频的结构化结果还可以存入数据库，以供后续查找。以监控视频为例，对视频进行结构化处理后，则可以进一步根据数据库中存储的结构化结果，实现目标人物或者目标车辆的快速搜索。但在实际应用中，对于数量多、时长长的监控视频，如何提高视频结构化的效率就成为一个亟待解决的问题。


技术实现要素：

4.有鉴于此，本发明实施例提供一种数据的结构化方法、系统、装置、设备和存储介质，用以提高数据结构化的效率。
5.第一方面，本发明实施例提供一种数据的结构化方法，包括：
6.获取图像数据；
7.将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
8.将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
9.将所述第一结构化信息和第二结构化信息作为所述图像数据的结构化结果。
10.第二方面，本发明实施例提供一种数据的结构化装置，包括：
11.获取模块，用于获取图像数据；
12.传输模块，用于将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；以及将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
13.生成模块，用于将所述第一结构化信息和第二结构化信息作为所述图像数据的结构化结果。
14.第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据的结构化方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
15.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性
机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的数据的结构化方法。
16.第五方面，本发明实施例提供一种数据的结构化系统，包括：第一图形处理器、第二图形处理器和存储器；
17.所述第一图形处理器，用于接收包含目标对象的图像数据；提取目标对象在所述图像数据对应的图像区域以及所述图像数据的第一结构化信息；
18.所述第二图形处理器，用于提取所述图像数据的第二结构化信息；
19.所述存储器，用于存储由所述第一结构化信息和第二结构化信息构成的所述图像数据的结构化结果。
20.第六方面，本发明实施例提供一种数据的结构化方法，包括：
21.接收调用结构化服务的请求，根据结构化服务对应的处理资源执行：
22.获取所述请求中包含的图像数据；
23.将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
24.将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
25.输出由所述第一结构化信息和第二结构化信息构成的所述图像数据的结构化结果。
26.第七方面，本发明实施例提供一种数据的结构化装置，包括：
27.接收模块，用于接收调用结构化服务的请求；
28.执行模块，用于根据结构化服务对应的处理资源执行：
29.获取图像数据；
30.将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
31.将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
32.将所述第一结构化信息和第二结构化信息作为所述图像数据的结构化结果。
33.第八方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第六方面中的数据的结构化方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
34.第九方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第六方面所述的数据的结构化方法。
35.本发明实施例提供的数据的结构化方法，获取待结构化的、包含目标对象的图像数据。将图像数据传输至第一图形处理器，以由第一图形处理器提取图像数据的第一结构化信息。同时也由第一图像处理器截取目标对象在图像数据中对应的图像区域，并将截取出的图像区域传输至第二图形处理器。第二图形处理器再提取图像数据的第二结构化信息。最终，将两部分结构化信息确定为图像数据的结构化结果，也即是完成了图像数据的结
构化。
36.上述方法中，数据的结构化过程被划分为两个阶段，每个阶段由不同的图形处理器执行。并且在每个阶段中，与该阶段对应的图形处理器的处理资源都会全部用于某一结构化信息的提取，图形处理器中的处理资源处于空闲状态的时长会大大缩短甚至没有，在加快结构化信息的提取速度的同时，也提高了图形处理器的利用率，也就进一步提高了数据结构化的效率。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明实施例提供的一种数据的结构化方法的流程图；
39.图2为图1所示实施例提供的数据的结构化方法的执行示意图；
40.图3为本发明实施例提供的另一种数据的结构化方法的流程图；
41.图4为本发明实施例提供的又一种数据的结构化方法的流程图；
42.图5为图4所示实施例提供的数据的结构化方法的执行示意图；
43.图6为图4所示实施例提供的数据的结构化方法的执行示意图；
44.图7为本发明实施例提供的又一种数据的结构化方法的流程图；
45.图8为本发明实施例提供的一种数据的结构化系统的示意图；
46.图9a为本发明实施例提供的数据的结构化方法对监控视频进行结构化的一种示意图；
47.图9b为本发明实施例提供的数据的结构化方法对监控视频进行结构化的另一种示意图；
48.图10为本发明实施例提供的一种数据的结构化装置的结构示意图；
49.图11为与图10所示实施例提供的数据的结构化装置对应的电子设备的结构示意图；
50.图12为本发明实施例提供的另一种数据的结构化装置的结构示意图；
51.图13为与图12所示实施例提供的数据的结构化装置对应的电子设备的结构示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不
排除包含至少一种的情况。
54.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
55.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
56.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
57.在对本发明实施例提供的数据的结构化方法进行说明之前，还可以先对数据结构化的现实意义进行示例性说明：
[0058]“智慧城市”这一概念提出后，已经逐渐成为全球城市发展的热点问题，并且智慧城市的运行中心可以为城市大脑。城市大脑在对海量数据进行集中化智能分析后得到的结果能够对城市的治理产生积极影响。可选地，城市大脑具体可以为服务器。城市大脑可以应用在安防、交通管理、公共资源配置等多种场景中。比如在安防或者交通管理场景下，可以对监控视频进行分析，并根据分析结果实现目标人物或者目标车辆的搜索。
[0059]
但上述直接使用监控视频进行搜索的方式，一方面，服务器并不能直接知晓监控视频包含的内容，因此，以监控视频作为目标人物或者目标车辆的搜索依据，会使得搜索效率极低。另一方面，数量众多的监控视频也需要较大的存储空间。
[0060]
此时，从节省存储空间以及提高搜索效率的角度出发，便可以使用本发明提供数据的结构化方法实现监控视频的结构化，也即是将监控视频的内容转换为服结构化信息。以结构化信息为依据进行搜索即可以大大提高搜索效率，并且结构化信息所需的存储空间也较小。
[0061]
本发明提供的数据的结构化方法能够实现对图像数据进行结构化。其中，承接上述举例，监控视频可以是图像数据中的一种。当然，在其他场景中，图像数据也可以是静态图像，比如提供图片搜索服务的搜索引擎，其也可以使用本发明提供数据的结构化方法来实现对静态图像的结构化。使用结构化结果可以提高搜索速度并且节省存储空间。
[0062]
基于上述描述，下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
[0063]
图1为本发明实施例提供的一种数据的结构化方法的流程图，本发明实施例提供的该数据的结构化方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。本实施例以及下述各实施例中的处理设备具体来说可以是服务器。如图1所示，该方法包括如下步骤：
[0064]
s101，获取图像数据。
[0065]
正如上述描述中提到的，在不同应用场景下，图像数据可以是视频或者静态图像。可选地，处理设备可以获取摄像头拍得的监控视频，又或者通过互联网收集到的多张静态图像。处理设备可以包括多个图形处理器(graphics processing unit，简称gpu)，并由多个gpu实现图像数据的结构化。
[0066]
在实际应用中，图像数据的结构化信息可以由第一结构化信息和第二结构化信息构成。可选地，可以按照提取结构化信息所需的处理资源和时间将结构化信息划分为上述的两部分，当然也可以划分为多个部分。
[0067]
当图像数据为视频时，第一结构化信息可以包括图像数据中目标对象的位置信息和运动状态，运动状态具体为目标对象运动或者静止。当图像数据为静态图像时，第一结构化信息可以包括目标对象的位置信息。第二结构化信息可以包括目标对象的属性信息。比如目标对象可以是人物、车辆等等。此时，人物的属性信息可以包括人物的性别、穿着特征、面部特征等等。车辆的属性信息可以包括颜色、车牌号码，品牌型号、车辆类型等等。
[0068]
处理设备包括的图形处理器也可以按照提取的结构化信息的不同划分为第一图像处理器(下述简称为gpu1)和第二图像处理器(下述简称为gpu2)。可选地，考虑到提取第一结构化信息所需的处理资源更多，因此gpu1的处理能力优于gpu2。
[0069]
s102，将图像数据传输至第一图形处理器，以由第一图形处理器提取目标对象在图像数据中对应的图像区域以及图像数据的第一结构化信息。
[0070]
具体来说，若图像数据为视频，可选地，处理设备还会对视频进行分帧，以得到图像序列，并将此图像序列中的图像传输至gpu1。若图像数据为静态图像，则可以直接传输至gpu1。gpu1来提取图像数据的第一结构化信息。
[0071]
一种可选地方式，第一结构化信息的提取可以借助处理设备中配置的算法实现：gpu1可以读取该算法对应的可执行文件，并通过执行此文件提取第一结构化信息。并且在执行上述的可执行文件后，gpu1还可以将目标对象在图像数据中对应的图像区域截取出来。
[0072]
可选地，在获取到图像数据后，处理设备还可以先对其进行解码处理，再将解码结果传输至gpu1。
[0073]
s103，将图像区域传输至第二图形处理器，以由第二图形处理器提取图像数据的第二结构化信息。
[0074]
接着，将截取出的图像区域传输至gpu2，以由gpu2提取第二结构化信息。与gpu1类似的，可选地，第二结构化信息的提取也可以借助处理设备中配置的算法实现，即gpu2读取并执行算法对应的可执行文件来提取出第二结构化信息。由于第一结构化信息和第二结构化信息包含的内容不同，因此，gpu1和gpu2各自执行的可执行文件所对应的算法也是不同的。
[0075]
s104，将第一结构化信息和第二结构化信息作为图像数据的结构化结果。
[0076]
最终，由上述两部分结构化信息可以共同作为图像数据的结构化结果，并保存在处理设备中。
[0077]
在完成图像数据的结构化之后，则可以利用结构化结果进行目标对象的搜索，并最终将包含目标对象的图像数据(即搜索结果)展示给用户。因此，可选地，处理设备可以将图像数据、目标对象对应的图像区域以及结构化结果关联保存。
[0078]
本实施例提供的图像数据结构化过程也可以结合图2理解。
[0079]
本实施例中，获取待结构化的、包含目标对象的图像数据。将图像数据传输至第一图形处理器，以由第一图形处理器在提取图像数据的第一结构化信息，同时也由第一图像处理器截取目标对象在图像数据中对应的图像区域。再将截取出的图像区域传输至第二图形处理器，以由第二图形处理器提取图像数据的第二结构化信息。最终，将两部分结构化信息确定为图像数据的结构化结果，也即是完成了图像数据的结构化。
[0080]
上述方法中，数据的结构化过程被划分为两个阶段，每个阶段由不同的图形处理器执行。并且在每个阶段中，与该阶段对应的图形处理器的处理资源都会全部用于某一结构化信息的提取，图形处理器中的处理资源处于空闲状态的时长会大大缩短甚至没有，在加快结构化信息的提取速度的同时，也提高了图形处理器的利用率，也就进一步提高了数据结构化的效率。
[0081]
另外，需要说明的还有，根据上述实施例中的描述可知，提取不同的结构化信息所需的处理资源和时间不同，并且不同结构化信息的提取还存在先后顺序，即先提取第一结构化信息再提取第二结构化信息。并且图形处理器还会分配不同的处理资源用以分配提取第一结构化信息和第二结构化信息。因此，若结构化信息的提取全部都由一个图形处理器提取，则图形处理器在提取第一结构化信息时，图形处理器中与为提取第二结构化信息分配的处理资源就会处于空闲状态。由于提取第一结构化信息的所需的时间较长，因此，还导致此空闲状态是较长的，使得结构化信息的提取速度慢，图形处理器的利用率低。而利用上述实施例提供的方式，则可以避免这些问题。
[0082]
如图1所示的实施例步骤103中的描述可知，两部分结构化信息的提取是图形处理器通过执行算法对应的可执行文件来实现的。在实际应用中，可选地，用于提取结构化信息的算法具体可以表现为不同结构、具有不同功能、基于卷积神经网络的模型。此时，图3为本发明实施例提供的另一种数据的结构化方法的流程图。如图3所示，该方法可以包括如下步骤：
[0083]
s201，处理设备获取图像数据。
[0084]
上述步骤201的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
[0085]
s202，第一图形处理器读取检测模型文件，检测模型文件包括检测模型对应的可执行文件，检测模型用于提取第一结构化信息。
[0086]
s203，处理设备将图像数据传输至第一图形处理器，第一图形处理器通过执行检测模型文件，提取图像数据的第一结构化信息。
[0087]
s204，第一图形处理器在图像数据中提取目标对象对应的图像区域。
[0088]
gpu1可以读取并执行处理设备内存储的检测模型文件。其中，检测模型文件具体为检测模型对应的可执行文件。检测模型为能够提取出第一结构化信息的任何模型，本发明并限定检测模型的模型结构，在实际应用中，其通常可以是基于卷积神经网络的模型。
[0089]
gpu1在执行检测模型文件后得到第一结构化信息之后，便可按照第一结构化信息中包含的位置信息将目标对象从图像数据中截取出来，以得到目标对象对应的图像区域。
[0090]
需要说明的有，在实际应用中并不限定步骤202和步骤203之间的执行顺序。
[0091]
s205，第二图形处理器读取识别模型文件，识别模型文件包括属性信息识别模型
的可执行文件，识别模型用于提取第二结构化信息。
[0092]
s206,第一图形处理器将图像区域传输至第二图形处理器，第二图形处理器通过执行识别模型文件，在提取出的图像区域中，提取图像数据的第二结构化信息。
[0093]
与步骤203～步骤204类似的，gpu2可以读取并执行处理设备内存储的识别模型文件。其中，识别模型文件具体为识别模型对应的可执行文件。识别模型只要能够提取出属性信息即可，本发明并不限定识别模型的模型结构，在实际应用中，其也可以是基于卷积神经网络的模型。
[0094]
s207，处理设备将第一结构化信息和第二结构化信息作为图像数据的结构化结果。
[0095]
上述步骤207的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
[0096]
另外，对于步骤204中提取出的目标对象对应的图像区域，可选地，还可以将其放入缓存队列中。gpu2可以从缓存队列中获取需要图像区域并进行第二结构化信息的提取。缓存队列的引入能够使两个图形处理器之间的工作相对独立，降低二者之间的耦合。
[0097]
并且由于两图形处理之间的工作相对独立，因此在实际应用中，gpu1和gpu2之间的数量关系可以根据图像数据的数量灵活配置，以使二者都有较高的利用率。也正是由于两者工作相对独立，因此上述步骤202和步骤205之间的执行顺序并不严格限定，二者可以同时或者先后进行。
[0098]
本实施例中，gpu1和gpu2可以通过读取执行模型文件来分别启动第一结构和第二结构化信息的提取。若只使用一个图形处理提取全部的结构化信息，则图像处理器需要读取多个模型文件，并在文件全部读取完毕后才能开启结构化信息的提取。多个模型文件的读取会减慢图形处理器对结构化信息提取任务的启动速度。而使用本实施例提供的方法，gpu1和gpu2只需要分别读取检测模型文件和识别模型文件即可，缩短每个图形处理器所需的文件读取时间的同时，图形处理器也就能够更快地开启结构化信息的提取任务。
[0099]
图3所示的实施例中已经描述了gup1通过执行检测模型文件以提取第一结构化信息的过程。当图像数据为视频时，第一结构化信息又具体可以包括目标对象的位置信息和运动状态。可选地，gpu1可以通过分别执行不同的检测模型文件来提取目标对象的位置信息和运动状态。
[0100]
具体地，在图像数据传输至gpu1后，gpu1可以读取处理设备中存储的第一检测模型文件和第二检测模型文件。接着，gpu1根据第一检测模型文件提取目标对象的位置信息。再基于提取出的位置信息，进一步执行第二检测模型文件，以确定目标对象的运动状态。可选地，在运动状态提取完成后，目标检测模型还可以从图像数据中将目标对象对应的图像区域截取出来。
[0101]
其中，第一检测模型文件包括目标检测模型对应的可执行文件，目标检测模型用于提取目标对象的位置信息。第二检测模型包括目标跟踪模型对应的可执行文件，目标跟踪模型用于提取目标对象的运动状态。
[0102]
其中，目标检测模型可以是基于神经网络的模型，比如快速循环神经网络模型(faster region
‑
convolutional neural networks,简称faster r
‑
cnn)、单个深度神经网络模型(single shot multibox detector，简称ssd)、yolo模型等等。本发明并不对目标检
测模型的模型结构进行限定。
[0103]
其中，目标跟踪模型也可以是基于神经网络的模型，比如循环神经网络模型(region
‑
convolutional neural networks,简称r
‑
cnn)、卷积神经网络(convolutional neural networks,简称cnn)、生成对抗生成网络(generative adversarial networks，简称gan)等等。
[0104]
上述的第一结构化信息的提取过程是gpu1借助目标检测模型和目标跟踪模型实现的。从模型角度描述上述提取过程为：将图像数据输入目标检测模型，以由目标检测模型输出目标对象的位置信息。再将图像数据以及位置信息输入至目标跟踪模型，以由目标跟踪模型输出目标对象的运动状态。
[0105]
处理设备中的gpu1和gpu2各自的数量也都可以是多个。在实际应用中，每个gpu1或者gpu2所具备的处理资源能够使其并行处理多路图像数据，比如每个gpu1能够同时处理25路视频。但考虑到提取第一结构化信息所需的处理资源更多，因此，gpu1的数量通常大于gpu2的数量。gpu2能够处理的图像数据的数量也大于gpu1能够处理的图像数据的数量。
[0106]
另外，上述各实施例中第一结构化信息由gpu1提取，第二结构化信息由gpu2提取。而根据上述描述可知，第一结构化信息或第二结构化信息又都包括多条信息，可选地，可以根据实际需求，每条结构化信息或者某几项结构化信息由单独的图形处理器来提取，也即是将整个结构化过程划分为更细的多个阶段。
[0107]
上述各实施例中，使用gpu1和gpu2分别提取第一结构化信息、第二结构化信息，已经能够在一定程度上提高结构化信息的提取效率。在此基础上，还可以gpu1还可以采用并行处理的方式进一步提高效率。
[0108]
以图像数据是视频为例，视频中可以包含相邻的第一图像帧和第二图像帧。基于此，则图4为本发明实施例提供的又一种数据的结构化方法的流程图。如图4所示，该方法可以包括如下步骤：
[0109]
s301，处理设备获取图像数据。
[0110]
s302，第一图形处理器读取第一检测模型文件和第二检测模型文件。
[0111]
上述步骤301～步骤302的具体执行过程可以上述实施例中的描述，在此再不赘述。
[0112]
s303，处理设备将图像数据传输至第一图形处理器，第一图形处理器根据第一检测模型文件，确定目标对象在第一图像帧中的位置信息。
[0113]
s304，第一图形处理器根据第二检测模型文件以及目标对象在第一图像帧中的位置信息，确定目标对象的运动状态，同时第一图形处理器还根据第一检测模型文件，确定目标对象在第二图像帧中的位置信息。
[0114]
gpu1在接收到第一图像帧和第二图像帧后，可以采用并行处理的方式提取目标对象的位置信息和运动状态。
[0115]
具体来说，视频中包括的多个图像帧会依次传输至gpu1，gpu1在读取第一、第二检测模型文件后，则开始提取结构化信息，即在t1时间，pug1先执行第一检测模型文件以提取出第一图像帧中目标对象的位置信息。在t2时间，gpu1再执行第二检测模型文件，根据目标对象的位置信息确定目标对象的运动状态。同时在t2时间，gpu1还会再次执行第一检测模型文件，以提取出第二图像帧中目标对象的位置信息。也即是运动状态和位置信息是并行
提取的，上述的并行处理方法可以结合图5理解。
[0116]
而利用两个检测模型文件分别提取出位置信息和运动状态的过程可以参见上述描述。并且本实施例中也不限定步骤302和步骤303之间的执行顺序。
[0117]
s305，第一图形处理器在第一图像帧中提取目标对象对应的图像区域。
[0118]
与图3所示实施例类似的，在确定出运动状态之后，gpu1还可以进一步提取目标对象对应的图像区域，并且对于提取出的图像区域，可选地，还可以将其放入缓存队列中。
[0119]
s306，第一图形处理器将图像区域传输至第二图形处理器，第二图形处理器通过执行识别模型文件，在提取出的图像区域中，提取目标对象在第一图像帧中的属性信息。
[0120]
s307，处理设备将位置信息、运动状态以及属性信息作为视频的结构化结果。
[0121]
上述步骤305～步骤307的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
[0122]
本实施例中，gpu1对目标对象的运动状态和位置信息的并行提取能够进一步提高结构化信息的提取效率。
[0123]
上述实施例中是gpu1对多个图像帧进行并行处理的过程，类似的，gpu1和gpu2也可以对多个图像帧进行并行处理，此时，可以更进一步提高结构化信息的提取效率。
[0124]
具体来说，视频还可以包括第三图像帧，则经过上述t1时间和t2时间后，gpu1已经提取出目标对象在第一图像帧中的位置信息，以及目标对象的运动状态，同时gpu1也提取出第二图像帧中目标对象的位置信息。则在t3时间，gpu2会进一步根据目标对象在第一图像帧中的图像区域，提取目标对象的属性信息，与此同时，gpu1还会提取第三图像帧中目标对象的位置信息，并根据目标对象在第二图像帧中的位置再次确定目标对象的运动状态。
[0125]
在t1时间和t2时间下，gpu1的并且处理过程可以结合图5理解，在t3时间下，上述gpu1和gpu2的并行处理过程可以结合图6理解。
[0126]
上述各实施例都是以视频为例进行说明的，当图像数据为静态图像，此时，只需要提取图像中目标对象的位置以及属性信息。提取过程可以为：在t1时间使用gpu1提取第一图像中目标对象的位置信息。在t2时间，gpu2提取第二图像中目标对象的属性信息，同时gpu1提取第一图像中目标对象的位置信息。其中未详细描述的内容可以参加上述各实施例中的内容，在此不再赘述。
[0127]
对于上述各实施例提供的数据的结构化方法，其可以部署在服务器上，并由服务器作为一个服务平台，用于为用户提供数据结构化服务。此处的服务器也即是上述各实施例中的处理设备。则图7为本发明实施例提供的又一种数据的结构化方法的流程图，如图7所示，该方法可以包括如下步骤：
[0128]
s401，接收调用结构化服务的请求。
[0129]
s402，获取请求中包含的图像数据。
[0130]
s403，将图像数据传输至第一图形处理器，以由第一图形处理器提取目标对象在图像数据中对应的图像区域以及图像数据的第一结构化信息。
[0131]
s404，将图像区域传输至第二图形处理器，以由第二图形处理器提取图像数据的第二结构化信息。
[0132]
s405，输出由第一结构化信息和第二结构化信息构成的图像数据的结构化结果。
[0133]
用户可以借助终端设备向服务器发送服务请求，此服务请求中需要包括待结构化
的图像数据。在不同的场景中，图像数据可以是监控视频，也可以是多张静态图像。
[0134]
图像数据具体的结构化过程是借助服务器中的图形处理器实现的，具体过程可以参见上述图1至图6所示实施例中的描述。并且本实施例所能达到的技术效果也参见图1至图6所示实施例中的描述，在此不再赘述。
[0135]
上述各实施例是从方法角度来描述图像数据的结构化过程的。从硬件系统角度来说，图8为本发明实施例提供的一种数据的结构化系统的结构示意图，如图8所示，该系统可以包括：第一图形处理器(即上述各实施例中的gpu1)、第二图形处理器(即上述各实施例中的gpu2)和存储器。
[0136]
在实际应用中，gpu1的数量可以是多个，此时整个系统的结构如图8所示。
[0137]
基于此结构，gpu1用于接收包含目标对象的图像数据；提取目标对象在图像数据对应的图像区域以及图像数据的第一结构化信息。gpu2用于提取图像数据的第二结构化信息。存储器，用于存储由第一结构化信息和第二结构化信息构成的图像数据的结构化结果。
[0138]
可选地，gpu1可以通过读取并执行检测模型文件的方式来实现第一结构化信息的提取并将目标对象在图像数据中对应的图像区域。类似地gpu2也可以借助识别模型文件以及提取出的图像区域实现第二结构化信息的提取。
[0139]
可选地，检测模型文件具体可以包括第一检测模型文件和第二检测模型文件，用于分别提取图像数据中目标对象的位置信息和运动状态。
[0140]
当图像数据具体为视频，并且视频包含多个图像帧，此时，上述方式执行限定了由不同的图形处理器提取不同的结构化信息，但并没有限定gpu1和gpu2如何对多个图像帧的结构化信息的提取。
[0141]
为了进一步提高结构化信息的提取效率，可选地，gpu1和gpu2可以采用并行处理的方式。
[0142]
具体来说，对于输入至gpu1的第一图像帧～第三图像帧，在t1时间，gpu1执行第一检测模型文件，以提取目标对象在第一图像帧中的位置信息。
[0143]
在t2时间，gpu1执行第二检测模型文件，以确定目标对象的运动状态，并将目标对象在第一图像帧中的图像区域截取出来放入缓存队列中。同时gpu1还会执行第一检测模型文件，以提取出目标对象在第二图像帧中的位置信息。gpu1也即是实现了对多个图像帧的并行处理。其中，不同的检测模型使用的是gpu1中不同的处理资源。
[0144]
在t3时间，gpu2执行识别模型文件，根据第二时间时截取出的图像区域提取目标对象在第一图像帧中的属性信息，同时gpu1执行第二检测模型文件，以再此确定目标对象的运动状态。同时gpu1还执行第一检测模型文件，以提取目标对象在第三图像帧中的位置信息。gpu1和gpu2也即是对多个图像帧的并行处理。
[0145]
可选地，服务器接收到视频后可以及其进行分帧处理以得到多个图像帧。可选地，提取出的图像区域也可以放入缓存队列。
[0146]
本实施例中未详细描述的内容可以参见上述图1至图6所示实施例中的描述。并且本实施例所能达到的技术效果也参见图1至图6所示实施例中的描述，在此不再赘述。
[0147]
为了便于理解，结合如下的应用场景对以上提供的数据的结构化方法的具体实现过程进行示例性说明。
[0148]
以对道路上的监控视频进行结构化为例，此场景中的目标物体可以为行走在人行
横道上的行人和正在等红灯的车辆。可选地，处理设备对接收到的视频进行分帧处理，以得到多个图像帧即图像序列。之后，处理设备可以将图像序列传输至gpu1，在t1时间，gpu1读取并执行第一检测模型文件，以提取行人和车辆各自在第一图像帧中的位置信息。
[0149]
在t2时间，gpu1进一步读取并执行第二检测模型文件，以提取出车辆的运动状态为静止，行人是运动的，即其的运动状态为非静止。在实际应用中，需要重点关注运动的对象，因此，gpu1还会将行人在第一图像帧中的图像区域截取出来放入缓存队列中。与此同时gpu1还执行第一检测模型文件，以提取出行人和车辆在第二图像帧中的位置信息。gpu1实现了对多个图像帧的并行处理。此t2时间下，gpu1的处理过程可以结合图9a理解。
[0150]
在t3时间，gpu2执行识别模型文件，根据t2时间时截取出的第一图像帧中行人对应图像区域，提取第一图像帧中的行人的属性信息为：该行人为女性，身穿连衣裙。与此同时，同时gpu1执行第二检测模型文件，以提取行人为运动状态，车辆为静止状态。同时gpu1还执行第一检测模型文件，以提取行人和车辆在第三图像帧中的位置信息。gpu1和gpu2也即是对多个图像帧的并行处理。此t3时间下，gpu1和gpu2的处理过程可以结合图9b理解。
[0151]
最终，展示给用户的、此视频的结构化结果可以为：视频中包含静止的车辆a，运动的行人，该行人为身穿连衣裙的女性。
[0152]
以下将详细描述本发明的一个或多个实施例的数据的结构化装置。本领域技术人员可以理解，这些数据的结构化装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
[0153]
图10为本发明实施例提供的一种数据的结构化装置的结构示意图，如图10所示，该装置包括：
[0154]
获取模块11，用于获取图像数据。
[0155]
传输模块12，用于将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；以及将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息。
[0156]
生成模块13，用于将所述第一结构化信息和第二结构化信息作为所述图像数据的结构化结果。
[0157]
可选地，所述装置还包括：读取模块14，用于所述第一图形处理器读取检测模型文件，所述检测模型文件包括检测模型对应的可执行文件，所述检测模型用于提取所述第一结构化信息。
[0158]
所述第一图形处理器，用于通过执行所述检测模型文件，提取所述图像数据的第一结构化信息；以及在所述图像数据中提取所述目标对象对应的图像区域。
[0159]
其中，所述图像数据包括视频和/或静态图像。
[0160]
所述第一结构化信息包括所述目标对象在所述图像数据中的位置信息以及运动状态；所述第二结构化信息包括所述目标对象的属性信息。
[0161]
可选地，所述读取模块14，还用于所述第二图形处理器读取识别模型文件，所述识别模型文件包括属性信息识别模型的可执行文件，所述识别模型用于提取所述第二结构化信息；
[0162]
所述第二图形处理器通过执行所述识别模型文件，在提取出的所述图像区域中，
提取所述图像数据的第二结构化信息。
[0163]
可选地，所述图像数据包括视频。
[0164]
所述第一图形处理器读取检测模型文件的步骤包括：所述第一图形处理器读取第一检测模型文件和第二检测模型文件，其中，所述第一检测模型文件包括目标检测模型对应的可执行文件，所述目标检测模型用于提取所述第一结构化信息中的位置信息，所述第二检测模型文件包括目标跟踪模型对应的可执行文件，所述目标跟踪模型用于提取所述第一结构化信息中的运动状态。
[0165]
可选地，所述视频包括第一图像帧和第二图像帧。
[0166]
所述第一图形处理器通过执行所述检测模型文件，提取所述图像数据的第一结构化信息的步骤，包括：所述第一图形处理器根据所述第一检测模型文件，确定所述目标对象在所述第一图像帧中的位置信息；
[0167]
所述第一图形处理器根据所述第二检测模型文件以及所述目标对象在所述第一图像帧中的位置信息，确定所述目标对象的运动状态，同时所述第一图形处理器还根据所述第一检测模型文件，确定所述目标对象在所述第二图像帧中的位置信息。
[0168]
可选地，所述视频还包括第三帧图像。
[0169]
所述第二图形处理器通过执行所述属性提取模型文件，在提取出的所述图像区域中，提取所述图像数据的第二结构化信息的步骤，包括：
[0170]
所述第二图形处理器根据所述属性提取模型文件以及所述目标对象在第一图像帧中对应的图像区域，提取所述目标对象的属性信息，同时所述第一图形处理器根据所述第二检测模型文件确定所述目标对象的运动状态，根据所述第一检测模型文件确定所述目标对象在所述第三图像帧中的位置信息。
[0171]
可选地，所述装置还包括：缓存模块15，用于将提取出的所述图像区域放入缓存队列，以使所述第二图形处理器从所述缓存队列中获取所述图像区域。
[0172]
可选地，所述装置还包括：保存模块16，用于将所述图像数据、所述目标对象所在的图像区域以及所述结构化结果关联保存。
[0173]
图10所示装置可以执行图1至图7所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图7所示实施例中的描述，在此不再赘述。
[0174]
以上描述了数据的结构化装置的内部功能和结构，在一个可能的设计中，数据的结构化装置的结构可实现为一电子设备，如图11所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该电子设备执行上述图1至图7所示实施例中提供的数据的结构化方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。
[0175]
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：
[0176]
获取图像数据；
[0177]
将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
[0178]
将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像
数据的第二结构化信息；
[0179]
将所述第一结构化信息和第二结构化信息作为所述图像数据的结构化结果。
[0180]
可选地，所述处理器21还用于执行前述图1至图7所示实施例中的全部或部分步骤。
[0181]
其中，所述电子设备的结构中还可以包括通信接口23，用于该电子设备与其他设备或通信网络通信。
[0182]
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图7所示方法实施例中数据的结构化方法所涉及的程序。
[0183]
图12为本发明实施例提供的另一种数据的结构化装置的结构示意图，如图12所示，该装置包括：
[0184]
接收模块31，用于接收调用结构化服务的请求。
[0185]
执行模块32，用于根据结构化服务对应的处理资源执行：
[0186]
获取所述请求中包含的图像数据；
[0187]
将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
[0188]
将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
[0189]
输出由所述第一结构化信息和第二结构化信息构成的所述图像数据的结构化结果。
[0190]
图12所示装置可以执行图8所示实施例的方法，本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。
[0191]
以上描述了数据的结构化装置的内部功能和结构，在一个可能的设计中，数据的结构化装置的结构可实现为一电子设备，如图13所示，该电子设备可以包括：处理器41和存储器42。其中，所述存储器42用于存储支持该电子设备执行上述图8所示实施例中提供的数据的结构化方法的程序，所述处理器31被配置为用于执行所述存储器42中存储的程序。
[0192]
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器41执行时能够实现如下步骤：
[0193]
接收调用结构化服务的请求，根据结构化服务对应的处理资源执行：
[0194]
获取所述请求中包含的图像数据；
[0195]
将所述图像数据传输至第一图形处理器，以由所述第一图形处理器提取目标对象在所述图像数据中对应的图像区域以及所述图像数据的第一结构化信息；
[0196]
将所述图像区域传输至第二图形处理器，以由所述第二图形处理器提取所述图像数据的第二结构化信息；
[0197]
输出由所述第一结构化信息和第二结构化信息构成的所述图像数据的结构化结果。
[0198]
可选地，所述处理器41还用于执行前述图8所示实施例中的全部或部分步骤。
[0199]
其中，所述电子设备的结构中还可以包括通信接口43，用于该电子设备与其他设
备或通信网络通信。
[0200]
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图8所示方法实施例中数据的结构化方法所涉及的程序。
[0201]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。