图像数据处理方法、系统、电子装置和存储介质与流程

1.本技术涉及自动驾驶技术领域，特别是涉及一种图像数据处理方法、系统、电子装置和存储介质。


背景技术：

2.随着自动驾驶技术的快速发展，高级驾驶辅助系统(advanced driving assistant system，简称为adas)成为自动驾驶车辆中不可缺少的部分。
3.在自动驾驶控制系统中，为了提高adas系统的感知性能，需要对adas系统进行测试和验证，可以在道路测试中通过获取大量路采数据对adas系统进行测试，也可以在实验室通过数据注入的方式模拟真实环境以对adas系统进行数据回灌测试。
4.目前，现有技术中，往往是由摄像装置采集路采数据，或者在实验室从存储器中读取回灌数据，利用adas系统处理路采数据和回灌数据进行感知性能的测试与验证。然而，在adas系统的实际应用中会出现视频数据故障，例如，视频数据不连贯(断连、残帧、丢帧和消隐时间故障等)和视频图像质量改变(如噪声、过曝、失焦、坏点、畸变、视频遮挡面积和视频条纹数等)，由于adas系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，在实际应用中出现视频数据故障时，其感知性能会受到影响，这也会降低自动驾驶控制系统的可靠性。
5.目前针对相关技术中adas系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，导致自动驾驶控制系统的可靠性低的问题，尚未提出有效的解决方案。


技术实现要素：

6.本技术实施例提供了一种图像数据处理方法、系统、电子装置和存储介质，以至少解决相关技术中adas系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，导致自动驾驶控制系统的可靠性低的问题。
7.第一方面，本技术实施例提供了一种图像数据处理方法，所述方法包括：获取摄像装置采集到的第一图像数据；获取与所述第一图像数据对应的第一故障类型，其中，所述第一故障类型包括以下至少之一：时序类故障和质量类故障；在与所述第一故障类型对应的图像处理模块上对所述第一图像数据进行故障注入，得到与所述第一图像数据对应的故障图像数据；将所述故障图像数据发送给待测试系统。
8.在其中一些实施例中，在与所述第一故障类型对应的图像处理模块上对所述第一图像数据进行故障注入，得到与所述第一图像数据对应的故障图像数据包括：在所述第一故障类型包括时序类故障的情况下，在与所述时序类故障对应的图像处理模块上生成故障行场信号，并利用所述故障行场信号对所述第一图像数据进行故障注入，得到与所述第一图像数据对应的故障图像数据；在所述第一故障类型包括质量类故障的情况下，在与所述质量类故障对应的图像处理模块上利用预设的图像处理算法改变所述第一图像数据的图
像质量，得到与所述第一图像数据对应的故障图像数据。
9.在其中一些实施例中，所述方法还包括：从预设的上位机中获取第二图像数据；获取与所述第二图像数据对应的第二故障类型；在与所述第二故障类型对应的图像处理模块上对所述第二图像数据进行故障注入，得到与所述第二图像数据对应的故障图像数据；将所述故障图像数据发送给所述待测试系统。
10.在其中一些实施例中，获取摄像装置采集到的第一图像数据包括：获取所述摄像装置采集到的视频数据；利用预设的解串模块对所述视频数据进行解串处理，得到与所述视频数据对应的第一图像数据。
11.在其中一些实施例中，将所述故障图像数据发送给所述待测试系统包括：利用预设的串化模块对所述故障图像数据进行串化处理，得到与所述故障图像数据对应的第一串化数据流；将所述第一串化数据流发送给所述待测试系统。
12.在其中一些实施例中，在得到与所述视频数据对应的第一图像数据之后，所述方法还包括：利用预设的串化模块对所述第一图像数据进行串化处理，得到与所述第一图像数据对应的第二串化数据流；将所述第二串化数据流发送给所述待测试系统。
13.第二方面，本技术实施例提供了一种图像数据处理系统，摄像装置、处理器和待测试系统；所述摄像装置用于采集图像数据；所述处理器用于执行如上述第一方面所述的图像数据处理方法；所述处理器包括图像处理模块，所述图像处理模块用于对所述图像数据进行故障注入；所述待测试系统用于利用所述摄像装置采集的图像数据或者所述处理器生成的故障图像数据进行性能测试。
14.在其中一些实施例中，所述系统包括离线处理模块；所述离线处理模块用于对所述图像数据进行故障注入，并存储与所述图像数据对应的故障图像数据，以及在所述待测试系统进行性能测试时将所述故障图像数据输入给所述待测试系统。
15.在其中一些实施例中，所述系统还包括解串模块和串化模块；其中，所述解串模块用于将所述摄像装置采集的视频数据进行解串处理，得到与所述视频数据对应的图像数据；所述串化模块用于对所述图像数据和/或在所述图像处理模块生成的故障图像数据进行串化处理，得到与所述故障图像数据对应的第一串化数据流和/或与所述图像数据对应的第二串化数据流。
16.在其中一些实施例中，所述摄像装置、所述解串模块、所述串化模块和所述待测试系统之间的数据传输链路组成所述图像数据的传输链路；所述待测试系统还用于向所述摄像装置、所述解串模块和所述串化模块发送控制信号，并利用所述控制信号对所述图像数据的传输链路进行与所述摄像装置匹配的参数配置。
17.第三方面，本技术实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的图像数据处理方法。
18.第四方面，本技术实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的图像数据处理方法。
19.相比于相关技术，本技术实施例提供的图像数据处理方法、系统、电子装置和存储介质，获取摄像装置采集到的第一图像数据；获取与第一图像数据对应的第一故障类型，其
中，第一故障类型包括以下至少之一：时序类故障和质量类故障；在与第一故障类型对应的图像处理模块上对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据；将故障图像数据发送给待测试系统。通过本技术，解决了相关技术中adas系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，导致自动驾驶控制系统的可靠性低的问题，实现了提高adas系统的感知性能和可靠性的技术效果。
20.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
21.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
22.图1是根据本技术实施例的图像数据处理系统的结构框图；
23.图2是根据本技术实施例的图像数据处理方法的流程图；
24.图3是根据本技术实施例的电子装置的结构示意图。
具体实施方式
25.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
26.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
27.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第
一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
28.本实施例提供了一种图像数据处理系统，图1是根据本技术实施例的图像数据处理系统的结构框图，如图1所示，该系统包括：摄像装置11、处理器12和待测试系统13；摄像装置11用于采集图像数据；所述处理器12包括图像处理模块121，所述图像处理模块121用于对所述图像数据进行故障注入；所述待测试系统13用于利用所述摄像装置11采集的图像数据或者所述处理器12生成的故障图像数据进行性能测试。
29.在本实施例中，处理器12可以选择为fpga(现场可编程逻辑门阵列，field programmable gate array)控制器，待测试系统13可以选择为高级驾驶辅助系统(advanced driving assistant system，简称为adas)，也可以选择为其他需要进行故障图像数据测试的系统。
30.在其中一些实施例中，该系统还包括解串模块14和串化模块15，其中，解串模块14用于将摄像装置11采集的视频数据进行解串处理，得到对应该视频数据的图像数据，然后可以将对应该视频数据的图像数据发送至处理器12实现故障图像的生成，从而利用处理器12的并行数据块处理能力提高故障图像的生成速度；串化模块15，则可以将处理器12生成的故障图像数据进行串化处理，生成待测试系统13可以处理的第一串化数据流，或者可以对摄像装置11采集的图像数据进行串化处理，生成待测试系统13可以处理的第二串化数据流。
31.在本实施例中，摄像装置11、所述解串模块14、所述串化模块15和所述待测试系统13之间的数据传输链路组成所述图像数据的传输链路；由于存在不同型号的摄像装置11，其适配的图像数据的传输链路的参数也不同，更换摄像装置11时往往需要重新配置传输链路的参数，需要重新烧写代码，在本实施例中，待测试系统13还用于向摄像装置11、解串模块14和串化模块15发送控制信号，该控制信号可以选择为i2c(集成电路总线，inter-integrated circuit bus)信号，并利用i2c信号对图像数据的传输链路以及所述图像数据的寄存器(图中未示出)进行与摄像装置11匹配的参数配置，从而提高图像数据处理的通用性，使得图像数据处理适配于不同型号的摄像装置11。
32.在本实施例中，待测试系统13发送i2c信号到串化模块15、解串模块14和摄像装置11，并利用i2c信号对传输链路进行参数配置，从而实现数据采集回灌的自适应化。
33.在本实施例中，如图1所示，图像处理模块121搭载在处理器12上，此外，图像处理模块121还可以与处理器12外部建立通信连接，对图像数据进行故障注入；例如，可以在处理器12上利用图像处理ip核或者开发套件将c 语言、matlab语言转换为处理器12可支持的硬件描述语言，或者，也可以在处理器12上转接arm(advanced risc machines)、dsp(数字信号处理器，digital signal processor)等外部建立通信连接的图像处理模块121。
34.在上述实施例中，可以根据不同的业务场景需求，针对不同的故障类型调用不同的硬件和软件，例如，以fpga控制器作为处理器12的并行处理数据库能力强，搭载在处理器12上的图像处理模块121可以满足一般的故障注入需求，后期如果对图像数据存在特殊处理的需求，则可以在处理器12上外接其他图像处理模块121，例如arm、dsp等，在相应的硬件平台上引入各种图像开源库来做图像数据的故障注入，提高图像数据处理系统针对不同业务场景需求的适用性。
35.在其中一些实施例中，处理器12还与上位机16通信连接，处理器12能够获取上位
机16中预先存储的图像数据，获取成功后，处理器12针对图像数据的故障类型进行相应的故障注入，然后处理器12将图像数据对应的故障图像数据经过串化模块15发送给待测试系统13。
36.在本实施例中，该系统还可以包括离线处理模块，该离线处理模块用于对所述图像数据进行故障注入，并存储与所述图像数据对应的故障图像数据，以及在所述待测试系统13进行性能测试时将所述故障图像数据输入给所述待测试系统13。
37.在上述实施例中，由于生成不同故障类型的故障图像数据时，在面对复杂故障的情况下，图像处理算法需要相对久的时间来进行故障注入，为了提高图像处理效率和待测试系统13的实时性，可以将图像故障注入、图像传输、图像独立出来，由离线处理模块对图像数据进行故障注入，并将故障图像数据输入给待测试系统13进行性能测试，减少待测试系统13的等待时间。
38.在本实施例中，上位机16即离线处理模块，除此以外，离线处理模块也可以是其他与处理器12进行通信连接的处理芯片，对此不作具体限制。
39.在其中一些实施例中，处理器12还提供了hdmi(高清多媒体界面，high definition multimedia interface)接口，hdmi接口用于外接显示器17，以满足用户的显示视频需求。
40.在本实施例中，处理器12还与上位机16通过pci-e(高速串行计算机扩展总线标准，peripheral component interconnect express)通信连接，处理器12被配置为用于获取摄像装置11采集到的第一图像数据；获取与第一图像数据对应的第一故障类型，其中，第一故障类型包括以下至少之一：时序类故障和质量类故障；在与第一故障类型对应的图像处理模块121上对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据；将故障图像数据发送给待测试系统13。
41.在其中一些实施例中，处理器12还被配置为用于在第一故障类型包括时序类故障的情况下，在与时序类故障对应的图像处理模块121上生成故障行场信号，并利用故障行场信号对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据；在第一故障类型包括质量类故障的情况下，在与质量类故障对应的图像处理模块121上利用预设的图像处理算法改变第一图像数据的图像质量，得到与第一图像数据对应的故障图像数据。
42.在其中一些实施例中，处理器12还被配置为用于从预设的上位机16中获取第二图像数据；获取与第二图像数据对应的第二故障类型；在与第二故障类型对应的图像处理模块121上对第二图像数据进行故障注入，得到与第二图像数据对应的故障图像数据；将故障图像数据发送给待测试系统13。
43.在本实施例中，第二故障类型包括时序类故障和质量类故障，无论是第一图像数据和第二图像数据均可以进行时序类故障和/或质量类故障的故障注入。
44.在其中一些实施例中，处理器12还被配置为用于获取摄像装置11采集到的视频数据；利用预设的解串模块14对视频数据进行解串处理，得到与视频数据对应的第一图像数据。
45.在其中一些实施例中，处理器12还被配置为用于将故障图像数据发送给待测试系统13包括：利用预设的串化模块15对故障图像数据进行串化处理，得到与故障图像数据对应的第一串化数据流；将第一串化数据流发送给待测试系统13。
46.在其中一些实施例中，处理器12还被配置为用于利用预设的串化模块15对第一图像数据进行串化处理，得到与第一图像数据对应的第二串化数据流；将第二串化数据流发送给待测试系统13。
47.本实施例提供了一种图像数据处理方法，图2是根据本技术一种实施例的图像数据处理方法的流程图，如图2所示，该方法包括：
48.步骤s201，获取摄像装置采集到的第一图像数据。
49.在本实施例中，摄像装置可以为采用cmos(互补金属氧化物半导体，complementary metal-oxide-semiconductor)图像传感器的摄像头，由摄像装置采集第一图像数据，可以在实际行驶过程中，采集车辆在实际道路场景下的路采数据，对待测试系统进行性能测试和验证。
50.步骤s202，获取与第一图像数据对应的第一故障类型，其中，第一故障类型包括以下至少之一：时序类故障和质量类故障。
51.在本实施例中，时序类故障可以包括断连、残帧、丢帧和消隐时间故障等故障，质量类辅助则可以包括噪声、过曝、失焦、坏点、畸变、视频遮挡面积和视频条纹数等故障，第一故障类型还可以包括其他故障，通过更多故障类型的故障图像数据对待测试系统进行感知性能的测试和验证，可以进一步提高待测试系统的可靠性和完备性。
52.步骤s203，在与第一故障类型对应的图像处理模块上对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据。
53.在本实施例中，处理器可以选择fpga控制器，图像处理模块可以搭载在fpga控制器上，也可以与fpga控制器建立外部的通信连接，还可以将图像处理模块独立出来，在图像处理模块生成故障图像数据后再由fpga控制器输入给待测试系统进行测试，可以减少待测试系统等待故障图像数据的生成时间，提高图像处理效率和待测试系统的实时性。
54.步骤s204，将故障图像数据发送给待测试系统。
55.在本实施例中，待测试系统可以为adas系统，将故障图像数据发送给待测试系统后，即可获取待测试系统的响应结果，并根据该响应结果对待测试系统的感知性能进行测试与验证。
56.相关技术中，往往是由摄像装置采集路采数据，或者在实验室从存储器中读取回灌数据，利用adas系统处理路采数据和回灌数据进行感知性能的测试与验证。然而，在adas系统的实际应用中会出现视频数据故障，例如，视频数据不连贯(断连、残帧、丢帧和消隐时间故障等)和视频图像质量改变(如噪声、过曝、失焦、坏点、畸变、视频遮挡面积和视频条纹数等)，由于待测试系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，在实际应用中出现视频数据故障时，其感知性能会受到影响，这也会降低自动驾驶控制系统的可靠性。
57.在本实施例中，通过生成包括时序类故障和质量类故障等多种故障类型的故障图像数据，并基于故障图像数据对待测试系统进行感知性能的测试和验证，能够提高待测试系统遇到视频数据故障时的感知性能和可靠性，进而提高自动驾驶控制系统的可靠性。
58.通过上述步骤s201至步骤s204，获取摄像装置采集到的第一图像数据；获取与第一图像数据对应的第一故障类型，其中，第一故障类型包括以下至少之一：时序类故障和质量类故障；在与第一故障类型对应的图像处理模块上对第一图像数据进行故障注入，得到
与第一图像数据对应的故障图像数据；将故障图像数据发送给待测试系统。通过本技术，解决了相关技术中待测试系统缺乏对故障图像数据的测试验证，或者输入adas系统的故障图像数据的故障类型较为单一，导致自动驾驶控制系统的可靠性低的问题，实现了提高adas系统的感知性能和可靠性的技术效果。
59.在其中一些实施例中，在与第一故障类型对应的图像处理模块上对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据通过如下步骤实现：
60.步骤1，在第一故障类型包括时序类故障的情况下，在与时序类故障对应的图像处理模块上生成故障行场信号，并利用故障行场信号对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据。
61.步骤2，在第一故障类型包括质量类故障的情况下，在与质量类故障对应的图像处理模块上利用预设的图像处理算法改变第一图像数据的图像质量，得到与第一图像数据对应的故障图像数据。
62.在本实施例中，时序类故障是通过控制图像数据的行场信号来生成缺行或者缺帧等故障图像数据的故障类型，质量类故障是利用各类图像处理算法结合相应的特定硬件平台来实现的，例如，可以在fpga控制器上利用图像处理ip核或者开发套件将c 语言、matlab语言转换为fpga控制器可支持的硬件描述语言，或者，也可以在fpga控制器上转接arm(advanced risc machines)、dsp(数字信号处理器，digital signal processor)等图像处理模块。
63.在上述实施例中，可以根据不同的业务场景需求，针对不同的故障类型调用不同的硬件和软件，例如，fpga控制器的并行处理数据库能力强，搭载在fpga控制器上的图像处理模块可以满足一般的故障注入需求，后期如果对图像数据存在特殊处理的需求，则可以在fpga控制器上外接其他图像处理模块，例如arm、dsp等，在相应的硬件平台上引入各种图像开源库来做图像数据的故障注入，提高测试系统针对不同业务场景需求的适用性。
64.在其中一些实施例中，该方法还实施如下步骤：
65.步骤1，从预设的上位机中获取第二图像数据。
66.步骤2，获取与第二图像数据对应的第二故障类型。
67.步骤3，在与第二故障类型对应的图像处理模块上对第二图像数据进行故障注入，得到与第二图像数据对应的故障图像数据。
68.步骤4，将故障图像数据发送给待测试系统。
69.在本实施例中，本技术提供的图像数据处理方法不仅适用于对待测试系统的路采测试，还可以在实验室中对待测试系统进行回灌数据的测试，其中，第一图像数据为摄像装置在车场行驶在实际道路场景下采集到的试验数据，如果其采集到的信息有误，且实际道路场景的复现存在难度，则可以进行数据回灌，数据回灌是指将实际道路场景下采集到的试验数据重复注入到算法仿真模型并进行仿真的过程，该算法仿真模型包括初始算法仿真模型和优化后的算法仿真模型，进行回灌的第一图像数据成为回灌数据(即第二数据)，将第二数据输入到上位机后，在待测试系统需要进行回灌数据的测试时，即可从上位机中获取第二数据进行相应的感知性能测试。
70.通过上述实施例，本技术提供的图像数据处理方法可以利用摄像装置在车场行驶在实际道路场景下采集到的第一图像数据对待测试系统进行感知性能的测试与验证，也可
alterable read-only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random-access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random-access memory，简称sdram)等。
83.存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
84.处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意一种图像数据处理方法。
85.可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
86.可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
87.s1，获取摄像装置采集到的第一图像数据。
88.s2，获取与第一图像数据对应的第一故障类型，其中，第一故障类型包括以下至少之一：时序类故障和质量类故障。
89.s3，在与第一故障类型对应的图像处理模块上对第一图像数据进行故障注入，得到与第一图像数据对应的故障图像数据。
90.s4，将故障图像数据发送给待测试系统。
91.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
92.另外，结合上述实施例中的图像数据处理方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种图像数据处理方法。
93.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
94.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。