图像数据的传输方法、装置、终端设备和存储介质与流程

1.本发明实施例涉及图像技术领域，尤其涉及图像数据的传输方法、装置、终端设备和存储介质。


背景技术：

2.对于各种终端设备，摄像头是常规的配置，摄像头采集的图像数据需要传输到数据处理设备进行处理后进行成像显示。
3.发明人在对摄像头采集到的图像数据进行成像显示时发现，现有摄像头采集到的图像数据只能直接给到数据处理设备，或者压缩后通过数据传输通道传输到数据处理设备，前者对摄像头和数据处理设备的连接有更高要求，后者会造成图像数据的损失，图像采集处理过程中缺少便捷完整发送图像数据的数据传输方式。


技术实现要素：

4.本发明提供了一种图像数据的传输方法、装置、终端设备和存储介质，以解决现有技术在应用中图像采集处理过程中缺少便捷完整发送图像数据的数据传输方式的技术问题。
5.第一方面，本发明实施例提供了一种图像数据的传输方法，包括：
6.摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包；
7.所述数据处理设备对接收到的数据包进行提取，得到净载数据；
8.所述数据处理设备基于所述摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。
9.第二方面，本发明实施例还提供了一种图像数据的传输装置，包括：
10.数据发送单元，用于摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包；
11.数据提取单元，用于所述数据处理设备对接收到的数据包进行提取，得到净载数据；
12.图像解析单元，用于所述数据处理设备基于所述摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。
13.第三方面，本发明实施例还提供了一种终端设备，包括：
14.一个或多个处理器；
15.存储器，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述终端设备实现如第一方面所述的图像数据的传输方法。
17.第四方面，本发明实施例还提供了计算机可读存储介质，其上存储有计算机程序，
该程序被处理器执行时实现如第一方面所述的图像数据的传输方法。
18.上述图像数据的传输方法、装置、终端设备和存储介质，该方法中摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包；所述数据处理设备对接收到的数据包进行提取，得到净载数据；所述数据处理设备基于所述摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。本方案中通过将图像数据添加为既有非压缩传输协议的净载数据，通过非压缩传输通道，以非压缩传输协议的方式，发送摄像头采集到的数据，数据处理设备基于非压缩传输协议获取图像数据，然后以图像数据对应的编码协议对净载数据进行解析，以现有的数据传输方式对图像数据进行免压缩传输，提高了图像数据的传输效率和完整性。
附图说明
19.图1为本发明实施例提供的一种图像数据的传输方法的方法流程图；
20.图2为本发明实施例提供的像素字节结构对比示意图；
21.图3为本发明实施例中内存区域的数据处理示意图；
22.图4为本发明实施例提供的一种图像数据的传输装置的结构示意图；
23.图5为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.需要注意的是，由于篇幅所限，本技术说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本技术说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。
26.下面对各实施例进行详细说明。
27.图1为本发明实施例提供的一种图像数据的传输方法的方法流程图，该图像数据的传输方法，用于终端设备，如图所示，该图像数据的传输方法，包括：
28.步骤s110：摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包。
29.摄像头采集到的图像数据，主要指摄像头中基于cmos(complementary metal oxide semiconductor,互补金属氧化物半导体)或者ccd(charge-coupled device,电荷耦合元件)的图像感应器件将捕捉到的光源信号转化为数字信号的原始数据，在图像处理领域，这种原始数据常称为raw文件。raw文件中记录了数码相机传感器的原始数据，同时还可以记录由摄像头拍摄所产生的一些元数据(metadata，如iso的设置、快门速度、光圈值、白平衡等)。整体而言，raw是未经处理、也未经压缩的格式，本方案基于raw实现从摄像头采集数据到具体的显示图像或处理图像，即从摄像头到数据处理设备的图像数据传输过程。
30.以ccd摄像头为例，其使用fpga(field programmable gate array,现场可编程逻
辑门阵列)实现信号综合处理和颜色处理，并连接到ccd驱动器。ccd驱动器反过来驱使ccd、机械快门控制信号捕捉，模数转换器将输入的图像信号转换成数字格式，然后将其存储到外片存储器。当整帧数据的存储完成之后，fpga将外片存储器中的图像数据综合，并传输到需要该图像数据的数据处理设备。
31.一般而言，从摄像头到数据处理设备的数据传输过程有两种方式，一种是经过预处理和后处理，然后使用各种编码和解码标准进行压缩传输，另一种是直接将原始信号编码得到的图像数据不经压缩直接进行传输。
32.需要说明的是，本方案中的数据处理设备与摄像头可以是属于同一个终端设备，例如手机、平板电脑、笔记本电脑、交互平板等，摄像头固定于所属的终端设备；也可以是属于相对独立的两个设备，即摄像头本身作为设备可以与不同的其它设备连接，并将采集到的图像数据进行对应传输。也就是说，本方案中的终端设备，可以是集成度较高的设备，也可以是能够进行分离拆解的多设备组合。
33.本方案中，摄像头采集到图像数据通过非压缩传输通道进行发送，对应的，图像数据需要以对应的非压缩传输协议的数据包进行发送，本方案中所应用的非压缩传输协议并不是特别针对于raw所设计的数据传输协议，对应的，摄像头所采集到的图像数据直接添加为数据包的净载数据。
34.在具体实现过程中，本方案中所采用的非压缩传输协议包括yuv协议，具体例如yuv4:2:0、yuv4:2:2等，对应的非压缩传输通道包括usb通道，当然，非压缩传输通道也可以是hdmi(high definition multimedia interface,高清多媒体接口)。
35.不同的yuv编码类型，有不同的数据设计方式。例如yuv4:4:4编码的一个像素需要3字节、yuv4:2:2编码的一个像素需要2字节、yuv4:2:0的一个像素需要1.5字节。而对于本方案中所需要处理的raw，以最简单的灰度图为例，如果以raw8格式存储，一个像素需要1字节，如果以raw16格式存储，一个像素为2字节。根据以上像素字节之间的关系可以发现：在图像分辨率相同的情况下，一张yuv4:4:4的图像所需的字节相当于三张raw8的图像，一张yuv4:2:2的图像所需的字节相当于两张raw8的图像，一张yuv4:2:0的图像所需的字节相当于一张半raw8的图像，一张yuv4:4:4的图像所需的字节相当于一张半raw16的图像，一张yuv 4:2:2的图可以分解为一张raw16的图像。基于以上yuv图像和raw图像的字节关系，本方案中的raw可以以像素为单位直接参考yuv的编码方式进行净载数据的添加。其中yuv4:2:0的像素字节关系(实际长度为1.5个字节)和raw8双目灰度图像的像素字节关系(实际长度为2个字节)对比参考如图2。
36.raw的具体格式包括raw8、raw10、raw12和raw16，其中8、10、12和16指该格式中一个像素对应所需的二进制数据长度，即像素位数，对应为，其中每个像素对应需要1字节、1.25字节、1.5字节和2字节。如果是raw12格式的图像数据，即像素位数为12时，每个像素对应的净载数据为2字节，即每2个字节中的12位记录一个raw12图像的像素，剩余4位不做记录。raw10的添加方式类似。
37.整体而言，yuv作为一种非压缩格式，在图像数据的传输过程中，可以保证同一段内存的大小值不变，本方案中利用这种内存不变的特性，不管摄像头采集的是双目灰度图还是三目灰度图，对应的图像数据都能添加到yuv格式中进行快捷完整的传输。
38.步骤s120：所述数据处理设备对接收到的数据包进行提取，得到净载数据。
39.数据处理设备接收到数据包之后，直接根据yuv传输协议进行解析，得到数据包中的净载数据，至于净载数据则不再采用yuv的协议进行处理。
40.步骤s130：所述数据处理设备基于所述摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。
41.对于以yuv格式传输的数据包，对应提取到的净载数据并不是基于yuv进行解析，而是基于其原始数据的格式进行解析，即基于raw进行解析。即根据raw每个像素对应的数据长度即其在净载数据中实际使用的数据位置，提取对应的数据作为一个像素的图像数据，并进一步根据图像的图像宽度确认每一行的像素对应的图像数据，最终处理完所有的净载数据得到图像数据对应的图片。
42.在具体实施过程中，步骤s120具体可以包括步骤s121和步骤s122：
43.步骤s121：所述数据处理设备根据接收到的数据包的标志位对所述数据包进行解析，确认对应的净载数据的大小。
44.步骤s122：根据所述净载数据的大小申请内存区域，并将所述净载数据添加到所述内存区域。
45.对应于步骤s121和步骤s122，步骤s130具体可以包括步骤s131和步骤s132：
46.步骤s131：所述数据处理设备根据所述图像宽度和像素位数，从所述内存区域依序确认像素复制单元，所述像素复制单元的个数与所述图像高度相同。
47.步骤s132：依序将每个所述像素复制单元对应的净载数据复制为所述图片的一行。
48.以上具体实现过程可以进一步参考图3，假设当前有摄像头采集到的图像数据为raw8的单目灰度图像，该单目灰度图像的图像宽度为640，对应的像素位数为8，该图像数据被添加到基于yuv4:2:2的非压缩传输协议的数据包中作为净载数据，根据前文所述的raw8和yuv4:2:2的像素字节关系，两个raw8的像素的数据长度相当于一个yuv4:2:2的像素的数据长度。假设该单目灰度图像的图像高度为480，那么该单目灰度图像对应的yuv4:2:2的分辨率为640
×
240(或320
×
480)。在将数据包发送到数据处理设备之后，数据处理设备根据净载数据大小申请内存区域，基于yuv4:2:2的非压缩传输协议直接提取净载数据后添加到申请到的内存区域。考虑到非压缩传输协议中传输yuv图像和raw图像的像素字节的关系不同，对于内存区域中缓存的图像数据不以yuv4:2:2的协议直接解析净载数据，而是以raw8解析净载数据。
49.图3示出了内存区域中缓存的图像数据和最终图像生成的关系示意图。从内存区域的起始位置开始，每8位确认为一个像素对应的数据，每640个像素确认为图像的一行，即每8
×
640＝5120位确认为一个像素复制单元，其标识图像中一行的像素对应的数据，依序将像素复制单元中的数据复制为图片中的一行，直至复制完所有的行释放内存。在图3所示的图像中，如果基于yuv4:2:2进行解析，前32位只能得到两个像素，但是在本方案中，仅基于yuv4:2:2进行数据传输，而采用raw8进行图像解析，前32位可以得到四个像素，第一个像素为白色，第二个像素为黑色，第三个像素为白色，第四个像素为黑色。
50.上述，摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包；所述数据处理设备对接收到的数据包进行提取，得到净载数据；所述数据处理设备基于所述
摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。本方案中通过将图像数据添加为既有非压缩传输协议的净载数据，通过非压缩传输通道，以非压缩传输协议的方式，发送摄像头采集到的数据，数据处理设备基于非压缩传输协议获取图像数据，然后以图像数据对应的编码协议对净载数据进行解析，以现有的数据传输方式对图像数据进行免压缩传输，提高了图像数据的传输效率和完整性。
51.图4为本发明实施例提供的一种图像数据的传输装置的结构示意图。参考图4，该图像数据的传输装置包括：数据发送单元210、数据提取单元220和图像解析单元230。
52.其中，数据发送单元210，用于摄像头将采集到的图像数据添加为数据包的净载数据，并通过非压缩传输通道将所述数据包发送到数据处理设备，所述数据包为基于非压缩传输协议的数据包；数据提取单元220，用于所述数据处理设备对接收到的数据包进行提取，得到净载数据；图像解析单元230，用于所述数据处理设备基于所述摄像头的图像参数，对所述净载数据进行解析，得到所述图像数据对应的图片。
53.在上述实施例的基础上，所述图像参数包括图像宽度、图像高度和像素位数；
54.所述数据提取单元220，包括：
55.净载数据提取模块，用于所述数据处理设备根据接收到的数据包的标志位对所述数据包进行解析，确认对应的净载数据的大小；
56.净载数据缓存模块，用于根据所述净载数据的大小申请内存区域，并将所述净载数据添加到所述内存区域；
57.对应的，所述图像解析单元230，包括：
58.数据分割模块，用于所述数据处理设备根据所述图像宽度和像素位数，从所述内存区域依序确认像素复制单元，所述像素复制单元的个数与所述图像高度相同；
59.数据复制模块，用于依序将每个所述像素复制单元对应的净载数据复制为所述图片的一行。
60.在上述实施例的基础上，所述像素位数为8、10、12或16。
61.在上述实施例的基础上，所述像素位数为10、12或16时，每个像素对应的净载数据为2字节。
62.在上述实施例的基础上，所述非压缩传输协议包括yuv协议，所述非压缩传输通道包括usb通道。
63.本发明实施例提供的图像数据的传输装置包含在设备的电子设备中，且可用于执行上述实施例中提供的任一图像数据的传输方法，具备相应的功能和有益效果。
64.值得注意的是，上述图像数据的传输装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
65.图5为本发明实施例提供的一种终端设备的结构示意图。如图5所示，该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；终端设备中处理器310的数量可以是一个或多个，图5中以一个处理器310为例；终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图5中以通过总线连接为例。
66.存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程
序以及模块，如本发明实施例中的图像数据的传输方法对应的程序指令/模块(例如，图像数据的传输装置中的数据发送单元210、数据提取单元220和图像解析单元230)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的图像数据的传输方法。
67.存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
68.输入装置330可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
69.上述终端设备包含图像数据的传输装置，可以用于执行任意图像数据的传输方法，具备相应的功能和有益效果。
70.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本技术任意实施例中提供的图像数据的传输方法中的相关操作，且具备相应的功能和有益效果。
71.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。
72.因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
73.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
74.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
75.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
76.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。