相机同步拍摄方法、装置、无人设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种相机同步拍摄方法、装置、无人设备及存储介质。


背景技术：

2.测绘是无人设备应用的重要领域之一，无人设备可搭载多种类型的相机同步采集测绘区域的影像数据。例如无人设备搭载有可见光相机和多光谱相机同步，通过可见光相机和多光谱相机同步拍摄测绘区域，并基于同步帧的图像数据构建高精度地图模型。
3.目前无人设备通过相机控制器内部的数字信号处理芯片控制多光谱相机和可见光相机同步拍摄。但相机控制器内部的数字信号处理芯片性能较低，影响多光谱相机的拍照帧率，导致无人设备的拍摄速度较慢。


技术实现要素：

4.本技术提供一种相机同步拍摄方法、装置、无人设备及存储介质，解决了现有技术中无人设备拍摄速度慢的问题，优化多光谱相机的拍照帧率，提高无人设备的拍摄速度。
5.第一方面，本技术提供了一种相机同步拍摄方法，包括：
6.通过第一操作系统获取rgb图像数据，并将所述rgb图像数据存储至共享内存空间，同时向外挂的数字处理芯片发送电平信号；
7.当所述数字处理芯片接收到电平信号时，通过所述数字处理芯片获取多光谱图像数据，并将所述多光谱图像数据存储至所述共享内存空间；
8.通过第二操作系统从所述共享内存空间读取所述rgb图像数据和所述多光谱图像数据，并将所述rgb图像数据和所述多光谱图像数据关联存储至存储器中。
9.第二方面，本技术提供了一种相机同步拍摄装置，包括：
10.第一获取模块，被配置为通过第一操作系统获取rgb图像数据，并将所述rgb图像数据存储至共享内存空间，同时向外挂的数字处理芯片发送电平信号；
11.第二获取模块，被配置为当所述数字处理芯片接收到电平信号时，通过所述数字处理芯片获取多光谱图像数据，并将所述多光谱图像数据存储至所述共享内存空间；
12.同步存储模块，被配置为通过第二操作系统从所述共享内存空间读取所述rgb图像数据和所述多光谱图像数据，并将所述rgb图像数据和所述多光谱图像数据关联存储至存储器中。
13.第三方面，本技术提供了一种无人设备，包括：一个或多个处理器；存储装置，存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的相机同步拍摄方法。
14.第四方面，本技术提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的相机同步拍摄方法。
15.本技术通过在第一操作系统获取rgb图像数据同时向外接的数字处理芯片发送电
平信号，以通过数字处理芯片根据该电平信号获取与rgb图像数据同步曝光的多光谱图像数据。通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据并存储至存储器，实现了多光谱图像数据和rgb图像数据的同步采集。通过外接高性能的数字处理芯片处理多光谱图像数据，缩短多光谱图像数据的采集时间，在保证多光谱图像数据和rgb图像数据同步采集的同时，优化了多光谱图像数据的拍照帧率，提高无人设备的拍摄速度。
附图说明
16.图1是本技术实施例提供的一种相机同步拍摄方法的流程图；
17.图2是本技术实施例提供的相机拍摄系统的结构框图；
18.图3是本技术实施例提供的获取rgb图像数据的流程图；
19.图4是本技术实施例提供的获取多光谱图像数据的流程图；
20.图5是本技术实施例提供的处理第二全局曝光帧的流程图；
21.图6是本技术实施例提供的发送多光谱图像数据的流程图；
22.图7是本技术实施例提供的存储多光谱图像数据的流程图；
23.图8是本技术实施例提供的一种相机同步拍摄装置的结构示意图；
24.图9是本技术实施例提供的一种无人设备的结构示意图。
具体实施方式
25.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
26.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
27.图1给出了本技术实施例提供的一种相机同步拍摄方法的流程图，本实施例中提供的相机同步拍摄方法可以由相机同步拍摄设备执行，该相机同步拍摄设备可以通过软件和/或硬件的方式实现，该相机同步拍摄设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。示例性的，相机同步拍摄设备可以是装载有相机的无人设备，也可以是无人设备配置的相机拍摄系统。其中，无人设备是指无人机等可以基于预设航线自行运动的设备。
28.在一实施例中，无人设备配置的相机处理芯片内部设置有微型数字处理芯片，通
过微型数字处理芯片对多光谱相机拍摄的原始多光谱帧进行处理，得到多光谱图像数据。但是相机处理芯片内部的微型数字处理芯片性能较低，原始多光谱帧的处理速率较慢，使得多光谱图像数据的拍照帧率较低，影响无人设备的拍照速度。而如果要在相机处理芯片内部配置高性能的微型数字处理芯片，则相机处理芯片的成本会大大增加。
29.对此，本实施例提供的相机同步拍摄方法，通过外接的数字处理芯片对多光谱相机拍摄的原始多光谱帧进行处理，在不增加硬件成本的同时，提高无人设备的拍照速度。但是外接的数字处理芯片与相机处理芯片属于不同系统，相机处理系统无法得知数字处理芯片何时曝光拍摄多光谱图像数据。而且多光谱图像数据的处理时间较长，一帧时间远不够处理多光谱图像数据。当相机处理芯片接收到数字处理芯片发送的多光谱图像数据时，相机处理芯片已经处理得到多个rgb图像数据。由于相机处理芯片无法确定外接的数字处理芯片拍摄的多光谱图像数据的曝光时间，因此相机处理芯片无法从多个rgb图像数据中确定出与该多光谱图像数据同步曝光的rgb图像数据。本实施例提供的相机同步拍摄方法，以解决采用外接的数字处理芯片后无法确定同步曝光的多光谱图像数据和rgb图像数据的技术问题。
30.在一实施例中，无人设备配置有相机拍摄系统，无人设备可通过相机拍摄系统执行相机同步拍摄方法。图2是本技术实施例提供的相机拍摄系统的结构框图。如图2所示，该相机拍摄系统包括相机处理芯片、多光谱相机、可见光相机、数字处理芯片和定位模组，其中，数字处理芯片外接于相机处理芯片，相机处理芯片连接可见光相机和定位模组，数字处理芯片连接多光谱相机。数字处理芯片通过mipi接口连接相机处理芯片，数字处理芯片通过mipi将多光谱图像数据发送至相机处理芯片。可见光相机和多光谱相机工作在主从模式，以多光谱相机为从，可见光相机为主，多光谱相机的帧率由可见光相机的帧率进行控制。定位模组可以是rtk板卡或gps定位装置。
31.下述以相机拍摄系统作为相机同步拍摄方法的执行主体进行描述。
32.图1是本技术实施例提供的一种相机同步拍摄方法的流程图。如图1所示，该相机同步拍摄方法具体包括：
33.s110、通过第一操作系统获取rgb图像数据，并将rgb图像数据存储至共享内存空间，同时向外挂的数字处理芯片发送电平信号。
34.其中，第一操作系统是相机处理芯片配置的实时操作系统，其用于控制可见光相机采集raw格式的原始rgb图像帧，并将raw格式的原始rgb图像帧转换成jpeg格式的rgb图像数据。在一实施例中，相机处理芯片还配置有第二操作系统，第二操作系统是指非实时操作系统，例如linux操作系统，非实时操作系统和实时操作系统配置有共享内存，两个操作系统通过共享内存进行通信。本实施例以第二操作系统为linux操作系统为例进行描述。在该实施例中，实时操作系统通过mipi接口与数字处理芯片进行连接，linux操作系统通过spi接口与数字处理芯片进行连接。当多光谱相机刚开机时，linux操作系统通过spi接口向数字处理芯片发送多光谱相机的内参和外参的标定数据，以使数字处理芯片根据该标定数据对多光谱相机采集到的原始多光谱图像帧进行处理。
35.在一实施例中，图3是本技术实施例提供的获取rgb图像数据的流程图。如图3所示，通过第一操作系统获取rgb图像数据的步骤具体包括s1101-s1103：
36.s1101、通过第二操作系统向第一操作系统发送拍照指令，通过第一操作系统根据
拍照指令控制可见光传感器从行曝光切换至全局曝光。
37.其中，拍照指令是linux操作系统用于通知第一操作系统控制可见光相机拍摄对应拍摄点处的照片的指令。示例性的，当无人设备按照飞行航线航行至某一拍摄点时，linux操作系统通过共享内存空间向实时操作系统发送拍照指令，以通知实时操作系统无人设备已航行至拍摄点，使得实时操作系统控制可见光相机拍摄该拍摄点对应的照片。
38.在该实施例中，可见光传感器是可见光相机配置的感光元件，其用于采集raw格式的原始rgb图像帧。当实时操作系统未接收到拍照指令之前，可见光相机一直工作在预览模式，预览模式下可见光传感器通过行曝光采集原始rgb图像帧。当实时操作系统接收到拍照指令后，控制可见光相机切换至拍照模式，拍照模式下可见光传感器通过全局曝光采集原始rgb图像帧。示例性的，当第一操作系统接收到拍照指令后，在第一场中断触发时控制可见光传感器从行曝光切换至全局曝光。其中，第一场中断为实时操作系统接收到拍照指令后，可见光传感器触发的第一个场中断，场中断触发频率与可见光传感器的帧率同步。
39.s1102、当可见光传感器采集的第一全局曝光帧曝光结束时，通过第一操作系统控制快门关闭并读取第一全局曝光帧。
40.其中，第一全局曝光帧为可见光相机切换至拍照模式后，可见光传感器采集到的第一个全局曝光帧。由于实时操作系统在无人设备航行至拍摄点时会接收到拍照指令，并根据拍照指令控制可见光相机切换至拍照模式，因此第一全局曝光帧可看作该拍摄点处照片的原始rgb图像帧。在该实施例中，在第二场中断触发之前，第一全局曝光帧处于曝光中，当第二场中断触发时，第一全局曝光帧结束曝光，此时控制可见光相机快门关闭，并通过实时操作系统读取第一全局曝光帧。其中，第二场中断是指第一场中断的下一个场中断。需要说明的，由于快门响应存在延迟，可在第二场中断触发前控制相机快门关闭。
41.s1103、通过第一操作系统将第一全局曝光帧转换为rgb图像数据并存储至共享内存空间。
42.示例性的，通过实时操作系统将raw格式的第一全局曝光帧转换为jpeg格式的rgb图像数据，并将该rgb图像数据存储至共享内存空间中，以便后续由linux操作系统从共享内存空间读取rgb图像数据并存储至存储器中。
43.进一步的，当第一操作系统控制可见光相机拍摄拍摄点处的照片时，通过第一操作系统向数字处理信号发送电平信号，以通过电平信号通知数字处理信号控制多光谱相机同步拍摄该拍摄点处的照片。在一实施例中，当快门关闭时，通过第一操作系统拉高通信管脚，以使通信管脚向数字处理信号发送电平信号。示例性的，快门关闭的时刻可看作第二场中断触发的时刻，通过第二场中断触发的时刻可确定第一全局曝光帧的曝光时刻。可见光相机与多光谱相机工作在主从模式下，多光谱相机配置的多光谱传感器的帧率由可见光传感器的帧率决定。因此可通过第二场中断触发的时刻确定与第一全局曝光帧同步曝光的第二全局曝光帧，其中第二全局曝光帧为多光谱传感器采集到的saw格式的原始多光谱图像帧。
44.s120、当数字处理芯片接收到电平信号时，通过数字处理芯片获取多光谱图像数据，并将多光谱图像数据存储至共享内存空间。
45.其中，多光谱图像数据包括raw格式的多合一光谱图和yuv格式的ndvi指数图。示例性的，多光谱相机配置有多光谱传感器，多光谱传感器是指多个采集对应波段的感光元
件。通过多光谱传感器可采集多个原始光谱图像帧，将多个原始光谱图像帧存储至存储地址连续的存储空间中，得到一个多合一大图，然后根据多个原始光谱图像帧中的至少两个图像帧算出一个指数图。将该指数图存储至与该多合一大图的存储地址连续的存储空间中，得到n 1合一的图像。其中，n等于多光谱传感器配置的感光元件个数。对该指数图与多合一大图进行辐射标定和配准计算，算出ndvi指数图和多合一光谱图。数字处理芯片对多个原始光谱图像帧进行处理，得到ndvi指数图和多合一光谱图后，通过mipi将ndvi指数图和多合一光谱图发送至实时操作系统，通过实时操作系统将ndvi指数图和多合一光谱图存储至共享内存空间，以便linux操作系统从共享内存空间读取到ndvi指数图和多合一光谱图并存储至存储器中。
46.在一实施例中，图4是本技术实施例提供的获取多光谱图像数据的流程图。如图4所示，获取多光谱图像数据的步骤具体包括s1201-s1203：
47.s1201、根据数字处理芯片接收到电平信号的时间，确定多光谱传感器采集的第二全局曝光帧；其中，第二全局曝光帧与第一全局曝光帧同步曝光。
48.在该实施例中，在数字处理芯片接收到电平信号的下一场中断时，对多光谱传感器当前采集到的全局曝光帧的帧头进行标记，以将标记的全局曝光帧作为第二全局曝光帧。示例性的，电平信号是实时操作系统控制快门关闭时向数字处理芯片发送的信号，由于快门关闭响应的延时性，实时操作系统会在第二场中断触发之前控制快门关闭。数字处理芯片接收到电平信号的时间会比第二场中断触发的时间早，因此在数字处理芯片接收到电平信号后，将多光谱传感器触发的第一个场中断对应曝光的全局曝光帧作为第二全局曝光帧。由于多光谱传感器触发的场中断与可见光传感器触发的场中断同步，多光谱传感器触发的第一个场中断触发的时间即为第二场中断触发的时间，因此可将该第二全局曝光帧看作第一全局曝光帧同步曝光的原始多光谱图像帧。进一步的，由于多光谱传感器一直工作在全局曝光模式，其会根据场中断一直采集原始多光谱图像帧，因此为将第二全局曝光帧从多个原始多光谱图像帧中识别出，可对第二全局曝光帧的帧头进行标记。
49.s1202、通过数字处理芯片对第二全局曝光帧进行处理，得到多光谱图像数据。
50.示例性的，为提高多光谱相机的拍照帧率，本实施例提出数字处理芯片只将第二全局曝光帧处理成多光谱图像数据，而其他的原始多光谱图像帧只处理成一个多合一大图和指数图，而不做更复杂的辐射标定和配置算法处理。在该实施例中，图5是本技术实施例提供的处理第二全局曝光帧的流程图。如图5所示，处理第二全局曝光帧的步骤具体包括s12021-s12024：
51.s12021、通过数字处理芯片将多光谱传感器采集的每一全局曝光帧处理成第一图像数据和第二图像数据。
52.其中，多光谱传感器采集的全局曝光帧为原始多光谱图像帧，其包括每一波段的感光元件采集的原始光谱图像帧。示例性的，数字处理芯片将原始多光谱图像帧中的所有原始光谱图像帧存储至存储地址连续的存储空间中，得到多合一大图。根据多个原始光谱图像帧中的至少两个图像帧算出指数图。其中，第一图像数据和第二图像数据分别为多合一大图和指数图。
53.s12022、通过数字处理芯片将第一图像数据和第二图像数据进行处理，得到第三图像数据。
54.其中，第三图像数据是指raw格式的n 1合一的图像，将指数图存储至与多合一大图的存储地址连续的存储空间，即可得到n 1合一的图像。
55.s12023、通过数字处理芯片对第三图像数据的帧头进行识别，确定第三图像数据对应的全局曝光帧是否为第二全局曝光帧。
56.示例性的，数字处理芯片对第三图像数据的帧头进行识别，当识别出第三图像数据对应的原始多光谱图像帧为第二全局曝光帧时，数字处理芯片从预览模式切换至拍照模式。预览模式下，数字处理芯片会通过mipi接口将第三图像数据发送至实时操作系统，由实时操作系统将第三图像数据存储至存储地址连续的存储空间。
57.s12024、当确定第三图像数据的全局曝光帧为第二全局曝光帧时，通过数字处理芯片对第三图像数据进行辐射标定和配准算法处理，得到多光谱图像数据。
58.示例性的，拍照模式下，数字处理芯片会对第三图像数据中的多合一大图进行辐射标定和配置算法处理得到多合一光谱图，并基于所有原始多光谱图像帧算出ndvi指数图。
59.s1203、通过数字处理芯片将多光谱图像数据发送至第一操作系统，并通过第一操作系统将多光谱图像数据存储至共享内存空间。
60.示例性的，拍照模式下，数字处理芯片处理第二全局曝光帧得到多光谱图像数据后，通过mipi接口将多光谱图像数据发送至实时操作系统，以使得实时操作系统对多光谱图像数据进行处理并存储至共享内存空间。
61.在一实施例中，图6是本技术实施例提供的发送多光谱图像数据的流程图。如图6所示，发送多光谱图像数据的步骤具体包括s12031-s12033：
62.s12031、通过数字处理芯片将多光谱图像数据存储至存储地址连续的存储空间，并通过第一接口将多光谱图像数据发送至第一操作系统。
63.示例性的，数字处理芯片从多合一大图的存储空间中读取到该多合一大图后，对该多合一大图中每一原始光谱图像帧进行辐射标定和配置算法处理，并将处理后的图像存储到对应原始光谱图像帧的存储空间，得到多合一光谱图。进一步的，数字处理芯片根据所有原始光谱图像帧算出ndvi指数图，并将ndvi指数图存储至对应的指数图的存储空间，得到多光谱图像数据。此时多光谱图像数据中每一图像帧的存储空间的存储地址连续。
64.其中，第一接口为mipi接口，数字处理芯片通过mipi接口将多光谱图像数据发送至实时操作系统。
65.s12032、通过第一操作系统从所述多光谱图像数据中获取第四图像数据和第五图像数据，并将所述第五图像数据转换为第六图像数据。
66.示例性的，实时操作系统通过mipi接口接收到多光谱图像数据后，获取到多光谱图像数据中的多合一光谱图和ndvi指数图。其中，第四图像数据为多合一光谱图，第五图像数据为ndvi指数图。
67.在该实施例中，实时操作系统通过识别从mipi接收到的图像数据的帧头，确定当前接收到的图像数据是否为多光谱图像数据帧。
68.s12033、通过第一操作系统将所述第四图像数据和所述第六图像数据锁存于所述共享内存空间中，第四图像数据的存储空间的存储地址连续。
69.示例性的，通过实时操作系统将yuv格式的ndvi指数图转换为jpeg格式的ndvi指
数图。实时操作系统将多合一光谱图锁存于存储地址连续的共享内存空间中，将jpeg格式的ndvi指数图也锁存于共享内存空间中。其中，通过锁存ndvi指数图和多合一光谱图防止其他数据占用对应的存储空间，导致数据丢失。
70.s130、通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据，并将rgb图像数据和多光谱图像数据关联存储至存储器中。
71.在一实施例中，参考图2，相机拍摄系统中配置的定位模组为rtk板卡，rtk板卡通过spi串口与linux操作系统连接，通过管脚连接实时操作系统。当实时操作系统控制快门关闭时，通过上拉管脚以向rtk板卡发送高电平信号，rtk板卡根据该高电平信号将当前采集到的rtk数据通过spi串口发送至linux操作系统。由于rtk板卡接收到高电平信号时，可见光相机拍摄对应拍摄点处的照片，因此此时rtk板卡采集到的rtk数据可看作与rgb图像数据以及多光谱图像数据同步的rtk数据。
72.在该实施例中，linux操作系统从共享内存空间中读取rgb图像数据，并通过高精度同步线程将rgb图像数据与rtk数据存储至sd卡中。linux操作系统从共享内存空间中读取第六图像数据，并通过高精度同步线程将第六图像数据与rtk数据存储至sd卡中。linux操作系统从共享内存空间中读取第四图像数据，并将第四图像数据分解为多个raw格式的光谱图像帧，再将光谱图像帧转换为tiff格式。通过高精度同步线程将tiff格式的光谱图像帧与rtk数据存储至flash中。
73.在一实施例中，图7是本技术实施例提供的存储多光谱图像数据的流程图。如图7所示，存储多光谱图像数据的步骤具体包括s1301-s1302：
74.s1301、通过第二操作系统的异步回写线程从共享内存空间读取rgb图像数据、第四图像数据和第六图像数据，并将rgb图像数据和第六图像数据存储至存储器中和将第四图像数据存储至数据库中。
75.s1302、当异步回写线程的消息队列为空时，从数据库中读取第四图像数据并对第四图像数据进行分解处理，并将分解后的第四图像数据存储至存储器中。
76.示例性的，由于linux操作系统的存储数据量过大且第四图像数据的分解和转换时间较长，导致linux操作系统需要等待较长的时间才能触发下一拍照指令，影响无人设备的拍照速度。因此可通过linux操作系统的异步回写线程读取rgb图像数据和第六图像数据，并将rgb图像数据和第六图像数据异步回写到sd卡中，当写入完成时，通过高精度同步线程将rgb图像数据与rtk数据进行同步，通过高精度同步线程将第六图像数据与rtk数据进行同步。同样的，通过异步回写线程读取第四图像数据，并将第四图像数据和rtk数据存储至数据库中。当异步回写线程中的消息队列为空时，表明相机当前处于空闲状态，此时可通过linux操作系统从数据库中读取第四图像数据和rtk数据，将第四图像数据进行分解并转换数据格式后，再写到flash中。其中，当第四图像数据存储至数据库中后，linux操作系统即可触发下一拍照指令，节约了第四图像数据的分解和转换时间，提高无人设备的拍照速度。
77.综上，本技术实施例提供的相机同步拍摄方法，通过在第一操作系统获取rgb图像数据同时向外接的数字处理芯片发送电平信号，以通过数字处理芯片根据该电平信号获取与rgb图像数据同步曝光的多光谱图像数据。通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据并存储至存储器，实现了多光谱图像数据和rgb图像数据的同步
采集。通过外接高性能的数字处理芯片处理多光谱图像数据，缩短多光谱图像数据的采集时间，在保证多光谱图像数据和rgb图像数据同步采集的同时，优化了多光谱图像数据的拍照帧率，提高无人设备的拍照速度。除此之外，通过异步回写线程将多合一光谱图像数据存储至数据库中，并在异步回写线程的消息队列为空时，从数据库中读取多合一光谱图像数据并进行分解和格式转换。当多合一光谱图像数据存储至数据库中后，linux操作系统即可触发下一拍照指令，节约了多合一光谱图像数据的分解和转换时间，提高无人设备的拍照速度。
78.在上述实施例的基础上，图8为本技术实施例提供的一种相机同步拍摄装置的结构示意图。参考图8，本实施例提供的相机同步拍摄装置具体包括：第一获取模块21、第二获取模块22和同步存储模块23。
79.其中，第一获取模块，被配置为通过第一操作系统获取rgb图像数据，并将rgb图像数据存储至共享内存空间，同时向外挂的数字处理芯片发送电平信号；
80.第二获取模块，被配置为当数字处理芯片接收到电平信号时，通过数字处理芯片获取多光谱图像数据，并将多光谱图像数据存储至共享内存空间；
81.同步存储模块，被配置为通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据，并将rgb图像数据和多光谱图像数据关联存储至存储器中。
82.在上述实施例的基础上，第一获取模块包括：曝光模式切换单元，被配置为通过第二操作系统向第一操作系统发送拍照指令，通过第一操作系统根据拍照指令控制可见光传感器从行曝光切换至全局曝光；快门关闭控制单元，被配置为当可见光传感器采集的第一全局曝光帧曝光结束时，通过第一操作系统控制快门关闭并读取第一全局曝光帧；第一数据存储单元，被配置为通过第一操作系统将第一全局曝光帧转换为rgb图像数据并存储至共享内存空间。
83.在上述实施例的基础上，第一获取模块包括：电平信号发送单元，被配置为当快门关闭时，通过第一操作系统拉高通信管脚，以使通信管脚向数字处理信号发送电平信号。
84.在上述实施例的基础上，第二获取模块包括：同步帧确定单元，被配置为根据数字处理芯片接收到电平信号的时间，确定多光谱传感器采集的第二全局曝光帧；其中，第二全局曝光帧与第一全局曝光帧同步曝光；数据处理单元，被配置为通过数字处理芯片对第二全局曝光帧进行处理，得到多光谱图像数据；第二数据存储单元，被配置为通过数字处理芯片将多光谱图像数据发送至第一操作系统，并通过第一操作系统将多光谱图像数据存储至共享内存空间。
85.在上述实施例的基础上，同步帧确定单元包括：同步帧标记子单元，被配置为在数字处理芯片接收到电平信号的下一场中断时，对多光谱传感器当前采集到的全局曝光帧的帧头进行标记，以将标记的全局曝光帧作为第二全局曝光帧。
86.在上述实施例的基础上，数据处理单元包括：第一处理子单元，被配置为在通过数字处理芯片对第二全局曝光帧进行处理，得到多光谱图像数据之前，通过数字处理芯片将多光谱传感器采集的每一全局曝光帧处理成第一图像数据和第二图像数据；第二处理子单元，被配置为通过数字处理芯片对第一图像数据和第二图像数据进行处理，得到第三图像数据。
87.在上述实施例的基础上，数据处理单元包括：帧头识别子单元，被配置为通过数字
处理芯片对第三图像数据的帧头进行识别，确定第三图像数据对应的全局曝光帧是否为第二全局曝光帧；第三处理子单元，被配置为当确定第三图像数据的全局曝光帧为第二全局曝光帧时，通过数字处理芯片对第三图像数据进行辐射标定和配准算法处理，得到多光谱图像数据。
88.在上述实施例的基础上，第二数据存储单元包括：数据发送子单元，被配置为通过数字处理芯片将多光谱图像数据存储至存储地址连续的存储空间，并通过第一接口将多光谱图像数据发送至第一操作系统；第四处理子单元，被配置为通过第一操作系统从多光谱图像数据中获取第四图像数据和第五图像数据，并将第五图像数据转换为第六图像数据；数据存储子单元，被配置为通过第一操作系统将第四图像数据和第六图像数据锁存于共享内存空间中，第四图像数据的存储空间的存储地址连续。
89.在上述实施例的基础上，同步存储模块包括：异步回写单元，被配置为通过第二操作系统的异步回写线程从共享内存空间读取rgb图像数据、第四图像数据和第六图像数据，并将rgb图像数据和第六图像数据存储至存储器中和将第四图像数据存储至数据库中；分解转换单元，被配置为当异步回写线程的消息队列为空时，从数据库中读取第四图像数据并对第四图像数据进行分解处理，并将分解后的第四图像数据存储至存储器中。
90.上述，本技术实施例提供的相机同步拍摄装置，通过在第一操作系统获取rgb图像数据同时向外接的数字处理芯片发送电平信号，以通过数字处理芯片根据该电平信号获取与rgb图像数据同步曝光的多光谱图像数据。通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据并存储至存储器，实现了多光谱图像数据和rgb图像数据的同步采集。通过外接高性能的数字处理芯片处理多光谱图像数据，缩短多光谱图像数据的采集时间，在保证多光谱图像数据和rgb图像数据同步采集的同时，优化了多光谱图像数据的拍照帧率，提高无人设备的拍照速度。除此之外，通过异步回写线程将多合一光谱图像数据存储至数据库中，并在异步回写线程的消息队列为空时，从数据库中读取多合一光谱图像数据并进行分解和格式转换。当多合一光谱图像数据存储至数据库中后，linux操作系统即可触发下一拍照指令，节约了多合一光谱图像数据的分解和转换时间，提高无人设备的拍照速度。
91.本技术实施例提供的相机同步拍摄装置可以用于执行上述实施例提供的相机同步拍摄方法，具备相应的功能和有益效果。
92.图9是本技术实施例提供的一种无人设备的结构示意图，参考图9，该无人设备包括：处理器31、存储器32、通信装置33、输入装置34及输出装置35。该无人设备中处理器31的数量可以是一个或者多个，该无人设备中的存储器32的数量可以是一个或者多个。该无人设备的处理器31、存储器32、通信装置33、输入装置34及输出装置35可以通过总线或者其他方式连接。
93.存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术任意实施例的相机同步拍摄方法对应的程序指令/模块(例如，相机同步拍摄装置中的第一获取模块21、第二获取模块22和同步存储模块23)。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储第二操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器
件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
94.通信装置33用于进行数据传输。
95.处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的相机同步拍摄方法。
96.输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
97.上述提供的无人设备可用于执行上述实施例提供的相机同步拍摄方法，具备相应的功能和有益效果。
98.本技术实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种相机同步拍摄方法，该相机同步拍摄方法包括：通过第一操作系统获取rgb图像数据，并将rgb图像数据存储至共享内存空间，同时向外挂的数字处理芯片发送电平信号；当数字处理芯片接收到电平信号时，通过数字处理芯片获取多光谱图像数据，并将多光谱图像数据存储至共享内存空间；通过第二操作系统从共享内存空间读取rgb图像数据和多光谱图像数据，并将rgb图像数据和多光谱图像数据关联存储至存储器中。
99.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
100.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的相机同步拍摄方法，还可以执行本技术任意实施例所提供的相机同步拍摄方法中的相关操作。
101.上述实施例中提供的相机同步拍摄装置、存储介质及无人设备可执行本技术任意实施例所提供的相机同步拍摄方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的相机同步拍摄方法。
102.上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。