一种多路数据组合方法、系统及智能可穿戴设备与流程

1.本发明涉及智能穿戴领域，特别是涉及一种多路数据组合方法、系统及智能可穿戴设备。


背景技术：

2.随着智能可穿戴设备逐渐向小型化、轻量化、低功耗及智能化方向发展，对智能可穿戴设备的软硬件设计提出较高要求。比如，智能眼镜的slam(simultaneous localization and mapping，即时定位与地图构建)功能的实现要求同时采集两路图像数据和一路运动数据，具体由两个摄像头分别采集两路图像数据并传输、一个运动传感器采集一路运动数据并传输，之后由处理器对这些数据进行算法处理，以实现具体应用。
3.目前，为了便于处理器处理多路图像数据，多路图像数据传输往往使用并行接口，这就难免会增大电路面积和功耗，同时也不利于电路抗电磁干扰，容易导致图像错乱；而且，图像数据和运动数据往往分开传输，这就需要额外的传输线路，同时也不利于图像数据和运动数据在时间上的统一，影响后续算法处理效果。
4.因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。


技术实现要素：

5.本发明的目的是提供一种多路数据组合方法、系统及智能可穿戴设备，将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力；而且，本技术在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。
6.为解决上述技术问题，本发明提供了一种多路数据组合方法，应用于包含多个摄像头和传感器芯片的设备，包括：
7.在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据；
8.在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；
9.将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据。
10.优选地，将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据的过程，包括：
11.在获取任一摄像头输出的帧图像数据时，均将所述帧图像数据转换为图像并行数据，并将所述图像并行数据写入此摄像头对应的第一fifo队列中；
12.待多个摄像头一一对应的第一fifo队列均为非空队列时，轮询读取每个第一fifo
队列中的一个像素数据，并写入总fifo队列中；
13.从所述总fifo队列中读取像素数据，待所述像素数据的读取量到达多个摄像头各自输出的当前帧图像数据合并后的数据量时，得到图像合并数据。
14.优选地，对于多个第一fifo队列，读时钟频率＝图像数据的总路数
×
写时钟频率。
15.优选地，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据的过程，包括：
16.在获取每帧传感器数据时，将每帧传感器数据及其对应的传感器时间戳均写入第二fifo队列中；
17.在得到所述图像合并数据时，从所述第二fifo队列中读取与所述图像合并数据对应的传感器时间戳及传感器数据，并将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据。
18.优选地，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据的过程，包括：
19.将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据。
20.优选地，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据的过程，包括：
21.预先根据多个摄像头输出数据的帧率和传感器芯片输出数据的帧率，确定每帧图像数据对应嵌入的传感器数据的总帧数值，并基于一帧图像数据正好能够携带与所述总帧数值相同的传感器数据的条件，确定一帧图像数据刚输出时对应的传感器数据的目标帧数值；
22.在多个摄像头和传感器芯片进入指定的工作模式后，获取所述传感器芯片输出的每帧传感器数据，并累计获取的传感器数据的帧数值；
23.当所述帧数值等于所述目标帧数值时，触发各摄像头输出一帧图像数据，并分别获取多个摄像头各自输出的单帧图像数据；
24.当所述帧数值等于所述总帧数值时，将累计的帧数值清零，以重新累计获取的传感器数据的帧数值；
25.相应的，将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据的过程，包括：
26.当所述帧数值等于所述总帧数值时，将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据。
27.优选地，所述多路数据组合方法还包括：
28.在得到待运算数据之后，将所述待运算数据转换为标准mipi格式数据，供后续运算处理。
29.为解决上述技术问题，本发明还提供了一种多路数据组合系统，包括：
30.数据获取模块，用于在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据；
31.时间戳生成模块，用于在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成
时间的传感器时间戳；
32.数据组合模块，用于将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据。
33.为解决上述技术问题，本发明还提供了一种智能可穿戴设备，包括多个摄像头和传感器芯片，还包括：
34.分别与所述多个摄像头和传感器芯片连接的处理器，用于在执行自身所存储的计算机程序时实现上述任一种多路数据组合方法的步骤。
35.优选地，所述处理器为fpga芯片。
36.本发明提供了一种多路数据组合方法，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据；在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据。可见，本技术将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力；而且，本技术在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。
37.本发明还提供了一种多路数据组合系统及智能可穿戴设备，与上述多路数据组合方法具有相同的有益效果。
附图说明
38.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的一种多路数据组合方法的流程图；
40.图2为本发明实施例提供的一种第一摄像头输出的图像数据的数据格式示意图；
41.图3为本发明实施例提供的一种第二摄像头输出的图像数据的数据格式示意图；
42.图4为本发明实施例提供的一种第一摄像头和第二摄像头输出的图像数据合并后的数据格式示意图；
43.图5为本发明实施例提供的一种图像合并数据与传感器数据重组后的数据格式示意图；
44.图6为本发明实施例提供的一种多路数据组合原理图；
45.图7为本发明实施例提供的一种智能可穿戴设备的结构示意图。
具体实施方式
46.本发明的核心是提供一种多路数据组合方法、系统及智能可穿戴设备，将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提
高了系统抗干扰能力；而且，本技术在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。
47.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.请参照图1，图1为本发明实施例提供的一种多路数据组合方法的流程图。
49.该多路数据组合方法应用于包含多个摄像头和传感器芯片的设备，如智能眼镜等智能可穿戴设备，多路数据组合方法包括：
50.步骤s1：在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据。
51.具体地，在系统上电后，对多个摄像头和传感器芯片进行上电激活，并使多个摄像头和传感器芯片均进入指定的工作模式，具体可通过对多个摄像头和传感器芯片进行寄存器配置来使多个摄像头和传感器芯片进入指定的工作模式。
52.在多个摄像头进入指定的工作模式(比如指定摄像头的曝光时间、摄像头输出数据的帧率等)后，根据多个摄像头输出数据的帧率分别获取多个摄像头输出的每帧图像数据；同样地，在传感器芯片进入指定的工作模式(比如指定传感器芯片的量程、传感器芯片输出数据的帧率等)后，根据传感器芯片输出数据的帧率获取传感器芯片输出的每帧传感器数据，以供后续进行数据组合处理。
53.更具体地，多个摄像头和传感器芯片的数据输出可为自动输出，也可为外部触发输出，比如，多个摄像头的数据输出均为外部触发输出，具体实现方式为：根据目标摄像头(指任一摄像头)输出数据的帧率，向目标摄像头输出高脉冲触发信号，以使目标摄像头在接收到高脉冲触发信号时输出一帧完整的图像数据；传感器芯片的数据输出为自动输出，具体实现方式为：传感器芯片根据自身输出数据的帧率，每隔一段时间均会自动输出一帧完整的传感器数据。
54.需要说明的是，本技术的摄像头的数量为多个，即设备包含≥2个摄像头；传感器芯片的数量可为一个，也可为多个，本技术在此不做特别地限定，根据实际情况而定。
55.步骤s2：在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳。
56.具体地，为了实现图像数据和传感器数据在时间上的统一，本技术基于系统时钟，在获取摄像头输出每帧图像数据时，均生成用于表征当前帧图像数据的生成时间的图像时间戳，即根据当前帧图像数据对应的图像时间戳可确定当前帧图像数据的生成时间；同样地，在获取传感器芯片输出的每帧传感器数据时，均生成用于表征当前帧传感器数据的生成时间的传感器时间戳，即根据当前帧传感器数据对应的传感器时间戳可确定当前帧传感器数据的生成时间。
57.需要说明的是，在多个摄像头输出图像数据时，多个摄像头一一输出的多个当前帧图像数据共同对应一个图像时间戳，即一个图像时间戳表示多个当前帧图像数据的生成时间。比如，一般情况下，设备的多个摄像头输出数据的帧率设为相同值，且同时触发多个
摄像头输出图像数据，此情况下在触发多个摄像头输出图像数据的同时生成一个图像时间戳，作为多个摄像头输出的当前帧图像数据对应的图像时间戳，即图像时间戳的产生位置在每帧图像数据的第一行的第一个字节。或者，设备的多个摄像头输出数据的帧率设为相同值，但多个摄像头输出图像数据有先后顺序，此情况下在触发第一个摄像头输出图像数据的同时便生成一图像时间戳，作为多个摄像头输出的当前帧图像数据对应的图像时间戳，即图像时间戳的产生位置在各摄像头中最早输出的帧图像数据的第一行的第一个字节。当然，图像时间戳的产生位置也可设置在帧图像数据的其它位置，本技术在此不做特别的限定。
58.步骤s3：将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据。
59.具体地，本技术在获取摄像头输出的每帧图像数据时，均将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，即将多路图像数据合并为一路图像数据，然后将图像合并数据与其对应的图像时间戳、传感器时间戳及传感器数据进行重组，得到供后续运算处理的一路待运算数据，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力。
60.本发明提供了一种多路数据组合方法，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据；在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据。可见，本技术将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力；而且，本技术在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。
61.在上述实施例的基础上：
62.作为一种可选的实施例，将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据的过程，包括：
63.在获取任一摄像头输出的帧图像数据时，均将帧图像数据转换为图像并行数据，并将图像并行数据写入此摄像头对应的第一fifo队列中；
64.待多个摄像头一一对应的第一fifo队列均为非空队列时，轮询读取每个第一fifo队列中的一个像素数据，并写入总fifo队列中；
65.从总fifo队列中读取像素数据，待像素数据的读取量到达多个摄像头各自输出的当前帧图像数据合并后的数据量时，得到图像合并数据。
66.具体地，本技术提前为多个摄像头一一配置一个fifo(first input firstoutput，先入先出)队列(称为第一fifo队列)，供后续写入图像并行数据。在获取任一摄像头输出的帧图像数据时，均将帧图像数据转换为图像并行数据，然后将图像并行数据写入此摄像头对应的第一fifo队列中。需要说明的是，根据mipi(mobile industry processor interface，移动产业处理器接口)协议规定的数据格式，第一fifo队列的写时
钟频率是单路图像数据传输频率的1/8或1/16。
67.当多个摄像头一一对应的第一fifo队列均为非空队列时，即多个摄像头一一对应的第一fifo队列均写入图像并行数据时，说明多路帧图像数据达到对齐条件，则轮询读取每个第一fifo队列中的帧图像数据，具体每次从一个第一fifo队列中读出一个像素数据，然后写入总fifo队列中，以实现图像数据合并。可以理解的是，从总fifo队列中读取多个摄像头输出的当前帧图像数据对应的第一个像素数据开始，待像素数据的读取量到达多个摄像头各自输出的当前帧图像数据合并后的数据量时，得到多个摄像头各自输出的当前帧图像数据合并后的图像合并数据。
68.比如，设备有两个摄像头，分别是第一摄像头和第二摄像头，如图2所示，第一摄像头输出的图像帧大小为640*480；如图3所示，第二摄像头输出的图像帧大小也为640*480，也就是每帧图像数据有480行，每行像素个数为640个，每个像素用一个字节表示。图2及图3中用左或右表示像素，以便于观察和区分合成后原始像素的位置。基于此，采用上述图像合并方法对第一摄像头和第二摄像头输出的图像数据进行合并，可得到如图4所示的图像合并数据，从图4中可以看到，两路图像数据以像素轮询读取的方式进行合并，而合并后的图像合并数据大小为1280*480。当然，设备中各摄像头输出的图像帧大小也可为其它值，本技术在此不做特别的限定。
69.作为一种可选的实施例，对于多个第一fifo队列，读时钟频率＝图像数据的总路数
×
写时钟频率。
70.具体地，对于多个第一fifo队列，轮询读取多个第一fifo队列中的像素数据对应的读时钟频率＝图像数据的总路数
×
向第一fifo队列中写入图像并行数据对应的写时钟频率，这样在多个摄像头中最晚输出的帧图像数据写入对应的第一fifo队列后不久，整体帧图像数据就会被写入总fifo队列中。
71.需要说明的是，多路图像数据合并为一路图像数据，虽然数据总量较大，但其很快就会被读取使用，所以第一fifo队列的容量都不必太大，可为1024*8。
72.作为一种可选的实施例，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据的过程，包括：
73.在获取每帧传感器数据时，将每帧传感器数据及其对应的传感器时间戳均写入第二fifo队列中；
74.在得到图像合并数据时，从第二fifo队列中读取与图像合并数据对应的传感器时间戳及传感器数据，并将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，得到待运算数据。
75.具体地，本技术提前为传感器芯片配置一个fifo队列(称为第二fifo队列)，供后续写入传感器数据及其对应的传感器时间戳。在获取传感器芯片输出的每帧传感器数据时，均将每帧传感器数据及其对应的传感器时间戳都写入第二fifo队列中，具体可先将一帧传感器数据对应的传感器时间戳写入第二fifo队列，之后再将此帧传感器数据(包含奇偶校验码的帧传感器数据)写入第二fifo队列，一帧传感器数据对应的传感器时间戳和此帧传感器数据可合称为一帧传感器组合数据。
76.基于此，本技术在得到多个摄像头各自输出的当前帧图像数据合并后的图像合并数据时，从第二fifo队列中读取与图像合并数据对应的传感器时间戳及传感器数据，并将
对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，得到待运算数据。
77.作为一种可选的实施例，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，得到待运算数据的过程，包括：
78.将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉图像合并数据的边缘位置数据，得到待运算数据。
79.具体地，将图像合并数据与其对应的图像时间戳、传感器时间戳及传感器数据进行重组，实际上是将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉原有的图像合并数据中的部分数据。考虑到这种数据替换方式会使得图像合并数据对应的图像时间戳、传感器时间戳及传感器数据占用原有的图像数据，所以本技术需合理安排图像时间戳、传感器时间戳及传感器数据的放置位置，以避免这些数据对原有图像造成较大影响，具体可将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉图像合并数据的边缘位置数据，则这些数据对原有图像造成的影响可忽略不计。
80.作为一种可选的实施例，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据的过程，包括：
81.预先根据多个摄像头输出数据的帧率和传感器芯片输出数据的帧率，确定每帧图像数据对应嵌入的传感器数据的总帧数值，并基于一帧图像数据正好能够携带与总帧数值相同的传感器数据的条件，确定一帧图像数据刚输出时对应的传感器数据的目标帧数值；
82.在多个摄像头和传感器芯片进入指定的工作模式后，获取传感器芯片输出的每帧传感器数据，并累计获取的传感器数据的帧数值；
83.当帧数值等于目标帧数值时，触发各摄像头输出一帧图像数据，并分别获取多个摄像头各自输出的单帧图像数据；
84.当帧数值等于总帧数值时，将累计的帧数值清零，以重新累计获取的传感器数据的帧数值；
85.相应的，将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉图像合并数据的边缘位置数据，得到待运算数据的过程，包括：
86.当帧数值等于总帧数值时，将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉图像合并数据的边缘位置数据，得到待运算数据。
87.具体地，一般情况下，摄像头输出数据的帧率较慢，传感器芯片输出数据的帧率较快，所以一帧图像数据内部会嵌入多帧传感器数据，具体嵌入传感器数据的总帧数值确定方法为(多个摄像头输出数据的帧率相同)：将传感器芯片输出数据的帧率除以摄像头输出数据的帧率，计算结果的整数部分即为每帧图像数据对应嵌入的传感器数据的总帧数值。比如，若摄像头输出数据的帧率为40fps，传感器芯片输出数据的帧率为400fps，则每帧图像数据要嵌入10帧传感器数据，即嵌入10帧传感器组合数据。
88.与此同时，考虑到摄像头并非连续输出帧图像数据，相邻帧图像数据之间会有一些时间间隔，所以为了保证一帧图像数据正好能够携带与总帧数值相同的传感器数据，本技术需基于一帧图像数据正好能够携带与总帧数值相同的传感器数据的条件，提前确定一帧图像数据刚输出时对应的传感器数据的目标帧数值，以为后续触发图像数据输出提供参考。
89.基于此，在多个摄像头和传感器芯片进入指定的工作模式后，根据传感器芯片输出数据的帧率获取传感器芯片输出的每帧传感器数据，并累计获取的传感器数据的帧数值。当帧数值等于目标帧数值时，说明此时触发摄像头输出帧图像数据可保证一帧图像数据正好能够携带与总帧数值相同的传感器数据，则触发各摄像头输出一帧图像数据，并分别获取多个摄像头各自输出的单帧图像数据。当帧数值等于总帧数值时，说明一帧图像数据内部所要嵌入的多帧传感器组合数据(传感器时间戳 传感器数据)已经收集完毕，则将图像合并数据对应的图像时间戳及多帧传感器组合数据替换掉图像合并数据的边缘位置数据，得到待运算数据。此外，可以理解的是，当帧数值等于总帧数值时，需将累计的帧数值清零，以为触发各摄像头输出下一帧图像数据打下基础，从而保证每帧图像数据均正好能够携带与总帧数值相同的传感器数据。
90.比如，若每帧图像数据要嵌入10帧传感器数据，且根据实际经验，目标帧数值等于3(具体数值可根据实际应用进行灵活调整)时能够保证一帧图像数据正好能够携带10帧传感器数据，则多路数据输出及重组过程为：在多个摄像头和传感器芯片进入指定的工作模式后，获取传感器芯片输出的每帧传感器数据，并累计获取的传感器数据的帧数值。当帧数值等于3时，触发各摄像头输出一帧图像数据，并分别获取多个摄像头各自输出的单帧图像数据。当帧数值等于10时，将累计的帧数值清零，并将图像合并数据对应的图像时间戳及10帧传感器组合数据替换掉图像合并数据的边缘位置数据，得到待运算数据。
91.更具体地，本技术可将图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉图像合并数据的最后一行像素数据，如图5所示，图像时间戳的放置位置在同一帧图像数据的最后一行的前4个字节，传感器时间戳及传感器数据放置于图像时间戳之后。当然，图像时间戳、传感器时间戳及传感器数据也可放置于图像合并数据的其它位置，本技术在此不做特别的限定。
92.作为一种可选的实施例，多路数据组合方法还包括：
93.在得到待运算数据之后，将待运算数据转换为标准mipi格式数据，供后续运算处理。
94.进一步地，本技术在得到待运算数据之后，可将待运算数据转换为标准mipi格式数据，供后续运算处理。之所以将待运算数据转换为标准mipi格式数据，是因为此数据转换的功耗最小，线路最简单。当然，本技术也可将待运算数据转换为其它格式的数据，本技术在此不做特别地限定。
95.综上，上述多路数据组合的方法均可通过对设备的处理器编程实现，现有技术的设备通常选用mcu(micro controller unit，微控制单元)芯片作为处理器，但mcu芯片的时间精度较低、算法调整不够灵活，所以本技术的设备采用时间精度较高、算法调整灵活的fpga(field-programmable gate array，现场可编程门阵列)芯片作为处理器，其功能原理如图6所示：摄像头上电及寄存器配置模块用于完成多个摄像头的上电和寄存器配置；多个mipi解析模块用于一一完成多个摄像头输出的图像数据的解析，即将输入的mipi串行图像数据转换为图像并行数据，以进行后续图像合并操作；多个传感器芯片上电及寄存器配置模块用于一一完成多个传感器芯片的上电和寄存器配置，以及定时从传感器芯片中读取传感器数据；fifo_1到fifo_n和fifo_n 1到fifo_n m用于缓存图像并行数据和传感器数据；多路数据合并模块用于将多路图像数据合并为一路图像数据，得到图像合并数据；添加图
像时间戳和传感器数据模块用于将图像时间戳和传感器组合数据在适当的位置嵌入图像合并数据中，以实现数据重组；mipi发送模块用于将重组好的并行数据转换为mipi格式输出，供后续进行运算处理。更具体地，fpga芯片可分别通过多组不同的i2c总线对多个摄像头和传感器芯片进行寄存器配置。
96.可见，本技术的电路结构简单，只用到了mipi接口和iic接口，可靠性较高，且一定程度上为编程提供了便利。此外，本技术的电路的功能可灵活配置和修改，比如，外部的摄像头和传感器芯片的工作参数可根据实际需要灵活修改，且数据重组方式也可根据后端算法的需要进行灵活修改。
97.本技术还提供了一种多路数据组合系统，包括：
98.数据获取模块，用于在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据；
99.时间戳生成模块，用于在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；
100.数据组合模块，用于将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据。
101.本技术提供的多路数据组合系统的介绍请参考上述多路数据组合方法的实施例，本技术在此不再赘述。
102.请参照图7，图7为本发明实施例提供的一种智能可穿戴设备的结构示意图。
103.该智能可穿戴设备包括多个摄像头1和传感器芯片2，还包括：
104.分别与多个摄像头1和传感器芯片2连接的处理器3，用于在执行自身所存储的计算机程序时实现上述任一种多路数据组合方法的步骤。
105.作为一种可选的实施例，处理器3为fpga芯片。
106.本技术提供的智能可穿戴设备的介绍请参考上述多路数据组合方法的实施例，本技术在此不再赘述。
107.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
108.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。