一种无线智能可穿戴装置及其图像采集方法与流程

一种无线智能可穿戴装置及其图像采集方法
1.本技术是申请号为2022111595265、申请日为2022年9月22日、发明名称为“一种无线智能可穿戴装置及其图像采集方法”的中国发明专利申请的分案申请。
技术领域
2.本技术涉及一种无线装置和图像采集方法，更具体地，涉及一种无线智能可穿戴装置及其图像采集方法。


背景技术：

3.智能可穿戴装置，例如智能眼镜、智能手表等，逐渐进入到人们的工作和生活中。这些智能可穿戴装置彼此之间，以及与其他智能设备(例如手机、pad、个人电脑、多媒体电视等)利用无线方式连接。
4.随着用户需求的发展，这些智能可穿戴装置通常在多个位置(例如智能眼镜的左眼镜部和右眼镜部)分别设置有多个摄像头，且提供各种视频相关功能，例如增强现实、虚拟现实、全景视野等，这些功能需要多个摄像头同步地采集视频或图像。但是，当前各个摄像头的视频或图像采集存在同步不够精确的问题，这样例如如果要对多个摄像头采集的视频或图像进行拼接以生成全景视频，就会产生图像模糊、运动鬼影等缺陷，影响用户的使用体验。


技术实现要素：

5.提供了本技术以解决现有技术中存在的技术问题。
6.本技术旨在提供一种无线智能可穿戴装置及其图像采集方法，其能够以硬件触发的方式，使得设置在无线智能可穿戴装置的多个分部的多个摄像头，实现图像拍摄和采集的动态精确同步。
7.根据本技术的第一方案，提供了一种无线智能可穿戴装置。该无线智能可穿戴装置包括可彼此无线通信的第一部和第二部。所述第一部包括第一处理器、第一无线通信模块、第一摄像头和第一图像采集模块且具有第一时钟；所述第二部包括第二处理器、第二无线通信模块、第二摄像头和第二图像采集模块且具有第二时钟。所述第一图像采集模块配置为：通过向所述第一摄像头发送基于所述第一时钟的第一硬件触发信号，以触发所述第一摄像头拍摄第一图像并获取第一图像；所述第二图像采集模块配置为：通过向所述第二摄像头发送基于所述第二时钟的第二硬件触发信号，以触发所述第二摄像头拍摄第二图像并获取第二图像。所述第一处理器和所述第二处理器中的至少一个配置为：在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，使得所述第一无线通信模块和所述第二无线通信模块执行彼此的无线通信和/或两者与智能设备的无线通信，并确定所述第一无线通信模块和所述第二无线通信模块各自执行所述无线通信的时钟差异，该时钟差异用于实现所述第一硬件触发信号和所述第二硬件触发信号的同步。
8.根据本技术的第二方案，提供一种无线智能可穿戴装置的图像采集方法。所述无
线智能可穿戴装置包括可彼此无线通信的第一部和第二部。所述第一部包括第一处理器、第一无线通信模块、第一摄像头和第一图像采集模块且具有第一时钟；所述第二部包括第二处理器、第二无线通信模块、第二摄像头和第二图像采集模块且具有第二时钟。所述图像采集方法包括如下步骤。在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，使得所述第一无线通信模块和所述第二无线通信模块执行彼此的无线通信和/或两者与智能设备的无线通信，并确定所述第一无线通信模块和所述第二无线通信模块各自执行所述无线通信的时钟差异。由所述第一图像采集模块向所述第一摄像头发送基于所述第一时钟的第一硬件触发信号，以触发所述第一摄像头拍摄第一图像并获取第一图像。由所述第二图像采集模块向所述第二摄像头发送基于所述第二时钟的第二硬件触发信号，以触发所述第二摄像头拍摄第二图像并获取第二图像。其中，利用该时钟差异以实现所述第一硬件触发信号和所述第二硬件触发信号的同步。
9.利用根据本技术的无线智能可穿戴装置及其图像采集方法，其能够以硬件触发的方式，使得设置在无线智能可穿戴装置的多个分部的多个摄像头，实现图像拍摄和采集的动态精确同步。
附图说明
10.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
11.图1示出根据本技术第一实施例的无线智能可穿戴装置的结构示意图；
12.图2示出根据本技术第二实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图；
13.图3示出根据本技术第三实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图；
14.图4示出根据本技术第四实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图；
15.图5示出根据本技术第五实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图；
16.图6示出根据本技术第六实施例的用于触发不同摄像头进行图像拍摄和采集的硬件触发信号的时序图；
17.图7示出根据本技术第七实施例的无线智能可穿戴装置的图像采集方法的流程图；
18.图8示出根据本技术第八实施例的无线智能可穿戴装置的图像采集方法的流程图；
19.图9示出根据本技术第九实施例的sot或eot信号的时序图；
20.图10示出根据本技术第十实施例的无线智能可穿戴装置的结构示意图；以及
21.图11示出根据本技术第十一实施例的无线智能可穿戴装置的图像采集方法的流程图。
具体实施方式
22.为使本领域技术人员更好的理解本技术的技术方案，下面结合附图和具体实施方式对本技术作详细说明。下面结合附图和具体实施例对本技术的实施例作进一步详细描述，但不作为对本技术的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。本技术中的表述“第一”、“第二”和“第三”仅仅旨在描述上的区分，并不意味着对数量、顺序上的限定，也不旨在限定紧跟表述“第一”、“第二”和“第三”后的元件、装置和系统在物理属性上的差异。例如，“第一片上系统”可以包括在单个芯片上实现的系统，也可以包括在多个芯片上实现的(一个或多个)系统。
23.图1示出根据本技术第一实施例的无线智能可穿戴装置的结构示意图。该无线智能可穿戴装置可以包括可彼此无线通信的第一部101a和第二部101b。作为示例，在图1中示出了无线智能眼镜装置作为无线智能可穿戴装置的示例，所述第一部101a和第二部101b中的一个为左眼镜部而另一个为右眼镜部，但这仅仅作为示例。无线智能可穿戴装置可以采用其他构造，甚至可以形成为组件，包括两个以上的分立的构件(装置)，只要各个构件均设置有各自的摄像头且需要合成来自各自的摄像头的图像或视频即可。例如，该无线智能可穿戴装置可以包括无线智能头盔、无线智能手环等，也可以包括无线智能项链与无线智能手环的组件等等。
24.下面以无线智能眼镜装置作为示例进行说明，以下说明也可以灵活专用于其他构造的无线智能可穿戴装置，在此不赘述。
25.如图1和图2所示，所述第一部101a包括第一处理器102a、第一无线通信模块103a、第一摄像头105a和第一图像采集模块104a且具有第一时钟106a，所述第二部101b包括第二处理器102b、第二无线通信模块103b、第二摄像头105b和第二图像采集模块104b且具有第二时钟106b。作为示例，第一摄像头105a和第二摄像头105b分设于眼镜架的上梁的左右两侧，以便拍摄的图像/视频能够尽可能包含用户的关注视角内的周边环境信息。在一些实施例中，第一处理器102a、第一无线通信模块103a、第一图像采集模块104a和第一时钟106a内置于第一部101a(图1中示出为右眼镜部)的镜腿内，而第二处理器102b、第二无线通信模块103b、第二图像采集模块104b和第二时钟106b则内置于第二部101b(图1中示出为左眼镜部)的镜腿内。通常第一部101a和第二部101b是无线连接的，第一时钟106a和第二时钟106b分属于两部，虽然可以具有相同的标称频率，但它们各自基于不同的晶体或晶振，其晶体或晶振往往会存在一定的频偏，频偏例如10ppm，5ppm，1ppm之内。再者，第一时钟106a和第二时钟106b的计时器的起始数值也可能有偏差。
26.在一些实施例中，第一时钟106a可以属于第一无线通信模块103a，而第二时钟106b可以属于第二无线通信模块103b。例如，如果第一无线通信模块103a是蓝牙通信模块103a，则其自带的蓝牙时钟就可以用作第一时钟106a。
27.第一时钟106a可以由第一时钟计数器或者说第一部时钟计数器来表征；第二时钟
106b可以由第二时钟计数器或者说第二部时钟计数器来表征。由于第一时钟计数器、第二时钟计数器的计数起始时刻可能有差异，甚至初始值也可以不同，另外，第一时钟106a、第二时钟106b可能有频偏，因此在同一时刻，第一时钟计数器、第二时钟计数器往往不同。例如可能在某一时刻，第一时钟计数器的数值是20，第二时钟计数器的数值是24。
28.在一些实施例中，如图2所示，对于第一部101a而言，第一处理器102a、第一无线通信模块103a、第一图像采集模块104a和第一时钟106a在同一个芯片上实现，也称为实现为同个片上系统(下文中称为第一片上系统)，而第一摄像头105a则实现为另一个独立的芯片(下文中称为第二芯片)。也就是说，第一摄像头105a具有独立的时钟(计时器)，即便知晓所设定的拍摄采集时间，独立时钟之间的频偏导致第一片上系统和第二芯片的定时差异对于彼此不可控。这会进一步导致第一摄像头105a和第二摄像头105b的图像拍摄采集无法精确同步。
29.片上系统也称soc，例如，可以利用从arm公司等购买的各种risc(精简指令集计算机)处理器ip来作为soc的处理器来执行对应的功能，从而可以实现为嵌入式系统。具体说来，在市场上可购买到的模组(ip)上具有很多模块，例如但不限于存储器、各种通信模块(例如wifi通信模块、蓝牙通信模块等)、图像采集模块、缓存器、时钟等等。在一些实施例中，芯片制造商也可以在现成的ip上自主开发出这些模块的定制版本。此外，其它的比如天线、传感器组件、扬声器、麦克风等可以外接到ip上。用户可以通过基于购买的ip或自主研发的模块构建asic(特定用途集成电路)，来实现各种通信模块、图像采集模块等，以便降低功耗和成本。例如，用户也可以利用fpga(现场可编程门阵列)来实现各种通信模块、图像采集模块等，可以用于对硬件设计的稳定性进行验证。
30.所述第一图像采集模块104a配置为通过向所述第一摄像头105a发送基于所述第一时钟106a的第一硬件触发信号s1，以触发所述第一摄像头105a拍摄第一图像并获取第一图像。所述第二图像采集模块104b配置为通过向所述第二摄像头105b发送基于所述第二时钟106b的第二硬件触发信号s2，以触发所述第二摄像头105b拍摄第二图像并获取第二图像。通过分别以第一硬件触发信号s1触发第一摄像头105a的拍摄，以第二硬件触发信号s2触发第二摄像头105b的拍摄，只要从第一图像采集模块104a和第二图像采集模块104b侧同时地输出第一硬件触发信号s1和第二硬件触发信号s2，就可以同时启动图像采集，而无需考虑第一摄像头105a和第二摄像头105b所在的独立芯片上的时钟的频偏情况。
31.所述第一处理器102a和所述第二处理器102b中的至少一个配置为：在所述第一图像采集模块104a和所述第二图像采集模块104b的持续使用过程中，使得所述第一无线通信模块103a和所述第二无线通信模块103b执行彼此的无线通信(如通信信号s3所示)和/或两者与智能设备的无线通信(如通信信号s4所示)，并确定所述第一无线通信模块103a和所述第二无线通信模块103b各自执行所述无线通信的时钟差异，可以利用该动态的时钟差异来实现所述第一硬件触发信号s1和所述第二硬件触发信号s2的同步。所谓的“时钟差异”可以实现为time2-time1或者time4-time3，可以参见以下实施例中的详细说明。
32.具体说来，所述第一处理器102a和所述第二处理器102b中的至少一个可以配置为：在所述第一图像采集模块104a和所述第二图像采集模块104b的持续使用过程中，使得所述第一无线通信模块103a和所述第二无线通信模块103b中的一方向另一方发送无线信号s3。可以确定所述一方发送所述无线信号s3的第一时刻的时钟计时器的数值time1和所
gpio1b连接到所述第一摄像头105a以向所述第一摄像头105a发送所述第一硬件触发信号s1。所述第一摄像头105a进一步配置为：响应于接收到所述第一硬件触发信号s1，开启曝光和图像拍摄并经由所述第一csi接口csi1a-csi1b向所述第一图像采集模块104a传输图像s5。
38.所述第二图像采集模块104b进一步配置为：经由第二gpio接口gpio2a-gpio2b连接到所述第二摄像头105b以向所述第二摄像头105b发送所述第二硬件触发信号s2。所述第二摄像头105b进一步配置为：响应于接收到所述第二硬件触发信号s2，开启曝光和图像拍摄并经由所述第二csi接口csi2a-csi2b向所述第二图像采集模块104b传输图像s6。
39.csi又称相机串行接口，是摄像头所在芯片通常配备用于与外界进行图像信息交互的接口，也是摄像头与主处理器之间的接口。gpio又称通用型输入/输出，通常芯片上会配备有多个这样的引脚(pin脚)。由此，可以将各个图像采集模块与摄像头通过csi接口和gpio接口连接。通过让gpio接口独立地负责第一硬件触发信号s1或第二硬件触发信号s2的传输，并且让csi接口独立地负责图像/视频的传输，为硬件触发信号和图像/视频信息的传输提供彼此独立的硬件通路，能够确保传输速度且避免彼此的信息干扰。
40.就图1所示的无线智能眼镜装置而言，左右眼镜部101a和101b可以通过gpio口，由第一图像采集模块104a和第二图像采集模块104b向第一摄像头105a和第二摄像头105b分别同时输出硬件触发信号s1和s2，以此同时启动图像采集。并在每帧或每隔n(n是大于1的整数)帧(由各自的时钟来计时，例如每当达到每帧或每隔n帧对应的时钟计数器的数值时)，再同时由第一图像采集模块104a和第二图像采集模块104b向第一摄像头105a和第二摄像头105b分别同时输出硬件触发信号s1和s2，以此纠正由于左右眼镜的像素时钟的频偏引起的后继采集的左右眼镜图像不同步。启动图像采集后，第一摄像头105a和第二摄像头105b基于曝光时间、曝光行数、行长度和帧长度等参数配置分别向第一图像采集模块104a和第二图像采集模块104b传送视频图像s5和s6，并使得左右眼镜部101a和101b以相同的标称像素时钟数获取每帧图像。
41.请注意，本技术中所谓通过发送硬件触发信号触发对应摄像头的拍摄(曝光)和视频图像的回传(图像采集)，意味着拍摄和回传行为因为收到硬件触发信号而被触发(存在因果关系)，但拍摄和回传的时间可以与硬件触发信号的接收时间不同(未必同时)，至少在接收时间以后。在一些实施例中，以第一摄像头105a为例，第一摄像头105a接收到第一硬件触发信号s1后，可以经过预定时延再开始曝光，该预定时延大于上述间隔n帧由于频偏引起的时间偏移，以确保第一摄像头105a在间隔n帧后接收到该第一硬件触发信号s1时，还没有开始曝光。从而避免让第一摄像头105a在曝光过程中接收到该第一硬件触发信号s1，而引起丢帧或该帧图像错误。
42.图4示出根据本技术第四实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图。图5示出根据本技术第五实施例的无线智能可穿戴装置中不同摄像头的图像拍摄和采集的同步控制方式的示意图。下面分别结合图4和图5对各自的不同摄像头的图像拍摄和采集的同步控制方式进行具体说明。
43.如图4所示，所述第一处理器102a可以进一步配置为：在第一部101a的时钟计数器的数值为第一预定数值t1时产生所述第一硬件触发信号s1；所述第二处理器102b进一步配置为：在第二部101b的时钟计数器的数值为第二预定数值t1 δt时产生所述第二硬件触发
信号s2。其中，所述第一预定数值t1和所述第二预定数值t1 δt的差异δt基于上述数值差异time4-time3或者time2-time1来设定，使得所述第一预定数值t1和所述第二预定数值t1 δt分别对于第一时钟106a的时钟计时器和第二时钟106b的时钟计时器而言表征实质上的同一时刻。作为示例，可以将差异δt设置为time4-time3或者time2-time1，且随着time4-time3或者time2-time1的动态变化而更新。由此，可以使得所述第一硬件触发信号s1和所述第二硬件触发信号s2实质上在同一时刻产生，从而实现第一摄像头105a和第二摄像头105b的图像拍摄和采集的同步触发。
44.如图5所示，所述第一处理器102a可以进一步配置为：产生基准硬件触发信号(未示出)并获取触发时刻第一部101a的时钟计数器的基准数值t0；使得所述第一无线通信模块103a将所述基准数值t0传输给所述第二无线通信模块103b；在所述触发时刻t0后经过预定时延td产生所述第一硬件触发信号s1。相应地，所述第二处理器102b进一步配置为：基于所述基准数值t0、所述预定时延td以及时钟计数器的数值差异δt(例如time4-time3或者time2-time1)，来确定用于产生所述第二硬件触发信号s2的时钟计数器的数值，例如t0 td δt；在第二部101b的时钟计数器的数值达到所确定的数值(例如t0 td δt)时，产生所述第二硬件触发信号s2，从而使得所述第一硬件触发信号s1和所述第二硬件触发信号s2实质上在同一时刻产生，从而实现第一摄像头105a和第二摄像头105b的图像拍摄和采集的同步触发。在一些实施例中，所述预定时延td可以大于上述间隔n帧由于频偏引起的时间偏移，以确保第一摄像头105a(第二摄像头105b)在间隔n帧后接收到该第一硬件触发信号s1(第二硬件触发信号s2)时，还没有开始曝光。从而避免让第一摄像头105a(第二摄像头105b)在曝光过程中接收到该第一硬件触发信号s1(第二硬件触发信号s2)，而引起丢帧或该帧图像错误。同时，所述预定时延td这一时间段还可以用来由所述第一无线通信模块103a将所述基准数值t0或t0 td传输给所述第二无线通信模块103b。
45.返回图1，在一些实施例中，所述第一部101a和第二部101b各自包括亮度检测单元107a和107b，其配置为检测对应的第一摄像头105a和第二摄像头105b的环境光的亮度。就无线智能眼镜而言，由于镜片相对于环境光源的角度区别会导致第一摄像头105a和第二摄像头105b曝光拍摄时的入光量不同。所述第一处理器102a和所述第二处理器102b中的至少一个进一步配置为：基于所述第一部101a和第二部101b各自检出的亮度，设置所述第一摄像头105a和所述第二摄像头105b的曝光时间，使得摄像头对应的检出亮度越低则曝光时间越长。也就是说，如果第一部101a的亮度检测单元107a检测的环境光的亮度更低，那么就使得第一摄像头105a的曝光时间更长，以弥补亮度不足，使得第一摄像头105a曝光拍摄的图像/视频与第二摄像头105b曝光拍摄的图像/视频具有一致的亮度，从而有助于提升后续合成(融合)图像的质量。
46.在一些实施例中，所述第一处理器102a和所述第二处理器102b中的至少一个可以进一步配置为：对于要设置更长的曝光时间的第一摄像头105a或第二摄像头105b，使其相连的第一图像采集模块104a或第二图像采集模块104b相较另一摄像头相连的图像采集模块，提前预定时间产生和发送对应的硬件触发信号s1或s2。为了便于说明，假设某一摄像头相较另一摄像头的曝光时间的超出量为δtp，则提前的预定时间可以根据该超出量δtp来设置。设置方式则可以根据整个曝光时间段所采集的图像所归属的时间点的设定规则来进行适配。例如，在曝光时间段持续较长的情况下，可以将所采集的图像作为曝光时间段中的
中间时间点的图像。相应地，在第一摄像头105a相较第二摄像头105b的曝光时间的超出量为δtp的情况下，如图6所示，第一硬件触发信号s1的时序比第二硬件触发信号s2的时序提前所述曝光时间的超出量的大约一半，即提前大约1/2δtp。如此，不仅可以弥补第一摄像头105a的亮度不足，还可以让第一摄像头105a和第二摄像头105b在彼此曝光时间段采集的图像保持同步，而不会受到曝光时间段的较长持续时间的影响。
47.受益于第一图像和第二图像的动态精确同步，第一图像和第二图像可以用于融合以满足用户日益增长的各种需求。例如，所述第一处理器102a和所述第二处理器102b中的至少一个可以进一步配置为：利用所述第一图像和所述第二图像用于生成全景视频或同步定位和地图构建。
48.图7示出根据本技术第七实施例的无线智能可穿戴装置的图像采集方法的流程图。所述无线智能可穿戴装置例如可以采用如图1和图2所示的构造但不限于此，其包括可彼此无线通信的第一部和第二部，所述第一部包括第一处理器、第一无线通信模块、第一摄像头和第一图像采集模块且具有第一时钟，所述第二部包括第二处理器、第二无线通信模块、第二摄像头和第二图像采集模块且具有第二时钟。其中，第一时钟和第二时钟是彼此独立的，可以存在频偏；各个摄像头可以设置在独立的芯片上，也可以与其他构件设置在同一个片上系统上，在此不做限定。
49.如图7所示，所述图像采集方法可以包括如下步骤。
50.在步骤701，在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，使得所述第一无线通信模块和所述第二无线通信模块执行彼此的无线通信和/或两者与智能设备的无线通信，并确定所述第一无线通信模块和所述第二无线通信模块各自执行所述无线通信的时钟差异。
51.在步骤702，可以由所述第一图像采集模块向所述第一摄像头发送基于所述第一时钟的第一硬件触发信号，以触发所述第一摄像头拍摄第一图像并获取第一图像。
52.在步骤703，由所述第二图像采集模块104b向所述第二摄像头105b发送基于所述第二时钟106b的第二硬件触发信号，以触发所述第二摄像头105b拍摄第二图像并获取第二图像。
53.请注意，步骤702和步骤703是分别由第一图像采集模块和第二图像采集模块侧控制的并行的处理步骤。
54.利用步骤701中所确定的动态的时钟差异(也就是收发定时的时钟计数器的数值差异)，对所述第一硬件触发信号和所述第二硬件触发信号进行同步，例如但不限于对所述第一硬件触发信号和所述第二硬件触发信号的对应的时钟计数器的数值进行数值差异的补偿，从而使得第一硬件触发信号和所述第二硬件触发信号实质上在相同的时间发送。如此，不管第一时钟和第二时钟的频偏如何动态变化，都可以被动态地捕捉到，并及时准确地弥补，进而同时启动第一摄像头和第二摄像头的图像拍摄和采集，而无需考虑第一摄像头和第二摄像头所在的第一部和第二部各自的独立芯片上的时钟的频偏情况。所拍摄和采集的第一图像和第二图像可以保持精确的动态同步，可以用于融合以满足用户日益增长的各种需求，例如可以用于生成全景视频或同步定位和地图构建。
55.图8示出根据本技术第八实施例的无线智能可穿戴装置的图像采集方法的流程图。在步骤801，将所述第一图像采集模块经由第一gpio接口连接到所述第一摄像头以向所
述第一摄像头发送所述第一硬件触发信号。在步骤802，响应于接收到所述第一硬件触发信号，由所述第一摄像头开启曝光和图像拍摄并经由第一csi接口向所述第一图像采集模块传输图像。
56.在步骤803，将所述第二图像采集模块经由第二gpio接口连接到所述第二摄像头以向所述第二摄像头发送所述第二硬件触发信号。在步骤804，响应于接收到所述第二硬件触发信号，由所述第二摄像头开启曝光和图像拍摄并经由第二csi接口向所述第二图像采集模块传输图像。由此，可以将各个图像采集模块与摄像头通过csi接口和gpio接口连接。通过让gpio接口独立地负责第一硬件触发信号或第二硬件触发信号的传输，并且让csi接口独立地负责图像/视频的传输，为硬件触发信号和图像/视频信息的传输提供彼此独立的硬件通路，能够确保传输速度且避免彼此的信息干扰。
57.在一些实施例中，可以通过如下步骤来确定所述第一无线通信模块和所述第二无线通信模块各自执行所述无线通信的时钟差异。在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，使得所述第一无线通信模块和所述第二无线通信模块中的一方向另一方发送无线信号；确定所述一方发送所述无线信号的第一时刻和所述另一方接收所述无线信号的第二时刻的时钟计数器的数值差异作为所述时钟差异。所述无线信号包括接收方已知的信号序列，例如对于蓝牙模块，可以是物理层的蓝牙访问码；例如对于wifi模块，可以是信标信号。
58.在一些实施例中，可以通过如下步骤来确定所述第一无线通信模块和所述第二无线通信模块各自执行所述无线通信的时钟差异。在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，使得所述第一无线通信模块和所述第二无线通信模块各自接收来自智能设备的无线信号；确定所述第一无线通信模块接收所述无线信号的第三时刻和所述第二无线通信模块接收所述无线信号的第四时刻的时钟计数器的数值差异作为所述时钟差异。所述无线信号包括接收方已知的信号序列，例如对于蓝牙模块，可以是物理层的蓝牙访问码；例如对于wifi模块，可以是信标信号。
59.第一部-第二部相互通信，第一部/第二部-智能设备的联合通信，对于诸如智能眼镜等无线智能可穿戴装置而言都是常规的通信且持续地发生，从而在动态确定时钟差异的同时也不会影响用户的使用体验。
60.可以采用各种方式来实现第一和第二硬件触发信号的定时同步。
61.例如，可以在第一部的时钟计数器的数值为第一预定数值时产生所述第一硬件触发信号；在第二部的时钟计数器的数值为第二预定数值时产生所述第二硬件触发信号，其中，所述第一预定数值和所述第二预定数值的差异基于所述数值差异来设定，使得表征同一时刻。
62.又例如，可以在第一部产生基准硬件触发信号,并获取触发时刻第一部的时钟计数器的基准数值；经由所述第一无线通信模块,将所述基准数值传输给所述第二无线通信模块；在所述触发时刻后经过预定时延产生所述第一硬件触发信号；在第二部，基于所述基准数值、所述预定时延以及时钟计数器的数值差异，来确定用于产生所述第二硬件触发信号的时钟计数器的数值；在第二部的时钟计数器的数值达到所确定的数值时，产生所述第二硬件触发信号，从而使得所述第一硬件触发信号和所述第二硬件触发信号在同一时刻产生。
63.以上定时同步控制方式在上文中已经结合图4和图5进行了详细描述，在此不赘述。
64.在一些实施例中，图像采集方法还可以包括对各个摄像头的环境光的亮度的检测和补偿均衡。可以检测第一摄像头和第二摄像的环境光的亮度；设置所述第一摄像头和所述第二摄像头的曝光时间，使得环境光的亮度越低，对应的摄像头的曝光时间越长。
65.在一些实施例中，图像采集方法还可以包括：对于要设置更长的曝光时间的第一摄像头或第二摄像头，使其相连的图像采集模块相较另一摄像头相连的图像采集模块，提前预定时间产生和发送对应的硬件触发信号。作为示例，所提前的预定时间为所述曝光时间的超出量的大约一半。
66.对各个摄像头的环境光的亮度的检测和补偿均衡在上文中已经结合图6进行了详细描述，在此不赘述。
67.下面对无线智能可穿戴装置的变型例进行说明。该变型例的无线智能可穿戴装置可以采用图10所示的硬件配置，其中，第一时钟106a和第二时钟106b彼此独立且也包含时钟计数器的功能，为了简化说明，下文中分别称为第一时钟计数器106a和第二时钟计数器106b。与图2所示的硬件配置的区别在于，该变型例不依赖于gpio接口也无需从图像采集模块侧的芯片向摄像头侧的芯片发送硬件触发信号，而是以某个摄像头拍摄的各帧图像作为参考图像，考虑到另一个摄像头与其的拍摄和采集对应帧(例如相邻帧)的定时的时钟差异，以参考图像的拍摄和采集定时为标准进行插值，以得到同步的图像。图10中与图2中相同的构造部分请参见上文中的描述，在此不赘述，仅仅对两者之间的区别进行说明。
68.下面以无线智能眼镜装置作为无线智能可穿戴装置的示例进行说明，且以第一部101a的第一摄像头105a拍摄的第一图像作为参考图像为例进行说明。但须知无线智能可穿戴装置可以采用其他的构造，所述第一部101a和所述第二部101b能够在左眼镜部与右眼镜部之间切换，第一摄像头105a拍摄采集的第一图像和第二摄像头105b拍摄采集的第二图像能够被切换用作参考图像。
69.具体说来，所述第一图像采集模块104a配置为：通过第一csi接口csi1a-csi1b，与所述第一摄像头105a互连并获取由所述第一摄像头105a拍摄的各帧的第一图像s5作为参考图像。所述第二图像采集模块104b配置为：通过第二csi接口csi2a-csi2b，与所述第二摄像头105b互连并获取由所述第二摄像头105b拍摄的各帧的第二图像s6。
70.所述第一处理器102a配置为：获取所述第一图像采集模块104a接收到所述第一csi接口的用于传输各帧第一图像的sot或eot信号时，或者再经过预设时延后，所述第一时钟计数器106a的第一数值。所述第二处理器102b配置为：获取所述第二图像采集模块104b接收到所述第二csi接口的用于传输各帧第二图像的sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器106b的第二数值。
71.在一些实施例中，所述第一时钟计数器106a的第一数值和所述第二时钟计数器106b的第二数值可以基于相同时刻第一时钟计数器106a与所述第二时钟计数器106b的计数值的差异来进行补偿调整，然后再进行后续的分析。也就是说，下文中用于插值处理的所述第一时钟计数器106a的数值(例如但不限于第一数值)和所述第二时钟计数器106b的对应数值(例如但不限于第二数值)可以利用所述第一时钟计数器106a与所述第二时钟计数器106b在相同时刻的数值差异进行补偿调节，以便消除诸如两个时钟计数器的起始计数值
和/或频偏导致的在实际相同时刻的数值差异。该数值差异例如可以是time2-time1，也可以是time4-time3，参见以下实施例中的具体说明。
72.具体说来，参见图10，所述第一处理器102a和所述第二处理器102b中的至少一个可以配置为：在所述第一图像采集模块104a和所述第二图像采集模块104b的持续使用过程中，使得所述第一无线通信模块103a和所述第二无线通信模块103b中的一方向另一方发送无线信号s3(返回参见图2)。可以确定所述一方发送所述无线信号s3的第一时刻的时钟计时器的数值time1和所述另一方接收所述无线信号s3的第二时刻的时钟计数器的数值time2之间的差异time2-time1。双方彼此之间收发无线信号s3的空中时间通常可以忽略，则该数值差异time2-time1由第一时钟计时器与第二时钟计时器的初始值与初始计数时刻差异，以及第一时钟106a和第二时钟106b之间的频偏导致。当第一时钟106a和第二时钟106b同步后，time2-time1会是同一固定值或近似固定值。在一些实施例中，可以利用time2-time1的差值来调整第二时钟106b，使得第一时钟106a和第二时钟106b同步，从而使得time2-time1保持同一固定值或近似固定值。
73.在一些实施例中，所述第一处理器102a和所述第二处理器102b中的至少一个配置为：在所述第一图像采集模块104a和所述第二图像采集模块104b的持续使用过程中，使得所述第一无线通信模块103a和所述第二无线通信模块103b各自接收来自智能设备的无线信号s4(返回参见图2)；确定所述第一无线通信模块103a接收所述无线信号s4的第三时刻的时钟计时器的数值time3和所述第二无线通信模块103b接收所述无线信号s4的第四时刻的时钟计数器的数值time4。双方接收来自智能设备的无线信号s4的空中时间偏差通常可以忽略，则该数值差异time4-time3也是由第一时钟计时器与第二时钟计时器的初始值与初始计数时刻差异，以及第一时钟106a和第二时钟106b之间的频偏导致。在一些实施例中，可以利用所述第一无线通信模块103a接收来自智能设备的无线信号s4实现第一时钟106a与智能设备无线时钟之间的同步；可以利用所述第一无线通信模块103b接收来自智能设备的无线信号s4实现第二时钟106b与智能设备无线时钟之间的同步；从而实现第一时钟106a与第二时钟106b的时间同步；从而也使得time3-time4保持同一固定值或近似固定值。
74.可以在第一时钟计数器106a与所述第二时钟计数器106b的计数值的基础上利用数值差异time2-time1或者time4-time3来进行补偿调整。具体说来，如果time2为第二无线通信模块103b发送所述无线信号s3的第一时刻的时钟计时器的数值,而time1则是第一无线通信模块103a接收所述无线信号s3的第二时刻的时钟计数器的数值，且time2》time1，则可以将第二时钟计数器106b的动态计数值减去(time2-time1),从而消除第一时钟计时器与第二时钟计时器的初始值与初始计数时刻差异以及第一时钟106a和第二时钟106b之间的频偏的不利影响。又例如，如果time4》time3，则可以将第二时钟计数器106b的动态计数值减去(time4-time3),从而消除第一时钟计时器与第二时钟计时器的初始值与初始计数时刻差异以及第一时钟106a和第二时钟106b之间的频偏的不利影响。
75.进行了计数值的补偿调整后，可以得到消除第一时钟计时器与第二时钟计时器的初始值与初始计数时刻差异以及第一时钟106a和第二时钟106b之间的频偏的不利影响后，接收到所述第一csi接口的用于传输各帧第一图像的sot或eot信号时或者再经过预设时延后的时间，与接收到所述第二csi接口的用于传输各帧第二图像的sot或eot信号时或者再经过所述预设时延后的时间，两者之间真实的时间先后关系，以利于后续插值处理后的图
像与参考图像的同步性更好。
76.如图9所示，示出了根据mipi csi-2协议定义的csi接口连接在传输一个数据包时的时序图。csi接口为单向传输，从摄像头向外传输，包括一个时钟lane(数据通道)和一到四个数据lane，四个数据lane即图9中所示的lane 1、lane 2、lane 3和lane 4。
77.sot又称传输开始信号，eot又称传输结束信号，是csi接口传输来自摄像头的图像信息时的传输定时参考信号，由此，第一数值和第二数值实质上代表了第一图像和第二图像各自的拍摄和采集时间。如图9所示，在每个lane上，有效负荷(字节0-字节n-1，n为正整数)在sot与eot信号之间传输。在各个数据包之间具有一个lps状态(低功耗状态)。
78.所述第一处理器102a或者所述第二处理器102b进一步配置为，使得所述第一无线通信模块103a向所述第二无线通信模块103b传输所述第一数值，或者使得所述第一无线通信模块103a和所述第二无线通信模块103b向智能设备传输所述第一数值、所述第二数值和所述第二图像，以便所述第二处理器102b或者所述智能设备中的第三处理器102c(参见图2)获取到所述第一数值、所述第二数值连同所述第二图像。进一步地，获取到所述第一数值、所述第二数值连同所述第二图像的所述第二处理器102b或者所述智能设备中的第三处理器102c进一步配置为：基于利用所述第一时钟计数器106a与所述第二时钟计数器106b在相同时刻的数值差异进行补偿调节后的所述第一数值和所述第二数值，对各帧的第二图像进行插值处理，以得到与各帧的第一图像同步的各帧的第三图像。由此，利用csi接口常规的信号交互方式，通过简单的插值运算，无需其他硬件接口的交互配置，就可以方便地实现第一部101a和第二部101b的各帧图像的精确动态同步。该精确动态同步的水平，使得各帧的第一图像和同步的各帧的第三图像可以用于生成全景视频或同步定位和地图构建。
79.在插值运算之前，也可以如上文中的其他实施例那样，先考虑第一时钟106a和第二时钟106b的时钟差异，并据此对所述第一数值和/或所述第二数值进行补偿调节，再用于对各帧的第二图像进行插值处理。本技术中各个实施例中记载的用所述第一时钟计数器106a与所述第二时钟计数器106b在相同时刻的数值差异对第一数值和/或所述第二数值进行补偿调节的方法可结合于此。该数值差异例如可以是time2-time1，也可以是time4-time3，参见各个实施例中的具体说明。
80.例如，所述第一处理器102a和所述第二处理器102b中的至少一个进一步配置为：在所述第一图像采集模块104a和所述第二图像采集模块104b的持续使用过程中，使得所述第一无线通信模块103a和所述第二无线通信模块103b执行彼此的无线通信和/或两者与智能设备的无线通信；计算利用所述第一无线通信模块103a和所述第二无线通信模块103b执行所述无线通信时，所述第一时钟计数器106a与所述第二时钟计数器106b的数值差异；基于所述数值差异对所述第一数值和/或所述第二数值进行补偿调节，再用于对各帧的第二图像进行插值处理。上文中已经详细描述了如何利用所述第一无线通信模块103a和所述第二无线通信模块103b执行彼此的无线通信和/或两者与智能设备的无线通信来确定时钟差异(即所述第一时钟计数器106a与所述第二时钟计数器106b的数值差异)，以及如何使用该数值差异来进行补偿调节，这些说明内容结合于此，在此不赘述。
81.在一些实施例中，所述第二处理器102b进一步配置为获取所述第二图像采集模块104b接收到所述第二csi接口csi2a-csi2b的用于传输第n-1帧和第n帧的第二图像的sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器106b的对应两个第二数值t0
和t2。所述第二处理器102b可以获取第一图像采集模块104a接收到所述第一csi接口csi1a-csi1b的用于传输第n帧的第一图像的sot或eot信号时，或者再经过所述预设时延后，所述第一时钟计数器的对应的第一数值t1，其中，t2大于或等于t1。也就是说，第n帧的第一图像对应的计时的第一数值t1可以位于第n-1帧和第n帧的第二图像对应的计时的两个数值t0与t2之间。
82.第二处理器102b可以获取第n-1帧的第二图像和第n帧的第二图像，并根据如下公式(1)，对所获取的第n-1帧的第二图像和第n帧的第二图像进行插值处理，来得到与第n帧的第一图像同步的第n帧的第三图像：
83.new_image＝[image_n_1*(t2-t1) image_n*(t1-t0)]/(t2-t0)，
ꢀꢀ
公式(1)
[0084]
其中，new_image表示与第n帧的第一图像同步的第n帧的第三图像，image_n_1表示第n-1帧的第二图像，image_n表示第n帧的第二图像。
[0085]
返回参见图1，所述第一部101a和第二部101b各自可以包括亮度检测单元107a和107b，其配置为检测对应的第一摄像头105a和第二摄像头105b的环境光的亮度。所述第一处理器102a和所述第二处理器102b中的至少一个进一步配置为：基于所述第一部101a和第二部101b各自检出的亮度，设置所述第一摄像头105a和所述第二摄像头105b的曝光时间，使得摄像头对应的检出亮度越低则曝光时间越长。
[0086]
对第二图像采集模块104b接收到所述第二csi接口csi2a-csi2b的用于传输第n帧的第二图像的sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器106b的对应第二数值t2，可以根据所述第一摄像头105a和所述第二摄像头105b的曝光时间的差异进行调整。
[0087]
具体说来，所述第二处理器102b可以进一步配置为：获取所述第一摄像头的第一曝光时间t00以及所述第二摄像头的第二曝光时间t11；根据如下公式(2)，来计算t2经调整后的第二数值t2
′
：
[0088]
t2
′
＝t2-(t11-t00)/2，
ꢀꢀꢀ
公式(2)。
[0089]
在曝光时间段持续较长的情况下，可以将所采集的图像作为曝光时间段中的中间时间点的图像。例如，在第二摄像头105b相较第一摄像头105a的曝光时间的超出量为t11-t00的情况下，将t2提前所述曝光时间的超出量的大约一半t11-t00/2。如此，不仅可以弥补第二摄像头105b的亮度不足，还可以让第一摄像头105a和第二摄像头105b在彼此曝光时间段采集的图像保持同步，而不会受到曝光时间段的较长持续时间的影响。以上调整后的第二数值t2
′
可用于代入到公式(1)的t2，以插值得到与第n帧的第一图像同步的第n帧的第三图像。
[0090]
图11示出根据本技术第十一实施例的无线智能可穿戴装置的图像采集方法的流程图。所述无线智能可穿戴装置包括彼此无线通信的第一部和第二部。所述第一部包括第一处理器、第一无线通信模块、第一摄像头、第一图像采集模块和第一时钟计数器，所述第二部包括第二处理器、第二无线通信模块、第二摄像头、第二图像采集模块和第二时钟计数器。所述第一时钟计数器和第二时钟计时器是彼此独立的，彼此可以存在动态的时钟偏差。所述无线智能可穿戴装置可以采用根据本技术各个实施例的构造，只要能够协同实现图像采集方法的流程即可，在此不赘述。
[0091]
如图11所示，所述图像采集方法包括如下步骤。
[0092]
在步骤1101，由第一图像采集模块通过第一csi接口与所述第一摄像头互连，并获取由所述第一摄像头拍摄的各帧的第一图像作为参考图像。
[0093]
在步骤1102，由第二图像采集模块通过第二csi接口与所述第二摄像头互连，并获取由所述第二摄像头拍摄的各帧的第二图像。
[0094]
在步骤1103，由所第一处理器，获取所述第一图像采集模块接收到所述第一csi接口的用于传输各帧第一图像的sot或eot信号时，或者再经过预设时延后，所述第一时钟计数器的第一数值。
[0095]
在步骤1104，由所述第二处理器，获取所述第二图像采集模块接收到所述第二csi接口的用于传输各帧第二图像的sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器的第二数值。
[0096]
在步骤1105，由所述第一无线通信模块向所述第二无线通信模块传输所述第一数值，或者由所述第一无线通信模块和所述第二无线通信模块向智能设备传输所述第一数值、所述第二数值和所述第二图像，以便所述第二处理器或者所述智能设备中的第三处理器获取到所述第一数值、所述第二数值连同所述第二图像。
[0097]
在步骤1106，由获取到所述第一数值、所述第二数值连同所述第二图像的所述第二处理器或者所述智能设备中的第三处理器，基于第一数值和所述第二数值，对各帧的第二图像进行插值处理，以得到与各帧的第一图像同步的各帧的第三图像。
[0098]
上文中各个实施例中结合无线智能可穿戴装置的结构所描述的图像采集方法的处理步骤均可以结合于此，在此不赘述。
[0099]
在一些实施例中，图像采集方法还可以包括：在所述第一图像采集模块和所述第二图像采集模块的持续使用过程中，由所述第一无线通信模块和所述第二无线通信模块执行彼此的无线通信和/或两者与智能设备的无线通信；计算利用所述第一无线通信模块和所述第二无线通信模块执行所述无线通信时，所述第一时钟计数器与所述第二时钟计数器的数值差异；以及基于所述数值差异对所述第一数值和/或所述第二数值进行补偿调节，再用于对各帧的第二图像进行插值处理。
[0100]
在一些实施例中，图像采集方法还包括：利用各帧的第一图像和同步的各帧的第三图像用于生成全景视频或同步定位和地图构建。
[0101]
在一些实施例中，所述图像采集方法还包括，由所述第二处理器：获取所述第二图像采集模块接收到所述第二csi接口的用于传输第n-1帧和第n帧的第二图像的sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器的对应两个第二数值t0和t2；获取所述第一图像采集模块接收到所述第一csi接口的用于传输第n帧的第一图像的sot或eot信号时，或者再经过所述预设时延后，所述第一时钟计数器的对应的第一数值t1，其中，t2大于或等于t1；获取第n-1帧的第二图像和第n帧的第二图像，并根据如下公式(1)，对所获取的第n-1帧的第二图像和第n帧的第二图像进行插值处理，来得到与第n帧的第一图像同步的第n帧的第三图像：
[0102]
new_image＝[image_n_1*(t2-t1) image_n*(t1-t0)]/(t2-t0)，
ꢀꢀ
公式(1)
[0103]
其中，new_image表示与第n帧的第一图像同步的第n帧的第三图像，image_n_1表示第n-1帧的第二图像，image_n表示第n帧的第二图像。
[0104]
在一些实施例中，所述图像采集方法还包括：检测第一摄像头和第二摄像头的环
境光的亮度；设置所述第一摄像头和所述第二摄像头的曝光时间，使得环境光的亮度越低，对应的摄像头的曝光时间越长。
[0105]
在一些实施例中，所述图像采集方法还包括，由所述第二处理器：获取所述第一摄像头的第一曝光时间t00以及所述第二摄像头的第二曝光时间t11；根据如下公式(2)，来计算调整后的所述第二csi接口的用于传输第n帧的第二图像的第二数值sot或eot信号时，或者再经过所述预设时延后，所述第二时钟计数器的对应第二数值t2
′
：
[0106]
t2
′
＝t2-(t11-t00)/2，
ꢀꢀꢀ
公式(2)。
[0107]
以上调整后的第二数值t2
′
可用于代入到公式(1)的t2，以插值得到与第n帧的第一图像同步的第n帧的第三图像。
[0108]
以上各个实施例仅仅作为示例，而不作为对本发明的保护范围的限定。本发明的保护范围由权利要求书来定义，本领域技术人员在不偏离和超出权利要求书的保护范围的情况下，可以对各个实施例进行各种变型和修改。以上各个实施例中记载的技术要素的组合方式不限于各个实施例中记载的组合方式，而是不同实施例中的技术要素也可以彼此灵活组合。每个权利要求定义的技术方案都构成独立的实施例且可以彼此组合。