时间戳同步方法、系统、设备及可读存储介质与流程

本技术涉及可穿戴设备，尤其涉及一种时间戳同步方法、系统、设备及可读存储介质。

背景技术：

1、随着科技的飞速发展，可穿戴设备逐渐成为人们生活中不可或缺的一部分。在可穿戴设备中，微控制单元(mcu，microcontroller unit)和图像信号处理器(isp，imagesignalprocessor)是两个关键的组件。mcu主要负责传感器数据的采集与处理，例如麦克风和imu(inertial measurement unit，惯性测量单元)的数据。而isp则专注于处理摄像头所采集的图像数据，为用户提供清晰、高质量的视觉内容。在可穿戴设备的多种应用场景中，时间戳同步是确保数据一致性和用户体验的关键技术，同步精度对音视频同步效果、电子防抖(eis，electronic image stabilization)算法的准确性等均具有显著的影响。

2、目前，可穿戴设备中实现时间戳同步的常见方法是基于时间戳传递和校准机制。具体而言，在执行与时间戳同步相关的操作时，mcu侧会将其自身的时间戳信息传递到isp侧。isp接收到该时间戳后，计算并记录自身时间与mcu时间的差值△t，随后依据该差值△t同步mcu与isp相关数据的时间戳。

3、然而，上述方案的同步精度受限于指令传输链路的固有延迟。由于mcu发送指令到isp接收并响应指令的过程中存在通信延迟，总线通信需经历协议封装、传输、解析等过程以及指令排队等，isp记录的△t值实际包含了传输延迟误差。尤其在智能眼镜等资源受限的可穿戴设备中，此类延迟可能高达毫秒级且具有随机性，△t计算值与真实时间偏差显著，导致时间戳的同步精度低，进而可能引发eis防抖效果下降、音画同步失真等问题。

4、因此，如何提高mcu与isp之间的时间戳同步精度是目前亟待解决的技术问题。

技术实现思路

1、本技术的主要目的在于提供一种时间戳同步方法、系统、设备及可读存储介质，旨在解决如何提高mcu与isp之间的时间戳同步精度。

2、为实现上述目的，本技术提供一种时间戳同步方法，所述时间戳同步方法应用于可穿戴设备，所述可穿戴设备包括mcu与isp，所述mcu与所述isp之间存在有相互连接的gpio引脚，所述时间戳同步方法包括：

3、若所述mcu检测到时间戳同步事件触发，则通过所述mcu的所述gpio引脚发送同步信号至所述isp；

4、获取所述mcu发送所述同步信号时记录的第一时间戳与所述isp接收到所述同步信号时记录的第二时间戳；

5、依据所述第一时间戳与所述第二时间戳，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据。

6、在一实施例中，所述依据所述第一时间戳与所述第二时间戳，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据的步骤，包括：

7、获取数据采集延迟，其中，所述数据采集延迟为所述isp采集到的图像数据时记录的时间戳与所述第二时间戳之间的差值；

8、计算数据采集延迟与所述第一时间戳之间的和值得到第一修正时间戳，将所述图像数据的采集时间戳更新为所述第一修正时间戳，以完成所述mcu采集到的传感器数据与所述isp采集到的图像数据的同步。

9、在一实施例中，所述若所述mcu检测到时间戳同步事件触发，则通过所述mcu的所述gpio引脚发送同步信号至所述isp的步骤之前，所述方法还包括：

10、若所述mcu检测到数据采集事件触发，则依据所述数据采集事件获取待采集数据；

11、若所述待采集数据包括传感器数据与图像数据，则启动所述mcu采集传感器数据并发送图像采集指令至所述isp，以使所述isp接收到所述图像采集指令后开始采集图像数据；

12、在所述isp开始发送采集到的图像数据之后，每隔预设时间窗口确定触发一次所述时间戳同步事件。

13、在一实施例中，所述获取所述mcu发送所述同步信号时记录的第一时间戳与所述isp接收到所述同步信号时记录的第二时间戳的步骤之后，所述方法还包括：

14、若所述mcu通过所述gpio引脚发送所述图像采集指令至所述isp，则执行所述依据所述第一时间戳与所述第二时间戳，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据的步骤；

15、若所述mcu通过串口发送所述图像采集指令至所述isp，则获取所述mcu与所述isp之间的传输延迟，依据所述第一时间戳、所述第二时间戳与所述传输延迟，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据；

16、其中，所述传输延迟为所述mcu发送所述图像采集指令与所述isp接收到所述图像采集指令之间的数据传输延迟。

17、在一实施例中，所述依据所述第一时间戳、所述第二时间戳与所述传输延迟，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据的步骤，包括：

18、获取数据采集延迟，其中，所述数据采集延迟为所述isp采集到的图像数据时记录的时间戳与所述第二时间戳之间的差值；

19、计算数据采集延迟与所述第一时间戳之间的和值得到第一修正时间戳，以所述第一修正时间戳减所述传输延迟得到第二修正时间戳；

20、将所述图像数据的采集时间戳更新为所述第二修正时间戳，以完成所述mcu采集到的传感器数据与所述isp采集到的图像数据的同步。

21、在一实施例中，所述获取所述mcu与所述isp之间的传输延迟的步骤，包括：

22、获取所述isp发送的接收传递时间差，并获取所述mcu的发送传递时间差；

23、计算所述发送传递时间差与所述接收传递时间差之间的差值，获得所述mcu与所述isp之间的传输延迟；

24、其中，所述接收传递时间差为所述isp接收到所述图像采集指令时记录的时间戳与所述第二时间戳之间的差，所述发送传递时间差为所述mcu发送所述图像采集指令时记录的时间戳与所述第一时间戳之间的差。

25、在一实施例中，所述获取所述mcu发送所述同步信号时记录的第一时间戳与所述isp接收到所述同步信号时记录的第二时间戳的步骤之前，所述方法还包括：

26、获取所述mcu的第一时间差观测值与所述isp的第二时间差观测值；

27、将所述第一时间差观测值输入至卡尔曼滤波算法中得到第一漂移率预测值，将所述第二时间差观测值输入至卡尔曼滤波算法中得到第二漂移率预测值；

28、依据所述第一漂移率预测值调整所述mcu中计时器的分频系数和/或重置所述mcu中计时器的自动重装载寄存器值，依据所述第二漂移率预测值调整所述isp中计时器的分频系数和/或重置所述isp中计时器的自动重装载寄存器值，以基于调整后的所述计时器记录时间戳。

29、此外，为实现上述目的，本技术还提供一种时间戳同步系统，所述时间戳同步系统部署于可穿戴设备，所述可穿戴设备包括mcu与isp，所述mcu与所述isp之间存在有相互连接的gpio引脚，所述时间戳同步系统包括：

30、发送模块，用于若所述mcu检测到时间戳同步事件触发，则通过所述mcu的所述gpio引脚发送同步信号至所述isp；

31、获取模块，用于获取所述mcu发送所述同步信号时记录的第一时间戳与所述isp接收到所述同步信号时记录的第二时间戳；

32、同步模块，用于依据所述第一时间戳与所述第二时间戳，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据。

33、此外，为实现上述目的，本技术还提供一种可穿戴式设备，所述可穿戴设备包括处理器，所述处理器包括mcu与isp，所述mcu与所述isp之间存在有相互连接的gpio引脚，所述处理器用于执行如上所述的时间戳同步方法的步骤。

34、此外，为实现上述目的，本技术还提供一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上所述时间戳同步方法的步骤。

35、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的时间戳同步方法的步骤。

36、本技术提出的一个或多个技术方案，至少具有以下技术效果：

37、本技术通过将可穿戴设备的mcu与isp之间通过gpio引脚相互连接，也即mcu与isp之间共享gpio引脚，若所述mcu检测到时间戳同步事件触发，则通过所述mcu的所述gpio引脚发送同步信号至所述isp；获取所述mcu发送所述同步信号时记录的第一时间戳与所述isp接收到所述同步信号时记录的第二时间戳；依据所述第一时间戳与所述第二时间戳，同步所述mcu采集到的传感器数据与所述isp采集到的图像数据。如此，本技术实施例通过mcu与isp之间直接连接的gpio引脚传输同步信号，规避了传统总线通信链路中协议封装、传输、解析及指令排队产生的固有延迟。由于gpio引脚采用硬件电平触发的信号传输方式，其物理层通信延迟极短且稳定，使得同步信号从mcu发出到isp接收的路径中不再包含随机性高、波动幅度大的协议处理耗时。当mcu检测到同步事件时，通过gpio引脚发送的同步信号几乎能够被isp实时感知，此时mcu与isp各自独立记录本地时间戳的动作可仅受限于gpio电路固有的微秒级信号传播延迟，而非传统方案中毫秒级的总线通信延迟。通过直接对比两个设备在同步信号触发瞬间的本地时间戳，可精确剥离传输链路延迟对时间差计算的影响，容易理解的是，基于第一时间戳与第二时间戳可以获得反映mcu与isp真实时钟偏差的时间差△t值，该△t值的准确性不再受通信协议栈处理效率或指令队列等待时间的干扰，使得基于第一时间戳与第二时间戳进行时间戳同步，可以保障传感数据与图像数据的高精度同步，从而提高了mcu与isp的时间戳同步精度，进而可以有效缓解因时间戳同步误差导致的eis防抖效果劣化及音画同步失真问题。