控制方法、装置、设备及存储介质与流程

摘要: 本技术涉及仿生人眼,尤其涉及一种控制方法、装置、设备及存储介质。背景技术:1、类人眼装置是一种模仿人类眼睛功能和特性的装置。它具备转动和拍摄功能,可用于多种应用...
控制方法、装置、设备及存储介质与流程

本技术涉及仿生人眼,尤其涉及一种控制方法、装置、设备及存储介质。

背景技术:

1、类人眼装置是一种模仿人类眼睛功能和特性的装置。它具备转动和拍摄功能,可用于多种应用场景。例如在测试电子产品场景中,可对虚拟现实(virtual reality,vr)、增强现实(augmented reality,ar)等智能眼镜进行眼球追踪等功能的测试;在机器人场景中,可作为机器人的眼部装置,用于眼部运动或图像采集。

2、目前用户可通过移动端控制类人眼装置进行转动以及拍摄,但现有的转动以及拍摄分别为独立控制,即类人眼装置在接收到拍摄指令后立即响应进行拍摄,在接收到转动指令后立即响应进行转动。由于拍摄以及转动分别为独立控制,因此当需要在拍摄时的某一时刻下控制类人眼装置进行转动,需要用户等待到该时刻下再通过移动端发送转动指令,例如用户欲在拍摄第三秒时控制类人眼装置转动,则需等到第三秒时再通过移动端发送转动指令,而由于需用户等待到对应时刻并手动触发,时间精度难以控制,因此导致控制效果较差。

技术实现思路

1、本技术的主要目的在于提供一种控制方法、装置、设备及存储介质,旨在解决现有的由于拍摄以及转动分别为独立控制,时间精度难以控制,导致控制效果较差的技术问题。

2、为实现上述目的,本技术提供一种控制方法,所述方法应用于与待控制类人眼装置连接的控制设备,所述方法包括:

3、对所述待控制类人眼装置拍摄到的当前视频数据进行解析,确定所述当前视频数据中各图像帧的开始时刻以及结束时刻;

4、在检测到转动指令时,对所述转动指令进行缓存,并基于所述转动指令、所述开始时刻以及所述结束时刻确定所述转动指令的发送时刻;

5、按照所述发送时刻发送所述转动指令至所述待控制类人眼装置,以使所述待控制类人眼装置根据所述转动指令执行转动操作。

6、在一实施例中,所述对所述待控制类人眼装置拍摄到的当前视频数据进行解析,确定所述当前视频数据中各图像帧的开始时刻以及结束时刻的步骤,包括:

7、对所述待控制类人眼装置拍摄到的当前视频数据进行解析,获得解析结果;

8、通过预设帧头字节序列标识对所述解析结果进行遍历,获得所述当前视频数据中各图像帧的帧头序列,并通过预设行头字节序列标识对所述解析结果进行遍历,获得所述当前视频数据中各图像帧的行头序列;

9、基于所述帧头序列以及所述行头序列确定所述当前视频数据中各图像帧的开始时刻以及结束时刻。

10、在一实施例中,所述基于所述帧头序列以及所述行头序列确定所述当前视频数据中各图像帧的开始时刻以及结束时刻的步骤,包括:

11、获取所述当前视频数据的视频帧率,并获取所述当前视频数据中各图像帧的图像分辨率;

12、根据所述视频帧率确定所述当前视频数据的帧周期,并根据所述图像分辨率确定各所述图像帧的行像素数以及像素行数;

13、获取当前时钟频率,并基于所述行像素数以及所述当前时钟频率确定各所述图像帧的行像素点亮时长;

14、根据所述帧头序列确定各所述图像帧的开始时刻,并根据所述像素行数、所述行像素点亮时长以及所述开始时刻确定各所述图像帧的结束时刻。

15、在一实施例中,所述基于所述转动指令、所述开始时刻以及所述结束时刻确定所述转动指令的发送时刻的步骤,包括:

16、确定所述转动指令中所携带的目标执行时刻,并根据所述开始时刻以及所述结束时刻确定各所述图像帧的帧周期;

17、获取所述当前视频数据的起始时刻,并根据所述目标执行时刻、所述起始时刻以及所述帧周期确定所述转动指令的发送时刻。

18、在一实施例中,所述按照所述发送时刻发送所述转动指令至所述待控制类人眼装置的步骤,包括:

19、根据所述目标执行时刻、所述起始时刻以及所述帧周期判断所述目标执行时刻是否处于所述图像帧内;

20、若是,则确定待插入图像帧,并在接收到所述待插入图像帧时对所述待插入图像帧插入虚拟帧边界;

21、在所述虚拟帧边界处按照所述发送时刻发送所述转动指令至所述待控制类人眼装置。

22、在一实施例中,所述在接收到所述待插入图像帧时对所述待插入图像帧插入虚拟帧边界的步骤,包括:

23、确定所述待插入图像帧中的第一待插入行数以及第二待插入行数,所述第一待插入行数与所述第二待插入行数相邻;

24、根据所述第一待插入行数以及所述第二待插入行数确定插值系数,并获取所述待插入图像帧中所述第一待插入行数对应的当前像素值;

25、基于所述插值系数对所述当前像素值进行插值,获得虚拟帧边界,并在接收到所述待插入图像帧时对所述待插入图像帧插入所述虚拟帧边界。

26、在一实施例中,所述根据所述第一待插入行数以及所述第二待插入行数确定插值系数的步骤,包括:

27、获取所述待插入图像帧的前一图像帧内所述第一待插入行数对应的第一历史像素值以及所述第二待插入行数对应的第二历史像素值;

28、根据所述第一历史像素值以及所述第二历史像素值确定像素变化率;

29、基于所述像素变化率以及所述插值系数对所述当前像素值进行插值,获得虚拟帧边界。

30、此外,为实现上述目的,本技术实施例还提出一种控制装置,所述控制装置包括:图像处理模块以及控制模块;

31、所述图像处理模块,用于对待控制类人眼装置拍摄到的当前视频数据进行解析,确定所述当前视频数据中各图像帧的开始时刻以及结束时刻;

32、所述控制模块,用于在检测到转动指令时,对所述转动指令进行缓存,并基于所述转动指令、所述开始时刻以及所述结束时刻确定所述转动指令的发送时刻;

33、所述控制模块,还用于按照所述发送时刻发送所述转动指令至所述待控制类人眼装置,以使所述待控制类人眼装置根据所述转动指令执行转动操作。

34、此外,为实现上述目的,本技术实施例还提出一种控制设备,所述控制设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的控制程序,所述控制程序被所述处理器执行时实现如上文所述的控制方法的步骤。

35、此外,为实现上述目的,本技术实施例还提出一种存储介质,所述存储介质上存储有控制程序,所述控制程序被处理器执行时实现如上文所述的控制方法的步骤。

36、本技术实施例提供一种控制方法、装置、设备及存储介质,该方法应用于与待控制类人眼装置连接的控制设备,该方法包括:对所述待控制类人眼装置拍摄到的当前视频数据进行解析,确定所述当前视频数据中各图像帧的开始时刻以及结束时刻;在检测到转动指令时,对所述转动指令进行缓存,并基于所述转动指令、所述开始时刻以及所述结束时刻确定所述转动指令的发送时刻;按照所述发送时刻发送所述转动指令至所述待控制类人眼装置,以使所述待控制类人眼装置根据所述转动指令执行转动操作。

37、由于本技术可先对拍摄到的当前视频数据进行解析,确定其中各图像帧的开始时刻以及结束时刻,接着在检测到转动指令时先对转动指令进行缓存,并根据转动指令、开始时刻以及结束时刻确定转动指令的发送时刻,最后按照该发送时刻发送转动指令至待控制类人眼装置执行转动操作。相比于现有的转动与拍摄分别独立控制,本技术可使转动与拍摄联动控制,无需用户等待对应时刻手动触发,进而提升了时间精度,提高了控制效果。