一种低延迟的舞蹈辅助练习设备及其控制方法与流程

本发明涉及智能家居及动作辅助训练设备，尤其涉及一种利用硬件视频加速实现低延迟画面合成的舞蹈辅助练习设备及其控制方法。

背景技术：

1、随着居家健身与在线舞蹈教学的普及，用户需要能够实时跟随视频课程进行动作比对和纠正的练习工具。理想的使用体验是：用户在电视上看到教学视频，同时在同一画面中看到自己的实时动作影像，两者分屏或画中画显示，且画面完全同步，不存在可感知的延迟。目前常见的解决方案主要存在以下缺陷。

2、纯软件方案延迟不可控

3、使用手机播放教学视频，通过无线投屏至电视，同时利用手机前置摄像头自拍，是当前最常见的做法。然而，该方案的数据链路中存在多处延迟源：投屏端视频编码引入50~150ms延迟；无线传输缓冲引入20~80ms；接收端软件解码引入30~100ms；摄像头预览与屏幕叠加通过gpu软件合成，额外引入30~60ms；显示输出刷新引入16~33ms。各环节延迟叠加后，端到端延迟通常超过300ms，严重时可达500ms以上。对于舞蹈跟练而言，动作节拍误差超过100ms即会导致跟练者动作错位，失去辅助意义。

4、软件合成效率低，系统资源占用高

5、现有设备在进行多路视频合成时，多通过cpu或通用gpu执行图像缩放、颜色空间转换和像素混合。此类操作虽然功能上可行，但存在以下问题：（a）每次合成都需要将多路视频帧从各自的缓冲区拷贝至合成缓冲区，产生大量内存带宽消耗；（b）cpu/gpu持续高负载运行，导致设备发热严重；（c）合成任务的调度受操作系统任务切换影响，输出帧间隔不稳定，产生周期性卡顿。

6、投屏协议兼容性差

7、多数专用辅助设备依赖自研app或私有协议，用户需在手机上额外安装软件，且需与设备保持app版本同步。手机系统原生的标准投屏协议（如airplay、miracast）通常被排除在设备能力之外，导致使用门槛高、用户接受度低。

8、专用硬件方案成本过高

9、市面上具备低延迟多画面合成能力的专业设备（如导播台、视频分割器）多采用fpga或专用视频处理芯片实现硬件合成。此类方案虽然延迟低，但芯片成本通常在数十至数百元，且开发周期长、灵活性差，难以在消费级舞蹈辅助设备中推广。

10、摄像头视场角与安装方式局限

11、普通usb摄像头视场角窄（通常60°~80°），用户小幅移动即出画，无法完整采集全身动作。且usb摄像头通常为独立外设，需要额外线缆和固定支架，使用时需要用户自行调整角度，体验不佳。

12、上述缺陷的共性在于：现有方案未能在单一设备中实现“无线投屏接收 → 硬件解码 → 本端实时采集 → 硬件零拷贝合成 → 显示输出”的全硬件流水线。任何中间环节的软件介入都会引入不可控的延迟抖动。

技术实现思路

1、要解决的技术问题

2、本发明旨在解决以下技术问题：如何在不使用fpga或专用视频处理芯片的前提下，构建一条端到端延迟稳定在40~100ms的多路视频实时合成输出链路，通过低延迟本身天然保证投屏视频流与本地摄像头视频流在时间上的同步性，使用户在屏幕上看到的教学动作与自己实际动作之间的时间偏差低于人类视觉感知阈值，实现“照镜子”般的实时跟练体验。同时原生兼容主流标准无线投屏协议，以解决现有方案延迟高、软件合成效率低、协议兼容性差的问题，并使设备具备消费级量产可行性。

3、技术方案

4、本发明的核心构思在于：利用处理器内部集成的硬件视频加速单元，将“无线投屏解码帧”与“本地摄像头采集帧”两路相互独立的视频数据流，在硬件层面完成缩放、叠加和输出合成，构建一条从视频源到显示器的零拷贝直通流水线。具体而言，本发明通过以下三个技术手段实现上述目标。

5、手段一：硬件解码与硬件合成之间的零拷贝衔接。 无线接收模块收到的编码视频流，由处理器内置的硬件视频解码器直接解码为原始帧，该帧存储于由解码器驱动的共享内存缓冲区中。该缓冲区的句柄被直接传递给硬件视频加速单元，硬件加速单元通过物理地址访问该缓冲区，不经过cpu拷贝。

6、手段二：图像采集与显示输出之间的硬件直通。 图像采集模块通过视频输入接口将数字图像数据送入处理器，经图像信号处理器（isp）预处理后同样写入共享内存缓冲区。该缓冲区句柄被直接传递给硬件视频加速单元，与投屏解码帧共享同一物理内存空间，硬件加速单元直接读取两者并执行合成操作。

7、手段三：合成输出帧由显示输出控制器直接扫描。 硬件视频加速单元将合成后的画面写入显示输出控制器可直接寻址的帧缓冲区。显示输出控制器（如hdmi tx控制器）以硬件扫描方式将该帧缓冲区内容输出至外部显示器，合成与输出之间不存在软件中断或拷贝。

8、上述三者共同构成了一条从数据源到显示器的全程零拷贝硬件流水线，cpu仅负责任务调度和参数配置，不参与任何像素数据处理。这从根本上消除了传统软件方案中因多次内存拷贝、任务切换和调度抖动导致的延迟不可控问题。

9、本发明的两路视频流同步性保障不依赖于任何显式的时间戳配对、帧对齐算法或同步信号注入。其原理是：当摄像头视频的输入延迟均被压缩到足够小（各自≤50ms）时，它们之间的时间偏差自然被限制在一个极小范围内（通常小于一帧间隔33ms），远低于人类视觉可感知的时间对齐阈值（约120~150ms）。其中硬件解码避免了软件解码的cpu调度开销，视频输入接口直通避免了排队等待，rga/图层混合器避免了内存拷贝的带宽竞争，显示控制器直扫避免了帧缓冲区的二次搬运。这些手段共同作用，使得投屏链路和摄像头链路的各自延迟同时被压缩到50ms以下，从而两路之间的偏差自然小于一帧间隔。

10、设备方案

11、本发明同时提供一种应用于上述设备的控制方法。该方法从设备控制流程的角度，规定了实现低延迟合成的必要步骤。

12、步骤s1（初始化阶段） ：设备上电后，处理器加载操作系统，初始化视频输入接口控制器、硬件视频解码器、硬件视频加速单元和显示输出控制器。同时启动无线通信模块的协议栈服务，进入投屏等待状态。

13、步骤s2（连接建立阶段） ：外部智能设备通过无线局域网发现本设备并发起投屏连接请求。无线通信模块完成协议握手后，开始接收编码视频流。处理器将收到的编码数据包送入硬件视频解码器的输入队列。

14、步骤s3（并行数据流建立阶段） ：在投屏视频流解码的同时，图像采集模块持续通过视频输入接口向处理器发送本地影像数据。两路数据流的采集/接收、解码/预处理完全异步并行执行，互不阻塞。

15、步骤s4（硬件合成触发阶段） ：当硬件视频解码器输出第一帧解码帧且图像采集模块输出第一帧本地帧后，处理器向硬件视频加速单元下发合成配置命令。该配置命令指定了每一路视频在组合画面中的显示区域、缩放比例和图层叠加顺序。

16、步骤s5（持续合成输出阶段） ：硬件视频加速单元按照配置命令，在后续每一帧到达时自动执行缩放和叠加操作，将合成帧写入显示输出控制器可直接寻址的帧缓冲区。显示输出控制器以固定刷新率扫描该缓冲区，向外部显示器输出组合画面。合成和输出的节奏由硬件时钟驱动，不受操作系统任务调度影响。

17、步骤s6（结束阶段） ：当无线通信模块检测到投屏连接断开或用户主动停止时，处理器向硬件视频加速单元下发停止命令，释放相关缓冲区资源，设备返回步骤s1的等待状态。

18、上述控制方法的核心特征在于：步骤s3中两路数据流的异步并行建立，以及步骤s5中合成与输出的纯硬件驱动机制。这两点共同保证了端到端延迟的稳定性和可预测性。

19、控制方法方案

20、本发明同时提供一种上述舞蹈辅助练习设备的控制方法，包括。

21、接收外部移动设备通过无线投屏协议发送的编码视频流，并利用处理器内置的硬件解码器解码。

22、同时通过视频输入接口实时采集用户动作视频，生成本地图像序列。

23、利用处理器的硬件视频加速单元将解码后的外部视频序列与本地图像序列实时合成为分屏组合画面。

24、通过显示输出控制器将所述组合画面输出至外部显示器。

25、进一步地，在合成步骤之前还包括：根据预设模板或用户选择确定分屏布局，并为每一路视频分配在组合画面中的显示区域和缩放比例。所述硬件解码器解码输出与所述本地图像序列的输出均通过dmabuf或零拷贝方式共享内存，直接送入硬件视频加速单元。该控制方法侧重于设备硬件层面的初始化、数据流调度和合成触发，不涉及具体的视频合成算法。

26、有益效果

27、与现有技术相比，本发明具备以下有益效果。

28、通过低延迟架构天然实现两路视频的时间同步，使用户获得“照镜子”般的实时跟练体验：

29、投屏视频流与摄像头视频流在进入硬件视频加速单元后共用同一合成与输出通路，两者从合成到上屏的延迟完全一致。因此，两路画面的时间偏差仅取决于它们到达合成单元之前的输入延迟之差。本发明通过零拷贝硬件流水线将两路输入延迟各自压缩至50ms以内，其差值自然小于一帧间隔（约33ms），远低于人类视觉的时间对齐感知阈值（约120~150ms）。用户无需任何显式同步机制，即可在同一屏幕上看到教学动作与自身动作的同帧对比，如同面对一面实时反射的镜子，实现自然的“动作模仿→视觉反馈→动作调整”闭环。

30、端到端延迟稳定在40~100ms，满足舞蹈跟练的时序要求：

31、像素数据不经过cpu拷贝，合成与输出由硬件时钟驱动，延迟不随系统负载或调度抖动而波动。对于节拍间隔300~500ms的舞蹈动作，该延迟对应的动作时间偏差小于一个节拍的1/3，跟练者不会产生可感知的滞后感。

32、原生兼容主流投屏协议，免安装使用：

33、无线通信模块支持airplay、miracast、dlna等标准协议及乐播等私有协议，用户通过手机系统原生投屏功能即可连接，无需额外app。

34、基于通用soc实现，bom成本低，具备量产条件：

35、全部视频处理由中低端系统级芯片内置硬件单元完成，无需fpga或专用视频处理芯片，整机成本可控制在百元以内。

36、方案不依赖特定硬件平台，通用性强：

37、“硬件解码—零拷贝合成—硬件输出”的流水线架构适用于任何具备硬件视频加速合成能力的处理单元，包括单soc方案、多芯片分立方案，以及不同操作系统和投屏协议栈的组合。