一种面向移动端的场景自适应实时投影补偿系统及方法

摘要: 本发明属于投影补偿,涉及一种面向移动端的场景自适应实时投影补偿系统及方法。背景技术:1、投影补偿旨在根据投影设备、投影表面和观察条件之间的关系,对输入图像或视频...
一种面向移动端的场景自适应实时投影补偿系统及方法

本发明属于投影补偿,涉及一种面向移动端的场景自适应实时投影补偿系统及方法。

背景技术:

1、投影补偿旨在根据投影设备、投影表面和观察条件之间的关系,对输入图像或视频帧进行预校正,使最终投射到非理想表面上的图像尽可能接近期望视觉效果。该技术可应用于便携式投影、移动展示、人机交互、空间增强现实、会议演示和教育展示等场景。

2、在实际使用中,投影图像通常并非投射于标准平整幕布,而是投射于墙面、木质表面、彩色背景表面、带纹理表面或者局部起伏表面。受投影角度、投影表面形貌、表面反射特性以及环境光照等因素影响,观察者看到的投影画面容易出现几何畸变、亮度不均、颜色偏移、纹理干扰以及局部对比度下降等问题。

3、现有投影补偿方案通常依赖投影仪-相机系统完成标定和补偿,需要外部固定相机获取投影反馈图像,并在桌面级计算设备上执行几何估计、光度建模和补偿推理。上述方案虽然能够获得较稳定反馈,但会增加系统搭建复杂度,降低移动场景部署便携性。

4、已有部分方案利用手机或移动设备摄像头拍摄投影画面,并根据拍摄图像调整投影仪工作参数、四角校正参数、焦距参数或透视变换参数。该类方案可以改善部分几何畸变,但其技术重点通常在于通过反馈图像确定投影仪参数或单应变换,难以同时解决非理想投影表面的颜色、纹理、反射和环境光补偿问题,也未形成适合移动端神经网络加速单元实时执行的补偿路径。

5、另有部分方案针对投影仪-相机系统提出颜色校正、朗伯特反射建模、非线性光度补偿或投影映射方法。该类方案通常以桌面级计算设备、外部相机、投影仪-相机标定或逐像素光度映射为基础,未针对移动操作系统等移动端运行环境中的算子支持、内存占用、模型导出、端侧加速单元调度和实时视频链路进行系统设计。

6、此外,现有深度学习投影补偿模型往往包含复杂光流估计、注意力结构、网格采样等对移动端运行时不友好的算子。在移动端环境中,模型部署还受到神经网络运行时、加速单元算子支持、内存占用、端到端延迟、功耗和温控策略等因素限制。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种面向移动端的场景自适应实时投影补偿系统及方法。

2、为达到上述目的,本发明提供如下技术方案:

3、一方面,本发明提供一种面向移动端的场景自适应实时投影补偿系统,包括移动控制端和投影端;所述移动控制端用于执行投影反馈采集、场景初始化、缓存管理、实时补偿推理、显示输出和基准测试;所述投影端用于接收所述移动控制端输出的补偿图像或补偿视频帧,并将其投射至目标投影表面。

4、进一步,所述移动控制端包括采集与控制模块、场景初始化模块、几何预对齐模块、轻量补偿推理模块和输出模块;

5、所述采集与控制模块用于控制投影端输出参考图像序列,并通过移动控制端的内置摄像头采集所述参考图像序列在目标投影表面上的反馈图像;

6、所述场景初始化模块用于根据所述反馈图像生成当前投影场景对应的几何映射缓存和表面特征缓存,并将二者与场景标识、投影区域参数、模型版本以及输入输出尺寸信息绑定存储;

7、所述几何预对齐模块用于在实时补偿阶段读取几何映射缓存,并在不逐帧重新执行完整投影仪-相机几何估计的情况下,对待补偿图像或视频帧执行固定几何预对齐;

8、所述轻量补偿推理模块用于将预对齐输入帧和表面特征缓存输入经压缩、蒸馏、算子替换或输入输出固定化得到的轻量投影补偿模型,并调用移动端神经网络加速单元执行补偿推理;

9、所述输出模块用于将补偿图像或补偿视频帧输出到投影端。

10、进一步,所述移动控制端还包括远程基准测试模块,用于接收远程控制命令,调度初始化、单帧补偿、手机拍摄补偿或视频补偿任务,并回传补偿结果及性能统计数据。

11、另一方面,本发明提供一种面向移动端的场景自适应实时投影补偿方法,包括:

12、初始化阶段:移动控制端控制投影端向目标投影表面投射参考图像序列,并通过移动控制端的内置摄像头采集反馈图像;场景初始化模块根据所述反馈图像确定投影区域边界、投影区域姿态和局部几何关系,并生成几何映射缓存;场景初始化模块根据多张表面参考反馈图像生成表面特征缓存;移动控制端将几何映射缓存、表面特征缓存、场景标识、投影区域参数、模型版本和输入输出尺寸信息绑定存储,用于后续实时补偿阶段读取复用;

13、实时补偿阶段:移动控制端读取待补偿图像或视频帧由几何预对齐模块读取几何映射缓存并执行固定几何变换,得到预对齐输入帧;由轻量补偿推理模块将预对齐输入帧与表面特征缓存共同输入轻量投影补偿模型,生成补偿图像或补偿视频帧。

14、进一步,所述参考图像序列可以包括几何参考图、表面参考图、灰度参考图、彩色参考图或其组合。

15、进一步,所述几何映射缓存为几何变换网格,用于表示输入图像或模型输入坐标与投影区域坐标之间的采样关系。

16、进一步,所述表面特征缓存用于描述当前目标投影表面的颜色、纹理、反射和环境光条件。

17、进一步,实时补偿阶段具体包括以下步骤:

18、读取待补偿图像或视频帧,并转换为几何预对齐模块所需的输入格式;

19、几何预对齐模块依据几何映射缓存执行固定几何预对齐;

20、读取表面特征缓存,并将其与预对齐输入帧共同输入轻量投影补偿模型;

21、移动端轻量推理运行时或硬件加速接口调用移动端神经网络处理单元或其他可用端侧加速单元执行模型推理,输出补偿结果;

22、对补偿结果执行色域、尺寸和缓冲区后处理,并输出到显示层、投影端或视频编码推流模块。

23、进一步,几何预对齐模块通过本地编译模块、图形处理单元纹理采样、硬件图像处理接口或查表采样实现,以避免将复杂几何采样操作嵌入神经网络实时推理图。

24、本发明的有益效果在于:

25、本发明将传统投影仪-相机系统中依赖外部固定相机的采集环节迁移到移动终端内置摄像头,使移动终端成为采集、初始化、推理、显示控制和验证的一体化平台,提高了移动场景部署的便携性;该内置摄像头采集环节作为场景初始化输入,并与后续双缓存和端侧推理路径组合。

26、本发明通过初始化缓存机制将复杂几何估计和表面建模从实时路径中剥离,使实时阶段主要执行固定几何预对齐、缓存读取和轻量补偿模型推理,降低了端侧延迟和算子适配难度。

27、本发明围绕移动端轻量推理运行时或硬件加速接口和移动端神经网络处理单元等移动端运行环境设计模型导出和推理流程,并将固定几何预对齐置于神经网络实时推理图之外,使补偿模型更适合在真实移动设备上运行。

28、本发明同时覆盖固定场景部署基线和场景自适应闭环,既能验证模型移动端可行性,也能支持投影表面或实验设置变化后的快速适配。

29、本发明通过远程基准测试模块固化实机测试流程,有利于对不同模型、不同场景和不同设备上的补偿质量、延迟、帧率和内存占用进行可重复记录和横向比较。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。