高度逼真3D图像呈现方法、装置、系统及存储介质与流程

本发明属于图像处理，具体涉及高度逼真3d图像呈现方法、装置、系统及存储介质。

背景技术：

1、近年来，三维图像处理技术的持续突破有力推动了三维图像采集与呈现技术的长足发展。前者主要体现在三维相机及三维结构重建技术，后者则以全息投影等三维再现技术和三维显示技术为代表。随着相关处理流程与设备结构日趋复杂，三维图像处理所获取的三维图像相较于原始拍摄对象，不可避免地存在形状畸变与色彩偏差。尤其是在医学诊疗、工业制造加工、美容整形等对图像保真度要求极高的领域，市场对能够高度还原对象真实面貌的三维再现技术提出了迫切需求。

2、尽管当前市场上已有能够采集高保真图像与视频的高性能二维成像相机，同时具备高空间分辨率与高保真显示特性的显示设备也已商用化，甚至已出现能在屏幕前后呈现实物大小、支持裸眼观看的三维显示技术。但即便将这些尖端技术进行简单集成，仍无法实现像传统镜子那样实时还原真实色彩与形态的效果。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了高度逼真3d图像呈现方法、装置、系统及存储介质。

2、本发明要解决的技术问题通过以下技术方案实现：

3、第一方面，本发明提供了一种高度逼真3d图像呈现方法，包括：

4、步骤a：初始化迭代变量i，并设置迭代上限i_limit；

5、步骤b：获取第一相机和第二相机的传递函数的比值；

6、步骤c：使用第一相机从多个已知视角拍摄原始目标的二维图像；

7、步骤d：基于第一相机拍摄的多个已知视角下的二维图像，重建三维图像i_3d；

8、步骤e：利用三维显示设备显示三维图像i_3d；

9、步骤f：使用第二相机从所述多个已知视角拍摄所述三维显示设备显示出的三维图像i_3d的二维图像；

10、步骤g：将处理为，采用相似性评价指标评估每个已知视角下的与之间的相似度；若在所有已知视角下的相似度均满足要求，则步骤e中当前显示的三维图像i_3d为最终呈现结果；若相似度不满足要求，则进一步判断i和i_limit的大小关系；若i≥i_limit，则步骤e显示的三维图像i_3d为最终呈现结果；若i＜i_limit，执行步骤h；

11、步骤h：计算多个已知视角下的改进的二维图像；基于多个已知视角下的改进的二维图像，重建三维图像i_3d，将i增加1，返回步骤e。

12、可选地，所述传递函数的比值通过下述方式预先标定获得：

13、利用第一相机和第二相机在相同拍摄环境下拍摄同一个标准板，得到第一相机拍摄的标准板图像和第二相机拍摄的标准板图像；

14、计算，或者计算；其中，表示像素相除或反卷积。

15、可选地，所述方法还包括：基于第一相机拍摄的多个已知视角下的二维图像，利用生成式ai模型生成多个非已知视角下的补充图像；

16、步骤d中，具体是基于第一相机拍摄的多个已知视角下的二维图像，以及所述生成式ai模型生成的多个非已知视角下的补充图像，共同重建三维图像i_3d。

17、可选地，步骤a中，i_limit设置为100。

18、第二方面，本发明提供了一种高度逼真3d图像呈现装置，包括：迭代控制模块、设备控制模块和图像处理模块；所述迭代控制模块，包括：初始化单元、判断比较单元和迭代次数累加单元；所述设备控制模块，包括：第一相机控制单元、第二相机控制单元和显示设备控制单元；所述图像处理模块，包括：参数获取单元、3d重建单元、第一图像处理单元、图像评估单元以及第二图像处理单元；其中：

19、所述初始化单元，用于初始化迭代变量i，并设置迭代上限i_limit；

20、所述参数获取单元，用于获取第一相机和第二相机的传递函数的比值；

21、所述第一相机控制单元，用于控制第一相机从多个已知视角拍摄原始目标的二维图像；

22、所述3d重建单元，用于基于所述第一相机拍摄的多个已知视角下的二维图像，重建三维图像i_3d；

23、所述显示设备控制单元，用于控制三维显示设备显示三维图像i_3d；

24、所述第二相机控制单元，用于控制第二相机从所述多个已知视角拍摄所述三维显示设备显示出的三维图像i_3d的二维图像；

25、所述第一图像处理单元，用于将每个已知视角下的处理为；

26、所述图像评估单元，用于采用相似性评价指标评估每个所述已知视角下的与之间的相似度；若在所有已知视角下的相似度均满足要求，则所述三维显示设备当前显示的三维图像i_3d为最终呈现结果；若相似度不满足要求，则触发所述判断比较单元工作；

27、所述判断比较单元，用于判断i和i_limit的大小关系；若i≥i_limit，则所述三维显示设备当前显示的三维图像i_3d为最终呈现结果；若i＜i_limit，则触发所述第二图像处理单元工作；

28、所述第二图像处理单元，用于：计算所述多个已知视角下的改进的二维图像；触发3d重建单元基于所述多个已知视角下的改进的二维图像，重建三维图像i_3d；触发所述迭代次数累加单元将i增加1，然后再依次触发所述显示设备控制单元、所述第二相机控制单元、所述第一图像处理单元、所述图像评估单元工作。

29、可选地，所述第一相机控制单元还用于在拍摄原始目标之前，控制第一相机拍摄标准板，得到第一相机拍摄的标准板图像；

30、所述第二相机控制单元还用于在拍摄原始目标之前，控制第二相机在相同拍摄环境下拍摄所述标准板，得到第二相机拍摄的标准板图像；

31、所述装置还包括：比值标定模块；

32、所述比值标定模块，用于在所述参数获取单元工作之前，计算，或者计算；其中，表示像素相除或反卷积。

33、可选地，所述高度逼真3d图像呈现装置还包括：生成式ai模型；

34、所述生成式ai模型，用于基于第一相机拍摄的多个已知视角下的二维图像生成多个非已知视角下的补充图像；

35、所述3d重建单元，具体用于：基于第一相机拍摄的多个已知视角下的二维图像，以及所述生成式ai模型生成的多个非已知视角下的补充图像，共同重建三维图像i_3d。

36、可选地，所述初始化单元具体设置i_limit=100。

37、第三方面，本发明提供了一种高度逼真3d图像呈现系统，包括：第一相机、第二相机、三维显示设备和控制器；

38、所述控制器分别与所述第一相机、所述第二相机以及所述三维显示设备相连，用于控制所述第一相机、所述第二相机以及所述三维显示设备协同工作，实现权利要求1-4任一项所述高度逼真3d图像呈现方法的步骤。

39、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述高度逼真3d图像呈现方法的步骤。

40、本发明提供的高度逼真3d图像呈现方法中，通过迭代反馈与反滤波校正，实现了实时、高保真的裸眼3d图像呈现。具体而言，本发明利用两个相机的传递函数比值标定系统失真，并在每个已知视角下比较显示图像与修正图像的相似度，若不满足要求则执行反滤波补偿（计算改进的二维图像并重建三维图像），直至达到预设的迭代上限或相似度阈值。如此，能够同时抑制相机与显示设备引入的形状畸变和颜色偏差，从而呈现与原始目标高度一致的3d镜像效果，满足医疗、工业制造等对保真度要求极高的领域的需求。此外，通过迭代终止条件的设定，在保证图像质量的前提下避免无限循环，实现从采集到呈现的实质性实时操作，使目标的运动可几乎同步反映于修正后的3d图像中。

41、以下将结合附图及对本发明做进一步详细说明。