一种面向传统绘画的三维内容构建及装裱展陈方法及系统与流程

摘要: 本发明涉及图像处理、计算机视觉与三维内容生成,尤其涉及一种面向传统绘画的三维内容构建及装裱展陈方法及系统。背景技术:1、现有中国画数字化技术主要包括高精度采集、...
一种面向传统绘画的三维内容构建及装裱展陈方法及系统与流程

本发明涉及图像处理、计算机视觉与三维内容生成,尤其涉及一种面向传统绘画的三维内容构建及装裱展陈方法及系统。

背景技术:

1、现有中国画数字化技术主要包括高精度采集、二维修复、风格转换、虚拟展馆和水墨动画。其中,虚实混合展陈可以围绕实体画作叠加装裱纹样与文字;三维水墨动画通常先由人工建立多边形模型,再制作材质、绑定和镜头。上述方案均未能把一幅既有传统画作自动转为可实时互动的三维图元藏品。三维高斯泼溅及其他三维图元技术虽已广泛用于多视图场景重建、人物表示、分割和新视角合成,单幅图像三维生成也已成为通用能力,但所得仅是孤立的三维结果文件。

2、现有技术仍存在诸多不足。二维传统画作的数字化处理通常停留在扫描成像、贴图应用或二维动画制作层面,缺乏针对传统画作所需的承载材质背景处理、笔墨表现、装裱适配以及交互展陈的完整技术链路。承载材质背景容易被误当作三维主体,纸纹、污渍、泛黄和绢本底色会进入三维生成结果,形成大面积白色或浅色图元,仅在生成前裁切图像或生成后调整透明度,无法针对每件作品保持一致判据。通用三维动画不能表达传统笔墨次序,随机溶解、整体淡入淡出与原画的浓淡和骨法无关,难以呈现焦墨立骨、淡墨成形以及由淡到浓消散的艺术秩序。数字装裱依赖人工试摆,装裱形制、题跋侧和印章角通常靠人工反复调整,容易遮挡主体或破坏留白,且屏幕预览与导出结果可能采用两套位置逻辑。统一默认参数不能适配不同画作,不同画作在纸色、浓淡、主体比例、留白、图元尺度和空间方向上差异明显,普通查看器套用相同默认值后,用户必须逐项试调纸底、墨色、消融、互动和装裱,操作复杂且难以复现。此外,原画、三维资产与传播结果彼此割裂,原画点击无法定位三维笔触,三维互动也不能回到原画语义,生成、收藏、造景、录制和导出分散在不同工具中,普通用户难以完成端到端创作。

3、因此,亟需一种能够将二维传统画作自动转换为可实时互动的三维图元藏品,并在二维输入、三维生成及展陈传播各阶段保持同一画面语义的技术方案,使传统画作的数字化结果从“可看模型”提升为可装裱、可把玩、可造景、可展演的数字藏品。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足,具体提供了一种面向传统绘画的三维内容构建及装裱展陈方法及系统,具体如下:

2、1)第一方面,本发明提供一种面向传统绘画的三维内容构建及装裱展陈方法,具体技术方案如下:

3、s1,接收二维画作图像并进行视觉分析,得到所述二维画作图像的主体范围及画作视觉先验;所述画作视觉先验与所述二维画作图像持续绑定;

4、s2,根据所述主体范围及所述画作视觉先验对所述二维画作图像进行裁剪匀化处理,得到净化后的模型输入图像;

5、s3,将所述模型输入图像输入至三维内容生成模型中,得到三维高斯泼溅资产,将所述画作视觉先验、所述模型输入图像及所述三维高斯泼溅资产绑定至同一稳定藏品标识之下,形成三维藏品记录;

6、s4,从所述三维藏品记录中载入所述三维高斯泼溅资产并统一中心、尺度及朝向;根据所述画作视觉先验,结合所述三维高斯泼溅资产的状态信息,生成画作展陈参数;

7、s5,将所述画作展陈参数应用于所述三维高斯泼溅资产的渲染过程,得到实时三维水墨画面;

8、s6,对所述三维高斯泼溅资产在预定观赏方向上进行正视投影密度统计,得到主体投影密度分布,根据所述主体投影密度分布选择装裱形制及装裱分布,以完成智能装裱编排;

9、s7,基于所述三维藏品记录、所述实时三维水墨画面及所述智能装裱编排的结果,执行多藏品空间造景、自动展演以及传播结果输出。

10、本发明提供的一种面向传统绘画的三维内容构建及装裱展陈方法的有益效果如下:

11、接收二维画作图像并进行视觉分析后得到与二维画作图像持续绑定的画作视觉先验,将画作视觉先验作为同一判据贯穿方法整个流程,有效避免了承载材质背景被误作三维主体的问题;根据主体范围和画作视觉先验进行裁剪匀化处理,为三维生成提供了经过净化的模型输入图像;将画作视觉先验、模型输入图像及三维高斯泼溅资产绑定至同一稳定藏品标识之下形成三维藏品记录,使各环节数据归属于同一件作品;载入三维高斯泼溅资产后根据画作视觉先验和三维资产状态生成画作展陈参数并自动应用于渲染过程,使每件画作得到与其自身特征匹配的展陈参数,普通用户无需从零调整参数即可获得适配当前画作的展陈效果,避免了统一默认参数无法适配不同画作的问题;对三维高斯泼溅资产进行正视投影密度统计并根据主体投影密度分布选择装裱形制及装裱分布,使装裱自动避让主体,解决了数字装裱依赖人工试摆且容易遮挡主体的问题;基于三维藏品记录、实时三维水墨画面及智能装裱编排结果执行多藏品空间造景、自动展演以及传播结果输出,使原画、三维资产与传播结果归属于同一件作品,解决了原画与三维资产及传播结果彼此割裂的问题。

12、在上述方案的基础上,本发明还可以做如下改进。

13、进一步,所述视觉分析,具体包括:

14、对所述二维画作图像的四周边框区域的颜色样本分别取颜色中值,根据所述颜色中值确定承载材质背景基准;

15、基于所述承载材质背景基准,计算所述二维画作图像中每个像素相对于所述承载材质背景基准的墨迹度;将所有像素对应的墨迹度汇总,得到行墨迹能量以及列墨迹能量,根据所述行墨迹能量以及所述列墨迹能量确定所述主体范围;

16、将所述承载材质背景基准、所述墨迹度、所述主体范围以及所述二维画作图像的有效画幅信息共同作为所述画作视觉先验。

17、进一步,所述根据所述主体范围及所述画作视觉先验对所述二维画作图像进行裁剪匀化处理,具体包括:

18、根据所述主体范围裁剪所述二维画作图像的空白边;

19、根据所述墨迹度,将所述二维画作图像中墨迹度低于预设墨迹阈值的像素进行连续匀化处理,保留墨迹、设色、题跋与印章,得到所述模型输入图像。

20、进一步,所述将所述画作展陈参数应用于所述三维高斯泼溅资产的渲染过程,得到实时三维水墨画面,具体包括:

21、以所述承载材质背景基准为判据,逐个图元计算颜色与所述承载材质背景基准的感知色距;

22、根据所述感知色距及所述画作展陈参数中的纸底涤除强度参数确定背景涤除阈值,将感知色距低于所述背景涤除阈值的图元的不透明度削减至低于主体图元不透明度的水平,以涤除背景残留图元;

23、根据每个图元对应的墨迹度与空间随机值的加权混合结果确定该图元的显隐次序值,按照所述显隐次序值控制主体图元的显现或消散时序,得到所述实时三维水墨画面。

24、进一步,所述根据每个图元对应的墨迹度与空间随机值的加权混合结果确定该图元的显隐次序值,按照所述显隐次序值控制主体图元的显现或消散时序,具体包括:

25、根据每个图元的空间位置确定该图元对应的空间随机值;将所述空间随机值与该图元对应的墨迹度按可调权重进行混合,得到该图元对应的显隐次序值;

26、在显现过程中,墨迹度较高的图元优先显现,墨迹度较低的图元延迟显现;在消散过程中,墨迹度较低的图元优先消散,墨迹度较高的图元延迟消散。

27、进一步,所述对所述三维高斯泼溅资产在预定观赏方向上进行正视投影密度统计,得到主体投影密度分布,根据所述主体投影密度分布选择装裱形制及装裱分布,具体包括:

28、将所述三维高斯泼溅资产在正视投影方向上划分为n行×m列的投影密度网格,将有效图元的累积不透明度值计入对应网格位置,得到所述主体投影密度分布;

29、根据主体长宽比及所述主体投影密度分布选择装裱形制,根据所述主体投影密度分布的侧带密度确定题跋侧位置,根据所述主体投影密度分布的四角密度确定印章角位置。

30、进一步,所述生成画作展陈参数之后,还包括:

31、接收针对所述画作展陈参数中单个参数项的精调输入值,以所述精调输入值覆盖所述画作展陈参数中对应的参数项,未接收所述精调输入值的其他参数项继续沿用所述画作展陈参数中的初始值;

32、所述根据所述主体投影密度分布选择装裱形制及装裱分布,以完成智能装裱编排之后,还包括:

33、建立所述二维画作图像的归一化坐标与所述三维高斯泼溅资产的三维图元空间之间的双向映射关系,所述双向映射关系具体包括:响应来自第一显示界面的交互指令,在第二显示界面中联动定位对应的映射图画位置;

34、其中,当所述第一显示界面为所述二维画作图像对应的显示界面时,所述第二显示界面为所述三维高斯泼溅资产对应的三维水墨画面显示界面,所述映射图画位置为所述三维高斯泼溅资产对应的图元位置;当所述第一显示界面为所述三维高斯泼溅资产对应的三维水墨画面显示界面时,所述第二显示界面为所述二维画作图像对应的显示界面,所述映射图画位置为所述二维画作图像对应的画面位置。

35、进一步,所述基于所述三维藏品记录、所述实时三维水墨画面及所述智能装裱编排的结果,执行多藏品空间造景、自动展演以及传播结果输出,具体包括:

36、从所述主体投影密度分布中提取累积不透明度值最高的多个网格中心作为画眼;

37、基于所述三维藏品记录中的三维高斯泼溅资产及所述智能装裱编排的结果,响应于自动展演触发指令,按照所述画眼位置依次执行视角归位、墨序显现以及在所述画眼位置逐处触发墨澜的自动展演时序,并在完成全部画眼触发后执行收势;

38、在所述自动展演时序开始时同步启动录制,将所述智能装裱编排的结果中的装裱纸色、边框、题跋、印章与所述实时三维水墨画面写入同一视频文件,在所述自动展演时序结束后停止录制并输出所述视频文件。

39、2)第二方面,本发明还提供一种面向传统绘画的三维内容构建及装裱展陈系统,具体技术方案如下,包括:视觉分析模块、图像净化模块、三维生成模块、参数生成模块、水墨渲染模块、装裱编排模块以及交互输出模块;

40、所述视觉分析模块,用于接收二维画作图像并进行视觉分析,得到所述二维画作图像的主体范围及画作视觉先验;所述画作视觉先验与所述二维画作图像持续绑定;

41、所述图像净化模块,用于根据所述主体范围及所述画作视觉先验对所述二维画作图像进行裁剪匀化处理,得到净化后的模型输入图像;

42、所述三维生成模块,用于将所述模型输入图像输入至三维内容生成模型中,得到三维高斯泼溅资产,将所述画作视觉先验、所述模型输入图像及所述三维高斯泼溅资产绑定至同一稳定藏品标识之下,形成三维藏品记录;

43、所述参数生成模块,用于从所述三维藏品记录中载入所述三维高斯泼溅资产并统一中心、尺度及朝向;根据所述画作视觉先验,结合所述三维高斯泼溅资产的状态信息,生成画作展陈参数;

44、所述水墨渲染模块,用于将所述画作展陈参数应用于所述三维高斯泼溅资产的渲染过程,得到实时三维水墨画面;

45、所述装裱编排模块,用于对所述三维高斯泼溅资产在预定观赏方向上进行正视投影密度统计,得到主体投影密度分布,根据所述主体投影密度分布选择装裱形制及装裱分布,以完成智能装裱编排;

46、所述交互输出模块,用于基于所述三维藏品记录、所述实时三维水墨画面及所述智能装裱编排的结果,执行多藏品空间造景、自动展演以及传播结果输出。

47、在上述方案的基础上,本发明还可以做如下改进。

48、进一步,所述视觉分析,具体包括:

49、对所述二维画作图像的四周边框区域的颜色样本分别取颜色中值,根据所述颜色中值确定承载材质背景基准;

50、基于所述承载材质背景基准,计算所述二维画作图像中每个像素相对于所述承载材质背景基准的墨迹度;将所有像素对应的墨迹度汇总,得到行墨迹能量以及列墨迹能量,根据所述行墨迹能量以及所述列墨迹能量确定所述主体范围;

51、将所述承载材质背景基准、所述墨迹度、所述主体范围以及所述二维画作图像的有效画幅信息共同作为所述画作视觉先验。

52、进一步,所述根据所述主体范围及所述画作视觉先验对所述二维画作图像进行裁剪匀化处理,具体包括:

53、根据所述主体范围裁剪所述二维画作图像的空白边;

54、根据所述墨迹度,将所述二维画作图像中墨迹度低于预设墨迹阈值的像素进行连续匀化处理,保留墨迹、设色、题跋与印章,得到所述模型输入图像。

55、进一步,所述将所述画作展陈参数应用于所述三维高斯泼溅资产的渲染过程,得到实时三维水墨画面,具体包括:

56、以所述承载材质背景基准为判据,逐个图元计算颜色与所述承载材质背景基准的感知色距;

57、根据所述感知色距及所述画作展陈参数中的纸底涤除强度参数确定背景涤除阈值,将感知色距低于所述背景涤除阈值的图元的不透明度削减至低于主体图元不透明度的水平,以涤除背景残留图元;

58、根据每个图元对应的墨迹度与空间随机值的加权混合结果确定该图元的显隐次序值,按照所述显隐次序值控制主体图元的显现或消散时序,得到所述实时三维水墨画面。

59、进一步,所述根据每个图元对应的墨迹度与空间随机值的加权混合结果确定该图元的显隐次序值,按照所述显隐次序值控制主体图元的显现或消散时序,具体包括:

60、根据每个图元的空间位置确定该图元对应的空间随机值;将所述空间随机值与该图元对应的墨迹度按可调权重进行混合,得到该图元对应的显隐次序值;

61、在显现过程中,墨迹度较高的图元优先显现,墨迹度较低的图元延迟显现;在消散过程中,墨迹度较低的图元优先消散,墨迹度较高的图元延迟消散。

62、进一步,所述对所述三维高斯泼溅资产在预定观赏方向上进行正视投影密度统计,得到主体投影密度分布,根据所述主体投影密度分布选择装裱形制及装裱分布,具体包括:

63、将所述三维高斯泼溅资产在正视投影方向上划分为n行×m列的投影密度网格,将有效图元的累积不透明度值计入对应网格位置,得到所述主体投影密度分布;

64、根据主体长宽比及所述主体投影密度分布选择装裱形制,根据所述主体投影密度分布的侧带密度确定题跋侧位置,根据所述主体投影密度分布的四角密度确定印章角位置。

65、进一步,所述生成画作展陈参数之后,还包括:

66、接收针对所述画作展陈参数中单个参数项的精调输入值,以所述精调输入值覆盖所述画作展陈参数中对应的参数项,未接收所述精调输入值的其他参数项继续沿用所述画作展陈参数中的初始值;

67、所述根据所述主体投影密度分布选择装裱形制及装裱分布,以完成智能装裱编排之后,还包括:

68、建立所述二维画作图像的归一化坐标与所述三维高斯泼溅资产的三维图元空间之间的双向映射关系,所述双向映射关系具体包括:响应来自第一显示界面的交互指令,在第二显示界面中联动定位对应的映射图画位置;

69、其中,当所述第一显示界面为所述二维画作图像对应的显示界面时,所述第二显示界面为所述三维高斯泼溅资产对应的三维水墨画面显示界面,所述映射图画位置为所述三维高斯泼溅资产对应的图元位置;当所述第一显示界面为所述三维高斯泼溅资产对应的三维水墨画面显示界面时,所述第二显示界面为所述二维画作图像对应的显示界面,所述映射图画位置为所述二维画作图像对应的画面位置。

70、进一步,所述基于所述三维藏品记录、所述实时三维水墨画面及所述智能装裱编排的结果,执行多藏品空间造景、自动展演以及传播结果输出,具体包括:

71、从所述主体投影密度分布中提取累积不透明度值最高的多个网格中心作为画眼;

72、基于所述三维藏品记录中的三维高斯泼溅资产及所述智能装裱编排的结果,响应于自动展演触发指令,按照所述画眼位置依次执行视角归位、墨序显现以及在所述画眼位置逐处触发墨澜的自动展演时序,并在完成全部画眼触发后执行收势;

73、在所述自动展演时序开始时同步启动录制,将所述智能装裱编排的结果中的装裱纸色、边框、题跋、印章与所述实时三维水墨画面写入同一视频文件,在所述自动展演时序结束后停止录制并输出所述视频文件。

74、3)第三方面,本发明还提供一种计算机设备,所述计算机设备包括处理器,所述处理器与存储器耦合,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如上任一项方法。

75、4)第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如上任一项方法。

76、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。