基于混源渲染的3D交互式可视化方法、系统及介质与流程

本发明属于3d交互可视化处理的，具体涉及基于混源渲染的3d交互式可视化方法、系统及介质。

背景技术：

1、随着三维可视化与生成式相机光心ai技术的发展，3d相机光心模型的来源日益多样化：一方面，程序化几何建模，如相机光心three.js、babylon.js，可快速生成3d场景，但真实感有限；另一方面，文本或图像生成相机光心3d相机光心模型，如火山引擎相机光心hyper3d、hitem3d、seed3d相机光心等，可生成高真实感模型，但通常以相机光心glb相机光心单一合并网格形式输出。然而，现有技术在“ai相机光心生成模型如何自动标注内部子结构”这一关键问题上存在如下缺陷：

2、1、相机光心ai相机光心生成模型无法自动标注：单一合并网格内部子结构无法自动区分，依赖人工在相机光心3d相机光心软件中逐一选择网格区域命名，成本高、无法规模化；

3、2、相机光心标注粒度不可控：无法根据需求动态调节标注细化程度，无法实现"结构→子结构"的层级展开；

4、3、相机光心标注领域不通用：现有标注方案多针对特定领域，难以在细胞生物学、机械传动、家居设计等跨领域场景复用；

5、4、相机光心缺乏前端交互能力：现有方案对相机光心ai相机光心生成模型仅提供静态浏览，缺乏点击拾取、聚焦高亮、层级钻取、信息面板联动等交互机制，无法满足"观察-聚焦-钻取"的互动需求。

6、因此，针对现有技术在“ai相机光心生成模型如何自动标注内部子结构”这一关键问题上存在的上述缺陷，本发明公开了基于混源渲染的3d交互式可视化方法、系统及介质。

技术实现思路

1、本发明公开了基于混源渲染的3d交互式可视化方法、系统及介质，能够将多源3d模型统一接入混源渲染引擎，并利用图像理解技术对ai生成模型进行自动化结构标注。

2、本发明通过下述技术方案实现：

3、基于混源渲染的3d交互式可视化方法，包括以下步骤：

4、步骤s1、将多源3d模型统一接入同一个渲染引擎，通过渲染引擎统一处理多源3d模型的渲染关联参数，输出多源3d模型的待标注网格，所述待标注网格包括三角面片；

5、步骤s2、将含有标注粒度要求的结构描述文本输入生成式图像模型，得到包含目标结构的2d示意图；

6、步骤s3、对2d示意图进行语义分割与识别，得到标注集合，所述标注集合包括标注区域；

7、步骤s4、冻结渲染引擎中渲染相机的位姿，输出渲染相机的锁定参数，所述锁定参数包括渲染相机的相机光心；

8、步骤s5、将2d示意图中的像素坐标经过相机光心进行逆投影得到投影射线，对投影射线与待标注网格中三角面片求交，基于被投影射线命中的三角面片、三角面片的三维包围盒形成投影射线的命中映射结果；

9、步骤s6、根据结构描述文本中的标注粒度，将命中映射结果组织成父子层级标注树，基于父子层级标注树将标注区域绑定至待标注网格，并生成交互标注。

10、为了更好的实现本发明，进一步地，所述步骤s5包括：

11、步骤s5.1、建立2d示意图中的像素坐标与渲染相机的相机坐标之间的转换关系；

12、步骤s5.2、基于转换关系计算2d示意图中的像素坐标的射线方向，并以相机光心为起点，基于射线方向建立投影射线；

13、步骤s5.3、求解投影射线与三角面片的交点，若投影射线与三角面片之间存在交点，则标记当前三角面片被命中；

14、步骤s5.4、提取被命中的三角面片的质心，基于相邻的被命中的三角面片的质心之间的质心距离，对被命中的三角面片进行合并聚类形成结构面片；

15、步骤s5.5、解算结构面片的三维包围盒，基于结构面片、三维包围盒形成命中映射结果。

16、为了更好的实现本发明，进一步地，所述步骤s5.3具体包括：

17、提取三角面片的三个面片顶点，并基于面片定点建立面片线性方程为：

18、；

19、其中：d表示射线方向；o表示相机光心；、、分别表示三角面片的三个面片顶点的坐标；表示深度参数；u表示交点在三角面片内的中心坐标的横坐标值；v表示交点在三角面片内的中心坐标的纵坐标值；t表示矩阵的转置；表示第一参数；表示第二参数；表示第三参数；

20、在0≤u≤1且0≤v≤1且u+v≤1的限制条件下，对面片线性方程求解，得到投影射线与三角面片的交点。上述面片线性方程中第一行和第二行均为第三参数的表达式，分别表示的不同计算方式。

21、为了更好的实现本发明，进一步地，所述步骤s5.4具体包括：

22、步骤a1、基于三个面片顶点的坐标计算三角面片的质心，计算相邻的三角面片的质心之间的质心距离；

23、步骤a2、将质心距离与距离阈值进行比对，若质心距离≤距离阈值，则将相邻的三件面片合并；

24、步骤a3、计算合并后的面片的质心与相邻的三角面片的质心之间的质心间距，若质心距离≤距离阈值，则将相邻的三件面片继续合并；

25、步骤a4、重复步骤a2-步骤a3，直到聚类形成结构面片。

26、为了更好的实现本发明，进一步地，若待标注网格为球形网格结构，则建立球形网格结构的球状方程，建立投影射线与球状方程的联立二次方程，直接求解联立二次方程的正实根作为投影射线与三角面片的交点。

27、为了更好的实现本发明，进一步地，所述联立二次方程为：

28、；

29、其中：（，，）表示相机光心的三维坐标；（，，）表示投影射线的方向向量的三个分量；（a，b，c）表示球状结构椭球沿三个坐标轴的半轴长度；表示深度参数。

30、基于混源渲染的3d交互式可视化系统，用于实现基于混源渲染的3d交互式可视化方法，包括混源渲染模块、图像生成模块、图像理解模块、视角锁定模块、2d转3d映射模块、层级标注生成模块，所述混源渲染模块用于接收多源3d模型，并调用渲染引擎对多源3d模型进行处理得到待标注网格；所述图像生成模块用于输入结构描述文本，并将结构描述文本注入生成式图像模型，得到2d示意图；所述图像理解模块用于对2d示意图进行语义分割与识别，输出标注集合；所述视角锁定模块用于对渲染相机的位姿进行锁定并输出锁定状态的渲染相机的锁定参数；所述2d转3d映射模块用于生成投影射线，并求解投影射线与三角面片的交点；所述层级标注生成模块用于根据标注粒度生成父子层级标注树。

31、为了更好的实现本发明，进一步地，所述系统还包括前端交互展示模块，所述前端交互展示模块用于接收层级标注生成模块输出的父子层级标注书与交互标注，并将待标注网格与标注结果发送至可视化前端进行交互展示。

32、基于混源渲染的3d交互式可视化介质，包括执行程序，所述执行程序被执行时，能够实现基于混源渲染的3d交互式可视化方法。

33、本发明与现有技术相比，具有以下优点及有益效果：

34、本发明的标注自动化全流程免人工干预，标注自动化率大幅提升，显著降低3d模型制作成本；本发明的标注粒度由提示词直接控制，支持父节点至子节点多级展开，适配分层需求；本发明能够实现视角锁定，以及2d转3d的公式化映射，保证标注定位准确性，消除视角变化导致的映射歧义；本发明生成的程序化模型与ai生成模型统一接入同一引擎，交互体验一致，兼顾交互便利性与视觉真实感；本发明解决了现有系统渲染源单一、无法兼顾程序化交互便利性与ai生成模型视觉真实感的问题，实现了多源模型统一接入与统一交互；本发明解决了ai生成单一网格模型无法自动标注子结构的问题，实现了全流程免人工的自动化标注，同时解决了人工标注成本高、无法规模化的问题；并且基于标注粒度要求实现父节点至子节点的层级展开问题，使得展开过程的标注粒度可控。