一种公共安全数字互动体验方法及系统与流程

技术特征：
1.一种公共安全数字互动体验方法，其特征在于，所述方法包括：s1：人工输入公共安全体验场景文本，基于输入文本利用扩散模型生成公共安全体验场景图像；s2：基于生成的公共安全体验场景图像进行三维公共安全体验场景重建，得到公共安全体验三维场景；s3：对公共安全体验三维场景进行边缘结构增强，包括：对重建得到的公共安全体验三维场景进行边缘结构增强，所述边缘结构增强的流程为：s31：计算重建得到的公共安全体验三维场景f在x、y、z轴方向的二阶偏导数，构成公共安全体验三维场景f的偏导矩阵：其中：偏导矩阵中的值表示公共安全体验三维场景f在任意两个方向的偏导结果；s32：对偏导矩阵进行特征分解，分解得到其中最大的三个特征值；s33：构建三维滤波系数；s34：将公共安全体验三维场景中的像素点输入到基于三维滤波系数的滤波器中，所述滤波器的滤波公式为：其中：表示公共安全体验三维场景中任意像素点p的像素值，表示对应像素点p的滤波结果，表示像素值阈值；e表示自然常数；s4：利用用户行为监测算法实时监测用户位置和用户动作；s5：若监测到用户与公共安全体验三维场景中的物品发生交互动作，则对交互物品进行实时交互渲染。2.如权利要求1所述的一种公共安全数字互动体验方法，其特征在于，所述s1中人工输入公共安全体验场景文本，包括：用户在公共安全数字互动体验前向公共安全数字体验系统输入公共安全体验场景文本，所述公共安全体验场景文本描述了待体验的公共安全体验场景布置情况以及场景中存在的物品。3.如权利要求2所述的一种公共安全数字互动体验方法，其特征在于，所述s1中基于输
入文本利用扩散模型生成公共安全体验场景图像，包括：构建扩散模型，将公共安全体验场景文本输入到扩散模型中，扩散模型输出对应的公共安全体验场景图像，所述扩散模型包括文本特征提取层以及图像生成层，所述公共安全体验场景图像的生成流程为：将公共安全体验场景文本输入到扩散模型的文本特征提取层，文本特征提取层利用独热法对公共安全体验场景文本进行编码处理，利用embedding方法将编码后的文本转换为文本特征向量y；将文本特征向量y输入到图像生成层，图像生成层基于文本特征向量的引导生成对应的公共安全体验场景图像f，所述公共安全体验场景图像的生成公式为：其中：表示对扩散模型中待采样图像进行基于文本特征向量f引导的t步采样。4.如权利要求3所述的一种公共安全数字互动体验方法，其特征在于，所述s1中所述扩散模型的训练流程包括：s11：构建包含m张图像以及描述图像文本特征向量的图像训练集，所述图像训练集包含多种不同公共安全体验场景的图像，对图像训练集中的任意第i张基准图像，进行t步的图像加噪扩散；所述图像加噪扩散的流程为：所述图像加噪扩散的流程为：其中：表示对图像进行t步图像加噪扩散的过程序列，表示对第t-1步的图像加噪扩散结果添加高斯噪声，得到第t步的图像加噪扩散结果的过程；表示在第t步图像加噪扩散过程中所添加的高斯噪声，所述高斯噪声的分布为高斯分布，表示高斯分布的均值，表示第t步所添加高斯噪声的方差；s12：在每一步加噪扩散过程中添加高斯噪声所掩盖内容的文本特征向量，得到基于文本特征向量条件的图像加噪扩散流程：其中：
表示基准图像的文本特征向量，表示第t步加噪扩散过程中添加高斯噪声所掩盖内容的文本特征向量；s13：加噪图像的采样过程即为加噪图像的复原过程，所述基于条件的加噪图像采样公式为：式为：式为：其中：表示复原条件，选取最小的t步加噪图像作为待采样图像，表示基于条件复原的贝叶斯梯度，表示将采样复原为的引导参数，表示符合正态分布的采样分布参数；表示将采样复原为的公式。5.如权利要求1所述的一种公共安全数字互动体验方法，其特征在于，所述s2中基于生成的公共安全体验场景图像进行三维公共安全体验场景重建，包括：基于生成的公共安全体验场景图像进行三维公共安全体验场景重建，得到公共安全体验三维场景，所述三维公共安全体验场景的重建流程为：s21：提取所生成公共安全体验场景图像f的sift特征，得到公共安全体验场景图像f的k组特征向量集合，；s22：构建三维网格图像，将公共安全体验场景图像的每个特征向量匹配到三维网格图像的网格顶点位置，所述三维网格图像中三维网格的边长为，其中v为所生成公共安全体验场景图像f中行像素的数目，所述特征向量匹配的公式为：其中：为特征向量的长度；为特征向量的中心在二维图像f中x轴的坐标位置；为特征向量的中心在二维图像f中y轴的坐标位置；为特征向量在三维网格图像中的立体坐标；s23：随机选取三维网格图像中的网格顶点作为初始建模点，选取与初始建模点坐标距
离最小的邻近特征向量作为初始建模点的拓扑节点，并连接初始建模点和拓扑节点，寻找与初始建模点以及拓扑节点坐标距离最小的邻近特征向量，连接三个特征向量构成初始三角形；s24：将所构成三角形的顶点为初始建模点，重复上述步骤，直到将三维网格图像中的所有特征向量相连；s25：对于连接后的任意三角形，将三角形顶点所对应特征向量的像素分布梯度直方图渲染为三角形区域的像素分布结果，得到公共安全体验三维场景f。6.如权利要求1所述的一种公共安全数字互动体验方法，其特征在于，所述s4中利用用户行为监测算法监测用户位置和用户动作，包括：利用用户行为监测算法实时监测用户位置和用户动作，所述用户位置和用户动作的监测流程为：s41：为用户发放交互手环，利用交互手环内的位置传感器以及姿态传感器实时确定用户的位置和姿态信息，其中所述用户的姿态信息包括手臂与身躯的夹角以及手臂的加速度；s42：计算用户实时位置与公共安全体验三维场景中物品位置的距离，若距离小于预设位置阈值则表示用户处于物品附近；s43：若监测到用户处于公共安全体验三维场景中物品的附近区域，则将用户的姿态信息输入到交互动作识别模型中，所述交互动作识别模型为二分类模型，输出结果为发生交互动作或未发生交互动作。7.如权利要求6所述的一种公共安全数字互动体验方法，其特征在于，所述s5中当监测到用户与公共安全体验三维场景中的物品发生交互动作，则对交互物品进行实时交互渲染，包括：预设置所生成公共安全体验三维场景中不同物体的交互响应规则，当监测到用户与公共安全体验三维场景中的物品发生交互动作，则基于交互响应规则对交互物品进行实时交互渲染，所述交互渲染的方式包括基于交互响应规则的交互物品形状重构以及颜色重构。8.一种公共安全数字互动体验系统，其特征在于，所述系统包括：图像生成装置，用于接收公共安全体验场景文本，基于输入文本利用扩散模型生成公共安全体验场景图像；三维重建装置，用于基于生成的公共安全体验场景图像进行三维公共安全体验场景重建，对公共安全体验三维场景进行边缘结构增强；交互控制装置，用于利用用户行为监测算法实时监测用户位置和用户动作，若监测到用户与公共安全体验三维场景中的物品发生交互动作，则对交互物品进行实时交互渲染，以实现如权利要求1-7所述的一种公共安全数字互动体验方法。

技术总结
本发明涉及数字互动的技术领域，揭露了一种公共安全数字互动体验方法及系统，所述方法包括：基于公共安全体验场景文本，利用扩散模型生成公共安全体验场景图像；基于生成的公共安全体验场景图像进行三维公共安全体验场景重建；对公共安全体验三维场景进行边缘结构增强；利用用户行为监测算法实时监测用户位置和用户动作；若监测到用户与公共安全体验三维场景中的物品发生交互动作，则对交互物品进行实时交互渲染。本发明基于用户输入的公共安全体验场景文本实现可自动调节的、多种类的公共安全体验场景构建，并基于三维重建方法得到公共安全体验三维场景，让体验者更直观、更深刻的体验到公共安全主题的模拟场景，并进行实时交互。互。互。


技术研发人员：朱鹏
受保护的技术使用者：江苏冰谷数字科技有限公司
技术研发日：2022.12.02
技术公布日：2022/12/30