一种渲染对象的识别方法、相关装置、设备以及存储介质与流程

摘要: 本技术涉及计算机视觉,尤其涉及一种渲染对象的识别方法、相关装置、设备以及存储介质。背景技术:1、在数字技术的复杂生态中,识别需要实时渲染的对象是计算机图形学及交...
一种渲染对象的识别方法、相关装置、设备以及存储介质与流程

本技术涉及计算机视觉,尤其涉及一种渲染对象的识别方法、相关装置、设备以及存储介质。

背景技术:

1、在数字技术的复杂生态中,识别需要实时渲染的对象是计算机图形学及交互式应用开发中的核心优化策略。其核心意义在于,通过区分场景内高优先级元素与静态背景,精准分配有限的计算资源,从而构建高性能的图形处理框架,有效降低渲染延迟。

2、目前,可通过人工介入的方式识别渲染对象的类型,并进行数量统计等。在相关技术中,首先,可以使用帧捕获(frame capture)软件截取场景的调用绘制过程。然后,回放这一画面的绘制过程。最后,由人工逐个识别渲染对象的类型。

3、然而,发明人发现目前的方案中至少存在如下问题。对于人工识别渲染对象的方法而言,不仅需要消耗较多的人力成本和时间成本,而且对操作人员有一定专业知识和经验方面的要求,容易误判的情况。对此,亟需一种有效的方法以解决此类问题。

技术实现思路

1、本技术实施例提供了一种渲染对象的识别方法、相关装置、设备以及存储介质。不仅能够节省人力成本和时间成本,而且不易出现误判的情况。此外,对于操作人员而言,使用难度较低,具有较好的推广性。

2、有鉴于此,本技术一方面提供一种渲染对象的识别方法,包括:

3、获取渲染对象集合,其中,渲染对象集合包括至少一个渲染对象;

4、针对渲染对象集合中的每个渲染对象,获取渲染对象的待处理数据,其中,待处理数据包括网格数据;

5、针对渲染对象集合中的每个渲染对象,根据渲染对象的待处理数据,生成渲染对象的特征向量集合,其中,特征向量集合包括基于网格数据生成的网格特征向量;

6、针对渲染对象集合中的每个渲染对象,根据渲染对象的特征向量集合,对渲染对象进行识别,得到渲染对象的对象识别结果,其中,对象识别结果用于指示渲染对象的类别。

7、本技术另一方面提供一种渲染对象识别装置,包括:

8、获取模块,用于获取渲染对象集合,其中,渲染对象集合包括至少一个渲染对象;

9、获取模块,还用于针对渲染对象集合中的每个渲染对象,获取渲染对象的待处理数据,其中,待处理数据包括网格数据;

10、生成模块,用于针对渲染对象集合中的每个渲染对象,根据渲染对象的待处理数据,生成渲染对象的特征向量集合,其中,特征向量集合包括基于网格数据生成的网格特征向量;

11、识别模块,用于针对渲染对象集合中的每个渲染对象,根据渲染对象的特征向量集合,对渲染对象进行识别,得到渲染对象的对象识别结果,其中,对象识别结果用于指示渲染对象的类别。

12、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

13、获取模块,具体用于针对渲染对象集合中的每个渲染对象,获取渲染对象的网格数据,其中,网格数据包括顶点信息、边信息以及面信息;

14、生成模块,具体用于针对渲染对象集合中的每个渲染对象,对渲染对象的网格数据进行特征提取,得到网格特征向量;

15、针对渲染对象集合中的每个渲染对象,将渲染对象的网格特征向量作为渲染对象的特征向量集合;

16、其中,网格特征向量包括顶点特征向量、边特征向量以及面特征向量中的至少一种,顶点特征向量为基于顶点信息构建的,边特征向量为基于边信息构建的,面特征向量为基于面信息构建的。

17、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

18、获取模块,具体用于针对渲染对象集合中的每个渲染对象,获取渲染对象的网格数据以及纹理图像;

19、生成模块,具体用于针对渲染对象集合中的每个渲染对象,对渲染对象的网格数据进行特征提取,得到网格特征向量;

20、针对渲染对象集合中的每个渲染对象,对渲染对象的纹理图像进行特征提取,得到纹理特征向量;

21、针对渲染对象集合中的每个渲染对象,将渲染对象的网格特征向量以及纹理特征向量,作为渲染对象的特征向量集合;

22、其中,纹理特征向量包括方向性特征向量、粗糙度特征向量以及频域特征向量中的至少一种,方向性特征向量用于表征纹理结构的排列方向特性,粗糙度特征向量用于表征纹理表面的粗糙程度,频域特征向量用于表征纹理在频率域的特性。

23、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

24、获取模块,具体用于针对渲染对象集合中的每个渲染对象,获取渲染对象的网格数据以及着色器代码;

25、生成模块,具体用于针对渲染对象集合中的每个渲染对象,对渲染对象的网格数据进行特征提取,得到网格特征向量;

26、针对渲染对象集合中的每个渲染对象,对渲染对象的着色器代码进行文本编码,得到着色器特征向量;

27、针对渲染对象集合中的每个渲染对象,将渲染对象的网格特征向量以及着色器特征向量,作为渲染对象的特征向量集合。

28、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

29、获取模块,具体用于针对渲染对象集合中的每个渲染对象,获取渲染对象的网格数据、纹理图像以及着色器代码;

30、生成模块,具体用于针对渲染对象集合中的每个渲染对象,对渲染对象的网格数据进行特征提取,得到网格特征向量;

31、针对渲染对象集合中的每个渲染对象,对渲染对象的纹理图像进行特征提取,得到纹理特征向量;

32、针对渲染对象集合中的每个渲染对象,对渲染对象的着色器代码进行文本编码,得到着色器特征向量;

33、针对渲染对象集合中的每个渲染对象,将渲染对象的网格特征向量、纹理特征向量以及着色器特征向量,作为渲染对象的特征向量集合。

34、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

35、识别模块,具体用于针对渲染对象集合中的每个渲染对象,对渲染对象的网格特征向量、纹理特征向量以及着色器特征向量进行拼接,得到渲染对象的综合特征向量;

36、针对渲染对象集合中的每个渲染对象,基于渲染对象的综合特征向量,通过对象识别模型获取类别概率分布,其中,类别概率分布包括m个元素,每个元素表示渲染对象属于对应类别的概率,m为大于或等于1的整数;

37、针对渲染对象集合中的每个渲染对象,将类别概率分布中元素最大值所对应的类别作为渲染对象的对象识别结果。

38、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,渲染对象识别装置还包括处理模块以及训练模块;

39、获取模块,还用于获取训练样本集合,其中,训练样本集合包括n个训练样本,每个训练样本包括一个训练对象的网格数据样本、纹理图像样本、着色器代码样本以及类别标签,n为大于或等于1的整数;

40、获取模块,还用于针对训练样本集合中的每个训练样本,获取训练对象的网格样本特征向量、纹理样本特征向量以及着色器样本特征向量,其中,网格样本特征向量为对网格数据样本进行特征提取后得到的,纹理样本特征向量为对纹理图像样本进行特征提取后得到的,着色器样本特征向量为对着色器代码样本进行文本编码后得到的;

41、处理模块,用于针对训练样本集合中的每个训练样本,对训练对象的网格样本特征向量、纹理样本特征向量以及着色器样本特征向量进行拼接,得到训练对象的综合样本特征向量;

42、获取模块,还用于针对训练样本集合中的每个训练样本,基于训练对象的综合样本特征向量,通过对象识别模型获取类别样本概率分布;

43、处理模块,还用于根据每个训练样本所对应的类别样本概率分布以及类别标签,构建第一损失函数;

44、训练模块,用于根据第一损失函数对对象识别模型的模型参数进行更新。

45、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

46、识别模块,具体用于针对渲染对象集合中的每个渲染对象,基于渲染对象的网格特征向量,通过第一识别模型获取第一概率分布,其中,第一概率分布包括m个元素,m为大于或等于1的整数;

47、针对渲染对象集合中的每个渲染对象,基于渲染对象的纹理特征向量,通过第二识别模型获取第二概率分布,其中,第二概率分布包括m个元素;

48、针对渲染对象集合中的每个渲染对象,基于渲染对象的着色器特征向量,通过第三识别模型获取第三概率分布,其中,第三概率分布包括m个元素;

49、针对渲染对象集合中的每个渲染对象,根据第一概率分布、第二概率分布以及取第三概率分布,确定渲染对象的对象识别结果。

50、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

51、识别模块,具体用于针对渲染对象集合中的每个渲染对象,对第一概率分布、第二概率分布以及取第三概率分布进行加权求和,得到类别概率分布,其中,类别概率分布包括m个元素,每个元素表示渲染对象属于对应类别的概率;

52、针对渲染对象集合中的每个渲染对象,将类别概率分布中元素最大值所对应的类别作为渲染对象的对象识别结果。

53、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

54、获取模块,还用于获取训练样本集合,其中,训练样本集合包括n个训练样本,每个训练样本包括一个训练对象的网格数据样本、纹理图像样本、着色器代码样本以及类别标签,n为大于或等于1的整数;

55、获取模块,还用于针对训练样本集合中的每个训练样本,获取训练对象的网格样本特征向量、纹理样本特征向量以及着色器样本特征向量,其中,网格样本特征向量为对网格数据样本进行特征提取后得到的,纹理样本特征向量为对纹理图像样本进行特征提取后得到的,着色器样本特征向量为对着色器代码样本进行文本编码后得到的;

56、获取模块,还用于针对训练样本集合中的每个训练样本,基于训练对象的网格样本特征向量,通过第一识别模型获取第一预测概率分布;

57、获取模块,还用于针对训练样本集合中的每个训练样本,基于训练对象的纹理样本特征向量,通过第二识别模型获取第二预测概率分布;

58、获取模块,还用于针对训练样本集合中的每个训练样本,基于训练对象的着色器样本特征向量,通过第三识别模型获取第三预测概率分布;

59、处理模块,还用于根据每个训练样本所对应的第一预测概率分布、第二预测概率分布、第三预测概率分布以及类别标签,构建第二损失函数;

60、训练模块,还用于根据第二损失函数对第一识别模型的模型参数、第二识别模型的模型参数以及第三识别模型的模型参数进行更新。

61、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,渲染对象识别装置还包括显示模块;

62、显示模块,用于显示第一渲染对象的对象识别结果,其中,第一渲染对象为渲染对象集合中的一个渲染对象;

63、获取模块,还用于响应于针对对象识别结果的确认操作,将第一渲染对象的网格数据、纹理图像、着色器代码以及对象识别结果所指示的类别作为一个训练样本,其中,训练样本用于对对象识别模型的模型参数进行更新。

64、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

65、获取模块,具体用于响应于文件导入操作,获取待识别文件,其中,待识别文件为原始截帧文件或对象模型文件;

66、从待识别文件中获取渲染对象集合。

67、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

68、显示模块,还用于针对渲染对象集合中的每个渲染对象,根据渲染对象的特征向量集合,对渲染对象进行识别,得到渲染对象的对象识别结果之后,显示第一渲染对象的对象识别结果,其中,第一渲染对象为渲染对象集合中的一个渲染对象;

69、显示模块,还用于响应于针对第一渲染对象的切换操作,显示第二渲染对象的对象识别结果,其中,第二渲染对象为渲染对象集合中的另一个渲染对象。

70、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

71、显示模块,还用于显示第一渲染对象的分类统计信息,其中,第一渲染对象为渲染对象集合中的一个渲染对象,第一渲染对象的分类统计信息包括第一渲染对象属于m个类别中的每个类别的置信度,m为大于或等于1的整数。

72、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

73、显示模块,还用于显示第一渲染对象的分类决策信息以及分类关键信息中的至少一种,其中,分类决策信息包括根据第一渲染对象的待处理数据生成的特征描述符,分类关键信息包括影响第一渲染对象分类的信息。

74、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,

75、显示模块,还用于针对渲染对象集合中的每个渲染对象,根据渲染对象的特征向量集合,对渲染对象进行识别,得到渲染对象的对象识别结果之后,显示针对渲染对象集合的类别统计信息,其中,类别统计信息包括m个类别中的每个类别所对应的对象数量,其中,m为大于或等于1的整数。

76、本技术另一方面提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各方面的方法。

77、本技术的另一方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方面的方法。

78、本技术的另一个方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方面的方法。

79、从以上技术方案可以看出,本技术实施例具有以下优点:

80、本技术实施例中,提供了一种渲染对象的识别方法,首先,基于原始截帧文件提取到场景中的渲染对象集合。然后,分别获取每个渲染对象对应的待处理数据。再利用机器学习技术提取每个渲染对象的特征向量集合。最后,调用模型分别对每个渲染对象的特征向量集合进行处理,得到每个渲染对象的的对象识别结果。通过上述方式,利用机器学习技术提取渲染对象的特征数据用于进行分类识别,由此,不仅能够节省人力成本和时间成本,而且不易出现误判的情况,从而提升识别的准确率。此外,对于操作人员而言,本方案的使用难度较低,因此,具有较好的推广性和复用性。