一种用于理化生实验智能考评的器材大小判别方法与流程

1.本发明涉及领域，特别是涉及一种用于理化生实验智能考评的器材大小判别方法。


背景技术：

2.在初高中理化生实验考试考评中，一些需要根据大小正确选用实验器材的的实验的智能考评，诸如，选择合适大小的烧杯、选择合适大小的试管，选择合适大小的铁架台铁圈等，在这些实验中，对于实验器材的正确选取往往都是重要的得分点，能否正确判断实验者所选器材是否是正确的大小，关系到能否正确的判断实验者是否得分，但由于所述大小不同的实验器材，除大小外其他特征都相同，常规的分类或目标检测算法对此难以区分。
3.针对实验器材中大小的检测，目前常见的方法主要有以下几种：
4.1、直接基于目标检测，通过检测框(矩形框)，检测出所需要判断的器材，再通过与一些和所需判断器材相对静止的器材的检测框大小做对比，如过滤实验中，选择的烧杯需要放至铁架台上，我们便可通过两个检测框的大小比值来确定所选烧杯大小是否合适，但该方法并不适用所有实验；
5.2、通过语义分割和深度相机(深度流和rgb流做对齐后，像素点具有了深度信息)，由此计算器材的长宽，并结合器材到相机的距离信息来判断所检测到的器材是大还是小，该方法精度相对较高且具有通用性，但是标注成本过高，且所用的分割算法也难以保证准确的分割出所述器材的轮廓，从而导致对器材长宽的误判；
6.3、直接通过目标检测，将大小不同的两个物体作为两个不同的标签进行检测，对于该方法，由于两个物体除大小外缺少其他不同的特征，以及卷积神经网络的局限性，会导致误检率过高，难以满足实际需求。


技术实现要素：

7.本发明的目的在于，提供一种用于理化生实验智能考评的器材大小判别方法，以解决基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的问题，提高实验智能赋分的准确性。
8.为解决上述技术问题，本发明提供一种用于理化生实验智能考评的器材大小判别方法，包括如下步骤：
9.将深度相机进行深度流和rgb流对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片；
10.将取出图片所对应的深度信息以矩阵形式保存至txt文件中，并将取出图片按照器材大小分类作为标签；
11.将取出的图片及对应的txt文件数据送入到分类模型中进行训练，并根据损失函数进行模型的迭代优化；
12.将实验视频中取出的图片送入到分类模型中，模型输出待检测器材的大小结果。
13.进一步的，所述标签按照器材大小划分为多类。
14.进一步的，所述分类模型训练步骤为：
15.将取出的图片以及对应txt文件中保存的深度信息转换为张量，并进行融合，得到一个形状为c*h*w的张量；
16.将上述张量通过动态权重分配模块进行动态权重分配，动态获取对应原图片张量及深度信息对应张量的权重；
17.动态权重分配后的张量进入到特征提取网络，并通过softmax对图片进行分类；
18.采用损失函数对分类后的结果和对应标签值做损失计算，并根据损失函数进行模型的迭代优化。
19.进一步的，所述张量中c为4，且所述张量中c包括rgb通道信息和深度信息。
20.进一步的，所述动态权重分配模块包括cnn卷积层、fc全连接层、relu激活函数层以及sigmoid处理层。
21.进一步的，所述特征提取网络为shufflenet、mobilenet、vit transformer、efficientnet中的一种。
22.进一步的，所述损失函数采用交叉熵函数。
23.相比于现有技术，本发明至少具有以下有益效果：
24.本发明将深度信息嵌入到图像通道中，并通过卷积神经网络进行图像的分类，解决了基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的问题，大大提高了实验智能赋分的准确性。
附图说明
25.图1为本发明用于理化生实验智能考评的器材大小判别方法一个实施例的流程图；
26.图2为本发明用于理化生实验智能考评的器材大小判别方法一个实施例的分类模型结构示意图。
具体实施方式
27.下面将结合示意图对本发明的用于理化生实验智能考评的器材大小判别方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
28.在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
29.如图1所示，本发明实施例提出了一种用于理化生实验智能考评的器材大小判别方法，包括如下步骤：
30.将深度相机进行深度流和rgb流进行对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片；
31.将取出图片所对应的深度信息以矩阵形式保存至txt文件中，并将取出图片按照
器材大小分类作为标签；
32.将取出的图片及对应的txt文件数据送入到分类模型中进行训练，并根据损失函数进行模型的迭代优化；
33.将实验视频中取出的图片送入到分类模型中，模型输出待检测器材的大小结果。
34.以下列举所述用于理化生实验智能考评的器材大小判别方法的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
35.如图1和图2所示，一种用于理化生实验智能考评的器材大小判别方法，具体包括如下步骤：
36.(1)将深度相机进行深度流和rgb流进行对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片。
37.具体的，常见的智能考评方案多基于目标检测，通过检测框的相对位置及变化来判断一些实验操作的正确与否，依赖于此，将所使用的深度相机进行深度流和rgb流的对齐，后将相关实验视频进行标注/推理时取出所要区别大小的器材。
38.(2)将深度相机进行深度流和rgb流进行对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片。
39.具体的，由于深度相机做了rgb流和深度流的对齐，即取出的图片中每个像素包含了深度信息，保存图片，并将该图片对应的深度信息以矩阵形式保存至txt文件中，将取出图片按照器材大小分类作为标签。
40.在一个实施例中，标签分类具体为：以实验烧杯为例，某实验需要区分大小烧杯，则大烧杯作为一类，小烧杯作为一类来赋予标签。需要说明的是，标签根据实验器材大小型号进行分类，如某器材有大中小三种型号，则标签依据大中小三种型号分为三类。
41.(3)将取出的图片及对应的txt文件数据送入到分类模型中进行训练，并根据损失函数进行模型的迭代优化。
42.具体的，首先将对应图片及该图片对应的txt文件中保存的深度信息转换为张量，并将两者做融合，得到一个形状为c*h*w的张量，其中c为4，即图片生成的张量通道位置上加上深度信息这一维度；
43.上述通道为4的张量，经由一个动态权重分配模块，动态获取对应原图像张量及深度信息对应张量的权重，以充分合理的融合纹理信息和距离相信来更好的实现对大小的分类。其中，所述动态权重分配模块由一个cnn(卷积层)、两个fc(全连接层)、一个relu层(激活函数)以及一个sigmoid层。
44.然后，权重值分配后的张量进入特征提取网络，后接softmax实现对图片的分类，所示特征提取网络为常见的基于卷积神经网络或transformer的backbone，诸如，shufflenet、mobilenet、vit transformer、efficientnet等；
45.最后，采用交叉熵损失函数对上述softmax后的结果和对应标签值做损失计算，后根上述损失函数进行模型的迭代优化。
46.(4)将实验视频中取出的图片送入到分类模型中，模型输出待检测器材的大小结果。
47.具体的，依赖于原有的目标检测网络，当检测到所需分辨的器材时，根据检测框将
相关图像截取出来送入上述深度学习模型中，即得到所述器材的大小结果。
48.相比于现有技术，本发明至少具有以下有益效果：
49.本发明将深度信息嵌入到图像通道中，并通过卷积神经网络进行图像的分类，解决了基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的问题，大大提高了实验智能赋分的准确性。
50.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。