一种学习用品收纳检测方法以及物品摆放识别系统与流程

本发明涉及物品摆放识别系统领域，尤其涉及一种学习用品收纳检测方法以及物品摆放识别系统。

背景技术：

1、在家庭教育中，培养儿童自主整理书桌、按学科归类收纳，是学习习惯养成的关键。然而现有技术中，存在人工检查效率低、负担重的不足，导致习惯无法持续。传统目标检测的解决方案，依然存在三大局限：第一，难以理解物品的学科归属：判断按学科分类需识别具体内容，现有方案依赖条形码、rfid或家长预先大量标注，家庭环境中过于繁琐。第二，泛化能力差：家庭学习用品外观、尺寸、磨损等千变万化，传统算法遇到新物品即失效，且缺乏可控的持续更新机制。第三，缺乏降级容错：光线差或物品遮挡时，系统要么报错要么不判断，无法在高级识别失效时退而保留基础空间越界检测功能。基于此，针对现有技术中存在的不足，行业内需要设计出一种学习用品收纳检测方法以及物品摆放识别系统，来解决上述技术问题。

技术实现思路

1、本发明所述方案，解决了上述技术问题，一方面能够避免现有技术中只认形状不认内容的局限，另一方面自动建立格子的属性基线进而避免繁琐规则配置，大幅降低了使用门槛。

2、第一方面，本申请提出一种学习用品收纳检测方法，所述方法包括：s1，响应于收纳检查指令，持续获取时序图像、时序动作、时刻节点以及储物格标识；s2，对时序图像执行空间语义分割，获取储物格子区域对应的子图像切片；s3，根据储物格标识从子图像切片中调取目标储物格的子图像切片，生成检测结果，并将时刻节点关联至该检测结果；s4，获取基线属性字段，并判断其是否为空值，依据判断结果生成物理违规条目以及形成不合规清单。

3、其进一步的技术方案为，所述方法还包括：s5，将不合规清单通过状态输出接口同步至家长客户端。

4、其进一步的技术方案为，所述s1包括：s11，响应于收纳检查指令，通过全局视角摄像头和/或细节视角摄像头持续获取桌面区域及储物格区域的时序图像，利用目标跟踪算法捕捉物品从桌面边缘移动进入任一个储物格内边界框的时序动作、对应的时刻节点以及该储物格的储物格标识。

5、其进一步的技术方案为，所述s2包括：s21，对时序图像执行空间语义分割，识别桌面的边缘线以及各个储物格的内边界框，划分出桌面主区域和储物格子区域，并提取每个储物格子区域对应的子图像切片。

6、其进一步的技术方案为，所述s3包括：s31，根据储物格标识从子图像切片中调取目标储物格的子图像切片；s32，对桌面主区域的子图像切片执行兜底检测，判断是否存在遗留的非背景物品，若存在则生成桌面不整洁违规标记；s33，依据时序动作确认目标储物格是否存在物品移入事件，若存在则继续执行后续步骤，若不存在则终止对目标储物格的精细检测且不输出检测结果；s34，在确认存在物品移入事件后，对目标储物格的子图像切片执行精细检测，调用多模态语义识别模型输出物品的语义属性及空间姿态，同时获取识别置信度数值；s35，判断识别置信度数值是否低于预设阈值，若低于预设阈值则降级触发兜底检测，对目标储物格的子图像切片输出物理形态标签作为检测结果，若不低于预设阈值则将语义属性及空间姿态作为检测结果；s36，根据检测结果获得语义属性及空间姿态，或者根据检测结果获得物理形态标签，并将时刻节点关联至该检测结果。

7、其进一步的技术方案为，所述s4包括：s41，为每个储物格标识分别维护一个基线属性字段和一个首次时刻字段，获取当前检测结果及其关联的时刻节点和储物格标识，读取该储物格标识对应的基线属性字段；s42，判断所述基线属性字段是否为空值；s43，若为空值，将当前关联的时刻节点存入首次时刻字段，并将检测获得的语义属性标签作为该储物格的基线属性，随后结束对该储物格的处理；s44，若不为空值，提取当前检测获得的语义属性标签与基线属性进行比对，若不一致则生成混放违规条目并关联当前储物格标识及时刻节点；s45，判断当前检测结果中是否包含物理形态标签且该物理形态标签指示非正常姿态，若是则生成物理违规条目并关联当前储物格标识及时刻节点；s46，汇总所有桌面不整洁违规标记、混放违规条目及物理违规条目，形成不合规清单，其中每个违规条目关联对应的储物格标识及时刻节点。

8、其进一步的技术方案为，所述s35包括：s51，获取由多模态语义识别模型输出的识别置信度数值，并将该置信度数值与预设阈值进行比较；s52，若识别置信度数值低于预设阈值，则判定精细检测结果不可靠，进入降级处理流程；s53，在降级处理流程中，对目标储物格的子图像切片触发兜底检测，兜底检测采用基于几何形态分析的图像处理算法，提取物品的轮廓、尺寸、长宽比、边缘连续性等物理特征；s54，根据兜底检测提取的物理特征，生成该物品的物理形态标签，将物理形态标签作为当前目标储物格的检测结果，并关联该储物格标识；s55，若识别置信度数值不低于预设阈值，则保持多模态语义识别模型直接输出的语义属性及空间姿态作为检测结果。

9、第二方面，本发明提出一种物品摆放识别系统，即一种收纳合规性检测系统，所述物品摆放识别系统设于智能学习桌上，用于实现如第一方面的学习用品收纳检测方法；其有益效果为，一方面能够避免现有技术中只认形状不认内容的局限，另一方面自动建立格子的属性基线进而避免繁琐规则配置，大幅降低了使用门槛。

10、综上，本发明方案，至少能够实现如下目标。第一，突破传统视觉算法的语义盲区，实现对非标学习用品“学科类别/属性”的精准识别，从而支持按学科分类的合规性检测。第二，提供一种具备高可靠性的“精细+兜底”双引擎检测架构，解决复杂家庭环境下(如遮挡、反光、包书皮)识别不稳定的问题。第三，摒弃繁琐的人工预设规则，提供一种基于视觉时序观察的“动态基线自动建立”机制，实现免配置的智能合规判定。第四，通过自动化的客观检测，彻底释放家长在收纳检查环节的精力投入。

1.一种学习用品收纳检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的学习用品收纳检测方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的学习用品收纳检测方法，其特征在于，所述s1包括：

4.根据权利要求3所述的学习用品收纳检测方法，其特征在于，所述s2包括：

5.根据权利要求4所述的学习用品收纳检测方法，其特征在于，所述s3包括：

6.根据权利要求5所述的学习用品收纳检测方法，其特征在于，所述s4包括：

7.根据权利要求6所述的学习用品收纳检测方法，其特征在于，所述s35包括：

8.一种物品摆放识别系统，其特征在于，所述物品摆放识别系统设于智能学习桌上，用于实现如权利要求1至7任意一项所述的学习用品收纳检测方法。