一种基于飞行时间测距的车载冰箱内物体检测方法与流程

本发明涉及车载智能家电感知，具体为一种基于飞行时间测距的车载冰箱内物体检测方法。

背景技术：

1、随着汽车智能化、网联化以及车载生活场景的不断发展，车载冰箱正从简单的制冷储物设备逐步向具备环境感知、状态识别和智能控制能力的车载智能终端演进。车载冰箱作为车辆座舱和出行场景中重要的食品、饮品及药品低温存储设备，其智能化水平直接影响用户在自驾旅行、商务出行、户外活动等场景下的使用体验和便利性。现有技术中，车载冰箱内物体检测主要依赖以下方案：

2、1.基于摄像头的视觉检测方案

3、该方案在冰箱内部安装摄像头，通过图像识别技术检测物品的种类和数量。然而，该方案存在明显缺陷：首先，冰箱内部光线昏暗，摄像头成像质量差，需要额外配置补光灯，增加了能耗和成本；其次，冰箱内物品堆叠严重，下层物品常被上层遮挡，导致视觉盲区；更重要的是，摄像头持续拍摄涉及用户隐私问题，用户对于冰箱内部被实时录像普遍存在顾虑;

4、2.基于重量传感器的检测方案

5、该方案在各层搁架或抽屉底部布置压力传感器或称重传感器，通过重量变化判断物品的存取。但该方案的缺陷在于：无法确定物品的具体位置，无法实现空间管理；无法区分外观相似但重量相近的不同物品；对单个重量较轻的物品（如调料包、小袋食品）检测灵敏度不足；重量传感器的长期稳定性和防水防腐蚀性能难以保证;

6、3.基于射频识别（rfid）的方案

7、该方案要求在每个物品上粘贴rfid标签，成本高昂且用户操作负担重，难以大规模推广;

8、4.基于单点或低分辨率测距传感器的方案

9、部分现有技术尝试使用单点红外测距或低分辨率tof传感器进行冰箱内检测，但单点传感器只能获取单一距离值，无法构建物体表面的空间分布特征，难以区分不同形态的物体，也无法准确判断物体在二维平面上的占用范围。

10、近年来，以意法半导体（stmicroelectronics）vl53l5cx为代表的8×8多区域tof传感器技术日趋成熟。该传感器在单颗芯片上集成了spad阵列和衍射光学元件（doe），能够以8×8分辨率同时输出64个独立区域的距离信息，具有体积小、功耗低、帧率高、不受光照条件影响（主动发射940nm红外光）等显著优势。然而，目前该类传感器主要应用于机器人避障、手势识别、笔记本电脑人体存在检测等领域，尚未有将其系统性地应用于冰箱内复杂场景下多物体检测、三维建模及智能管理的技术方案公开。

11、因此，亟需一种能够充分利用多区域tof传感器特性，在保证用户隐私的前提下，实现冰箱内物体高精度检测、三维空间管理和智能推荐的解决方案。

技术实现思路

1、本发明的目的在于提供一种基于飞行时间测距的车载冰箱内物体检测方法，以解决现有技术中存在的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于飞行时间测距的车载冰箱内物体检测方法，包括以下步骤：

3、步骤一：在车载冰箱的至少一个储物间室的顶部和/或侧壁布置多区域飞行时间传感器阵列，所述传感器支持8×8或4×4可配置多区域测距，每区域独立输出距离值和置信度值；

4、步骤二：当车载冰箱门由关闭状态切换为开启状态时，激活所述传感器阵列；当车载冰箱门由开启状态切换为关闭状态时，触发深度图采集流程；

5、步骤三：采集关门后的间室深度图，并与关门前的基准深度图进行逐区域比对，生成深度变化矩阵；

6、步骤四：基于所述深度变化矩阵，通过连通域分析和形态学滤波，识别物体的放入事件、取出事件或位置移动事件；

7、步骤五：根据事件类型更新车载冰箱内部物品的三维占用网格模型，并生成当前间室的物品清单。

8、进一步的，所述步骤一中的多区域飞行时间传感器为vl53l5cx或同等规格的8×8多区域直接飞行时间测距传感器，视场角为45°×45°，测距范围为2cm～400cm，在8×8模式下帧率不低于15hz，在4×4模式下帧率不低于60hz。

9、进一步的，所述步骤一中的传感器阵列的布置方式包括：车载冰箱冷藏室顶部中央布置一颗主传感器以覆盖顶层搁架；各层搁架上方或侧壁间隔布置辅助传感器以覆盖下层区域；冷冻室抽屉上方布置朝下感测的传感器以检测抽屉内物品高度；车载冰箱门搁架对面侧壁布置传感器以检测门搁架物品对间室深度的影响。

10、进一步的，所述步骤三中的深度变化矩阵的生成包括以下步骤：

11、步骤3.1：将关门后的实时深度图与关门前的基准深度图逐像素求差，得到原始变化量 ；

12、步骤3.2：结合各区域的置信度值进行加权滤波，剔除因冷凝水汽或光学干扰导致的异常值，滤波后的深度变化量，其中为第帧数据的置信度权重；

13、步骤3.3：对滤波后的深度变化量进行阈值判断，仅保留变化量绝对值超过预设高度阈值的区域作为有效变化区域。

14、进一步的，所述步骤四中的识别物体的放入事件、取出事件或位置移动事件包括以下步骤：

15、步骤4.1：对阈值判断后的变化区域进行二值化处理，并采用8连通或4连通域标记算法提取独立的连通区域；

16、步骤4.2：计算每个连通区域内所有像素的平均深度变化量；

17、步骤4.3：若，判定为物体放入事件；若，判定为物体取出事件；若深度变化矩阵中同时存在显著的正变化区域和负变化区域，且两者空间位置邻近或有重叠轨迹，判定为物体位置移动事件。

18、进一步的，还包括基于物体表面距离分布特征进行物体形态分类，具体包括：

19、步骤6.1：对单个有效变化区域内的深度值进行平面拟合，计算表面法向量和曲率特征；

20、步骤6.2：若所述区域深度值平坦且法向量近似垂直向下，判定为盒状或盘状物体；

21、步骤6.3：若所述区域深度值呈中心对称的穹顶状隆起，判定为袋状或柔性包装物体；

22、步骤6.4：若所述区域深度值呈柱状分布且曲率较小，判定为瓶状或罐状物体。

23、进一步的，所述步骤五中的三维占用网格模型的建立包括以下步骤：

24、步骤5.1：将间室的物理空间离散化为体素网格，每个体素的状态包括占用、空闲或未知；

25、步骤5.2：利用光线投射算法，将传感器的多区域测距射线映射到体素网格中，沿每条射线路径将射线终点邻近体素标记为占用，路径上其他体素标记为空闲；

26、步骤5.3：当多颗传感器从不同角度观测同一区域时，采用贝叶斯更新或dempster-shafer证据理论融合多视角观测结果，更新各体素的占用概率。

27、进一步的，还包括物品存取状态追踪步骤七，具体包括：

28、步骤7.1：为每个检测到的物体分配唯一标识符，记录其初始检测时间、深度分布特征、所在间室及三维位置坐标；

29、步骤7.2：当检测到物体取出事件时，将该物体标识符标记为已取出，记录取出时间，并启动倒计时计时器；

30、步骤7.3：若在预设时间窗口内检测到具有相似深度分布特征的新物体放入，且放入位置与原位置的空间距离小于位置容差，则判定为该物体被临时移动而非消耗，恢复其标识符和计时器状态。

31、进一步的，还包括过期预警步骤和存储位置推荐步骤：

32、过期预警步骤包括：建立各类食品的推荐存储时长数据库；当检测到新物体放入时，根据用户输入或图像识别结果确定食品类别，结合放入冰箱的初始检测时间计算剩余保鲜时长；当剩余保鲜时长低于第一阈值时，向用户推送提醒信息；当低于第二阈值时，提升提醒频率并推荐食谱以优先消耗该食材；

33、存储位置推荐步骤包括：基于所述三维占用网格模型，计算间室内各层搁架、各区域的空闲空间体积和空间利用率；当检测到用户手持新物体放入冰箱且门开启时间超过预设时长时，通过语音提示或显示界面推荐最优放置位置，所述最优放置位置根据物体预估高度与空闲区域高度的匹配度、与其他已存物品的间距以及冷气循环通畅性综合确定。

34、进一步的，还包括车载环境自适应补偿步骤：

35、车载环境自适应补偿步骤包括：根据间室温度、湿度和冷凝程度动态调整所述深度变化矩阵的高度阈值和置信度筛选阈值；采用温度补偿公式对测距值进行修正，，其中为温度补偿系数，为参考温度；通过振动传感器采集车载冰箱的振动数据，对深度图进行振动补偿滤波；利用指数衰减模型分析车载冰箱内的温度变化规律，实现更精准的环境补偿，指数衰减模型的计算方程式为，式中，是时间；是温度值；是初始温度值；是时间常数，反映温度衰减速率；是最终稳定温度值。

36、还公开了一种智能冰箱，包括：

37、箱体，其内限定有至少一个储物间室；

38、门体，用于打开或关闭所述储物间室；

39、多区域飞行时间传感器阵列，布置于所述储物间室的顶部和/或侧壁，用于实时采集间室深度图；

40、门状态检测单元，用于检测所述门体的开启和关闭状态；

41、主控单元，与所述传感器阵列和所述门状态检测单元通信连接，用于执行所述的方法；

42、通信模块，用于与用户终端或云端服务器进行数据交互。

43、所述多区域飞行时间传感器阵列的各传感器通过i2c总线与所述主控单元连接，所述主控单元通过i2c地址切换或总线扩展芯片管理多颗传感器的分时通信。

44、所述储物间室的侧壁或搁架上设有朝向间室内部的反光标识或低反射率背景涂层，用于增强所述多区域飞行时间传感器的测距信号质量和边缘定位精度。

45、还包括间室环境补偿模块，用于根据间室温度、湿度和冷凝程度动态调整所述深度变化矩阵的高度阈值和置信度筛选阈值

46、与现有技术相比，本发明的有益效果是：

47、本发明多区域tof传感器仅输出距离数值矩阵，不采集任何光学图像或视频，从根本上消除了用户隐私泄露风险，适用于对家庭隐私敏感的用户群体。传感器主动发射940nm红外光进行测距，完全不受冰箱内部昏暗光照条件的影响，无需补光灯，功耗更低。8×8多区域分辨率使单颗传感器即可获取物体表面的空间分布信息，能够区分不同形态的物体，并建立三维占用网格模型，这是单点传感器和传统重量传感器无法实现的。传感器阵列采用门控触发机制，仅在开关门瞬间进行数据采集，平均功耗极低；vl53l5cx等消费级tof传感器单价低，整体硬件成本远低于多摄像头或多称重传感器方案。传感器为非接触式光学测量，无机械磨损，不受冷凝水腐蚀，长期稳定性优于重量传感器。通过“检测-建模-追踪-预警-推荐”的完整闭环，将冰箱从被动的存储容器升级为主动的食物管理助手，显著提升用户的生活便利性和食材利用率。