陈列柜中物品检测方法、陈列柜以及存储介质与流程

技术特征：
1.一种陈列柜中物品检测方法，其特征在于，包括：获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。2.根据权利要求1所述的方法，其特征在于，所述在所述第一双目视频中提取第一双目视频图像，包括：在所述第一双目视频中确定第一视频；确定所述第一视频中各个视频帧的目标检测结果；基于所述目标检测结果确定所述第一视频中满足预设物品数量要求的第一目标视频帧，并基于所述第一目标视频帧确定所述第一双目视频图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一目标视频帧确定所述第一双目视频图像，包括：确定所述第一目标视频帧的第一采集时间；确定所述第一双目视频的第二视频中与所述第一采集时间相对应的第二目标视频帧；基于所述第一目标视频帧和所述第二目标视频帧确定所述第一双目视频图像。4.根据权利要求2或3所述的方法，其特征在于，所述在所述第二双目视频中提取第二双目视频图像，包括：在所述第二双目视频中确定所述第一视频对应的第三视频；计算所述第三视频中每个视频帧与所述第一目标视频帧的相似度；确定所述第三视频中满足相似度要求的第三目标视频帧，并基于所述第三目标视频帧确定所述第二双目视频图像。5.根据权利要求4所述的方法，其特征在于，所述基于所述第三目标视频帧确定所述第二双目视频图像，包括：确定所述第三目标视频帧的第二采集时间；确定所述第二双目视频的第四视频中与所述第二采集时间相对应的第四目标视频帧；基于所述第三目标视频帧和所述第四目标视频帧确定所述第二双目视频图像。6.根据权利要求1所述的方法，其特征在于，所述基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，包括：在所述第一双目视频图像中确定第一视频图像，并在所述第二双目视频图像中确定与所述第一视频图像相对应第二视频图像；将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果；根据所述物品匹配结果在所述陈列柜的各个通道中确定物品发生变化的目标通道。
7.根据权利要求6所述的方法，其特征在于，所述将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果，包括：提取所述第一视频图像中每个物品的子图像，得到第一子图像；在所述第二视频图像中确定与所述第一子图像对应的第二子图像；计算所述第一子图像和所述第二子图像之间的图像相似度，并基于所述图像相似度确定所述物品匹配结果。8.根据权利要求1所述的方法，其特征在于，所述基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，包括：基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与所述双目摄像头之间的第一距离；基于所述第二双目视频图像确定所述柜门关闭过程中所述目标通道内物品与所述双目摄像头之间的第二距离；计算所述第一距离和所述第二距离之间的距离差，并基于所述距离差确定所述距离变化信息。9.根据权利要求8所述的方法，其特征在于，所述基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与双目摄像头之间的第一距离，包括：在所述第一双目视频图像的两个视频图像中分别确定物品的像素坐标，得到第一像素坐标和第二像素坐标；计算所述第一像素坐标和第二像素坐标之间的坐标差值；获取所述双目摄像头之间的光心距离，并获取所述双目摄像头的焦距；基于所述坐标差值、所述光心距离和所述焦距，确定所述第一距离。10.根据权利要求1所述的方法，其特征在于，所述将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频，包括：在所述双目视频中确定视频拆分点；基于所述视频拆分点对所述双目视频中的每个视频进行拆分，得到第一双目视频和第二双目视频。11.根据权利要求10所述的方法，其特征在于，所述在所述双目视频中确定视频拆分点，包括：在所述陈列柜的柜门开启到柜门关闭期间，获取所述陈列柜的柜门的开启角度的角度变化信息；基于所述角度变化信息确定所述视频拆分点。12.根据权利要求10所述的方法，其特征在于，所述在所述双目视频中确定视频拆分点，包括：计算所述双目视频中任意相邻视频帧之间的差值，得到多个差值；在所述多个差值中确定满足预设差值要求的目标差值；基于所述目标差值所对应的相邻视频帧确定所述双目视频中每个视频的视频拆分点。13.一种陈列柜，其特征在于，包括：陈列柜柜体、双目摄像头和处理器；其中，所述双目摄像头安装在所述陈列柜柜体上，且所述双目摄像头的镜头朝向所述陈列柜柜体的内部设置，所述双目摄像头与所述处理器通信连接；
所述双目摄像头，被配置成从陈列柜的柜门开启到柜门关闭期间，对所述陈列柜内部进行拍摄得到双目视频；所述处理器，被配置成获取所述双目视频，并将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。14.一种陈列柜，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的陈列柜中物品检测方法的步骤。15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的陈列柜中物品检测方法的步骤。

技术总结
本公开提供了一种陈列柜中物品检测方法、陈列柜以及存储介质，其中，该方法包括：获取双目摄像头朝陈列柜内部拍摄的双目视频，其中，双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；将双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在第一双目视频中提取第一双目视频图像，并在第二双目视频中提取第二双目视频图像；第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于第一双目视频图像和第二双目视频图像确定陈列柜内的通道变化信息，通道变化信息用于指示陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息；基于通道变化信息，确定陈列柜内的物品变化信息。息。息。


技术研发人员：郭峰
受保护的技术使用者：元气森林（北京）食品科技集团有限公司
技术研发日：2021.12.16
技术公布日：2022/2/8