冰箱的异常物品提示方法、装置、存储介质及电子装置与流程

1.本发明涉及通信领域，具体而言，涉及一种冰箱的异常物品提示方法、装置、存储介质及电子装置。


背景技术：

2.随着冰箱容量的增大，功能的增加，越来越多的东西会储存到冰箱。食材、水果、酒水、化妆品等等。这就导致了用户很容易忘掉自己存入物品的保质期，不仅导致物品过期，也会因为食材的过期，使得冰箱滋生细菌。冰箱物品过期一直是用户使用过程中的痛点，智能冰箱、家居怎样合适、合理的提醒用户也一直在摸索。当前提醒的方式都比较呆板，定期、定时的提醒不仅没有及时的提醒到用户且容易对用户进行打扰。
3.针对相关技术中若冰箱内食物过期，定期或定时提醒用户，不仅没有及时的提醒到用户且容易对用户形成不必要的打扰的问题，尚未提出解决方案。


技术实现要素：

4.本发明实施例提供了一种冰箱的异常物品提示方法、装置、存储介质及电子装置，以至少解决相关技术中若冰箱内食物过期，定期或定时提醒用户，不仅没有及时的提醒到用户且容易对用户形成不必要的打扰的问题。
5.根据本发明的一个实施例，提供一种冰箱的异常物品提示方法，包括：
6.在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
7.根据所述音视频图像确定当前所处的目标场景；
8.基于所述目标场景，对所述冰箱内部的异常物品进行提示。
9.可选地，在采集冰箱外部预设区域内的视频图像之前，所述方法还包括：
10.通过摄像头采集所述冰箱内部的目标物品图像；
11.确定所述目标物品图像的新鲜程度；
12.在所述目标物品图像的新鲜程度满足预设条件的情况下，确定所述冰箱内部的物品存在异常。
13.可选地，确定所述目标物品图像的新鲜程度包括：
14.将所述目标物品图像与预先存储的不同新鲜程度的物品图像进行匹配；
15.根据匹配结果确定所述目标物品图像的新鲜程度。
16.可选地，确定所述目标物品图像的新鲜程度包括：
17.将所述目标物品图像输入预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述目标物品图像对应不同新鲜程度的概率；
18.确定最大所述概率对应信息程度为所述目标物品图像的新鲜程度。
19.可选地，根据所述音视频图像确定当前所处的目标场景包括：
20.在预设时间段内根据所述音视频图像判断所述目标区域是否存在运动状态的目
标对象；
21.在判断结果为存在运动状态的目标对象的情况下，确定当前所处的目标场景为归家场景；
22.在判断结果为不存在运动状态的目标对象的情况下，确定当前所处的目标场景为离家场景。
23.可选地，基于所述目标场景，对所述冰箱内部的异常物品进行提示包括：
24.若所述目标场景为所述归家场景，将所述异常物品的异常信息通过预设方式进行提示；
25.若所述目标场景为所述离家场景，以预设时间间隔检测所述目标区域的目标场景，直到所述目标场景为所述归家场景，将所述异常物品的异常信息通过所述预设方式进行提示。
26.可选地，将所述异常物品的异常信息通过所述预设方式进行提示包括：
27.若所述异常信息为异常物品已过期，通过语音方式提示所述异常物品过期，并通过显示屏显示已过期的所述异常物品的名称与存放位置；或者向预先绑定的移动终端发送第一提示消息，其中，所述第一提示消息中携带有已过期的所述异常物品的名称与存放位置；
28.若所述异常信息为异常物品即将过期，且所述异常物品为食物，获取所述冰箱内部已存放的所有食物信息，根据所述所有食物信息确定包括即将过期的所述异常物品的菜谱信息，通过语音方式提示所述异常物品即将过期，并通过显示屏显示即将过期的所述异常物品的名称、存放位置以及所述菜谱信息；或者向预先绑定的移动终端发送第二提示消息，其中，所述提示消息中携带有即将过期的所述异常物品的名称、存放位置以及所述菜谱信息。
29.根据本发明的另一个实施例，还提供了一种冰箱的异常物品提示装置，包括：
30.第一采集模块，用于在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
31.第一确定模块，用于根据所述音视频图像确定当前所处的目标场景；
32.提示模块，用于基于所述目标场景，对所述冰箱内部的异常物品进行提示。
33.可选地，所述装置还包括：
34.第二采集模块，用于通过摄像头采集所述冰箱内部的目标物品图像；
35.第二确定模块，用于确定所述目标物品图像的新鲜程度；
36.第三确定模块，用于在所述目标物品图像的新鲜程度满足预设条件的情况下，确定所述冰箱内部的物品存在异常。
37.可选地，所述第二确定模块包括：
38.匹配子模块，用于将所述目标物品图像与预先存储的不同新鲜程度的物品图像进行匹配；
39.第一确定子模块，用于根据匹配结果确定所述目标物品图像的新鲜程度。
40.可选地，所述第二确定模块包括：
41.输入子模块，用于将所述目标物品图像输入预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述目标物品图像对应不同新鲜程度的概率；
42.第二确定子模块，用于确定最大所述概率对应信息程度为所述目标物品图像的新鲜程度。
43.可选地，所述第一确定模块包括：
44.判断子模块，用于在预设时间段内根据所述音视频图像判断所述目标区域是否存在运动状态的目标对象；
45.第三确定子模块，用于在判断结果为存在运动状态的目标对象的情况下，确定当前所处的目标场景为归家场景；
46.第四确定子模块，用于在判断结果为不存在运动状态的目标对象的情况下，确定当前所处的目标场景为离家场景。
47.可选地，所述提示模块，还用于
48.若所述目标场景为所述归家场景，将所述异常物品的异常信息通过预设方式进行提示；
49.若所述目标场景为所述离家场景，以预设时间间隔检测所述目标区域的目标场景，直到所述目标场景为所述归家场景，将所述异常物品的异常信息通过所述预设方式进行提示。
50.可选地，所述提示模块，还用于
51.若所述异常信息为异常物品已过期，通过语音方式提示所述异常物品过期，并通过显示屏显示已过期的所述异常物品的名称与存放位置；或者向预先绑定的移动终端发送第一提示消息，其中，所述第一提示消息中携带有已过期的所述异常物品的名称与存放位置；
52.若所述异常信息为异常物品即将过期，且所述异常物品为食物，获取所述冰箱内部已存放的所有食物信息，根据所述所有食物信息确定包括即将过期的所述异常物品的菜谱信息，通过语音方式提示所述异常物品即将过期，并通过显示屏显示即将过期的所述异常物品的名称、存放位置以及所述菜谱信息；或者向预先绑定的移动终端发送第二提示消息，其中，所述提示消息中携带有即将过期的所述异常物品的名称、存放位置以及所述菜谱信息。
53.根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
54.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
55.通过本发明，在检测到冰箱内部的物品存在异常的情况下，通过第一摄像头采集冰箱外部预设区域内的视频图像；根据所述视频图像确定当前所处的目标场景；基于所述目标场景，对所述冰箱内部的异常物品进行提示，可以解决相关技术中若冰箱内食物过期，定期或定时提醒用户，不仅没有及时的提醒到用户且容易对用户形成不必要的打扰的问题，对于冰箱内部的异常物品，基于场景在适当时间提示用户，能够尽可能避免对用户造成不必要的打扰。
附图说明
56.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
57.图1是本发明实施例的冰箱的异常物品提示方法的移动终端的硬件结构框图；
58.图2是根据本发明实施例的冰箱的异常物品提示方法的流程图；
59.图3是根据本发明优选实施例的冰箱的异常物品提示方法的流程图；
60.图4是根据本发明实施例的物品保质期提醒的示意图；
61.图5是根据本发明实施例的物品保质期提醒的流程图；
62.图6是根据本发明实施例的冰箱的异常物品提示装置的框图。
具体实施方式
63.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
64.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
65.实施例1
66.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的冰箱的异常物品提示方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
67.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的冰箱的异常物品提示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
68.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
69.基于上述的移动终端或网络架构，在本实施例中提供了一种冰箱的异常物品提示方法，图2是根据本发明实施例的冰箱的异常物品提示方法的流程图，如图2所示，该流程包括如下步骤：
70.步骤s202，在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
71.步骤s204，根据所述音视频图像确定当前所处的目标场景；
72.本实施例中，上述步骤s204包括：在预设时间段内根据所述音视频图像判断所述目标区域是否存在运动状态的目标对象；在判断结果为存在运动状态的目标对象的情况下，确定当前所处的目标场景为归家场景；在判断结果为不存在运动状态的目标对象的情况下，确定当前所处的目标场景为离家场景。
73.关于图像识别，由于家庭场景下摄像头采集到的图像背景单一且长期不会有变化，在这种情况下对于判断是否有人在活动，可以采用最简单的帧差分法。这样不需要训练复杂的模型，对于系统资源占用也会比较少。
74.帧差分法是运动物体检测方法中实现最简单的一种算法，其优点是计算量小，只是在视频序列中截取连续的三帧图像，对这三帧图像进行减法运算即可。帧差分法是将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的情况下，如果对应像素灰度相差很小，就可以认为此处景物是静止的；如果图像区域某处的灰度变化很大，可以认为这是由于视频序列中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像中的位置。
75.一般采用的帧差法是在视频序列中三个相邻帧间采用基于像素的时间差分并且阈值化来提取图像的运动区域。由这三帧图像的差值得到中间运动目标，这样能够去除因为目标的运动而产生的背景影响，从而得到更准确的目标。帧差分法不仅能提高运动目标检测的速度，而且在外部条件变化不大的场景下可以比较完整的将运动物体的整体轮廓检测出来。
76.步骤s206，基于所述目标场景，对所述冰箱内部的异常物品进行提示。
77.在一示例性实施例中，上述步骤s206具体可以包括：若所述目标场景为所述归家场景，将所述异常物品的异常信息通过预设方式进行提示；若所述目标场景为所述离家场景，以预设时间间隔检测所述目标区域的目标场景，直到所述目标场景为所述归家场景，将所述异常物品的异常信息通过所述预设方式进行提示。
78.在另一示例性实施例中，上述步骤s206具体可以包括：若所述异常信息为异常物品已过期，通过语音方式提示所述异常物品过期，并通过显示屏显示已过期的所述异常物品的名称与存放位置；或者向预先绑定的移动终端发送第一提示消息，其中，所述第一提示消息中携带有已过期的所述异常物品的名称与存放位置；若所述异常信息为异常物品即将过期，且所述异常物品为食物，获取所述冰箱内部已存放的所有食物信息，根据所述所有食物信息确定包括即将过期的所述异常物品的菜谱信息，通过语音方式提示所述异常物品即将过期，并通过显示屏显示即将过期的所述异常物品的名称、存放位置以及所述菜谱信息；或者向预先绑定的移动终端发送第二提示消息，其中，所述提示消息中携带有即将过期的所述异常物品的名称、存放位置以及所述菜谱信息。
79.通过上述步骤s202至s206，在检测到冰箱内部的物品存在异常的情况下，通过第一摄像头采集冰箱外部预设区域内的视频图像；根据所述视频图像确定当前所处的目标场景；基于所述目标场景，对所述冰箱内部的异常物品进行提示，可以解决相关技术中若冰箱内食物过期，定期或定时提醒用户，不仅没有及时的提醒到用户且容易对用户形成不必要
的打扰的问题，对于冰箱内部的异常物品，基于场景在适当时间提示用户，能够尽可能避免对用户造成不必要的打扰。
80.图3是根据本发明优选实施例的冰箱的异常物品提示方法的流程图，如图3所示，上述方法还包括：
81.步骤s302，通过摄像头采集所述冰箱内部的目标物品图像；
82.步骤s304，确定所述目标物品图像的新鲜程度；
83.在一实施例中，上述步骤s304具体可以包括：将所述目标物品图像与预先存储的不同新鲜程度的物品图像进行匹配；根据匹配结果确定所述目标物品图像的新鲜程度。
84.在另一实施例中，上述步骤s304具体还可以包括：将所述目标物品图像输入预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述目标物品图像对应不同新鲜程度的概率；确定最大所述概率对应信息程度为所述目标物品图像的新鲜程度。
85.步骤s306，在所述目标物品图像的新鲜程度满足预设条件的情况下，确定所述冰箱内部的物品存在异常。
86.图4是根据本发明实施例的物品保质期提醒的示意图，如图4所示，包括：
87.步骤1，保存物品到冰箱；
88.步骤2，数据保存到云端；
89.步骤3，语音助手检测到家庭有人活动；
90.步骤4，语音助手触发归家场景；
91.步骤5，检测到有人获得或冰箱门开启等行为；
92.步骤6，判断当前数据在物品频率提醒时间区间内，在判断节节高为是的情况下，执行步骤7；
93.步骤7，语音助手请求云端，检测是否有需要提醒物品；
94.步骤8，检测到您的某某物品还用几天到期，根据频率进行定制化提醒；
95.步骤9，数据过滤，根据品类触发定制化语音提醒。
96.图5是根据本发明实施例的物品保质期提醒的流程图，如图5所示，包括：
97.步骤1
‑
2，用户将物品放入冰箱、数据发送到云端保存。
98.3、家用设备触发场景，如归家场景或者即将到达饭点通过摄像头检测运动、声音采集、设备使用(冰箱开门等)检测到家庭内有人活动。
99.4、检测到用户的设备请求云端查询是否有需要提醒的物品以及类目数据，在查询结果为是的情况下，执行步骤5，否则结束。
100.5、检查提醒规则是否满足，在检查结果为是的情况下，执行步骤6，例如一天提醒n次，时间段内才可提醒。
101.6、触发定制化提醒，例如食材提醒什么即将过期，有定制化菜谱可用。
102.7、语音询问是否将结果(例如菜谱)发送到手机以供查看，若接收到发送到手机的实例，执行步骤8。
103.8、将结果发送到手机，便于用户查看。
104.本发明实施例，通过多设备融合智能提醒交互，智能提醒用户存放物品保质期，避免存放过期等情况发生；提醒方式不单一、呆板，提醒时间合适，不会打扰用户。多设备融合判断用户在家方案，防止强制提醒浪费资源。
105.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
106.实施例2
107.在本实施例中还提供了一种冰箱的异常物品提示装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
108.图6是根据本发明实施例的冰箱的异常物品提示装置的框图，如图6所示，包括：
109.第一采集模块62，用于在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
110.第一确定模块64，用于根据所述音视频图像确定当前所处的目标场景；
111.提示模块66，用于基于所述目标场景，对所述冰箱内部的异常物品进行提示。
112.可选地，所述装置还包括：
113.第二采集模块，用于通过摄像头采集所述冰箱内部的目标物品图像；
114.第二确定模块，用于确定所述目标物品图像的新鲜程度；
115.第三确定模块，用于在所述目标物品图像的新鲜程度满足预设条件的情况下，确定所述冰箱内部的物品存在异常。
116.可选地，所述第二确定模块包括：
117.匹配子模块，用于将所述目标物品图像与预先存储的不同新鲜程度的物品图像进行匹配；
118.第一确定子模块，用于根据匹配结果确定所述目标物品图像的新鲜程度。
119.可选地，所述第二确定模块包括：
120.输入子模块，用于将所述目标物品图像输入预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述目标物品图像对应不同新鲜程度的概率；
121.第二确定子模块，用于确定最大所述概率对应信息程度为所述目标物品图像的新鲜程度。
122.可选地，所述第一确定模块64包括：
123.判断子模块，用于在预设时间段内根据所述音视频图像判断所述目标区域是否存在运动状态的目标对象；
124.第三确定子模块，用于在判断结果为存在运动状态的目标对象的情况下，确定当前所处的目标场景为归家场景；
125.第四确定子模块，用于在判断结果为不存在运动状态的目标对象的情况下，确定当前所处的目标场景为离家场景。
126.可选地，所述提示模块66，还用于
127.若所述目标场景为所述归家场景，将所述异常物品的异常信息通过预设方式进行
提示；
128.若所述目标场景为所述离家场景，以预设时间间隔检测所述目标区域的目标场景，直到所述目标场景为所述归家场景，将所述异常物品的异常信息通过所述预设方式进行提示。
129.可选地，所述提示模块66，还用于
130.若所述异常信息为异常物品已过期，通过语音方式提示所述异常物品过期，并通过显示屏显示已过期的所述异常物品的名称与存放位置；或者向预先绑定的移动终端发送第一提示消息，其中，所述第一提示消息中携带有已过期的所述异常物品的名称与存放位置；
131.若所述异常信息为异常物品即将过期，且所述异常物品为食物，获取所述冰箱内部已存放的所有食物信息，根据所述所有食物信息确定包括即将过期的所述异常物品的菜谱信息，通过语音方式提示所述异常物品即将过期，并通过显示屏显示即将过期的所述异常物品的名称、存放位置以及所述菜谱信息；或者向预先绑定的移动终端发送第二提示消息，其中，所述提示消息中携带有即将过期的所述异常物品的名称、存放位置以及所述菜谱信息。
132.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
133.实施例3
134.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
135.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
136.s1，在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
137.s2，根据所述音视频图像确定当前所处的目标场景；
138.s3，基于所述目标场景，对所述冰箱内部的异常物品进行提示。
139.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read
‑
only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
140.实施例4
141.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
142.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
143.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
144.s1，在检测到冰箱内部的物品存在异常的情况下，采集冰箱外部预设区域内的音视频图像；
145.s2，根据所述音视频图像确定当前所处的目标场景；
146.s3，基于所述目标场景，对所述冰箱内部的异常物品进行提示。
147.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
148.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
149.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。