基于图像识别的宠物状态分析方法、装置、介质及设备与流程

1.本发明属于宠物智能饲养技术领域，具体而言涉及基于图像识别的宠物状态分析方法、装置、介质及设备。


背景技术：

2.以前宠物只是单指人们为了消除孤寂或出于娱乐目的而豢养的动物。现今宠物定义为，出于非经济目的而豢养的动植物。宠物是为了精神的目的而豢养的动植物。一般为了消除孤寂，或娱乐而豢养，以前的宠物一般是哺乳纲或鸟纲的动物，因为这些动物脑子比较发达，容易和人交流。如今，除了广为人知的活体宠物外，还有诸多的虚拟宠物。在所有动物类宠物中，普遍流行的主要为狗和猫。
3.目前在宠物的饲养过程中，由于现有的宠物活动分析系统，只能配合宠物颈部的电击项圈划定宠物的活动范围和叫声分贝，并对宠物的体温进行检测，其功能较为单一，且较为粗暴，无法根据不同宠物的习性得出不同的处理措施，故而无法适用于高层个人饲养与宠物店，适用范围较为单一。
4.本发明的目的在于解决现有技术根据宠物习性进行分析处理中对于宠物诉求和状态分析不准确的问题。


技术实现要素：

5.鉴于上述的分析，本发明实施例旨在提供一种基于图像识别的宠物状态分析方法、装置、介质及设备，用以解决现有技术根据宠物习性进行分析处理中对于宠物诉求和状态分析不准确的问题。
6.本发明第一方面实施例提供一种基于图像识别的宠物状态分析方法，包括以下步骤：采集第一宠物活动图像并进行诉求标注以构建第一训练数据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，所述第一宠物活动图像为宠物诉求得到响应之前的宠物活动图像；采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型；对宠物进行宠物信息登记，并实时获取所述宠物活动图像和体温信息，所述宠物信息包括宠物年龄段和宠物社交关系信息；将所述第一宠物活动图像输入所述诉求分析模型以获得所述宠物诉求，并控制宠物设备动作以响应所述宠物诉求；将响应后的所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输入所述健康状态分析模型以输出宠物健康状态分析结果。
7.在一些实施例中，所述采集第一宠物活动图像并进行诉求标注以构建第一训练数
据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，包括：构建所述第一训练数据集，所述第一训练数据集包括第一宠物活动图像及对应的诉求标签；将所述第一宠物活动图像输入所述诉求分析模型进行诉求分析，基于所述诉求标签和诉求分析结果之间的差异确定第一损失值；根据所述第一损失值对诉求分析模型进行训练，训练得到的所述诉求分析模型用于根据第一宠物活动图像判断所述宠物诉求。
8.在一些实施例中，所述构建所述第一训练数据集，包括：采集第一宠物活动图像，所述第一宠物活动图像包括通过拍摄设备在宠物诉求发出之前对宠物行为进行拍摄获得的，所述宠物诉求包括进食、饮水、如厕或者调温中的至少一种；根据获取所述第一宠物活动图像对应发生的所述宠物诉求对所述第一宠物活动图像标注形成诉求标签；根据所述第一宠物活动图像和所述诉求标签构建所述第一训练数据集。
9.在一些实施例中，所述健康状态分析模型包括图像特征提取模块、信息特征提取模块、体温特征提取模块以及特征融合模块；所述采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型，包括：构建第二训练数据集，所述第二训练数据集包括输入数据和健康状态标签，所述输入数据包括第二宠物活动图像、对应的宠物诉求以及第二宠物活动图像中显示宠物的宠物信息和体温信息；将所述第二宠物活动图像输入所述图像特征提取模块以提取图像特征，将所述宠物信息和所述宠物诉求均输入所述信息特征提取模块以提取信息特征，将所述体温信息输入所述体温特征提取模块以提取体温特征；将所述图像特征、所述信息特征和所述体温特征均输入所述特征融合模块以获得融合特征；基于所述融合特征进行健康状态分析，基于所述健康状态分析结果和所述健康状态标签之间的差异确定第二损失值。
10.应当理解的是，本实施例中对于图像特征、信息特征和体温特征的提取等特征提取方式以及特征融合方式均采用现有技术中成熟的方法，此处不多做赘述。
11.根据所述第二损失值对健康状态分析模型进行训练，训练得到的所述健康状态分析模型用于根据所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输出宠物健康的概率。
12.在一些实施例中，所述构建第二训练数据集包括：采集第二宠物活动图像和宠物诉求，所述第二宠物活动图像包括通过拍摄设备在宠物诉求在得到响应之后对宠物行为进行拍摄获得的，所述宠物诉求包括进食、饮水、如厕或者调温中的至少一种。
13.获取所述宠物信息，包括获取宠物年龄段和宠物社交关系网络；
采集所述体温信息，所述体温信息包括通过红外检测设备在宠物诉求得到响应之后对宠物体温进行检测得到的温度曲线。
14.以所属宠物为单元对所述第二宠物活动图像、所述宠物诉求、所述宠物信息和所述体温信息进行打包以生成训练数据包，对所述训练数据包进行健康状态标注以获得健康状态标签。
15.依据若干所述训练数据包和对应的所述健康状态标签构建所述第二训练数据集。
16.在一些实施例中，所述宠物设备包括投食器、饮水机、宠物厕所和空调中的一种或多种的组合。
17.在一些实施例中，还包括：比较所述概率与预设阈值，若所述概率小于所述预设阈值则进行就医提醒。
18.本发明第二方面实施例提供一种基于图像识别的宠物状态分析装置，包括：诉求模型训练模块，用于采集第一宠物活动图像并进行诉求标注以构建第一训练数据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，所述第一宠物活动图像为宠物诉求得到响应之前的宠物活动图像；状态模型训练模块，用于采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型；信息登记模块，用于对宠物进行宠物信息登记，并实时获取所述宠物活动图像和体温信息，所述宠物信息包括宠物年龄段和宠物社交关系信息；诉求分析模块，将所述第一宠物活动图像输入所述诉求分析模型以获得所述宠物诉求，并控制宠物设备动作以响应所述宠物诉求；状态分析模块，将响应后的所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输入所述健康状态分析模型以输出宠物健康状态分析结果。
19.本发明第三方面实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如上任一实施例所述的基于图像识别的宠物状态分析方法。
20.本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述的基于图像识别的宠物状态分析方法。
21.本发明上述实施例至少具有以下有益效果：1、通过宠物在发出诉求时的行为图像构建的第一训练数据集使得诉求分析模型学习到宠物在有诉求时的行为，通过健康状态分析模型对宠物的诉求在得到响应之后宠物的行为结合其自身温度和信息，判断出宠物当前的健康状态。
22.2、通过对可以影响宠物健康状态的年龄指标和社交关系圈的健康状态的特征提取，并将其融合到宠物诉求以及诉求响应后的宠物行为的特征和体温信息的特征中，使得本发明实施例可以对宠物的健康状态变化进行预测。
附图说明
23.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
24.图1为本发明第一方面实施例提供的基于图像识别的宠物状态分析方法流程示意图；图2为本发明第一方面实施例诉求分析模型的训练方法流程图；图3为本发明第一方面实施例健康状态分析模型的训练方法流程出；图4为本发明第二方面实施例提供的基于图像识别的宠物状态分析装置架构示意图；图5为本发明第三方面实施例提供的电子设备架构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合、分离、互换和/或重新布置。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。
27.以下通过具体实施例对本发明第一方面实施例提供的基于图像识别的宠物状态分析方法进行介绍。请参阅图1，本发明第一方面实施例提供的基于图像识别的宠物状态分析方法包括：步骤一、采集第一宠物活动图像并进行诉求标注以构建第一训练数据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，所述第一宠物活动图像为宠物诉求得到响应之前的宠物活动图像。
28.应当理解的是，第一宠物活动图像可以是采用相机或者监控设备等拍摄的宠物行为图像，可以通过在宠物进食、饮水、如厕或者体温升高时，对宠物所表现出的各种诉求行为进行多角度的连续拍摄，对于每次的诉求行为进行连续的拍摄以及多角度的拍摄形成诉求图像集，通过连续排列的图像集作为第一宠物活动图像，可以使得第一宠物活动图像蕴含有诉求行为的信息。例如宠物会在需要进食或如厕的时候，在特定的区域来回移动，以及张嘴出声等行为。通过上述第一训练数据集对诉求分析模型进行训练可以使得诉求分析模型学习到宠物行为所包含的诉求。
29.优选地，如图2所示，在一些实施例中，所述采集第一宠物活动图像并进行诉求标注以构建第一训练数据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，包括：构建所述第一训练数据集，所述第一训练数据集包括第一宠物活动图像及对应的诉求标签。
30.将所述第一宠物活动图像输入所述诉求分析模型进行诉求分析，基于所述诉求标签和诉求分析结果之间的差异确定第一损失值。
31.根据所述第一损失值对诉求分析模型进行训练，训练得到的所述诉求分析模型用于根据第一宠物活动图像判断所述宠物诉求。
32.其中，关于所述构建所述第一训练数据集，在一些实施例中，包括：采集第一宠物活动图像，所述第一宠物活动图像包括通过拍摄设备在宠物诉求发出之前对宠物行为进行拍摄获得的，所述宠物诉求包括进食、饮水、如厕或者调温中的至少一种。
33.根据获取所述第一宠物活动图像对应发生的所述宠物诉求对所述第一宠物活动图像标注形成诉求标签。
34.根据所述第一宠物活动图像和所述诉求标签构建所述第一训练数据集。
35.步骤二、采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型。
36.应当理解的是，现有技术中往往直接通过宠物的体温等信息进行健康状态的判断，一方面是对宠物的健康状态的判断不够准确，另一方面往往是宠物的健康状态已经遭受损害时才能够发现，无法提取进行预防。
37.本发明实施例中通过宠物在发出诉求后，对宠物诉求进行响应，例如判断宠物需要进食时，对齐进行食物投放；或者需要饮水时打开饮水机供其饮水等等。通过对宠物诉求得到响应后宠物的行为进行采集，例如宠物明明发出进食的诉求，但是在食物或者饮水投放后不去进食或者饮水，则表明宠物身体存在其他隐藏问题需要表达。再结合宠物本身的信息以及温度信息，通过对温度曲线的特征判断可以对宠物的健康状态进行预测分析。以帮助宠物主更加及时的对宠物进行照顾或者送往就医。
38.优选地，如图3所示，在一些实施例中，所述健康状态分析模型包括图像特征提取模块、信息特征提取模块、体温特征提取模块以及特征融合模块；所述采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型，包括：构建第二训练数据集，所述第二训练数据集包括输入数据和健康状态标签，所述输入数据包括第二宠物活动图像、对应的宠物诉求以及第二宠物活动图像中显示宠物的宠物信息和体温信息；将所述第二宠物活动图像输入所述图像特征提取模块以提取图像特征，将所述宠物信息和所述宠物诉求均输入所述信息特征提取模块以提取信息特征，将所述体温信息输入所述体温特征提取模块以提取体温特征；将所述图像特征、所述信息特征和所述体温特征均输入所述特征融合模块以获得融合特征；基于所述融合特征进行健康状态分析，基于所述健康状态分析结果和所述健康状态标签之间的差异确定第二损失值；根据所述第二损失值对健康状态分析模型进行训练，训练得到的所述健康状态分
析模型用于根据所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输出宠物健康的概率。
39.在一些实施例中，所述构建第二训练数据集包括：采集第二宠物活动图像和宠物诉求，所述第二宠物活动图像包括通过拍摄设备在宠物诉求在得到响应之后对宠物行为进行拍摄获得的，所述宠物诉求包括进食、饮水、如厕或者调温中的至少一种；获取所述宠物信息，包括获取宠物年龄段和宠物社交关系网络；采集所述体温信息，所述体温信息包括通过红外检测设备在宠物诉求得到响应之后对宠物体温进行检测得到的温度曲线；以所属宠物为单元对所述第二宠物活动图像、所述宠物诉求、所述宠物信息和所述体温信息进行打包以生成训练数据包，对所述训练数据包进行健康状态标注以获得健康状态标签；依据若干所述训练数据包和对应的所述健康状态标签构建所述第二训练数据集。
40.在一些实施例中，所述宠物设备包括投食器、饮水机、宠物厕所和空调中的一种或多种的组合。例如宠物在一些情况下需要调节室温，则将该请求之前对应的行为连接到宠物诉求为调温，对应的，可以控制空调等室内设备进行室温的调节。
41.步骤三、对宠物进行宠物信息登记，并实时获取所述宠物活动图像和体温信息，所述宠物信息包括宠物年龄段和宠物社交关系信息。
42.优选地，宠物信息包括宠物年龄段，包括幼龄、中龄和老龄等三个年龄段的划分，具体年龄划分可以根据宠物种类进行相应划分。宠物信息还包括宠物社交关系信息，通过宠物社交关系可以获取到宠物生活环境中经常接触的可能影响其健康的其他宠物及其健康信息。通过对可以影响宠物健康状态的年龄指标和社交关系圈的健康状态的特征提取，并将其融合到宠物诉求以及诉求响应后的宠物行为的特征和体温信息的特征中，使得本发明实施例可以对宠物的健康状态变化进行预测。
43.例如，在一些实施例中，在一个家庭或者社区的宠物群体之中，具有猫、狗等若干动物种类的宠物，在动物种类之中又具有若干社交团体，社交团体例如以宠物的住区、主人关系、宠物家庭关系等划分，本实施例中考虑到宠物健康与其接触概率较大的其他宠物的健康状态也具有较大关系，通过对宠物社交关系圈中的宠物健康特征的提取，综合判断宠物的健康状态。
44.步骤四、将所述第一宠物活动图像输入所述诉求分析模型以获得所述宠物诉求，并控制宠物设备动作以响应所述宠物诉求。
45.优选地，在一些实施例中，所述宠物设备包括投食器、饮水机、宠物厕所和空调中的一种或多种的组合。通过宠物设备和诉求分析模型的通讯连接以控制宠物设备对宠物诉求进行响应。
46.步骤五、将响应后的所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输入所述健康状态分析模型以输出宠物健康状态分析结果。
47.较佳地，在一些实施例中，方法还包括：比较所述概率与预设阈值，若所述概率小于所述预设阈值则进行就医提醒。
48.本发明第二方面实施例提供一种基于图像识别的宠物状态分析装置，如图4所示，
包括：诉求模型训练模块，用于采集第一宠物活动图像并进行诉求标注以构建第一训练数据集，基于所述第一训练数据集进行模型训练以获得诉求分析模型，所述第一宠物活动图像为宠物诉求得到响应之前的宠物活动图像；状态模型训练模块，用于采集所述宠物诉求得到响应后的第二宠物活动图像、宠物信息和体温信息并进行健康状态标注以构建第二训练数据集，基于所述第二训练数据集进行模型训练以获得健康状态分析模型；信息登记模块，用于对宠物进行宠物信息登记，并实时获取所述宠物活动图像和体温信息，所述宠物信息包括宠物年龄段和宠物社交关系信息；诉求分析模块，将所述第一宠物活动图像输入所述诉求分析模型以获得所述宠物诉求，并控制宠物设备动作以响应所述宠物诉求；状态分析模块，将响应后的所述第二宠物活动图像、所述宠物信息、所述宠物诉求和所述体温信息输入所述健康状态分析模型以输出宠物健康状态分析结果。
49.本发明第三方面实施例提供一种电子设备，如图5所示，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如上任一实施例所述的基于图像识别的宠物状态分析方法。
50.本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述的基于图像识别的宠物状态分析方法。
51.计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cdrom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
52.专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
53.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cdrom、或技术领域内所公知的任意其它形式的存储介质中。
54.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含
在本发明的保护范围之内。