一种图像内容识别方法、装置、设备及存储介质与流程

技术特征：
1.一种图像内容识别方法，其特征在于，所述方法包括：获取待识别图像帧，并确定所述待识别图像帧的状态；若确定所述待识别图像帧的状态为静止状态，则调用对象定位模型对所述待识别图像帧进行处理，并根据对象定位模型的处理结果得到区域图像；调用局部定位模型对所述区域图像进行处理，并根据局部定位模型的处理结果得到热点图像，所述热点图像中包括热点区域；根据所述热点区域在热点图像中的图像位置，从所述待识别图像帧中确定出关联图像；对所述待识别图像帧中的关联图像进行多媒体处理，并输出所述关联图像的多媒体处理结果。2.如权利要求1所述的方法，其特征在于，所述获取待识别图像帧，包括：获取光线传感器对环境进行检测后输出的检测数据；若检测数据满足补光条件，则调用光线传感器进行补光辅助处理，并获取拍摄装置拍摄得到的待识别图像帧；若检测数据不满足补光条件，则获取拍摄装置拍摄得到的待识别图像帧。3.如权利要求1所述的方法，其特征在于，所述确定所述待识别图像帧的状态，包括：获取所述待识别图像帧所在的图像帧集合，该图像帧集合中包括按照时间先后顺序拍摄得到的n个图像帧；通过帧间差异算法分别计算所述图像帧集合中相邻图像帧的帧间差异信息；若根据所述图像帧集合中相邻图像帧的帧间差异信息确定所述待识别图像帧满足静止条件，则判定所述待识别图像帧为静止状态；若图像帧集合中相邻图像帧的帧间差异信息确定所述待识别图像帧不满足静止条件，则将获取到的下一图像帧作为新的待识别图像帧。4.如权利要求3所述的方法，其特征在于，所述通过帧间差异算法分别计算所述图像帧集合中相邻图像帧的帧间差异信息，包括：计算所述图像帧集合中第i 1个图像帧与第i个图像帧之间匹配像素点之间的像素差异值，i为正整数，且i小于n；根据所述像素差异值进行二值化处理，得到所述第i 1个图像帧与第i个图像帧之间的帧间差异二值图，所述帧间差异二值图上的像素值包括第一数值和第二数值，在所述第i 1个图像帧与第i个图像帧的匹配像素点的像素值差值大于预设阈值，则所述帧间差异二值图上相应位置处的像素值为第一数值，否则为第二数值；其中，当对各个帧间差异二值图中值为第一数值的数量进行统计得到的数量值小于数量阈值，则确定所述待识别图像帧满足静止条件。5.如权利要求1所述的方法，其特征在于，所述对象定位模型用于从输入的待识别图像帧中确定目标对象的图像位置，该图像位置用于确定所述区域图像，所述对象定位模型包括主干网络层、分类检测层及预测层；所述主干网络层用于提取所述待识别图像帧在m个不同尺度下的特征子图，m为大于1的整数，m个特征子图的通道数也不相同；所述分类检测层用于确定所述m个不同尺度下的特征子图中的目标对象区域；所述预
测层用于根据各个目标对象区域预测所述目标对象在所述待识别图像帧中的位置及概率。6.如权利要求1或5所述的方法，其特征在于，所述局部定位模型用于从输入的区域图像中确定目标对象的局部对象的图像位置，所述局部定位模型包括特征提取层，特征融合层，反卷积层和像素回归层；所述特征提取层用于提取所述区域图像在p个不同尺度下的特征子图，第j个特征子图的尺度是第j 1个特征子图的尺度的两倍，p为大于1的整数，j为正整数，且j小于p；所述特征融合层用于对第p个特征子图和第p
‑
1个特征子图进行特征融合得到特征图；所述反卷积层用于对所述特征图进行反卷积处理得到热点图像，所述热点图像的尺度为所述区域图像的尺度的一半，所述热点图像包括的热点区域所在位置即为所述目标对象的局部对象的图像位置。7.如权利要求6所述的方法，其特征在于，所述特征融合层对第p个特征子图和第p
‑
1个特征子图进行特征融合得到特征图，包括：对所述第p
‑
1个特征子图进行通道数调整，得到第一融合子图；对所述第p个特征子图进行通道数调整，并对通道数调整后的第p个特征子图进行反卷积处理，得到第二融合子图，所述第二融合子图和所述第一融合子图对应的尺度和通道数相同；对所述第一融合子图和所述第二融合子图进行特征融合，得到特征图。8.如权利要求1所述的方法，其特征在于，对所述待识别图像帧中的关联图像进行多媒体处理，并输出所述关联图像的多媒体处理结果，包括：获取对所述关联图像进行图像识别的内容识别结果；若所述关联图像的内容识别结果为文本内容，则获取所述文本内容对应的文本语音信息，并播放该获取到的文本语音信息；若所述关联图像的识别结果为图像内容，则获取所述图像内容的关联信息，并输出所述关联信息对应的关联语音信息，并播放该获取到的关联语音信息。9.如权利要求1所述的方法，其特征在于，所述根据所述热点区域在热点图像中的图像位置，从所述待识别图像帧中确定出关联图像之后，所述方法还包括：在用户界面上显示所述关联图像，并在所述关联图像上标记显示所述热点区域；若在所述用户界面上检测到取消事件，则显示所述待识别图像帧，并根据所述热点区域的位置在所述待识别图像帧中显示热点标记；响应于检测到的移动操作，在所述待识别图像帧中移动显示所述热点标记；若检测到在移动操作后的确认操作，则获取热点标记当前在所述待识别图像帧中的目标位置，并根据目标位置确定出新的关联图像。10.如权利要求9所述的方法，其特征在于，所述方法还包括：将所述待识别图像帧和所述目标位置作为训练数据对，存储到训练数据集合中；当满足模型更新条件时，根据所述训练数据集合中的各个训练数据对对所述对象定位模型和局部定位模型进行优化训练；其中，当所述训练数据集合中的训练数据对的数量达到预设的数量阈值、或训练时间满足预设的训练时间周期条件时，确定满足模型更新条件。11.一种图像内容识别装置，其特征在于，包括：
获取单元，用于获取待识别图像帧，并确定所述待识别图像帧的状态；处理单元，用于若确定所述待识别图像帧的状态为静止状态，则调用对象定位模型对所述待识别图像帧进行处理，并根据对象定位模型的处理结果得到区域图像；以及用于调用局部定位模型对所述区域图像进行处理，并根据局部定位模型的处理结果得到热点图像，所述热点图像中包括热点区域；以及用于根据所述热点区域在热点图像中的图像位置，从所述待识别图像帧中确定出关联图像；以及用于对所述待识别图像帧中的关联图像进行多媒体处理，并输出所述关联图像的多媒体处理结果。12.一种点读设备，其特征在于，包括：存储装置和处理器；所述存储装置中存储有计算机程序；处理器，执行计算机程序，实现如权利要求1
‑
10任一项所述的图像内容识别方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，如权利要求1
‑
10任一项所述图像内容识别方法被实现。

技术总结
本申请实施例公开了一种图像内容识别方法、装置、设备及存储介质。其中方法包括：获取待识别图像帧，并确定待识别图像帧的状态，若确定待识别图像帧的状态为静止状态，则调用对象定位模型对待识别图像帧进行处理，并根据对象定位模型的处理结果得到区域图像，调用局部定位模型对区域图像进行处理，并根据局部定位模型的处理结果得到热点图像，根据热点区域在热点图像中的图像位置，从待识别图像帧中确定出关联图像，对待识别图像帧中的关联图像进行多媒体处理，并输出关联图像的多媒体处理结果。可提高图像内容识别效率，节省计算资源，并提高了点读设备等设备的识别正确率。提高了点读设备等设备的识别正确率。提高了点读设备等设备的识别正确率。


技术研发人员：陈柱 项小明
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.12.28
技术公布日：2021/10/18