高稳定性的图像抓取识别方法、系统及台灯与流程

1.本发明属于图像处理技术领域，具体涉及高稳定性的图像抓取识别方法、系统及台灯。


背景技术：

2.近年来，随着计算机视觉、图像处理、人工智能等技术的快速发展，图像抓取技术已成为新的发展热点。目前的图像抓取技术主要是依靠静态检测算法来抓取静态图像，由于静态检测算法容易受到环境、光照、地面倾斜度以及目标运动速度等的影响，使得抓取到的图像清晰度不够，从而导致后期图像识别效果较差，且在目标移动过程中也会出现误抓取图像的情况。


技术实现要素：

3.针对现有技术中的缺陷，本发明提供了一种高稳定性的图像抓取识别方法、系统及台灯，能够抓取到稳定清晰的环境图像，避免了目标移动过程中误抓取环境图像的情况。
4.第一方面，一种高稳定性的图像抓取识别方法，包括：
5.通过第一图像通道采集实时的环境图像；
6.当识别出实时的环境图像包含静止的目标时，生成抓取指令；
7.当接收到抓取指令后，通过第二图像通道采集当前的环境图像；
8.将当前的环境图像上传至云端；
9.接收云端返回的识别结果。
10.进一步地，实时的环境图像中静止的目标的识别方法包括：
11.将实时的环境图像输入至目标识别模型；
12.根据目标识别模型的输出判断实时的环境图像是否包含静止的目标。
13.进一步地，目标识别模型的训练方法包括：
14.采集多张不同目标在移动状态下的图像，以得到负样本；
15.采集多张不同目标在静止状态下的图像，以得到正样本；
16.对负样本和正样本进行训练，以得到目标识别模型。
17.进一步地，目标识别模型的输出包括识别分值；
18.识别分值和环境图像包含静止的目标的可能性为线性关系。
19.进一步地，将当前的环境图像上传至云端具体包括：
20.截取当前的环境图像中包含目标的部分图像，以得到截图；
21.将截图上传至云端。
22.进一步地，截取当前的环境图像中包含目标的部分图像具体包括：
23.获取目标坐标；
24.在当前的环境图像中，根据目标坐标截取指定大小的部分图像。
25.进一步地，第一图像通道和第二图像通道为camera isp中开启的两路camera接口
通路。
26.进一步地，目标包括手指；环境图像为指读图像。
27.第二方面，一种台灯，包括第一方面的高稳定性的图像抓取识别方法。
28.第三方面，一种高稳定性的图像抓取识别系统，包括：
29.第一图像通道和第二图像通道均用于采集环境图像；
30.识别单元：用于控制第一图像通道采集实时的环境图像；当识别出实时的环境图像包含静止的目标时，生成抓取指令；当接收到抓取指令后，控制第二图像通道采集当前的环境图像；将当前的环境图像上传至云端；接收云端返回的识别结果；
31.云端：用于对当前的环境图像进行识别，返回识别结果给识别单元。
32.由上述技术方案可知，本发明提供的图像抓取识别方法、系统及台灯，能够抓取到稳定清晰的环境图像，增强环境图像的识别效果，避免了目标移动过程中误抓取环境图像的情况。
附图说明
33.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
34.图1为实施例提供的图像抓取识别方法的流程图。
35.图2为实施例提供的静止目标的识别方法流程图。
36.图3为实施例提供的目标识别模型的训练方法流程图。
37.图4为实施例提供的负样本的图像示意图。
38.图5为实施例提供的正样本的图像示意图。
39.图6为实施例提供的图像上传的方法流程图。
40.图7为实施例提供的截图方法的流程图。
41.图8为实施例提供的台灯的示意图。
具体实施方式
42.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
43.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
44.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
45.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0046]
实施例：
[0047]
一种高稳定性的图像抓取识别方法，参见图1，包括：
[0048]
s1：通过第一图像通道采集实时的环境图像；
[0049]
s2：当识别出实时的环境图像包含静止的目标时，生成抓取指令；
[0050]
s3：当接收到抓取指令后，通过第二图像通道采集当前的环境图像；
[0051]
s4：将当前的环境图像上传至云端；
[0052]
s5：接收云端返回的识别结果。
[0053]
在本实施例中，环境图像可以通过摄像头拍摄采集，这样第一图像通道和第二图像通道可以是不同摄像头的输出通道，也可以是同一个摄像头不同的输出通道。第一图像通道和第二图像通道原则上要保证同一个拍摄视角，即在同一时刻内第一图像通道和第二图像通道采集的环境图像是相同的。第一图像通道和第二图像通道的区别在于环境图像的采集触发条件不同。第一图像通道用于实时采集环境图像，例如第一图像通道可以在设备开机、或开启图像抓取识别功能时持续采集环境图像，第二图像通道只有在接收到抓取指令后才采集当前的环境图像，并且第二图像通道在采集到一帧当前的环境图像后，可以停止采集环境图像。该图像抓取识别方法通过一路图像通道持续采集环境图像，当目标静止时通过另一路图像通道采集环境图像，不仅保证了图像抓取的实时性，还避免了两种环境图像采集时出现混淆，误抓取到目标移动时的环境图像的情况。
[0054]
在本实施例中，当识别出实时的环境图像包含静止的目标时，说明此时目标是静止的，不是移动状态，此时可以抓取目标静止条件下的环境图像，抓取指令用于控制第二图像通道开始采集，例如抓取指令可以是控制第二图像通道对应的摄像头开始工作的指令。由于目标静止，所以抓取到的环境图像的清晰度较高，稳定性更好，避免了抓取到由于目标移动导致环境图像模糊的图像。图像抓取识别方法抓取到清晰度较高，稳定性更好的环境图像后，上传至云端，云端根据分析需求识别环境图像，并返回识别结果。
[0055]
该图像抓取识别方法适用于相机静态抓拍、野外动物的图像抓拍、指读过程的手指静态抓拍等等。例如在野外动物的图像抓拍过程中，目标为野外动物，环境图像是包含野外动物的背景图像。在指读过程的手指静态抓拍过程中，目标为手指，环境图像为包含手指的指读图像，例如当手指在书本上移动时，得到的环境图像包括书本以及移动的手指，当手指在书本上指读时，得到的环境图像包括书本以及静止的手指。
[0056]
该图像抓取识别方法，能够抓取到稳定清晰的环境图像，增强环境图像的识别效果，避免了目标移动过程中误抓取环境图像的情况。
[0057]
以下以手指指读这一使用场景为例，对图像抓取识别方法进行说明。
[0058]
进一步地，在一些实施例中，参见图2，实时的环境图像中静止的目标的识别方法包括：
[0059]
s11：将实时的环境图像输入至目标识别模型；
[0060]
s12：根据目标识别模型的输出判断实时的环境图像是否包含静止的目标。
[0061]
在本实施例中，在手指指读时，将实时采集到的指读图像输入至目标识别模型中，判断指读图像是否包含静止的手指。目标识别模型可以是利用深度学习方法训练得到的神
经网络模型。该图像抓取识别方法利用目标识别模型判断环境图像的目标是否静止，识别精度高，覆盖范围广，学习能力强。
[0062]
进一步地，在一些实施例中，参见图3，目标识别模型的训练方法包括：
[0063]
s21：采集多张不同目标在移动状态下的图像，以得到负样本；
[0064]
s22：采集多张不同目标在静止状态下的图像，以得到正样本；
[0065]
s23：对负样本和正样本进行训练，以得到目标识别模型。
[0066]
在本实施例中，在手指指读时，可以采集10000张不同手指移动指读或者是在指读过程中手指移动的图像，作为负样本，参见图4，图4由于手指移动会导致图像不太清晰。采集10000张不同手指在指读过程中手指静止的图像，作为正样本，参见图5，相比图4，图5的清晰度更高。然后通过tensorflow(符号数字系统)进行正样本和负样本的训练，得到目标识别模型。假设该图像抓取识别方法是在pc端完成目标识别模型的训练，那么就需要将pc端训练得到的目标识别模型转换为设备端的目标识别模型，这样当将该图像抓取识别方法加载在设备上使用时，能保证该图像抓取识别方法在设备上正常使用。这样，该图像抓取识别方法为了有效识别出手指的静态图像，通过深度学习将手指的静态图像和动态图像分别做正样本和负样本进行训练，并利用得到的目标识别模型进行判断，提高了识别的准确度。
[0067]
进一步地，在一些实施例中，目标识别模型的输出包括识别分值；
[0068]
识别分值和环境图像包含静止的目标的可能性为线性关系。
[0069]
在本实施例中，目标识别模型可以输出识别分值，用来判断环境图像是否包含静止的目标。例如假设当识别分值越高时，环境图像包含静止的目标的可能性越高，当识别分值越低时，环境图像包含静止的目标的可能性越低，所以当目标识别模型输出的识别分值大于预设值时，认为环境图像包含静止的目标。识别分值和环境图像包含静止的目标的可能性线性相关，例如识别分值越高，环境图像包含静止的目标的可能性越高；或者是识别分值越低，环境图像包含静止的目标的可能性越高。
[0070]
进一步地，在一些实施例中，参见图6，将当前的环境图像上传至云端具体包括：
[0071]
s31：截取当前的环境图像中包含目标的部分图像，以得到截图；
[0072]
s32：将截图上传至云端。
[0073]
在本实施例中，该图像抓取识别方法在上传环境图像时，可以不用上传整个环境图像，只需要上传目标附近的图像即可，这样一方面减少了上传的数据量，也减轻了云端的识别工作量。例如在手指指读时，仅需要在当前的环境图像中截取手指附近的图像上传即可，由于手指指读时，云端只需要识别出手指所指位置处的文字信息即可，所以仅需将手指附近的图像上传，就能使云端准确识别出手指所指位置处的文字信息。
[0074]
进一步地，在一些实施例中，参见图7，截取当前的环境图像中包含目标的部分图像具体包括：
[0075]
s41：获取目标坐标；
[0076]
s42：在当前的环境图像中，根据目标坐标截取指定大小的部分图像。
[0077]
在本实施例中，该图像抓取识别方法在截图时，可以根据目标坐标截图，这样就能截取到目标附近的图像，例如在手指指读时，可以根据手指坐标截取长为320个像素，宽为240个像素的图像，例如假设手指坐标为(x，y)，x为长度上的坐标，y为宽度上的坐标，截取长度坐标在(x-160)～(x 160)之间、宽度坐标在(y-240)～y之间的图像。目标坐标可以在
识别到实时的环境图像包含静止的目标时获取。
[0078]
进一步地，在一些实施例中，第一图像通道和第二图像通道为camera isp中开启的两路camera接口通路。
[0079]
在本实施例中，camera isp为相机中的图像信号处理器。在手指指读时，一路camera接口通路提供手指静态的判断，一路camera接口通路用于当手指静止时抓取图像。
[0080]
一种台灯，包括上述高稳定性的图像抓取识别方法。
[0081]
在本实施例中，参见图8，可以在台灯上设置摄像头，当将台灯放置在桌面上时，摄像头的拍摄角度朝向桌面，摄像头的拍摄视野见图8所示的纵向视野范围，纵向视野范围以摄像头中轴线为核心，纵向视野长度为长度形成。摄像头靠近台灯的区域为盲区。当将上述图像抓取识别方法加载在台灯上，当用户使用时，将书本放置在摄像头的纵向视野范围内，并进行手指指读，那么摄像头就能采集到包含手指的指读图像，并完成指读识别的过程。
[0082]
本发明实施例所提供的台灯，为简要描述，实施例部分未提及之处，可参考前述实施例中相应内容。
[0083]
一种高稳定性的图像抓取识别系统，包括：
[0084]
第一图像通道和第二图像通道均用于采集环境图像；
[0085]
识别单元：用于控制第一图像通道采集实时的环境图像；当识别出实时的环境图像包含静止的目标时，生成抓取指令；当接收到抓取指令后，控制第二图像通道采集当前的环境图像；将当前的环境图像上传至云端；接收云端返回的识别结果；
[0086]
云端：用于对当前的环境图像进行识别，返回识别结果给识别单元。
[0087]
进一步地，在一些实施例中，识别单元具体用于：
[0088]
将实时的环境图像输入至目标识别模型；
[0089]
根据目标识别模型的输出判断实时的环境图像是否包含静止的目标。
[0090]
进一步地，在一些实施例中，目标识别模型的训练方法包括：
[0091]
采集多张不同目标在移动状态下的图像，以得到负样本；
[0092]
采集多张不同目标在静止状态下的图像，以得到正样本；
[0093]
对负样本和正样本进行训练，以得到目标识别模型。
[0094]
进一步地，在一些实施例中，目标识别模型的输出包括识别分值；
[0095]
识别分值和环境图像包含静止的目标的可能性为线性关系。
[0096]
进一步地，在一些实施例中，识别单元具体用于：
[0097]
截取当前的环境图像中包含目标的部分图像，以得到截图；
[0098]
将截图上传至云端。
[0099]
进一步地，在一些实施例中，识别单元具体用于：
[0100]
获取目标坐标；
[0101]
在当前的环境图像中，根据目标坐标截取指定大小的部分图像。
[0102]
进一步地，在一些实施例中，第一图像通道和第二图像通道为camera isp中开启的两路camera接口通路。
[0103]
进一步地，在一些实施例中，目标包括手指；环境图像为指读图像。
[0104]
本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述实施例中相应内容。
[0105]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。