笔尖定位方法、装置、终端设备及存储介质与流程

技术特征：
1.一种笔尖定位方法，其特征在于，包括：识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像；其中，所述第一图像包括笔尖区域和所述握笔人手的至少部分区域；利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述笔尖检测模型是由多个第一样本图像及各个所述第一样本图像对应的标定笔尖坐标训练得到的，所述第一样本图像包括笔尖区域和握笔人手的至少部分区域。2.根据权利要求1所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：通过手笔区域检测模型识别当前帧图像中包含的握笔手指，提取所述握笔手指中第一个指节的特征，并根据所述第一个指节的特征确定目标手笔区域；其中，所述手笔区域检测模型是由多个第二样本图像及各个所述第二样本图像对应的标定手笔区域训练得到的，所述第二样本图像包括笔尖区域和握笔人手的整个手部区域；从所述当前帧图像中截取所述目标手笔区域，以得到第一图像；其中，所述第一样本图像为所述第二样本图像对应的标定手笔区域内的图像，所述第一样本图像包括笔尖区域和至少部分握笔手指的第一个指节的对应区域。3.根据权利要求1所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：识别当前帧图像中包含的握笔人手的第一手部区域；根据预设的第一尺寸调整参数扩大所述第一手部区域，以确定包括笔尖的第一图像区域；从所述当前帧图像中截取所述第一图像区域，以得到第一图像；其中，所述第一样本图像包括笔尖区域和握笔人手的整个手部区域。4.根据权利要求3所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手的第一手部区域，包括：获取上一帧图像中包含的握笔人手的第二手部区域；根据预设的位移参数对所述第二手部区域的位置进行调整，以确定当前帧图像中包含的握笔人手的第一手部区域。5.根据权利要求1-4任一项所述的方法，其特征在于，所述利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标之后，所述方法还包括：根据所述当前帧图像对应的目标笔尖坐标和上一帧图像对应的目标笔尖坐标，计算笔尖对应的移动距离值；若所述移动距离值大于移动距离阈值时，则确定所述当前帧图像对应的目标笔尖坐标为无效坐标。6.根据权利要求5所述的方法，其特征在于，所述确定所述当前帧图像对应的目标笔尖坐标为无效坐标之后，所述方法还包括：获取多个目标帧图像对应的目标笔尖坐标；其中，所述目标帧图像为在所述当前帧图像之前采集的图像，且所述目标帧图像对应的目标笔尖坐标均为有效坐标；利用预设跟踪算法处理各个所述目标帧图像对应的目标笔尖坐标，以获取所述笔尖的
运动曲线，并根据所述运动曲线，预测得到所述当前帧图像对应的有效的目标笔尖坐标。7.根据权利要求1-4任一项所述的方法，其特征在于，所述笔尖检测模型包括轻量级骨干网络和回归器，所述利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标，包括：通过所述轻量级骨干网络提取所述第一图像的图像特征；通过所述回归器对所述图像特征进行回归处理，以确定所述当前帧图像对应的目标笔尖坐标。8.一种笔尖检测装置，其特征在于，包括图像提取单元，用于识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像；其中，所述第一图像包括笔尖区域和所述握笔人手的至少部分区域；笔尖检测单元，用于利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述笔尖检测模型是由多个第一样本图像及各个所述第一样本图像对应的标定笔尖坐标训练得到的，所述第一样本图像包括笔尖区域和握笔人手的至少部分区域。9.一种终端设备，其特征在于，包括存储有可执行程序代码的存储器；以及所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时，使得所述处理器实现如权利要求1-7中任一所述的方法。

技术总结
本申请实施例公开了一种笔尖定位方法、装置、终端设备及存储介质，该笔尖定位方法可以包括：识别当前帧图像中包含的握笔人手，并从当前帧图像中确定第一图像；其中，第一图像包括笔尖区域和握笔人手的至少部分区域；利用笔尖检测模型对第一图像进行笔尖检测，以得到当前帧图像对应的目标笔尖坐标；其中，笔尖检测模型是由多个第一样本图像及各个第一样本图像对应的标定笔尖坐标训练得到的，第一样本图像包括笔尖区域和握笔人手的至少部分区域。通过实施该方法，可以实现实时且精准的笔尖定位。位。位。


技术研发人员：王丰焱 胡东平 杨宗武
受保护的技术使用者：广东小天才科技有限公司
技术研发日：2022.04.12
技术公布日：2023/10/25