一种基于笔尖定位并获取笔迹的方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于笔尖定位并获取笔迹的方法。


背景技术：

2.目前书写轨迹获取往往是通过带有传感器的笔与终端设备连接，传输书写信息，但这种笔往往价格昂贵，无法普及。当前还缺少实时、精准定位书写时的笔尖并保存书写运动轨迹，以用于实时书写文字识别的有效方法。


技术实现要素：

3.针对现有技术的不足，本发明旨在提供一种基于笔尖定位并获取笔迹的方法。
4.为了实现上述目的，本发明采用如下技术方案：
5.一种基于笔尖定位并获取笔迹的方法，具体过程为：
6.s1、利用摄像头获取一帧视频图像i1；
7.s2、从图像i1中检测出包含握笔姿势的手部边界框b1；
8.s3、将手部边界框b1向外扩展设定的比例f后得到边界框b2，并沿边界框b2裁剪出图像i2；
9.s4、对图像i2进行检测，获取笔尖的粗略关键点p以及笔杆倾斜角θ，所述笔杆倾斜角θ是指笔杆的中轴线和水平线之间的夹角；
10.s5、以粗略关键点p为起点，笔尖方向为笔杆倾斜正方向，与笔尖相反的方向为笔杆倾斜反方向；沿笔杆倾斜正方向延长与边界框b2相交于点n，沿笔杆倾斜反方向延长与边界框b2相交于m，并取线段pm的中点s；
11.s6、以p点为中心，将图像旋转至标准角β，同时将旋转后的点s记为s’，旋转后的点n记为n’；所述标准角β为样本数据中所有笔杆的倾斜角的平均值；
12.s7、以点s’和点n’作为矩形两个顶点，围成矩形框，并裁剪出图像i3；
13.s8、对图像i3进行检测，获取笔尖精细关键点q，将点q保存至轨迹队列；
14.s9、获取下一帧视频图像并重复步骤s2
‑
s8。
15.进一步地，上述方法中，f的取值为10％
‑
20％。
16.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
17.一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。
18.本发明的有益效果在于：本发明对每帧图像进行实时处理，通过增加放大视野、检测角度、对笔杆角度标准化处理，能更精确、更稳定地检测笔尖关键点及运动轨迹。
附图说明
19.图1为本发明实施例中方法的实例示意图。
具体实施方式
20.以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
21.本实施例提供一种基于笔尖定位并获取笔迹的方法，具体过程为：
22.s1、利用摄像头获取一帧视频图像i1，如图1所示。
23.s2、从图像i1中检测出包含握笔姿势的手部边界框b1。其中可以采用通用目标检测模型进行检测。
24.s3、将手部边界框b1向外扩展设定的比例f(10％
‑
20％)后得到边界框b2，并沿边界框b2裁剪出图像i2。
25.s4、对图像i2进行检测，获取笔尖的粗略关键点p以及笔杆倾斜角θ，所述笔杆倾斜角θ是指笔杆的中轴线和水平线之间的夹角。其中，可以采用基于cnn卷积神经网络的关键点检测模型进行检测，模型基于回归方法训练。
26.s5、以粗略关键点p为起点，笔尖方向为笔杆倾斜正方向，与笔尖相反的方向为笔杆倾斜反方向；沿笔杆倾斜正方向延长与边界框b2相交于点n，沿笔杆倾斜反方向延长与边界框b2相交于m，并取线段pm的中点s。
27.s6、以p点为中心，将图像旋转至标准角β，同时将旋转后的点s记为s’，旋转后的点n记为n’；所述标准角β为样本数据中所有笔杆的倾斜角的平均值；
28.s7、以点s’和点n’作为矩形两个顶点，围成矩形框，并裁剪出图像i3。
29.s8、对图像i3进行检测，获取笔尖精细关键点q，将点q保存至轨迹队列；检测具体可采用基于cnn卷积神经网络的关键点模型，模型基于回归方法训练。
30.s9、获取下一帧视频图像并重复步骤s2
‑
s8。
31.最终的轨迹队列由一系列视频图像的笔尖精细关键点q组成，从而获取得到笔迹。
32.对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。


技术特征：
1.一种基于笔尖定位并获取笔迹的方法，其特征在于，具体过程为：s1、利用摄像头获取一帧视频图像i1；s2、从图像i1中检测出包含握笔姿势的手部边界框b1；s3、将手部边界框b1向外扩展设定的比例f后得到边界框b2，并沿边界框b2裁剪出图像i2；s4、对图像i2进行检测，获取笔尖的粗略关键点p以及笔杆倾斜角θ，所述笔杆倾斜角θ是指笔杆的中轴线和水平线之间的夹角；s5、以粗略关键点p为起点，笔尖方向为笔杆倾斜正方向，与笔尖相反的方向为笔杆倾斜反方向；沿笔杆倾斜正方向延长与边界框b2相交于点n，沿笔杆倾斜反方向延长与边界框b2相交于m，并取线段pm的中点s；s6、以p点为中心，将图像旋转至标准角β，同时将旋转后的点s记为s’，旋转后的点n记为n’；所述标准角β为样本数据中所有笔杆的倾斜角的平均值；s7、以点s’和点n’作为矩形两个顶点，围成矩形框，并裁剪出图像i3；s8、对图像i3进行检测，获取笔尖精细关键点q，将点q保存至轨迹队列；s9、获取下一帧视频图像并重复步骤s2
‑
s8。2.根据权利要求1所述的方法，其特征在于，f的取值为10％
‑
20％。3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1
‑
2任一所述的方法。4.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现权利要求1
‑
2任一所述的方法。

技术总结
本发明公开了一种基于笔尖定位并获取笔迹的方法及装置，对每帧图像进行实时处理，通过增加放大视野、检测角度、对笔杆角度标准化处理，能更精确、更稳定地检测笔尖关键点及运动轨迹。动轨迹。动轨迹。


技术研发人员：傅元弟
受保护的技术使用者：读书郎教育科技有限公司
技术研发日：2021.07.13
技术公布日：2021/10/28