高尔夫挥杆智能镜的制作方法

1.本发明涉及一种高尔夫挥杆练习器。


背景技术：

2.高尔夫挥杆练习器又称高尔夫智能分析仪、高尔夫挥杆练习器，是智能分析球手高尔夫挥杆动作的高科技设备。目前比较常见的高尔夫挥杆练习器有wica高尔夫挥杆练习器，wica高尔夫挥杆练习器可以记录球手挥杆过程的视频，并将其传输至球手随身携带的移动智能终端(例如：手机、平板等)，球手利用移动智能终端上的app进行视频回放，以查看挥杆动作是否符合预期。
3.使用wica高尔夫挥杆练习器时，球手需要将设备固定在身旁后，通过移动智能终端对设备进行控制，包括开始录制、进行回放、画线、对比、调整曝光等，所有这些功能都必须在app上进行手动操作。因此，现有的wica高尔夫挥杆练习器存在如下问题：
4.第一、操作复杂：
5.高尔夫挥杆练习器的初衷便是能够代替教练等专业指导者来帮助球手进行挥杆练习。但挥杆练习过程中，需要时刻通过app来对高尔夫挥杆练习器进行控制，十分不便捷。
6.第二、提供的数据有限：
7.wica高尔夫挥杆练习器只能提供一个回放的视频数据，不能直截了当地获取视频数据中的重要信息，如：无法直接获得挥杆过程中重要动作的视频段，例如起杆视频、上杆顶点视频等。每次都需要球手自己通过“播放”、“暂停”并自己画线的方式来进行分析，从回传的视频数据中挑选重要动作的视频段。因此，球手在使用wica高尔夫挥杆练习器进行挥杆动作分析时，往往需要花费大量的时间对视频数据进行手动处理，使得练习效率大打折扣。


技术实现要素：

8.本发明要解决的技术问题是：现有的高尔夫挥杆练习器的操作复杂且无法提供重要动作的视频段。
9.为了解决上述技术问题，本发明的技术方案是提供了一种高尔夫挥杆智能镜，与有线或无线方式与移动智能终端进行互联，其特征在，所述高尔夫挥杆智能镜包括：
10.图像捕捉模块，用于捕捉图像数据，与高尔夫挥杆智能镜互联的移动智能终端能够实时显示通过图像捕捉模块捕捉到的图像；
11.ai计算平台，与图像捕捉模块组合在一起后安装在壳体内，实时获取图像捕捉模块捕捉到的图像数据，并进行ai计算处理；
12.为实现ai计算处理，ai计算平台上运行有：
13.定位检测单元，若定位检测单元未检测到用户，则定位检测单元以固定的检测周期检测检测框内是否有站立的用户；若检测单元检测到用户，则激活人体骨骼检测单元；当定位检测单元检测到用户后，激活人体骨骼检测单元；
14.人体骨骼检测单元基于图像捕捉模块捕捉的图像数据采用人体骨骼检测算法实时检测n个目标骨骼点的骨骼数据，骨骼数据为每个骨骼点的像素坐标；当人体骨骼检测单元检测到目标骨骼点的骨骼数据后，将骨骼数据发送给姿态检测模块；
15.姿态检测模块基于目标骨骼点的骨骼数据识别用户的目标人体部位的位置，再基于识别出的目标人体部位相互之间的位置关系对用户在高尔夫挥杆过程中的不同挥杆姿态进行检测，其中，挥杆姿态包括准备、起杆、上杆、顶点、下杆、击球、送杆以及收杆；当姿态检测模块检测到挥杆姿态为准备时，启动视频录制模块以及划线标注模块；当姿态检测模块检测到挥杆姿态为收杆时，停止视频录制模块以及划线标注模块，并启动视频回放模块；
16.划线标注模块，在图像捕捉模块捕捉到的图像数据时划线标注出目标人体部位，并且在每个视频帧中保留挥杆姿态为准备时用于标注出目标人体部位的线段；
17.视频录制模块，录制经过划线标注模块处理的图像数据；
18.视频回放模块，用于通过移动智能终端播放由视频录制模块录制的图像数据。
19.优选地，所述壳体具有标准相机三角架螺纹底座，利用相机三角架将所述高尔夫挥杆智能镜稳定地放置在地面上。
20.优选地，所述定位检测单元判断是否检测到用户时，使移动智能终端显示的图像中显示检测框，定位检测单元获得图像捕捉模块捕捉的图像数据后，判断检测框内是否有站立的用户，进而判断是否检测到用户。
21.优选地，所述定位检测单元检测到用户后，利用移动智能终端向用户给出做挥杆准备动作的提示。
22.优选地，所述目标骨骼点分别为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左跨、右跨、左膝盖、右膝盖、左脚踝、右脚踝和脖子。
23.优选地，姿态检测模块基于目标骨骼点的骨骼数据识别用户的头部、肩部、手肘、手腕、跨部、膝盖、脚踝和/或脊柱。
24.优选地，所述人体骨骼检测单元所采用的人体骨骼检测算法包括以下步骤：
25.步骤1、对图像数据进行预处理，包括图像增强以及高斯滤波，以增强图像的对比度，并且降低低照度噪声；
26.步骤2、将图像的分辨率缩放为224
×
224，将固定分辨率大小的图像送入预训练好的n层残差神经网络，由n层残差神经网络推理输出两张分辨率为56
×
56的热力图：其中一张热力图显示每个像素点为n个目标骨骼点中任意一个的概率，另外一张热力图显示某个像素点作为某个目标骨骼点与其他目标骨骼点有联通关系的概率；
27.步骤3、通过预先设置好的阈值，从n层残差神经网络输出的两张热力图中提取出位于视频画面最中心且离图像捕捉模块最近的人体骨骼信息；
28.步骤4、对人体骨骼信息进行数据后处理，包括多帧数据的平滑滤波处理以及根据每个骨骼点的置信度进行矫正，从而获得n个目标骨骼点的骨骼数据。
29.优选地，步骤2中，将n层残差神经网络以tensort框架部署在ai计算平台的gpu上。
30.优选地，所述视频回放模块控制所述移动智能终端播放至少两个播放画面，其中一个播放画面用于播放视频录制模块录制的图像数据，另一个播放画面用于播放标准挥杆视频。
31.优选地，还包括手势识别模块，用于识别用户的控制手势动作，移动智能终端的显
示画面通过手势操作进行控制。
32.本发明所提供的一种高尔夫挥杆智能镜是一款创新性的高尔夫挥杆动作捕捉分析智能设备，使用简单便捷，适合于高尔夫爱好者优化改善自己的挥杆动作，为发现和纠正挥杆问题提高帮助。本发明内置wifi连接终端app显示，可以自动捕捉挥杆动作，自动进行回放，并提供辅助分析和视频对比，为每次挥杆提供即时的直观反馈，同时支持手势交互，大大提高高尔夫练习和训练水平。
33.本发明内置高速相机，在低亮度的情况下，也能提供高速挥杆动作的清晰画面。本发明的外形以方便携带和安装为设计理念，将相机和ai计算平台用最小空间组合在一起，拥有标准相机三角架螺纹底座，便于安装。
附图说明
34.图1为本发明的流程图。
具体实施方式
35.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
36.本发明公开的一种高尔夫挥杆智能镜可以通过wifi等已有的通信手段与移动智能终端(例如：平板电脑或者智能手机等)进行互联，包括：
37.图像捕捉模块，随高尔夫挥杆智能镜一起启动，用于捕捉图像数据，与高尔夫挥杆智能镜互联的移动智能终端能够实时显示通过图像捕捉模块捕捉到的图像。本实施例中，图像捕捉模块采用高速相机，即使在低亮度的情况下，也能提供清晰画面。
38.ai计算平台，与图像捕捉模块以最小空间组合在一起后安装在壳体内，实时获取图像捕捉模块捕捉到的图像数据，并进行ai计算处理。
39.壳体具有标准相机三角架螺纹底座，利用相机三角架可以将本发明提供的高尔夫挥杆智能镜稳定地放置在地面上。
40.为实现ai计算处理，ai计算平台上运行有：
41.定位检测单元，用于使移动智能终端显示的图像中显示检测框，定位检测单元获得图像捕捉模块捕捉的图像数据后，判断检测框内是否有站立的用户：若定位检测单元未检测到用户，则定位检测单元以固定的检测周期检测检测框内是否有站立的用户；若检测单元检测到用户，则激活人体骨骼检测单元。
42.本实施例中，当定位检测单元检测到用户后，利用移动智能终端向用户给出做挥杆准备动作的提示，同时，激活人体骨骼检测单元。
43.人体骨骼检测单元基于图像捕捉模块捕捉的图像数据采用人体骨骼检测算法实时检测18个骨骼点的骨骼数据。本实施例中，骨骼数据为每个骨骼点的像素坐标。前述18个骨骼点分别为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左跨、右跨、左膝盖、右膝盖、左脚踝、右脚踝和脖子。当人体骨骼检测单元检测到所有18个骨骼点的骨骼数据后，将骨骼数据发送给姿态检测模块。
44.本实施例中，人体骨骼检测单元所采用的人体骨骼检测算法包括以下步骤：
45.步骤1、对图像数据进行预处理，包括图像增强以及高斯滤波，以增强图像的对比度，并且降低低照度噪声。
46.步骤2、将图像的分辨率缩放为224
×
224，将固定分辨率大小的图像送入预训练好的18层残差神经网络resnet18，由18层残差神经网络resnet18推理输出两张分辨率为56
×
56的热力图。其中一张热力图显示每个像素点为18个骨骼点中任意一个的概率，另外一张热力图显示某个像素点作为某个骨骼点与其他骨骼点有联通关系的概率。本实施例中，以0-1表示概率，“0”表示“没有”，“1”表示“有”。
47.为了最大程度地加速推理速度，将18层残差神经网络resnet18以tensort框架部署在ai计算平台的gpu上。
48.步骤3、通过预先设置好的阈值，从18层残差神经网络resnet18输出的两张热力图中提取出位于视频画面最中心且离图像捕捉模块最近的人体骨骼信息。
49.步骤4、对人体骨骼信息进行数据后处理，包括多帧数据的平滑滤波处理以及根据每个骨骼点的置信度进行矫正，从而获得18个骨骼点的骨骼数据。
50.姿态检测模块基于鼻子、左眼、右眼、左耳、右耳的骨骼数据识别用户的头部位置，基于左肩、右肩的骨骼数据分别识别用户的左肩、右肩位置，基于左手肘、右手肘的骨骼数据分别识别用户的左手肘、右手肘位置，基于左手腕、右手腕的骨骼数据分别识别用户的左手腕、右手腕位置，基于左跨、右跨的骨骼数据分别识别用户的左跨、右跨位置，基于左膝盖、右膝盖的骨骼数据分别识别用户的左膝盖、右膝盖位置，基于左脚踝、右脚踝的骨骼数据分别识别用户的左脚踝、右脚踝位置，基于脖子的骨骼数据识别用户的脊柱位置。姿态检测模块基于识别出的头部、肩部、手肘、手腕、跨部、膝盖、脚踝和/或脊柱相互之间的位置关系对用户在高尔夫挥杆过程中的不同挥杆姿态进行检测，其中，挥杆姿态包括准备、起杆、上杆、顶点、下杆、击球、送杆以及收杆。当姿态检测模块检测到挥杆姿态为准备时，启动视频录制模块以及划线标注模块；当姿态检测模块检测到挥杆姿态为收杆时，停止视频录制模块以及划线标注模块，并启动视频回放模块。
51.划线标注模块，在图像捕捉模块捕捉到的图像数据时划线标注出头部、肩部、手肘、手腕、跨部、膝盖、脚踝和/或脊柱，不同的人体部位采用不用颜色的线段进行划线标注，并且在每个视频帧中保留挥杆姿态为准备时用于标注出人体部位的线段。
52.视频录制模块，录制经过划线标注模块处理的图像数据。
53.视频回放模块，用于通过移动智能终端播放由视频录制模块录制的图像数据。本实施例中，视频回放模块控制移动智能终端播放至少两个播放画面，其中一个播放画面用于播放视频录制模块录制的图像数据，另一个播放画面用于播放标准挥杆视频。
54.手势识别模块，用于识别用户的控制手势动作，移动智能终端的显示画面切换、回放速度等通过手势操作进行控制，快捷方便，减少对挥杆节凑的影响。
55.本发明采用人体姿态检测和深度神经网络检测算法的方式，实现匹配标准姿态来进行控制操作，替代手机等设备的手动控制，避免了练习者频繁使用手机来进行操控的繁琐操作。本发明通过智能化的机器学习算法，自动对挥杆动作进行画线分析、动作分解，与标准视频同步对比，从而节约了挥杆练习的时间，提高挥杆练习的效率。