一种智能琴谱翻阅方法

1.本发明涉及一种智能琴谱翻阅方法。


背景技术：

2.目前，在现有技术中，演奏乐器(如：钢琴、管弦类乐器)时大多需要人工手动翻阅琴谱，较为麻烦，还容易打乱演奏者的节奏。随着自动翻阅装置的出现，很多演奏者都会采用自动翻页来辅助演奏，但传统的自动翻页方法一般需要演奏者借助自动翻阅装置上的按键、踏板等机构来控制翻谱，在演奏者快速且紧张的演奏过程中，难免会对演奏产生影响，进而导致现场演奏时出现突发状况，影响非常不好。


技术实现要素：

3.本发明所要解决的技术问题是，克服现有技术的不足，提供一种智能琴谱翻阅方法，可以实现通过眼睛和头部的动作来自动翻谱。
4.为了解决上述技术问题，本发明的技术方案是：
5.一种智能琴谱翻阅方法，它包括：
6.步骤s1、建立演奏者专属id，摄像头在所述专属id下采集演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像，并保存在数据库中；
7.步骤s2、演奏前，演奏者登录专属id，登录后，显示保存的眼部人脸特征图像及摆头动作特征图像；
8.步骤s3、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的n张帧图像；
9.步骤s4、将演奏者人脸图像在1秒内的n张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的n张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作；
10.步骤s5、根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作。
11.进一步，所述步骤s3中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的n张帧图像，具体包括：
12.步骤s31、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集；
13.步骤s32、对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域；
14.步骤s33、确定左右两只眼睛的眼部图像区域及头部图像区域后，对采集到的演奏者人脸图像进行图像区域采集提取，提取出演奏者人脸图像在1秒内的n张帧图像。
15.进一步，所述步骤s31中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，具体包括：
16.摄像头拍摄演奏者人脸图像，利用meanshift算法对演奏者人脸图像采集提取，进
行人脸位置检测和关键点检测。
17.进一步，所述步骤s32中，对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域，具体包括：
18.输入演奏者人脸图像，判断图像中是否为演奏者人脸；
19.若为演奏者人脸，则基于瞳孔反光点的眼睛定位，判断是否定位准确；若定位准确，则输出眼睛坐标；若定位不准确，则基于adaboost算法确定眼睛区域，然后基于图像灰度和几何特征进行眼睛定位；
20.若不是演奏者人脸，则过滤掉除演奏者之外的人脸。
21.进一步，所述步骤s4中将演奏者人脸图像在1秒内的n张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的n张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作，具体包括：
22.将演奏者人脸图像在1秒内的n张帧图像，将1秒内的n张帧图像，放置在n个流动窗口中，将每张帧图像与预存的演奏者的眼部人脸特征图像进行对比筛选；
23.在第一个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
24.在第二个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
25.在第三个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
26.在第四个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
27.在第n个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像。
28.进一步，当多张闭眼帧图像均满足要求时，再进行演奏者的摆头动作特征图像的相似度对比。
29.进一步，所述演奏者的摆头动作特征图像的相似度对比，具体包括：
30.在闭眼帧图像中建立图像坐标系，判断演奏者在摆头过程中眼睛的坐标偏移量是否达到阈值；
31.若眼睛的坐标偏移量达到阈值，则判定演奏者做出了摆头动作；
32.若眼睛的坐标偏移量未达到阈值，则判定演奏者未做出摆头动作。
33.进一步，所述步骤s5中根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作，具体包括：
34.若演奏者做出了向左摆头及闭眼动作，则向前翻一页琴谱；
35.若演奏者做出了向右摆头及闭眼动作，则向后翻一页琴谱。
36.采用了上述技术方案，本发明通过跟踪识别演奏者人脸的特征图像，当若演奏者同时做出了向左摆头及闭眼动作，则向前翻一页琴谱；若演奏者同时做出了向右摆头及闭眼动作，则向后翻一页琴谱，无需演奏者在演奏过程中触碰其他装置来控制翻谱，实现了真正意义上的自动翻谱。本发明采用闭眼和摆头相结合的判定策略，演奏者闭眼的同时还要进行摆头来进行翻谱，可以防止演奏者的生理性眨眼引起翻谱误判。另外，通过本发明的技术方案还可以过滤掉除演奏者之外的人脸，防止摄像头画面中的其他人员引起的翻谱误判采集的演奏者人脸图像，使翻谱控制更加精确。
附图说明
37.图1为本发明的智能琴谱翻阅方法的流程图；
38.图2为本发明的智能琴谱翻阅装置的结构示意图；
39.图3为本发明的眼部图像坐标系。
具体实施方式
40.为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
41.如图1所示，本实施例提供一种智能琴谱翻阅方法，它包括：
42.步骤s1、建立演奏者专属id，摄像头在专属id下采集演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像各20张，并保存在数据库中；
43.步骤s2、演奏前，演奏者登录专属id，登录后，即可显示保存的20张眼部人脸特征图像及摆头动作特征图像；
44.步骤s3、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的n张帧图像；
45.步骤s4、将演奏者人脸图像在1秒内的n张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的n张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作；
46.步骤s5、根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作。
47.具体地，本实施例的步骤s3中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的n张帧图像，具体包括：
48.步骤s31、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集；
49.步骤s32、对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域；
50.步骤s33、确定左右两只眼睛的眼部图像区域及头部图像区域后，对采集到的演奏者人脸图像进行图像区域采集提取，提取出演奏者人脸图像在1秒内的n张帧图像。
51.具体地，本实施例的步骤s31中摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，具体包括：
52.摄像头拍摄演奏者人脸图像，利用meanshift算法对演奏者人脸图像采集提取，进行人脸位置检测和关键点检测。
53.具体地，本实施例的步骤s32中，对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域，具体包括：
54.输入演奏者人脸图像，判断图像中是否为演奏者人脸；
55.若为演奏者人脸，则基于瞳孔反光点的眼睛定位，判断是否定位准确；若定位准确，则输出眼睛坐标；若定位不准确，则基于adaboost算法确定眼睛区域，然后基于图像灰度和几何特征进行眼睛定位；
56.若不是演奏者人脸，则过滤掉除演奏者之外的人脸，防止摄像头画面中的其他人员引起的翻谱误判。
57.具体地，本实施例的步骤s4中将演奏者人脸图像在1秒内的n张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的n张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作，具体包括：
58.将演奏者人脸图像在1秒内的n张帧图像，将1秒内的n张帧图像，放置在n个流动窗口中，将每张帧图像与预存的演奏者的眼部人脸特征图像进行对比筛选，本实施例中优选5张图像；
59.在第一个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
60.在第二个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
61.在第三个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
62.在第四个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
63.在第n个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
64.本实施中，阈值优选为80％。当多张闭眼帧图像均满足要求时，再进行演奏者的摆头动作特征图像的相似度对比。
65.具体地，本实施例的演奏者的摆头动作特征图像的相似度对比，具体包括：
66.在闭眼帧图像中建立图像坐标系，判断演奏者在摆头过程中眼睛的坐标偏移量是否达到阈值，本实施中坐标偏移量δx的阈值优选5厘米，如图3所示，本实施例以左眼为例进行展示；
67.若眼睛的坐标偏移量达到阈值，则判定演奏者做出了摆头动作；
68.若眼睛的坐标偏移量未达到阈值，则判定演奏者未做出摆头动作。
69.为了防止防止演奏者的生理性眨眼引起翻谱误判，因此采用闭眼和摆头相结合的判定策略，演奏者闭眼的同时还要进行摆头，来进行翻谱。
70.具体地，本实施例的步骤s5中根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作，具体包括：
71.若演奏者做出了向左摆头及闭眼动作，则向前翻一页琴谱；
72.若演奏者做出了向右摆头及闭眼动作，则向后翻一页琴谱。
73.如图2所示，本实施例的智能琴谱翻阅方法是基于公开号为cn114771125a的智能琴谱翻阅装置实现的，该智能琴谱翻阅装置包括外壳体1、驱动机构、联动机构和翻页机构，外壳体1中部设置有若干上下排列的半圆形导环2，每个导环2上均滑动套设有夹紧件3；
74.驱动机构和联动机构均设置在外壳体1内，联动机构和翻页机构均装配在驱动机构上；
75.夹紧件3用于夹持琴谱纸张，驱动机构能够驱使翻页机构转动并带动单个夹紧件3沿导环2滑动以完成翻页，与此同时联动机构在驱动机构的驱使下能够带动翻页机构进行竖向的上下移动，即翻页机构每次转动翻转一页的同时也会竖向移动完成换位，且翻页机构两端均能与处于两侧的相邻两夹紧件3之间形成对应。
76.在本实施例中，对于步进电机40的控制可通过单片机7和摄像头8来实现，以取代公开号为cn114771125a的智能琴谱翻阅装置中的踏板控制翻页，步进电机40、单片机7、摄像头8电性相连，摄像头8将采集到的演奏者人脸图像发送至单片机7，单片机7根据本实施例的智能琴谱翻阅方法进行判断：
77.若演奏者做出了向左摆头及闭眼动作，则单片机7控制驱动机构驱动翻页机构向前翻一页琴谱；
78.若演奏者做出了向右摆头及闭眼动作，则单片机7控制驱动机构驱动翻页机构向后翻一页琴谱。
79.以上所述的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。