一种基于视觉和触觉的交互系统及方法与流程

1.本发明涉及棋盘游戏领域，尤其涉及一种基于视觉和触觉的交互系统及方法。


背景技术：

2.棋是一类文体活动用品，以对弈为主，其中有互相的博弈。包括围棋、国际象棋、中国象棋、将棋、五子棋、军棋、跳棋、跳跳棋等等。
3.现有的棋类教学方式一般有线下教学以及线上教学两种方式，其中线下教学昂贵，线上教学孩子自制力差，容易做别的事情，因此需要一种交互系统使得孩子可以在真实的棋盘上下棋，同时降低教学成本。


技术实现要素：

4.本发明的目的在于提供一种基于视觉和触觉的交互系统及方法，旨在提高在家的学习效率，降低学习成本。
5.为实现上述目的，第一方面，本发明提供了一种基于视觉和触觉的交互系统，包括拍照模块、棋盘检测模块、棋子检测模块、执行模块、存储模块、触摸控制模块和上位机，所述棋盘检测模块和所述棋子检测模块与所述拍照模块连接，所述上位机与所述棋盘检测模块和所述棋子检测模块连接，所述执行模块与所述上位机连接，所述存储模块与所述上位机连接；
6.所述拍照模块，用于对棋盘区域进行拍照，获取棋盘图像；
7.所述棋盘检测模块，用于基于棋盘图像识别棋盘；
8.所述棋子检测模块，用于基于棋盘图像识别棋子；
9.所述上位机，用于基于棋子分别情况计算下一步棋子落点；
10.所述执行模块，用于基于下一步棋子落点移动对应棋子；
11.所述存储模块，用于对棋子和棋盘数据进行存储；
12.所述触摸控制模块，用于对执行模块进行急停和复位。
13.其中，所述棋盘检测模块包括棋盘识别单元、落点定位单元和抽象单元，所述棋盘识别单元用于获取棋盘种类；
14.所述落点定位单元，用于获取棋盘上棋子落点的坐标；
15.所述抽象单元，用于获取棋盘对应的数字棋盘。
16.其中，所述棋子检测模块包括棋子检测单元和填充单元，所述棋子检测单元用于对棋盘上的棋子种类进行识别，所述填充单元，用于基于棋子落点坐标在数字棋盘上填充棋子。
17.其中，所述执行模块包括夹紧机构、移动机构和定位机构；
18.所述定位机构，用于获取上位机下发的移动信息；
19.所述夹紧机构，用于基于所述移动信息夹紧对应棋子；
20.所述移动机构，用于基于所述移动信息将棋子移动到对应位置上。
21.其中，所述执行模块还包括校准机构，所述校准机构用于对棋子落点位置进行校准。
22.其中，所述存储模块包括图像存储单元和动作存储单元，所述图像存储单元用于存储棋盘图像，所述动作存储单元用于存储执行模块的移动信息。
23.第二方面，本发明还提供一种基于视觉和触觉的交互方法，包括：对棋盘区域进行拍照，获取棋盘图像；
24.基于棋盘图像识别棋盘；
25.基于棋盘图像识别棋子；
26.基于棋子分别情况计算下一步棋子落点；
27.基于下一步棋子落点移动对应棋子；
28.对棋子和棋盘数据进行存储。
29.本发明的一种基于视觉和触觉的交互系统及方法，所述拍照模块设置在棋盘上方，用于对棋盘进行拍照，获取棋盘的形状图片，然后通过所述棋盘检测模块对棋盘图像进行处理，和已有的棋盘数据进行匹配以得到相应的棋盘类型，可以是国际象棋、中国象棋、围棋等棋类，然后通过棋子检测模块对棋子进行检测，并和数据库中的棋子图片进行比对，以确认棋盘上棋子的摆放情况，所述上位机可以和相应棋类的数据库连接，从而可以基于棋盘上当前棋子的落点以计算下一步棋子落点，通过所述执行模块可以操作棋盘上的棋子进行移动，然后通过所述存储模块可以存储相应的历史记录，便于后期下完后进行分析，所述触摸控制模块可以在所述执行模块出现错误的时候进行紧急停止和复位，避免打乱棋盘，从而可以使得学习者在家中的实物棋盘上进行学习，同时可以借助对棋盘的记录便于后期复习，以提高在家的学习效率，同时本交互系统可以多次使用，以降低学习成本。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明的一种基于视觉和触觉的交互系统的结构图；
32.图2是本发明的棋盘检测模块的结构图；
33.图3是本发明的棋子检测模块的结构图；
34.图4是本发明的执行模块的结构图；
35.图5是本发明的上位机的结构图；
36.图6是本发明的夹紧机构和移动机构的结构图
37.图7是本发明的一种基于视觉和触觉的交互方法的流程图。
38.1-拍照模块、2-棋盘检测模块、3-棋子检测模块、4-执行模块、5-存储模块、6-触摸控制模块、7-上位机、21-棋盘识别单元、22-落点定位单元、23-抽象单元、31-棋子检测单元、32-填充单元、41-夹紧机构、42-移动机构、43-定位机构、44-校准机构、71-棋谱分析单元、72-控制单元、73-联机单元、74-观战单元、411-夹爪、412-吸盘、421-转动器、422-水平移动器、423-垂直移动器、424-升降器。
具体实施方式
39.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
40.请参阅图1～图6，第一方面，本发明提供一种基于视觉和触觉的交互系统，包括：
41.拍照模块1、棋盘检测模块2、棋子检测模块3、执行模块4、存储模块5、触摸控制模块6和上位机7，所述棋盘检测模块2和所述棋子检测模块3与所述拍照模块1连接，所述上位机7与所述棋盘检测模块2和所述棋子检测模块3连接，所述执行模块4与所述上位机7连接，所述存储模块5与所述上位机7连接；
42.所述拍照模块1，用于对棋盘区域进行拍照，获取棋盘图像；
43.所述棋盘检测模块2，用于基于棋盘图像识别棋盘；
44.所述棋子检测模块3，用于基于棋盘图像识别棋子；
45.所述上位机7，用于基于棋子分别情况计算下一步棋子落点；
46.所述执行模块4，用于基于下一步棋子落点移动对应棋子；
47.所述存储模块5，用于对棋子和棋盘数据进行存储；
48.所述触摸控制模块6，用于对执行模块4进行急停和复位。
49.在本实施方式中，所述拍照模块1设置在棋盘上方，用于对棋盘进行拍照，获取棋盘的形状图片，然后通过所述棋盘检测模块2对棋盘图像进行处理，和已有的棋盘数据进行匹配以得到相应的棋盘类型，可以是国际象棋、中国象棋、围棋等棋类，然后通过棋子检测模块3对棋子进行检测，并和数据库中的棋子图片进行比对，以确认棋盘上棋子的摆放情况，所述上位机7可以和相应棋类的数据库连接，从而可以基于棋盘上当前棋子的落点以计算下一步棋子落点，通过所述执行模块4可以操作棋盘上的棋子进行移动，然后通过所述存储模块5可以存储相应的历史记录，便于后期下完后进行分析，所述触摸控制模块6可以在所述执行模块4出现错误的时候进行紧急停止和复位，避免打乱棋盘，从而可以使得学习者在家中的实物棋盘上进行学习，同时可以借助对棋盘的记录便于后期复习，以提高在家的学习效率，同时本交互系统可以多次使用，以降低学习成本。
50.进一步的，所述棋盘检测模块2包括棋盘识别单元21、落点定位单元22和抽象单元23，所述棋盘识别单元21用于获取棋盘种类；
51.所述落点定位单元22，用于获取棋盘上棋子落点的坐标；
52.所述抽象单元23，用于获取棋盘对应的数字棋盘。
53.在本实施方式中，在棋盘上只有一部分局域可以落子，比如象棋和围棋为交叉点，国际象棋为线围起来的区域，需要通过所述棋盘识别单元21，基于图像处理对棋子可以落下的坐标进行记录，便于后期驱动所述执行模块4移动，所述抽象单元23用于调用对应的数字棋盘，便于同步保存数据。
54.进一步的，所述棋子检测模块3包括棋子检测单元31和填充单元32，所述棋子检测单元31用于对棋盘上的棋子种类进行识别，所述填充单元32，用于基于棋子落点坐标在数字棋盘上填充棋子。
55.在本实施方式中，所述棋子检测单元31，用于基于棋盘图像获取棋盘上的棋子种类，然后通过所述填充单元32对应填充到数字棋盘上，以方便进行同步。
56.进一步的，所述执行模块4包括夹紧机构41、移动机构42和定位机构43；
57.所述定位机构43，用于获取上位机7下发的移动信息；
58.所述夹紧机构41，用于基于所述移动信息夹紧对应棋子；
59.所述移动机构42，用于基于所述移动信息将棋子移动到对应位置上。
60.在本实施方式中，通过所述夹紧组件可以对棋子进行夹紧，然后所述定位机构43获取相应的棋子落子信息以驱动所述移动机构42移动。
61.进一步的，所述执行模块4还包括校准机构44，所述校准机构44用于对棋子落点位置进行校准。
62.在本实施方式中，所述校准机构44可以是第二摄像头，设置在所述夹紧机构41的一侧，可以对所述夹紧机构41在落子时进一步进行拍照或者录像，以进一步确认落点是否正确，如果不正确，可以进行相应计算纠正。
63.进一步的，所述夹紧机构41包括夹爪411和吸盘412，所述夹爪411设置在所述吸盘412的一侧。
64.在本实施方式中，所述吸盘412便于对围棋类的棋子进行抓取，所述夹爪411便于对中国象棋或者国际象棋这类进行抓取。
65.进一步的，所述移动机构42包括转动器421、水平移动器422、垂直移动器423和升降器424，所述转动器421与所述升降器424连接，所述水平移动器422与所述升降器424连接所述垂直移动器423与所述水平移动器422连接，所述夹紧机构41设置在所述垂直移动器423上。
66.在本实施方式中，所述转动器421可以带动棋子转动，所述水平移动器422和所述垂直移动器423可以分别带动棋子在横向和纵向移动，所述升降器424用于抬起和放下棋子，使得所述执行机构便于在整个棋盘范围内移动进行落子。
67.进一步的，所述上位机7包括棋谱分析单元71、控制单元72、联机单元73和观战单元74，所述控制单元72与所述棋谱分析单元71连接，所述联机单元73与所述执行机构连接，所述观战单元74与所述拍照模块1连接；
68.所述棋谱分析单元71，用于基于历史数据对棋谱进行分析并给出指导建议；
69.所述控制单元72，用于基于使用者的落点计算出下一落点；
70.所述联机单元73，用于和其他执行模块4进行连接同步；
71.所述观战单元74，用于和拍照模块1读取图像。
72.在本实施方式中，所述棋谱分析单元71，可以基于历史数据，包括存有的所有棋谱，以及使用者下棋产生的棋谱，对棋谱进行分析并给出指导建议，从而可以方便地进行教育，所述控制单元72可以根据使用者的落点，在数据库中检索得到下一落点，通过所述联机单元73可以和网上的其他执行模块4进行联机，从而可以和其他使用者进行联机学习和探讨，所述观战单元74允许其他设备读取拍照模块1的数据，从而可以进行观战。
73.第二方面，请参阅图7，本发明还提供一种基于视觉和触觉的交互方法，包括：
74.s101对棋盘区域进行拍照，获取棋盘图像；
75.拍照模块1设置在棋盘上方，用于对棋盘进行拍照，获取棋盘的形状图片。
76.s102基于棋盘图像识别棋盘；
77.然后通过所述棋盘检测模块2对棋盘图像进行处理，和已有的棋盘数据进行匹配
以得到相应的棋盘类型，可以是国际象棋、中国象棋、围棋等棋类。
78.s103基于棋盘图像识别棋子；
79.通过棋子检测模块3对棋子进行检测，并和数据库中的棋子图片进行比对，以确认棋盘上棋子的摆放情况。
80.s104基于棋子分别情况计算下一步棋子落点；
81.上位机7可以和相应棋类的数据库连接，从而可以基于棋盘上当前棋子的落点以计算下一步棋子落点。
82.s105基于下一步棋子落点移动对应棋子；
83.通过所述执行模块4可以操作棋盘上的棋子进行移动。
84.s106对棋子和棋盘数据进行存储。
85.通过所述存储模块5可以存储相应的历史记录，便于后期下完后进行分析。
86.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。