一种基于AntDesignVue和Flask的盲文识别系统

一种基于ant design vue和flask的盲文识别系统
技术领域
1.本发明涉及计算机web领域，具体涉及一种基于ant design vue和flask的盲文识别系统。


背景技术：

2.盲文是盲人学习沟通的重要工具，盲人由于视觉障碍不能像正常人一样看到文字，因此盲文是由一个个盲文方组成，每个盲文方包括六个点，左侧从上到下表示1，2，3，右侧从上到下表示4，5，6。而很多人并不知道如何翻译盲文，这对正常人接触盲文产生了极大的阻碍，与此同时很多盲人学校的老师阅读教材，批改试卷还是通过自己翻译的方式，效率较低。盲文翻译有助于普通人学习盲文以及与盲人交流，还可以给盲校老师批改试卷带来极大的便利。
3.目前现有的盲文翻译系统，大多都只是把盲文图片识别为汉字，并没有对翻译结果的存储功能，编辑功能以及对识别任务的管理功能，这会使得盲校老师在使用的时候可能需要多次翻译相同的图片。而本发明在兼具盲文图片识别速度和精度的情况下，在上述各个方面也做出了极大的努力，本发明提供了任务管理功能，方便管理和检索所有的识别记录，可以保存所有的识别记录，还提供了翻译结果修改功能。


技术实现要素：

4.本发明的目的是为了解决以往盲文系统没有对图片识别结果系统化管理的问题，提出了一种基于ant design vue和flask的盲文识别系统。
5.具体来说本发明提供了一种基于ant design vue和flask的盲文识别系统，其特中包括：
6.模块1，系统的账户管理；该模块1包括：
7.子模块11，注册，根据输入的手机，邮箱，账户密码等信息生成一个账号，所有用户数据在数据库中以自增id为主键，并且密码采用md5的方式加密，保证用户的隐私不被窃取。之后手机号就可以作为子模块12登录的用户名。
8.子模块12，登录，根据输入的用户名和密码来判定用户是否可以登录到系统，用户名和密码必须是经过子模块11注册过的，密码采用md5加密的方式传输到服务器与数据库中保存的md5形式的密码比较，正确的用户名和密码可以登录到系统并使用系统的功能，登录成功后，系统会将服务器发送的token保存下来，表示当前是登录状态。
9.模块2，任务管理，子模块12登录完成后，系统会显示当前登录用户的所有任务，每个任务在数据库中都有一条记录，保存了任务的创建时间，修改时间，创建该任务的用户，任务备注以及任务中的图片等信息；该模块2包括：
10.子模块21，盲文识别任务存储。系统将所有盲文识别任务存储在mysql数据库中，每个任务在数据库中都有一条记录，保存了任务的创建时间，修改时间，创建该任务的用户，任务备注以及任务中的各个图片等信息；
11.子模块22，检索盲文识别任务。系统检测到处于登录状态后，根据输入的任务备注信息以及选定的时间范围从子模块21来检索当前登录用户的任务。
12.子模块23，新建盲文识别任务。在检索任务后，如果没有自己想要的图片，可以新建盲文识别任务，根据用户输入的任务名称，备注等信息以及上传的盲文图片新建一个盲文识别任务，在子模块21中新增一条任务记录，任务状态标记为翻译中。
13.子模块24，查看识别任务。根据选定的任务，系统从子模块21查询出所有该任务的信息以及属于该任务的图片，展示该任务的所有图片缩略图，每个缩略图都可以点击，系统根据点击的缩略图显示对应的翻译结果。
14.模块3，盲文图片识别，从子模块23获取到新建任务中输入的盲文图片或者子模块24中获取到追加任务图片后，先是识别出所有的盲文方类别，然后将盲文方类别转换为拼音，再把拼音转换为汉字，识别完成后，该图片以及图片的备注，图片中识别出来的汉字以及坐标都会保存到子模块21中。该模块包括：
15.子模块31，识别盲文图片中盲文方的类别和坐标，系统从子模块23或者子模块24上传的盲文图片中识别出盲文方的点位类别，该过程采用计算机视觉领域的retinanet模型，retinanet模型的训练数据来自于dsbi数据集，模型首先识别出盲文方所在的每一行，然后按行识别出盲文方的点的为和类别。盲文图片经过retinanet模型识别后会输出一个结果字典，字典内包括盲文方类别序列，盲文方坐标序列，识别准确率等，同时系统会根据输出的坐标序列在盲文图片中将每个盲文方用方框圈出。
16.子模块32，盲文方类别转拼音，根据子模块31中输出的盲文方类别和坐标序列，参照最新版的盲文方类别和拼音之间的映射关系和转换规则，将盲文方类别序列转换为拼音和标点符号的序列以及拼音坐标的序列，同时还要注意一些盲文中拼音的简化规则，将这些简化的拼音还原为完整的拼音，以便提高拼音转汉字的正确率。
17.子模块33，拼音转汉字，将子模块32输出的拼音序列转换为中文汉字序列，该过程采用自然语言处理模型transformer中的encoder模型，encoder模型的训练数据包括高中语文课文，初中语文课文，小学语文课文，中小学课外读物，高考试卷和古诗词等，共计600万中文字符。模型的输入是一张盲文图片中识别出的所有拼音，模型的输出是拼音序列对应的汉字序列。
18.子模块34，汉字数据存储以及可视化，将子模块32输出的拼音坐标序列和子模块33输出的汉字序列对应起来，在盲文图片上显示出来，同时将汉字序列和坐标序列存储在子模块21中的对应任务内。
19.进一步的，子模块24还包括修改翻译文本，系统根据修改后的文本与原本的文本对比根据最长公共子序列算法计算出最优的匹配，然后将修改后的文本替换并更新到盲文图片中以及子模块21中。
20.进一步的，子模块24还包括追加任务图片，系统获取到新输入的图片并识别后，将这些图片追加在本任务的记录中。
21.进一步的，子模块24还包括删除图片和任务，系统会根据用户选择删除本任务，或者本任务中的某个图片，删除后的图片将会从子模块21中删除且不会再本任务中出现，删除后的任务也不会出现在任务列表中。
22.综上所述，本发明提供了一种基于ant design vue和flask的盲文识别系统，系统
提供了账户管理模块，包括账登录，注册等子功能模块，盲文任务管理模块，包括任务存储，新建任务，查看任务，检索任务等子功能模块，盲文图片识别模块，包括从盲文图片识别出盲文方类别，盲文方类别转拼音，拼音转汉字，汉字存储和可视化等子功能模块。上述模块互相配合，实现了快速准确识别盲文图片和盲文识别任务管理的功能。
23.本发明在传统盲文识别系统的基础上，做了极大的改进，一方面，本系统保证了盲文图片识别的精度和速度，另一方面本系统提供了传统盲文识别系统中不具备的盲文识别任务管理功能，可以极大的提升盲校老师的工作效率，同时还可以为普通人学习盲文提供便利。
附图说明
24.图1是本发明实施例所提供的基于ant design vue和flask的盲文识别系统的架构图。
具体实施方式
25.发明人在开发盲文识别系统时，发现现存的盲文识别系统大多数重心在于盲文识别的精度上，主要是为了提供高精度的盲文识别系统，但是这些系统由于没有识别任务管理功能，很可能会出现同样的图片在每一次使用时都要重新识别的问题，盲校老师使用这些系统时，这些问题可能影响工作效率。
26.因此，本发明在保证盲文图片识别精度和速度的基础上，实现了对盲文识别任务的管理，主要包括查看任务，新建任务，追加任务图片，修改翻译结果等功能。从而可以极大地提高盲校老师批改试卷，阅读作业等的效率。
27.现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
28.本发明提供了一种基于ant design vue和flask的盲文识别系统，其特征包括：
29.模块1，系统的账户管理；该模块1包括：
30.子模块11，注册，根据输入的手机，邮箱，账户密码等信息生成一个账号，所有用户数据在数据库中以自增id为主键，并且密码采用md5的方式加密，保证用户的隐私不被窃取。之后手机号就可以作为子模块12登录的用户名。
31.子模块12，登录，根据输入的用户名和密码来判定用户是否可以登录到系统，用户名和密码必须是经过子模块11注册过的，密码采用md5加密的方式传输到服务器与数据库中保存的md5形式的密码比较，正确的用户名和密码可以登录到系统并使用系统的功能，登录成功后，系统会将服务器发送的token保存下来，表示当前是登录状态。
32.模块2，任务管理，子模块12登录完成后，系统会显示当前登录用户的所有任务，每个任务在数据库中都有一条记录，保存了任务的创建时间，修改时间，创建该任务的用户，任务备注以及任务中的图片等信息；该模块2包括：
33.子模块21，盲文识别任务存储。系统将所有盲文识别任务存储在mysql数据库中，每个任务在数据库中都有一条记录，保存了任务的创建时间，修改时间，创建该任务的用户，任务备注以及任务中的各个图片等信息；
34.子模块22，检索盲文识别任务。系统检测到处于登录状态后，根据输入的任务备注
信息以及选定的时间范围从子模块21来检索当前登录用户的任务。
35.子模块23，新建盲文识别任务。在检索任务后，如果没有自己想要的图片，可以新建盲文识别任务，根据用户输入的任务名称，备注等信息以及上传的盲文图片新建一个盲文识别任务，在子模块21中新增一条任务记录，任务状态标记为翻译中。
36.子模块24，查看识别任务。根据选定的任务，系统从子模块21查询出所有该任务的信息以及属于该任务的图片，展示该任务的所有图片缩略图，每个缩略图都可以点击，系统根据点击的缩略图显示对应的翻译结果。子模块24还包括修改翻译文本，系统根据修改后的文本与原本的文本对比根据最长公共子序列算法计算出最优的匹配，然后将修改后的文本替换并更新到盲文图片中以及子模块21中。子模块24还包括追加任务图片，系统获取到新输入的图片并识别后，将这些图片追加在本任务的记录中。子模块24还包括删除图片和任务，系统会根据用户选择删除本任务，或者本任务中的某个图片，删除后的图片将会从子模块21中删除且不会再本任务中出现，删除后的任务也不会出现在任务列表中。
37.模块3，盲文图片识别，从子模块23获取到新建任务中输入的盲文图片或者子模块24中获取到追加任务图片后，先是识别出所有的盲文方类别，然后将盲文方类别转换为拼音，再把拼音转换为汉字，识别完成后，该图片以及图片的备注，图片中识别出来的汉字以及坐标都会保存到子模块21中。该模块包括：
38.子模块31，识别盲文图片中盲文方的类别和坐标，系统从子模块23或者子模块24上传的盲文图片中识别出盲文方的点位类别，该过程采用计算机视觉领域的retinanet模型，retinanet模型的训练数据来自于dsbi数据集，模型首先识别出盲文方所在的每一行，然后按行识别出盲文方的点的为和类别。盲文图片经过retinanet模型识别后会输出一个结果字典，字典内包括盲文方类别序列，盲文方坐标序列，识别准确率等，同时系统会根据输出的坐标序列在盲文图片中将每个盲文方用方框圈出。
39.子模块32，盲文方类别转拼音，根据子模块31中输出的盲文方类别和坐标序列，参照最新版的盲文方类别和拼音之间的映射关系和转换规则，将盲文方类别序列转换为拼音和标点符号的序列以及拼音坐标的序列，同时还要注意一些盲文中拼音的简化规则，将这些简化的拼音还原为完整的拼音，以便提高拼音转汉字的正确率。
40.子模块33，拼音转汉字，将子模块32输出的拼音序列转换为中文汉字序列，该过程采用自然语言处理模型transformer中的encoder模型，encoder模型的训练数据包括高中语文课文，初中语文课文，小学语文课文，中小学课外读物，高考试卷和古诗词等，共计600万中文字符。模型的输入是一张盲文图片中识别出的所有拼音，模型的输出是拼音序列对应的汉字序列。
41.子模块34，汉字数据存储以及可视化，将子模块32输出的拼音坐标序列和子模块33输出的汉字序列对应起来，在盲文图片上显示出来，同时将汉字序列和坐标序列存储在子模块21中的对应任务内。
42.进一步的，以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。