儿童孤独症训练系统及其方法与流程

1.本发明涉及医疗训练技术领域，具体涉及一种儿童孤独症训练系统及其方法。


背景技术：

2.asd(autism spectrum disorder)即孤独症谱系障碍，是广义上的孤独症，又称自闭症，是一组以社交障碍、语言交流障碍、兴趣或活动范围狭窄以及重复刻板行为为主要特征的神经发育性障碍。孤独症对患者的精神监控和行为健康影响很大，严重影响患者的生活。如果未能早期发现并进行科学干预，孤独症对患者的致残率较高。
3.目前，世界上对于孤独症的诊断主要采用标准化的手册和量表，对儿童进行行为分析。进过长期研究和积累，我国专家为中国孤独症儿童人群设计、研发完成了首个中国的标准化量表：中国孤独症诊断量表(chinese autism diagnostic scale,cads)。cads的测试总原则中，要求测试人员必须具有标准化心里测量的工作经验和对发育行为儿科学、儿童发展心理学、精神医学等专业知识的学习经验。
4.为了普及专业性强的标准化测试，降低标准化测试的人力成本，已经有不少学者投入到使用计算机辅助孤独症筛查和干预的研究中。其中，通过显示技术，标准化试验场景，对儿童进行诊断或干预的方案，已经得到了一些尝试。
5.但现有的孤独症训练系统会采用电子设备播放音视频文件，孤独症儿童在辅助者的帮助下完成训练。该种训练方式缺乏对训练者个体差异的考虑，使得训练不佳。


技术实现要素：

6.针对上述技术缺陷，本发明实施例的目的在于提供一种儿童孤独症训练系统及其方法。
7.为实现上述目的，第一方面，本发明实施例提供了一种儿童孤独症训练系统，包括：
8.图像采集模块，用于采集现场训练图像；
9.人脸识别模块，用于对所述现场训练图像进行人脸识别，得到asd人脸图像；
10.人体轮廓识别模块，用于根据所述asd人脸图像对所述现场训练图像进行人体轮廓识别，得到asd人体轮廓信息；
11.人机交互模块，用于接收训练者的选择操作以提供训练任务；
12.渲染模块，用于将训练任务的场景和所述asd人体轮廓信息进行融合渲染，生成三维动画场景；
13.所述人机交互模块还用于显示所述三维动画场景，以使得训练者根据所述三维动画场景完成训练。
14.在本技术的某些具体实施方式中，所述人脸识别模块具体用于：
15.获取人脸样本图像，所述人脸样本图像包括asd人脸样本和正常人脸样本；
16.将所述人脸样本图像划分为训练集和测试集；
17.采用所述训练集对卷积神经网络模型进行训练；
18.采用所述测试集对训练后的所述卷积神经网络进行测试，得到asd人脸检测模型；
19.将所述现场训练图像输入所述asd人脸检测模型，得到asd人脸图像。
20.在本技术的某些具体实施方式中，所述人体轮廓识别模块具体用于：
21.采用所述asd人脸图像从所述现场训练图像中提取asd人体轮廓图像；
22.采用基于人体索引的人体目标检测识别算法对所述asd人体轮廓图像进行人体轮廓识别，得到所述asd人体轮廓信息。
23.其中，基于人体索引的人体目标检测识别算法具体为：
24.根据深度图像获取像素点的深度距离和索引值，对深度图像中值滤波，根据深度距离设定深度阈值范围，深度图像二值化后，将深度阈值范围内的像素值赋值255，判定在设定深度阈值范围内索引值为1
‑
6的像素点为人体像素点，即为人体轮廓。
25.作为本技术的一种具体实施方式，所述人机交互模块具体包括：
26.输入单元，用于接收训练者的选择操作以提供训练任务；
27.显示单元，用于显示所述三维动画场景；
28.训练单元，用于接收所述训练者对所述三维动画场景的操作，并根据训练者的训练情况进行打分。
29.进一步地，在本技术的某些优选实施方式中，所述人机交互模还包括：
30.登录单元，用于接收训练者的登陆操作以进入所述儿童孤独症训练系统；
31.查询单元，用于接收用户的查询操作，并根据所述查询操作将训练者的训练得分情况展示给用户；所述用户包括训练者、训练辅助者或医护人员。
32.进一步地，在本技术的某些优选实施方式中，所述系统还包括：
33.通信单元，用于获取所述训练单元所记录的训练过程和得分情况；
34.集中监控平台，用于获取所述通信单元传输的训练过程和得分情况，使得医生可远程对训练过程进行及时指导。
35.第二方面，本发明实施例还提供了一种儿童孤独症训练方法，包括：
36.采集现场训练图像；
37.对所述现场训练图像进行人脸识别，得到asd人脸图像；
38.根据所述asd人脸图像对所述现场训练图像进行人体轮廓识别，得到asd人体轮廓信息；
39.接收训练者的选择操作以提供训练任务；
40.将训练任务的场景和所述asd人体轮廓信息进行融合渲染，生成三维动画场景；
41.显示所述三维动画场景，以使得训练者根据所述三维动画场景完成训练。
42.实施本发明实施例，先进行人脸识别得到asd人脸，再基于asd人脸得到asd人体轮廓信息，接着将训练任务的场景和asd人体轮廓信息进行融合渲染，生成三维动画场景，以使得训练者根据三维动画场景完成训练；由于asd儿童普遍存在认知障碍，其具有社交困难、行为刻板和兴趣狭窄等特点，asd儿童面部表情不丰富，上述方案正是基于asd儿童面部的特殊性进行asd人脸及asd人体轮廓的提取识别来实现训练，考虑了训练者的个体差异，从而可以提升训练效果。
43.且，孤独症儿童在实际训练过程中通常需要老师或家长辅助，简单地进行图像采
集及人脸识别将会得到多个目标，本发明实施例进行asd人脸识别可以排除老师或家长人脸对后续场景渲染的干扰，从而可以保证后续所渲染得到的场景更加针对于asd儿童。
附图说明
44.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
45.图1是本发明实施例提供的儿童孤独症训练系统的结构图；
46.图2是图1中人机交互模块的结构图；
47.图3是本发明实施例提供的儿童孤独症训练方法的流程图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.请参考图1，本发明实施例提供的儿童孤独症训练系统包括：
50.图像采集模块10，用于采集现场训练图像；该现场训练图像中可包括训练者、辅助者(老师或家长)和背景物等；
51.人脸识别模块20，用于对所述现场训练图像进行人脸识别，得到asd人脸图像；
52.人体轮廓识别模块30，用于根据所述asd人脸图像对所述现场训练图像进行人体轮廓识别，得到asd人体轮廓信息；
53.人机交互模块40，用于接收训练者的选择操作以提供训练任务；
54.渲染模块50，用于将训练任务的场景和所述asd人体轮廓信息进行融合渲染，生成三维动画场景；
55.该人机交互模块40还用于显示所述三维动画场景，以使得训练者根据所述三维动画场景完成训练；
56.集中监控平台60，与人机交互模块40通讯，用于获取训练过程和得分情况，使得医生可远程地对训练过程进行及时指导及调整等。
57.其中，人脸识别模块20具体用于：
58.获取人脸样本图像，其包括asd人脸样本和正常人脸样本；关于该人脸样本图像的获取方式，可以是通过搜索引擎从互联网上下载，也可以是采用相机等设备进行拍摄，且不仅限于上述两种获取方式；
59.对人脸样本图像进行预处理，将彩色图像转换为灰度图像；
60.将人脸样本图像划分为训练集和测试集；
61.采用训练集中的人脸样本图像对预设的卷积神经网络模型进行训练；
62.采用测试集中的人脸样本图像对训练完成的卷积神经网络模型进行测试，若该模型对测试集中人脸样本图像的识别准确率大于预设的阈值，则将本次训练好的卷积神经网络模型作为asd人脸检测模型；反之，则再次对该模型进行训练，直至其对人脸样本图像的识别准确率大于阈值为止；
63.将所述现场训练图像输入所述asd人脸检测模型，得到asd人脸图像。
64.其中，人体轮廓识别模块30具体用于：
65.采用所述asd人脸图像从所述现场训练图像中提取asd人体轮廓图像；
66.采用基于人体索引的人体目标检测识别算法对所述asd人体轮廓图像进行人体轮廓识别，得到所述asd人体轮廓信息。
67.具体地，基于人体索引的人体目标检测识别算法具体为：
68.首先根据深度图像获取像素点的深度距离和索引值。在像素点的颜色信息中，将高13位表示像素点的深度信息，低3位表示像素点的索引号。低3位字节表示被跟踪的人体索引编号，这3位字节会被转换为整数数值类型(即0～7)但是并不作为标志位。对获取到的深度图像进行中值滤波，得到更加稳定的深度图像。然后根据有效探测距离设定深度阈值范围：1m～3.5m，将此范围之外的像素点的灰度值设置为0，当作背景处理；然后将深度图像二值化；将在深度阈值范围内的像素值设置为255反之设置为0；判定在设定深度阈值范围内索引值为1
‑
6的像素点为人体像素点，即为人体轮廓。
69.进一步地，如图2所示，人机交互模块40包括：
70.登录单元401，用于接收训练者的登陆操作以进入所述儿童孤独症训练系统；
71.输入单元402，用于接收训练者的选择操作以提供训练任务；
72.显示单元403，用于显示所述三维动画场景；
73.训练单元404，用于接收所述训练者对所述三维动画场景的操作，并根据训练者的训练情况进行打分；
74.查询单元405，用于接收用户的查询操作，并根据所述查询操作将训练者的训练得分情况展示给用户；所述用户包括训练者、训练辅助者或医护人员；
75.通信单元406，用于获取所述训练单元所记录的训练过程和得分情况，并将其传送给集中监控平台60。
76.从以上描述可以得知，实施本发明实施例的儿童孤独症训练系统，先进行人脸识别得到asd人脸，再基于asd人脸得到asd人体轮廓信息，接着将训练任务的场景和asd人体轮廓信息进行融合渲染，生成三维动画场景，以使得训练者根据三维动画场景完成训练；由于asd儿童普遍存在认知障碍，其具有社交困难、行为刻板和兴趣狭窄等特点，asd儿童面部表情不丰富，上述方案正是基于asd儿童面部的特殊性进行asd人脸及asd人体轮廓的提取识别来实现训练，考虑了训练者的个体差异，从而可以提升训练效果。
77.且，孤独症儿童在实际训练过程中通常需要老师或家长辅助，简单地进行图像采集及人脸识别将会得到多个目标，本发明实施例进行asd人脸识别可以排除老师或家长人脸对后续场景渲染的干扰，从而可以保证后续所渲染得到的场景更加针对于asd儿童。
78.基于相同的发明构思，本发明提供了一种儿童孤独症训练方法，如图3所示，包括：
79.s1，采集现场训练图像。
80.s2，对所述现场训练图像进行人脸识别，得到asd人脸图像。
81.具体地，步骤s2包括：
82.获取人脸样本图像，所述人脸样本图像包括asd人脸样本和正常人脸样本；
83.将所述人脸样本图像划分为训练集和测试集；
84.采用所述训练集对卷积神经网络模型进行训练；
85.采用所述测试集对训练后的所述卷积神经网络进行测试，得到asd人脸检测模型；
86.将所述现场训练图像输入所述asd人脸检测模型，得到asd人脸图像。
87.s3，根据所述asd人脸图像对所述现场训练图像进行人体轮廓识别，得到asd人体轮廓信息。
88.具体地，步骤s3包括：
89.采用所述asd人脸图像从所述现场训练图像中提取asd人体轮廓图像；
90.采用基于人体索引的人体目标检测识别算法对所述asd人体轮廓图像进行人体轮廓识别，得到所述asd人体轮廓信息；
91.其中，基于人体索引的人体目标检测识别算法具体为：
92.根据深度图像获取像素点的深度距离和索引值，对深度图像中值滤波，根据深度距离设定深度阈值范围，深度图像二值化后，将深度阈值范围内的像素值赋值255，判定在设定深度阈值范围内索引值为1
‑
6的像素点为人体像素点，即为人体轮廓。
93.s4，接收训练者的选择操作以提供训练任务。
94.s5，将训练任务的场景和所述asd人体轮廓信息进行融合渲染，生成三维动画场景。
95.s6，显示所述三维动画场景，以使得训练者根据所述三维动画场景完成训练。
96.s7，将训练过程和得分情况传输至集中监控平台，使得医生可远程对训练过程进行及时指导。
97.进一步地，在上述方法中，用户还可登录前述儿童孤独症训练系统，以查询训练者的得分情况。
98.需要说明的是，关于该方法更为具体的描述，请参考前述训练系统部分，在此不再赘述。
99.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
100.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
101.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
102.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
103.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
104.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。