一种数据处理方法、装置和用于数据处理的装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。


背景技术：

2.手语是听力障碍或无法言语的特殊用户用来交流的方式之一，但是健听用户往往不了解手语，导致特殊用户与普通用户之间的交流十分困难。
3.目前，普通用户与特殊用户可以借助手语翻译工具或者手语合成工具进行交流。以中文为例，手语翻译工具可以对普通用户输入的文字进行识别，并将文字转换为手语词汇所对应的手语动作；或者，手语合成工具可以根据普通用户输入的文字合成相应的手语动画；或者，手语翻译工具可以将特殊用户做出的手语动作转换为对应的文字，等等。
4.然而，在实际应用中，手语作为视觉语言，针对同一个手语词汇，不同表达者的呈现的手语动作的差异度极大；且由于通用手语普及时间晚，存在南北地域差异；再者，对于专用领域的复杂专业手语词汇，通常为各个普通词汇的排列组合，这种情况下手语翻译工具或手语合成工具的处理结果往往准确度较低。


技术实现要素：

5.本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以适用于各类手语动作数据的分析处理，提高手语动作数据的处理效率和准确度。
6.为了解决上述问题，本发明实施例公开了一种数据处理方法，所述方法包括：
7.获取待处理的手语动作数据；
8.基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息；
9.根据所述手语标注序列对所述手语动作数据执行操作处理。
10.可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析之前，所述方法还包括：
11.基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类；
12.根据所述基本手语要素以及每个基本手语要素对应的要素种类，构建手语标注体系，所述手语标注体系包含每个基本手语要素的各个要素种类对应的标注信息。
13.可选地，所述基本手语要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。
14.可选地，所述基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类，包括：
15.遍历数据库中的各个手语动作数据，对各个手语动作数据进行动作拆解，确定每
个手语动作数据对应的关键部位，以及所述关键部位的动作特征；
16.基于语言学框架对所述数据库中各个手语动作数据对应的关键部位以及所述关键部分的动作特征进行归类处理，得到至少2个类簇，每一个类簇对应一项基本手语要素；
17.根据每个类簇包含的动作特征确定所述类簇对应的基本手语要素的要素种类。
18.可选地，所述动作特征包括旋转数据、位移数据、弯曲角度、关键特征、表情特征中的至少一项。
19.可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
20.对所述手语动作数据进行要素分析，确定所述手语动作数据对应的第一基本手语要素、所述第一基本手语要素的第一要素种类和第一时间戳；
21.基于预先构建的手语标注体系确定所述第一基本手语要素的第一标注信息以及所述第一要素种类的第二标注信息；
22.根据所述第一时间戳、所述第一标注信息以及所述第二标注信息，确定所述手语动作数据对应的手语标注序列。
23.可选地，所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
24.基于所述手语标注序列驱动预先构建的三维人物模型执行所述手语动作数据对应的手语动作；和/或，
25.基于所述手语标注序列对所述手语动作数据进行手语翻译处理，得到所述手语动作数据对应的目标文本序列。
26.可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
27.对待翻译的文本序列进行分词处理，得到所述文本序列对应的自然词汇序列；
28.确定所述自然词汇序列中各个自然词汇对应的第二基本手语要素以及所述第二基本手语要素对应的第二要素种类；
29.对所述第二基本手语要素和所述第二要素种类进行排序，生成符合手语语法规则的手语要素序列；
30.基于所述手语标注体系确定所述手语要素序列对应的手语标注序列；
31.所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
32.根据所述手语标注序列对所述文本序列进行手语翻译处理，得到所述文本序列对应的手语动作。
33.另一方面，本发明实施例公开了一种数据处理装置，所述装置包括：
34.手语动作数据获取模块，用于获取待处理的手语动作数据；
35.手语标注序列确定模块，用于基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息；
36.操作处理执行模块，用于根据所述手语标注序列对所述手语动作数据执行操作处理。
37.可选地，所述装置还包括：
38.基本手语要素确定模块，用于基于语言学框架对数据库中的手语动作数据进行拆
解归类，得到基本手语要素以及每个基本手语要素对应的要素种类；
39.手语标注体系构建模块，用于根据所述基本手语要素以及每个基本手语要素对应的要素种类，构建手语标注体系，所述手语标注体系包含每个基本手语要素的各个要素种类对应的标注信息。
40.可选地，所述基本手语要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。
41.可选地，所述基本手语要素确定模块，包括：
42.动作数据分析子模块，用于遍历数据库中的各个手语动作数据，对各个手语动作数据进行动作拆解，确定每个手语动作数据对应的关键部位，以及所述关键部位的动作特征；
43.动作特征归类子模块，用于基于语言学框架对所述数据库中各个手语动作数据对应的关键部位以及所述关键部分的动作特征进行归类处理，得到至少2个类簇，每一个类簇对应一项基本手语要素；
44.要素种类确定子模块，用于根据每个类簇包含的动作特征确定所述类簇对应的基本手语要素的要素种类。
45.可选地，所述动作特征包括旋转数据、位移数据、弯曲角度、关键特征、表情特征中的至少一项。
46.可选地，所述手语标注序列确定模块，包括：
47.第一要素确定子模块，用于对所述手语动作数据进行要素分析，确定所述手语动作数据对应的第一基本手语要素、所述第一基本手语要素的第一要素种类和第一时间戳；
48.标注信息确定子模块，用于基于预先构建的手语标注体系确定所述第一基本手语要素的第一标注信息以及所述第一要素种类的第二标注信息；
49.第一标注序列确定子模块，用于根据所述第一时间戳、所述第一标注信息以及所述第二标注信息，确定所述手语动作数据对应的手语标注序列。
50.可选地，所述操作处理执行模块，包括：
51.第一操作处理子模块，用于基于所述手语标注序列驱动预先构建的三维人物模型执行所述手语动作数据对应的手语动作；和/或，
52.第二操作处理子模块，用于基于所述手语标注序列对所述手语动作数据进行手语翻译处理，得到所述手语动作数据对应的目标文本序列。
53.可选地，所述手语标注序列确定模块，包括：
54.分词处理子模块，用于对待翻译的文本序列进行分词处理，得到所述文本序列对应的自然词汇序列；
55.第二要素确定子模块，用于确定所述自然词汇序列中各个自然词汇对应的第二基本手语要素以及所述第二基本手语要素对应的第二要素种类；
56.要素序列生成子模块，用于对所述第二基本手语要素和所述第二要素种类进行排序，生成符合手语语法规则的手语要素序列；
57.第二标注序列确定子模块，用于基于所述手语标注体系确定所述手语要素序列对应的手语标注序列；
58.所述操作处理执行模块，包括：
59.第三操作处理子模块，用于根据所述手语标注序列对所述文本序列进行手语翻译处理，得到所述文本序列对应的手语动作。
60.再一方面，本发明实施例公开了一种用于数据处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如前述一个或多个所述的数据处理方法的指令。
61.又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。
62.本发明实施例包括以下优点：
63.本发明实施例在获取待处理的手语动作数据之后，基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息，然后，根据所述手语标注序列对所述手语动作数据执行操作处理。本发明实施例通过预先构建的手语标注体系对待处理的手语动作数据进行要素分析，确定手语动作数据包含的基本手语要素，也即将待处理的手语动作数据拆解为最小特征单元，能够适用于各类手语动作数据的分析处理，有利于提高手语动作数据的分析准确度；并且，本发明实施例通过确定手语动作数据中各个基本手语要素的标注信息，将手语动作数据转化为机器可以自动识别的手语标注序列，然后基于手语标注序列对手语动作数据执行操作处理，从而可以提高手语动作数据的处理效率和准确度。
附图说明
64.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
65.图1是本发明的一种数据处理方法实施例的步骤流程图；
66.图2是本发明的一种数据处理装置实施例的结构框图；
67.图3是本发明的一种用于数据处理的装置800的框图；
68.图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
69.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
70.方法实施例
71.参照图1，示出了本发明的一种数据处理方法实施例的步骤流程图，所述方法具体可以包括如下步骤：
72.步骤101、获取待处理的手语动作数据。
73.步骤102、基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息。
74.步骤103、根据所述手语标注序列对所述手语动作数据执行操作处理。
75.本发明实施例提供的数据处理方法，可应用于终端设备，也可以应用于服务器。其中，所述终端设备可以包括但不限于：专用的手语翻译设备、手语动作合成设备，智能终端、计算机、个人数字助理(personal digital assistant，pda)、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准音频层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准音频层面4，moving picture experts group audio layer iv)播放器、膝上型便携式计算机、车载设备、智能电视机、可穿戴设备等。
76.所述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、云通信、网络服务、中间件服务、内容分发网络(content delivery network，cdn)，以及大数据和人工智能平台等基础云计算服务的云服务器。
77.需要说明的是，本发明实施例中获取的手语动作数据，可以为包含手语动作的手语视频和/或手语图像。所述手语视频和/或所述手语图像，可以是目标对象(包括听力障碍、聋哑人、健听人)在使用手语与他人或机器进行交流或向他人传递信息的过程中，所述终端设备通过拍摄装置拍摄的视频和/或图像，也可以是所述终端设备和/或所述服务器中存储的手语视频和/或手语图像，还可以是从网络端下载的手语视频和/或手语图像。
78.本发明实施例中构建的手语标注体系包含各个手语动作对应的基本手语要素，每一个基本手语要素包含至少一种要素种类，所述基本手语要素可以理解为手语动作的最小特征单元，任意的手语动作都可以由一个或多个基本手语要素构成。所述手语标注体系还包括所述基本手语要素以及所述基本手语要素的各个要素种类对应的标注信息。基于所述手语标注体系就可以确定待处理的手语动作数据对应的各个基本手语要素的标注信息，也即所述手语动作数据对应的手语标注序列。其中，所述手语标注序列还可以包含所述手语动作数据的各个基本手语要素对应的时间戳，以便在对所述手语动作数据执行操作处理时，根据各基本手语要素对应的时间戳确定各个基本手语要素的处理顺序。例如，基于所述手语标注序列中各基本手语要素的标注信息和时间戳，驱动数字人(也即采用3d技术构建的三维人物模型)执行所述手语动作数据对应的手语动作。
79.本发明实施例通过预先构建的手语标注体系对待处理的手语动作数据进行要素分析，确定手语动作数据包含的基本手语要素，也即将待处理的手语动作数据拆解为最小特征单元，能够适用于各类手语动作数据的分析处理，有利于提高手语动作数据的分析准确度；并且，本发明实施例通过确定手语动作数据中各个基本手语要素的标注信息，将手语动作数据转化为机器可以自动识别的手语标注序列，然后基于手语标注序列对手语动作数据执行操作处理，可以提高手语动作数据的处理效率和准确度。
80.在本发明的一种可选实施例中，步骤102所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析之前，所述方法还包括：
81.步骤s11、基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类；
82.步骤s12、根据所述基本手语要素以及每个基本手语要素对应的要素种类，构建手语标注体系，所述手语标注体系包含每个基本手语要素的各个要素种类对应的标注信息。
83.其中，所述数据库中的手语动作数据包括用于日常生活交互的手语动作数据、专业领域的专用手语动作数据。所述手语动作数据可以是针对手语动作的描述性文字、图片、手语动作视频、手语动画等等。可以通过广泛查找各类手语资料，如手语教学视频、网络手语动作资料、手语词典等，构建手语动作数据库。
84.基于语言学框架对数据库中的全部手语动作数据进行拆解归类，确定所述数据库涉及的全部基本手语要素以及每个基本手语要素对应的要素种类，并确定每个基本手语要素的各个要素种类对应的标注信息，从而构建手语标注体系。其中，所述标注信息用于唯一标识每个基本手语要素的各个要素种类，且所述标注信息可以被机器识别，具有广泛的代表性和普适性，适用于绝大部分的手语应用场景。
85.所述基本手语要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一项。不同的基本手语要素代表不同维度的手语动作特征，每一项基本手语要素对应有多个要素种类，例如，在本发明是一种示例性的手语标注体系中，单双手形特征对应有67种不同的要素种类，朝向运动特征对应有66种不同的要素种类，约束信息对应有57种不同的要素种类，人脸表情特征对应有8种不同的要素种类，等等。对不同种类的基本手语要素进行排列组合，就可以得到不同的手语动作。
86.需要说明的是，本发明实施例中的手语标注体系可以不断扩充、完善，所述手语标注体系越详尽、包含的数据越全面，越有利于提高手语动作数据的处理效率。
87.此外，还可以基于本发明实施例构建的手语标注体系建设、完善手语数据库，从而降低手语数据库的建设成本，提高手语数据库的数据覆盖范围，为手语合成、手语翻译等手语动作数据的处理操作提供可靠的语言学理论依据。
88.在本发明的一种可选实施例中，步骤s11所述基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类，包括：
89.子步骤s111、遍历数据库中的各个手语动作数据，对各个手语动作数据进行动作拆解，确定每个手语动作数据对应的关键部位，以及所述关键部位的动作特征；
90.子步骤s112、基于语言学框架对所述数据库中各个手语动作数据对应的关键部位以及所述关键部分的动作特征进行归类处理，得到至少2个类簇，每一个类簇对应一项基本手语要素；
91.子步骤s113、根据每个类簇包含的动作特征确定所述类簇对应的基本手语要素的要素种类。
92.在本发明实施例中，对于数据库中的各类手语动作数据，逐个进行动作拆解，确定每个手语动作数据对应的关键部位，以及各个关键部位的动作特征。其中，所述关键部位可以包括手臂、手掌、手指、人脸等部位，所述动作特征可以包括旋转数据、位移数据、弯曲角度、关键特征、表情特征中的至少一项。
93.对拆解得到的所有关键部位以及关键部位的动作特征进行归类，就可以得到多个类簇，每一个类簇对应一项基本手语要素。例如，对于手语动进行拆解，可以将手语动作特征划分为六个维度，分别为左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息。其中，左右手臂特征可以包含手语动作中手臂的弯曲程度、属于直
立状态还是下垂状态等手臂特征；单双手形特征可以包括各个手指的形状、姿态特征；朝向运动特征可以包括手掌朝向、手臂、手掌的运动情况等特征；指节弯曲程度用于指示手指中各个指节的弯曲情况，例如，左手食指的第三指节弯曲45
°
，等等；人脸表情特征指手语动作中特定的人脸表情，例如微笑、沮丧、惊讶等等；约束信息可以包括手语动作中关键部位的接触情况、特定的时长限定等信息，例如，手语词“爱”的手语动作中，约束信息为“右手手掌与左手大拇指顶端指节接触”，或者，手语词“红”的手语动作中，约束信息为“右手食指、中指触碰嘴唇”，等等。
94.确定每一项基本手语要素对应的类簇后，可以根据每个类簇中包含的各个动作特征确定类簇对应的基本手语要素的要素种类，具体的，可以每个类簇中每一种动作特征作为一个要素种类。通过对各项基本手语要素以及要素种类进行排列组合，就可以便捷的表征各个手语动作。
95.在本发明的一种可选实施例中，步骤102所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
96.步骤s21、对所述手语动作数据进行要素分析，确定所述手语动作数据对应的第一基本手语要素、所述第一基本手语要素的第一要素种类和第一时间戳；
97.步骤s22、基于预先构建的手语标注体系确定所述第一基本手语要素的第一标注信息以及所述第一要素种类的第二标注信息；
98.步骤s23、根据所述第一时间戳、所述第一标注信息以及所述第二标注信息，确定所述手语动作数据对应的手语标注序列。
99.本发明实施例中，在获取待处理的手语动作数据之后，可以首先对手语动作数据进行要素分析，确定手语动作数据中包含的各项基本手语要素以及基本手语要素的要素种类，也即确定第一基本手语要素、所述第一基本手语要素的第一要素种类，以及各个第一基本手语要素的时间戳。通过分析手语动作数据中的第一基本手语要素和第一要素种类，就可以确定手语动作数据的最小特征单元，便于后续对手语动作数据进行分析处理。
100.手语标注体系中包含有每一项基本手语要素和各个要素种类对应的标注信息，所述手语标注体系相当于构建了手语动作数据的标注准则，可以适用于任何场景、任何手语动作数据，具有广泛的适用性。可以在手语标注体系中查找手语动作数据中各项第一基本手语要素的第一标注信息，以及第一要素种类的第二标注信息，进而根据第一标注信息、第二标注信息生成手语动作数据的手语标注序列，所述手语标注序列对手语动作数据一一对应，基于手语标注序列就可以确定所述手语动作数据对应的手语动作。并且，所述手语标注序列可以被机器识别，从而可以基于手语动作数据的手语标注序列对手语动作数据进行手语翻译处理、手语合成处理等。
101.例如，对于手语词“爱”，先对其进行要素分析，确定其对应的基本手语要素，以及各项基本手语要素对应的要素种类，然后根据手语标注体系确定相应的标注信息，具体如表1所示。
102.表1
[0103][0104][0105]
根据上表中各项基本手语要素及要素种类对应的标注信息，就可以确定手语词“爱”的手语标注序列。需要说明的是，表1所示的标注信息仅作为本发明的一种示例性说明，并不构成对本发明实施例中手语标注体系的标注信息与各项基本手语要素、要素种类之间对应关系的限定，可以根据实际需求制定相应的标注准则，本发明对此不做具体限定。
[0106]
在本发明的一种可选实施例中，步骤103所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
[0107]
步骤s31、基于所述手语标注序列驱动预先构建的三维人物模型执行所述手语动作数据对应的手语动作；和/或，
[0108]
步骤s32、基于所述手语标注序列对所述手语动作数据进行手语翻译处理，得到所述手语动作数据对应的目标文本序列。
[0109]
确定待处理的手语动作数据的手语标注序列后，可以进一步基于手语标注序列驱动三维人物模型执行所述手语动作数据对应的手语动作，也即通过3d技术合成手语动作；或者，也可以基于手语标注序列对手语动作数据进行手语翻译处理，具体的，将手语标注序列输入至预先训练的手语翻译模型中，得到所述手语动作数据对应的目标文本序列。可以基于本发明构建的手语标注体系对所述手语翻译模型进行训练，训练完成的手语翻译模型可以准确识别各个手语标注序列对应的手语动作，进而对识别的手语动作进行翻译，从而提升手语翻译的准确度。
[0110]
此外，除了可以将手语动作数据翻译为目标文本序列，也可以基于本发明的手语标注体系对文本序列进行分析处理，将文本序列转换为相应的手语动作。
[0111]
在本发明的一种可选实施例中，步骤102所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
[0112]
步骤s41、对待翻译的文本序列进行分词处理，得到所述文本序列对应的自然词汇序列；
[0113]
步骤s42、确定所述自然词汇序列中各个自然词汇对应的第二基本手语要素以及所述第二基本手语要素对应的第二要素种类；
[0114]
步骤s43、对所述第二基本手语要素和所述第二要素种类进行排序，生成符合手语语法规则的手语要素序列；
[0115]
步骤s44、基于所述手语标注体系确定所述手语要素序列对应的手语标注序列；
[0116]
步骤103所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
[0117]
步骤s45、根据所述手语标注序列对所述文本序列进行手语翻译处理，得到所述文本序列对应的手语动作。
[0118]
需要说明的是，本发明实施例对待翻译的文本序列的语种不加以限制，例如，待翻译的文本序列的语种可以为中文、英文、韩文等。在将文本序列转换为手语动作时，可以将各类语种的文本转换为其对应国家的手语动作，也可以将源语种的文本转换为目标语种对应国家的手语动作。
[0119]
其中，所述自然词汇具体指听力健全、语言表达能力健全的用户使用的词汇。以待翻译的文本序列的语种为中文为例，所述自然词汇可以为《现代汉语词典》、《新华词典》等中收录的中文词汇。
[0120]
自然词汇与手语词汇相对应，根据自然词汇对应的手语词汇，就可以确定所述自然词汇对应的基本手语要素以及要素种类，例如，对于自然词汇“爱”，其对应的手语词汇“爱”的基本手语要素信息如表1所示。由于在手语动作中各个基本手语要素与要素种类之间存在先后顺序，基于相应的顺序才能得到正确的动作，因此，确定自然词汇序列对应的基本手语要素和要素种类之后，需要进一步对基本手语要素和要素种类进行排序，生成手语要素序列。然后，基于手语标注体系就可以确定手语要素序列对应的手语标注序列。例如，对于自然词汇“爱”，基于表1，可以确定其对应的手语标注序列为“t0
‑
t0_o60,imrp0
‑
still_03
‑
straight_06
‑
c(dr,t4l)
‑
or_l_right
‑
or_r_down
‑
simile”。基于手语标注序列对文本序列进行手语翻译处理，就可以得到手语动作。所述手语动作可以是手语动作图片，也可以是手语动作的示范动画。例如，通过手语翻译模型确定文本序列对应的手语序列后，再将手语词转换为手语标注序列，可以得到相应的手语动作；也可以直接基于手语动作标注序列驱动三维人物模型执行相应的手语动作。
[0121]
此外，本发明实施例还可以将非文本内容转换为相应的手语动作。其中，所述非文本内容可以是语音或图片。具体的，本发明实施例可以对待翻译的语音进行文字识别处理，得到该语音对应的文本序列，然后对得到的文本序列执行前述步骤s41至步骤s45，得到该语音对应的手语动作。或者，本发明实施例可以对待翻译的图片进行图像识别以及文字识别，以得到该图片对应的文本序列，并对得到的文本序列执行前述步骤s41至步骤s45，得到该图片对应的手语动作。可以理解，本发明实施例对所述图片的具体内容不做具体限定，例如，所述图片中可以包括文字、图形、表情等内容。
[0122]
综上，本发明实施例通过预先构建的手语标注体系对待处理的手语动作数据进行要素分析，确定手语动作数据包含的基本手语要素，也即将待处理的手语动作数据拆解为标准化的基本手语动作单元，能够适用于各类手语动作数据的分析处理，有利于提高手语动作数据的分析准确度；并且，本发明实施例通过确定手语动作数据中各个基本手语要素的标注信息，将手语动作数据转化为机器可训练的手语标注序列，然后基于手语标注序列对手语动作数据执行操作处理，从而可以提高手语动作数据的处理效率和准确度。
[0123]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该
知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0124]
装置实施例
[0125]
参照图2，示出了本发明的一种数据处理装置实施例的结构框图，所述装置可以包括：
[0126]
手语动作数据获取模块201，用于获取待处理的手语动作数据；
[0127]
手语标注序列确定模块202，用于基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息；
[0128]
操作处理执行模块203，用于根据所述手语标注序列对所述手语动作数据执行操作处理。
[0129]
可选地，所述装置还包括：
[0130]
基本手语要素确定模块，用于基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类；
[0131]
手语标注体系构建模块，用于根据所述基本手语要素以及每个基本手语要素对应的要素种类，构建手语标注体系，所述手语标注体系包含每个基本手语要素的各个要素种类对应的标注信息。
[0132]
可选地，所述基本手语要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。
[0133]
可选地，所述基本手语要素确定模块，包括：
[0134]
动作数据分析子模块，用于遍历数据库中的各个手语动作数据，对各个手语动作数据进行动作拆解，确定每个手语动作数据对应的关键部位，以及所述关键部位的动作特征；
[0135]
动作特征归类子模块，用于基于语言学框架对所述数据库中各个手语动作数据对应的关键部位以及所述关键部分的动作特征进行归类处理，得到至少2个类簇，每一个类簇对应一项基本手语要素；
[0136]
要素种类确定子模块，用于根据每个类簇包含的动作特征确定所述类簇对应的基本手语要素的要素种类。
[0137]
可选地，所述动作特征包括旋转数据、位移数据、弯曲角度、关键特征、表情特征中的至少一项。
[0138]
可选地，所述手语标注序列确定模块，包括：
[0139]
第一要素确定子模块，用于对所述手语动作数据进行要素分析，确定所述手语动作数据对应的第一基本手语要素、所述第一基本手语要素的第一要素种类和第一时间戳；
[0140]
标注信息确定子模块，用于基于预先构建的手语标注体系确定所述第一基本手语要素的第一标注信息以及所述第一要素种类的第二标注信息；
[0141]
第一标注序列确定子模块，用于根据所述第一时间戳、所述第一标注信息以及所述第二标注信息，确定所述手语动作数据对应的手语标注序列。
[0142]
可选地，所述操作处理执行模块，包括：
[0143]
第一操作处理子模块，用于基于所述手语标注序列驱动预先构建的三维人物模型
执行所述手语动作数据对应的手语动作；和/或，
[0144]
第二操作处理子模块，用于基于所述手语标注序列对所述手语动作数据进行手语翻译处理，得到所述手语动作数据对应的目标文本序列。
[0145]
可选地，所述手语标注序列确定模块，包括：
[0146]
分词处理子模块，用于对待翻译的文本序列进行分词处理，得到所述文本序列对应的自然词汇序列；
[0147]
第二要素确定子模块，用于确定所述自然词汇序列中各个自然词汇对应的第二基本手语要素以及所述第二基本手语要素对应的第二要素种类；
[0148]
要素序列生成子模块，用于对所述第二基本手语要素和所述第二要素种类进行排序，生成符合手语语法规则的手语要素序列；
[0149]
第二标注序列确定子模块，用于基于所述手语标注体系确定所述手语要素序列对应的手语标注序列；
[0150]
所述操作处理执行模块，包括：
[0151]
第三操作处理子模块，用于根据所述手语标注序列对所述文本序列进行手语翻译处理，得到所述文本序列对应的手语动作。
[0152]
综上，本发明实施例通过预先构建的手语标注体系对待处理的手语动作数据进行要素分析，确定手语动作数据包含的基本手语要素，也即将待处理的手语动作数据拆解为标准化的基本手语动作单元，能够适用于各类手语动作数据的分析处理，有利于提高手语动作数据的分析准确度；并且，本发明实施例通过确定手语动作数据中各个基本手语要素的标注信息，将手语动作数据转化为机器可以自动识别的手语标注序列，然后基于手语标注序列对手语动作数据执行操作处理，可以提高手语动作数据的处理效率和准确度。
[0153]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0154]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0155]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0156]
本发明实施例提供了一种用于数据处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
[0157]
a11、获取待处理的手语动作数据；
[0158]
a12、基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息；
[0159]
a13、根据所述手语标注序列对所述手语动作数据执行操作处理。
[0160]
可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析之前，所述方法还包括：
[0161]
基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类；
[0162]
根据所述基本手语要素以及每个基本手语要素对应的要素种类，构建手语标注体系，所述手语标注体系包含每个基本手语要素的各个要素种类对应的标注信息。
[0163]
可选地，所述基本手语要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。
[0164]
可选地，所述基于语言学框架对数据库中的手语动作数据进行拆解归类，得到基本手语要素以及每个基本手语要素对应的要素种类，包括：
[0165]
遍历数据库中的各个手语动作数据，对各个手语动作数据进行动作拆解，确定每个手语动作数据对应的关键部位，以及所述关键部位的动作特征；
[0166]
基于语言学框架对所述数据库中各个手语动作数据对应的关键部位以及所述关键部分的动作特征进行归类处理，得到至少2个类簇，每一个类簇对应一项基本手语要素；
[0167]
根据每个类簇包含的动作特征确定所述类簇对应的基本手语要素的要素种类。
[0168]
可选地，所述动作特征包括旋转数据、位移数据、弯曲角度、关键特征、表情特征中的至少一项。
[0169]
可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
[0170]
对所述手语动作数据进行要素分析，确定所述手语动作数据对应的第一基本手语要素、所述第一基本手语要素的第一要素种类和第一时间戳；
[0171]
基于预先构建的手语标注体系确定所述第一基本手语要素的第一标注信息以及所述第一要素种类的第二标注信息；
[0172]
根据所述第一时间戳、所述第一标注信息以及所述第二标注信息，确定所述手语动作数据对应的手语标注序列。
[0173]
可选地，所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
[0174]
基于所述手语标注序列驱动预先构建的三维人物模型执行所述手语动作数据对应的手语动作；和/或，
[0175]
基于所述手语标注序列对所述手语动作数据进行手语翻译处理，得到所述手语动作数据对应的目标文本序列。
[0176]
可选地，所述基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，包括：
[0177]
对待翻译的文本序列进行分词处理，得到所述文本序列对应的自然词汇序列；
[0178]
确定所述自然词汇序列中各个自然词汇对应的第二基本手语要素以及所述第二基本手语要素对应的第二要素种类；
[0179]
对所述第二基本手语要素和所述第二要素种类进行排序，生成符合手语语法规则的手语要素序列；
[0180]
基于所述手语标注体系确定所述手语要素序列对应的手语标注序列；
[0181]
所述根据所述手语标注序列对所述手语动作数据执行操作处理，包括：
[0182]
根据所述手语标注序列对所述文本序列进行手语翻译处理，得到所述文本序列对应的手语动作。
[0183]
图3是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗
设备，健身设备，个人数字助理等。
[0184]
参照图3，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0185]
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0186]
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0187]
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
[0188]
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0189]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0190]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0191]
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以语音处理装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺
仪传感器，磁传感器，压力传感器或温度传感器。
[0192]
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频信息处理(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0193]
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0194]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0195]
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
[0196]
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0197]
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的数据处理方法。
[0198]
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种数据处理方法，所述方法包括：获取待处理的手语动作数据；基于预先构建的手语标注体系对所述手语动作数据进行要素分析，确定所述手语动作数据对应的手语标注序列，所述手语标注序列包含所述手语动作数据对应的各个基本手语要素的标注信息；根据所述手语标注序列对所述手语动作数据执行操作处理。
[0199]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0200]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
[0201]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0202]
以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。