数据处理方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及人工智能、大数据、机器学习、自然语言处理等技术领域，更具体的涉及数据处理方法、装置、电子设备、存储介质及计算机程序产品。


背景技术：

2.相关技术中，存在有如下场景：由于相同的数据在不同的系统、或同一系统中出现了不同的命名方式或定义，所以，导致数据的共享、交换变得异常困难。可见，如何将数据进行标准化成为了亟待解决的技术问题。


技术实现要素：

3.本公开提供了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。
4.根据本公开的一方面，提供了一种数据处理方法，包括：
5.获取目标数据，所述目标数据包括至少一个目标元素；
6.基于所述目标元素的属性，得到所述目标元素的第一标签和第二标签，其中所述第一标签表征为目标元素的语义，第二标签表征为目标元素的取值特征；
7.基于所述目标元素的第一标签和第二标签，采用人工智能方式确定所述目标元素的数据类别；
8.基于所述目标元素的数据类别，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据。
9.根据本公开的另一方面，提供了一种数据处理装置，包括：
10.第一获取单元，用于获取目标数据，所述目标数据包括至少一个目标元素；
11.第二获取单元，用于基于所述目标元素的属性，得到所述目标元素的第一标签和第二标签，其中所述第一标签表征为目标元素的语义，第二标签表征为目标元素的取值特征；
12.第一确定单元，用于基于所述目标元素的第一标签和第二标签，采用人工智能方式确定所述目标元素的数据类别；
13.第三获取单元，用于基于所述目标元素的数据类别，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据。
14.根据本公开的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例中的方法。
16.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
17.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，该计算机
程序被处理器执行时实现本公开任一实施例中的方法。
18.本公开的技术方案为数据从非标准化到标准化的自动处理提供了技术支持，提高数据治理效率。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是本公开实施例的应用场景示意图一；
22.图2是本公开实施例的应用场景示意图二；
23.图3是本公开实施例的数据处理方法的流程示意图一；
24.图4(a)是本公开实施例的第一目标表的示意图；
25.图4(b)是本公开实施例的第二目标表的示意图；
26.图5是本公开实施例的数据处理方法的流程示意图二；
27.图6是本公开实施例的数据处理方法的流程示意图三；
28.图7是本公开实施例的数据处理方法的实现架构示意图一；
29.图8是本公开实施例的数据处理方法的实现架构示意图二；
30.图9是本公开实施例的数据处理装置的组成示意图；
31.图10是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.本公开是针对存在有大量业务数据的场景。在实际应用中，该场景可以是病患就医的场景，在该场景下可产生诸如病患门诊病历、住院病历、手术病历、死亡病历等业务数据。每个医院会将产生的业务数据存储到自身的医务系统中。其中，病患门诊病历、住院病历、手术病历、死亡病历等均以表的形式进行患病信息的记录。示例性地，如门诊病历这张表中，记录有病患的姓名、性别、出生日期、既往患病史、目前患病情况等各项数据。如图1所示，待到需要时，有需要的单位如卫建委或科研单位会对所有医院的医务系统中存储的数据进行采集，以进行患病情况的分析。如，分析某个病症的高发人群的年龄，某个病症的高发人群所处的地域等。
34.图1中的n表示医院的数量，为大于或等于1的正整数。可以理解，每个医院的医务系统可以是一个，还可以是两个或两个以上。
35.大量业务数据的场景还可以是存储学生信息的场景，在该场景下学生的个人信息如姓名、性别、年龄、政治面貌、住址等作为业务数据被存储到各个学校的业务系统中。其中，不同学校的每个学生的个人信息均以表的形式进行记录。如，前述的个人信息记录到学生的个人信息表中。如图2所示，待到需要时，有需要的单位如教委会对所有学校的业务系
统中存储的数据进行采集，以进行学业情况的分析。如，分析中考排名在前1000名的孩子的性别；高考考上一本的孩子的家庭所在的区或县。
36.图2中的m表示学校的数量，为大于或等于1的正整数。可以理解，每个学校的业务系统可以是一个，还可以是两个或两个以上。
37.以医务系统为例，在不同医院的医务系统中，相同的业务数据会以不同的方式如命名方式或书写方式进行存储。示例性地，针对门诊病历，有的医院命名为“门诊病历”，有的医院命名为“门急诊诊疗病历”，有的医院命名为“xx儿童医院门急诊病历”等等，对门诊病历的命名是多种多样的。再如，针对门诊病历中的性别这一项，在有些医院业务系统中被书写为“男性”，有些医院业务系统中被书写为“男、男性成人或男童”，对性别这一项的书写方式是不同的。
38.以学校的业务系统为例，在有的业务系统中将姓名这一项命名为“姓名”，有的业务系统将姓名这一项命名为“name”，有的业务系统将姓名这一项命名为“姓氏”。
39.从前述内容来看，相同业务数据在不同医务系统中的命名方式或书写方式不同，则为不同医务系统中的数据交换、分析和集成造成了很大的困难。
40.本公开的技术方案，可解决前述的不同医务系或学校业务系统中的业务数据存在的不一致的问题，能够将不同医务系统中或不同学校业务系统中的业务数据进行标准化处理，得到标准化的业务数据，能够为有需要的单位如卫建委或教委提供标准的业务数据，进而方便大有需要的单位实现对患病情况或学业情况的高效分析，提高分析效率。
41.如果将不同医务系统或不同学校业务系统中的业务数据视为非标准化的数据，那么本公开的技术方案可视为一种将非标准化数据处理为标准化数据的方案。且依赖于人工智能(ai)方式实现的方案，为一种自动实现标准化的方案。
42.如果将非标准化数据处理为标准化数据的方案可视为一种数据治理方案，那么本公开的依赖于人工智能(ai)方式实现的方案可被视为一种智能的数据治理方案。与相关技术中的人工治理数据的方案相比，可解放人力物力，提高治理效率和准确率。
43.本公开的数据处理方法的处理逻辑可部署于任何合理的终端或服务器中。其中，服务器包括普通服务器、云服务器、用于专业领域如用于(患病或学业)数据分析的服务器。终端包括但不限定于平板电脑、一体机、台式机、手机等。优选部署于服务器中。
44.下面对本公开技术方案进行进一步说明。
45.图3是本公开实施例的数据处理方法的流程示意图一。如图3所示，所述方法包括：
46.s301：获取目标数据，所述目标数据包括至少一个目标元素；
47.可以理解，在医务系统或学校业务系统是以表的形式进行数据存储的情况下，可通过采集医务系统或学校业务系统中以表形式存储的各项数据的方式得到目标元素。如采集姓名这项数据，采集性别这项数据。还可以通过采集医务系统或学校业务系统中存储的表，读取表中的部分项数据或全部项数据而得到目标元素。如，采集门诊病历表，读取表中的姓名(name或姓氏)、性别等项数据作为目标元素。
48.本步骤中，表中的各项数据可视为不同种类的元素。目标元素为不同种类中的至少其中一种的元素。
49.示例性地，以医务系统中存储的门诊病历表为例，表中包括姓名、性别、出生日期、既往患病史、目前患病情况等几种不同种类的数据。目标元素可以为姓名这个种类的数据。
或者，为姓名和性别这两个种类的数据。或者，目标元素为全部种类的数据。
50.目标数据中包括的至少一个目标元素可以是同一种类下的单个或多个数据。以医务系统中存储的门诊病历表为例，至少一个目标元素可以是某个门诊病历表中的姓名或性别，或者多个门诊病历表中的姓名或性别。
51.目标数据中包括的至少一个目标元素可以是不同种类下的单个或多个数据。以医务系统中存储的门诊病历表为例，至少一个目标元素可以是某个门诊病历表中的姓名和性别，或者多个门诊病历表中的姓名和性别。
52.通俗来讲，在采集到的目标元素为单一种类的数据时，该单一种类的数量可以是一个，还可以是多个。以姓名这个种类为例，采集到的目标元素可以是某个门诊病历表中的姓名，还可以是多个门诊病历表中各个门诊病历表中的姓名。在采集到的目标元素为多种类的数据时，每个种类下的数据可以是一个，也可以是多个。以姓名和性别这两个种类为例，采集到的目标元素可以是某个门诊病历表中的姓名和性别，还可以是多个门诊病历表中各个门诊病历表中的姓名和性别。
53.在一个可选方案中，可响应于采集指令，对目标数据进行获取。其中，获取指令可在采集周期到来时自动产生。如在预设的采集周期到来时产生采集指令，响应采集指令，对医务系统或学校业务系统中的数据进行采集。其中，采集周期可以是秒、分、小时、日、月、年为单位，如为30天，每隔30天进行一次数据的采集。
54.获取指令可基于用户的输入操作而产生。示例性地，以数据处理方法的处理逻辑部署于服务器中为例，服务器的显示界面可呈现一功能键，用户对该功能键进行点击、按压等输入操作，检测到该输入操作的情况下，生成采集指令，对采集指令进行响应，从医务系统或学校业务系统中进行数据的采集。
55.s302：基于目标元素的属性，得到目标元素的第一标签和第二标签，其中所述第一标签表征为目标元素的语义，第二标签表征为目标元素的取值特征；
56.如果对于表中包括的不同种类数据，每种视为一项数据，每项数据视为一个元素，那么表中记录的是每个元素的相关信息，如每个元素的命名信息和取值信息。基于此，元素的属性包括元素的命名信息，由于不同医院或学校采用的命名方式可能不同，所以，对于姓名这一元素，其命名信息可以是姓名、姓氏、name等中的一种或多种。元素的属性还包括元素的取值信息，由于不同医院或学校采用的书写方式可能不同，所以，对于性别这一元素，其取值可以是男(女)、男性(女性)、成年男(女)性、男(女)童等中的一种或多种。
57.元素的语义指的是该元素是何种元素，如是“姓名”这一元素、或是“性别”这一元素。元素的取值特征表示的是该元素可取的取值范围，如性别这一元素的取值范围是男和女，包括男和女这两种取值。
58.s303：基于目标元素的第一标签和第二标签，采用人工智能方式确定目标元素的数据类别；
59.本步骤中，基于目标元素的语义和取值特征，采用ai方式确定目标元素的数据类别。相当于，将元素的语义和取值进行结合，利用ai方式实现对数据类别的确定或识别。
60.通常，数据类别与元素相对应。如果目标元素是姓名这一元素，则数据类别为姓名这个类别，如果目标元素是性别这一元素，则数据类别是性别这个类别。
61.可以理解，在实际应用中，数据类别有多种，对于一个目标元素，确定与其对应的
数据类别为何种数据类别，需采用ai方式来实现。其中，ai方式具体为任何合理的ai算法，如分类算法、逻辑回归算法、决策树等。在实施时，可将元素的两个标签输入至前述的至少其中一种算法模型中，由算法模型进行处理并输出与目标元素对应的数据类别。
62.s304：基于目标元素的数据类别，对目标元素进行标准化处理，得到目标元素的标准化数据。
63.本步骤中，基于目标元素的数据类别，对目标表的目标元素进行标准化处理，将目标表中的非标准数据实现了标准化，进而得到目标元素的标准化数据。考虑到目标元素的相关信息包括命名信息和取值信息，目标元素的标准化包括对命名信息的标准化和/或对取值信息的标准化，进而得到命名信息标准化和/或取值信息标准化的目标元素的标准化数据。
64.s301～s304中，基于获取到的目标元素的属性，得到目标元素的表征为元素语义的第一标签和元素取值特征的第二标签。基于目标元素的第一标签和第二标签，采用ai方式确定目标元素的数据类别，基于目标元素的数据类别，对目标表的目标元素进行标准化处理，实现了目标元素的标准化。为一种将非标准化数据处理为标准化数据的方案、且为自动处理为标准化的方案。与相关技术中的人工治理数据(人工处理为标准化数据)的方案相比，可解放人力物力，提高治理效率。
65.可见，本公开的技术方案为数据从非标准化到标准化的自动处理提供了技术支持。
66.此外，将两种标签进行结合，采用ai方式进行数据类别的确定或识别。考虑到ai算法具有强健的稳定性和鲁棒性，所以基于ai方式实现的确定或识别可提高数据类别的确定或识别准确性。两种标签的结合以及强健算法的采用，可大大提高准确性，进而提高标准化的准确性，实现对数据的准确治理。
67.示例性地，假定采集到的目标元素为“name”(在医务系统中姓名被命名为英文)，基于name这一目标元素的命名信息和取值信息，得到name这一目标元素的语义和取值特征，将语义和取值特征输入至ai模型，由ai模型来识别这一目标元素为何种数据类别，ai模型经过识别输出其为姓名这一数据类别的结果。将属于姓名这一数据类别的name进行标准化处理，将医务系统中采用进行“name”进行命名的姓名这一元素变成了采用“姓名”进行命名。或者，将医务系统中采用“姓氏”进行命名的姓名这一元素变成了采用“姓名”这一统一标准进行命名，实现对姓名这一元素的标准化命名。
68.可以理解，如果将医务系统或学校业务系统中存储的表视为第一目标表，第一目标表中记录的数据可能是以标准形式进行命名和取值的数据，还可能是以非标准形式进行命名和/或取值的数据。如医务系统中可能存在这样的表，表的姓名这个元素命名为姓氏或英文name，标准的命名是姓名，则经过前述s301～s304的技术方案，在得到目标元素的标准化数据之后，可基于目标元素的标准化数据，得到第二目标表。在第二目标表中目标元素均以标准化数据的形式进行记录。可以理解，第一目标表中的数据可能是采用非标准形式进行记录的数据，第二目标表中的数据是以标准形式进行记录的数据。如，第二目标表中对于姓名这一元素的命名为姓名，并非姓氏或name。在第二目标表中无论是元素的命名还是元素的取值均为标准化的数据。这种将非标准化数据处理为标准化数据的方案，可有效提高数据治理效率。
69.在实际应用中，可预先设置标准表，与区别于前述的第一和第二目标表，标准表可视为第三目标表。可预先设计标准表中的元素命名为标准化命名，并规定元素的取值需为标准化取值。经过前述s301～s304的方案，得到目标元素标准化数据如标准化取值，将标准化取值添加到标准表中，连同标准表中已经存在的元素的标准化命名，即可得到采用标准化命名以及采用标准化取值的标准表。
70.示例性地，针对第一目标表中的元素的取值是不标准或不统一的情况，如图4(a)所示，性别这一元素的取值为“男童”，如手机号码这一元素的取值为111-111-111(数字之间存在破折号)。在从常识性出发可知性别通常为男(性)或女(性)，手机号码的数字之间无需存在破折号。这种为男童、手机号码的书写方式，与常识相比不够规范。经过前述s301～s304的方案，得到性别这一元素的标准化取值为男，将“男”添加到标准表中采用标准化命名的性别这一项元素的后面，作为性别的取值。或经过前述s301～s304的方案，得到手机号码这一元素的标准化取值为111111111，将“111111111”添加到标准表中采用标准化命名的手机号码这一项元素的后面，作为手机号码的取值，如图4(b)所示。
71.可以理解，如果采集的是医务系统或学校业务系统中存储的表，将采集的表视为目标表的情况下，采集到的目标表的数量为多个。多个目标表中可能存在有相同的目标元素。如采集的多个门诊病历表中均包括性别这个相同目标元素。
72.在一个可选实施方式中，在获取目标数据之后，所述方法还包括：
73.获得各个目标表中的相同目标元素的取值分布特征；
74.在所述相同目标元素的取值分布特征满足预定分布特征的情况下，基于各个目标表中的所述相同目标元素的属性，得到各个目标表中该相同目标元素的第一标签和第二标签。
75.前述可选方案中，从各个目标表中获取相同目标元素的取值，采用统计学方式，基于这些取值，计算相同目标元素的取值分布特征，如果相同目标元素的取值分布特征满足预定分布特征如符合正态分布或平均分布，说明采集到的该相同目标元素的取值较为均衡，有利于数据治理。则基于各个目标表中的所述相同目标元素的命名信息和/或取值信息，得到各个目标表中该相同目标元素的语义和取值特征。
76.如果相同目标元素的取值分布特征未满足预定分布特征，说明采集到的该相同目标元素的取值不够均衡，不利于数据治理。需返回至s301进行目标数据的重新获取，以使得各种类的目标元素的取值尽量均衡。
77.前述方案是考虑到在数据治理需对取值均衡的数据进行治理，如对男女比例均衡的患病数据进行治理，基于此，需采集到均衡的数据，如男女比例均衡的数据、或中年人、老年人、儿童比例均衡的数据，避免数据采集的不够均衡而导致有需要的单位无法实现正常的数据分析。
78.作为一个可实施方式，如图5所示，前述的(s302)基于目标元素的属性，得到目标元素的第一标签的方案可由以下其中之一来实现：
79.s302a包括：
80.方式一：基于目标元素的命名信息，得到目标元素的第一标签；
81.在方式一中，采用自然语言的语义识别方法，对目标元素的命名信息进行语义识别，得到表征目标元素语义的第一标签。第一标签的这种获得方法简单、易行，在工程上易
于实现。
82.方式二：基于目标元素所处的目标表的命名信息和目标元素的命名信息，得到目标元素的第一标签。
83.在方式二中，采用自然语言的语义识别方法，对目标表的命名信息、目标元素的命名信息进行语义识别，得到表征目标元素语义的第一标签。在实际应用中，(目标)表中出现的元素是与表的命名有关系的元素。示例性地，以门诊病历表为例，该表的命名为“门诊病历表”，为了对病患信息实现详细的记录，性别或年龄等元素是必不可少的元素，其应出现在该表中。由此可见，表的命名信息的语义在一定程度上会对表中出现的元素的语义信息的识别有帮助。与方式一的对目标元素的命名信息进行语义识别的方案相比，方式二相当于结合目标表的命名的语义，得到目标元素的语义，使得元素的语义更加准确。从而实现对数据治理的准确性。
84.作为一个可实施方式，如图5所示，前述(s302)基于目标元素的属性，得到目标元素的第二标签的方案可采用如下方案来实现：
85.s302b：基于目标元素的取值信息和第一标签，得到目标元素的第二标签。
86.本步骤中，相当于结合目标元素的语义和目标元素的取值信息，对目标元素的取值特征进行识别。
87.如，性别这一元素，其元素的取值具有男和女这两种取值的特征。基于性别这一目标元素的语义和元素的诸如“男、男性、男童、女、女性、女童”等取值信息，识别出取值特征为男和女这两种。
88.第二标签的这种获得方法简单、易行，在工程上易于实现。且，结合元素的语义对元素的取值特征进行识别，考虑到元素的语义对元素的取值特征的识别的影响，可大大提高第二标签的识别准确性。
89.如无特殊说明，本公开中的目标表为前述的第一目标表，目标表为医务系统或学校业务系统中存储的表，或为从前述系统中采集到的表，如此，表的数量为多个。本公开技术方案中的目标元素为目标表中的元素，基于此，作为一个可实施方式，本公开的数据处理方法还包括：
90.基于多个目标表中每个目标表的目标元素的第一标签和第二标签，采用第一预设算法从所述多个目标表中确定出具有关联关系的目标表；其中目标表之间的关联关系用于供输出。
91.在实际应用中，多个目标表中可能存在有具有一定关联关系的表。如多个目标表中包括张三的门诊病历表和张三的住院病历表。张三的门诊病历表和张三的住院病历表作为各自单独的表，可执行如图3所示的流程，以实现两张表中的元素的标准化。
92.此外，张三的门诊病历表和张三的住院病历表作为同一病患-张三的两张不同表，可基于两张表中目标元素的元素语义和元素取值特征，采用第一预设算法-社群关系挖掘算法从采集到的多张目标表中实现对同一病患的不同表的挖掘。在实施时，可将不同表的表中目标元素的元素语义和元素取值特征输入至采用社群关系挖掘算法的挖掘模型，由挖掘模型根据输入的信息对具有关联关系的目标表进行挖掘，并给出挖掘结果。如，输出具有关联关系的目标表或具有关联关系的目标表中的目标元素。由此，可从多个目标表中得到具有关联关系的目标表。这种具有关联关系的目标表的挖掘，可利于相关单位如卫健委对
同一病患的患病情况的分析，实用性强。
93.在实际应用中，可将目标表之间的关联关系进行输出，如输出目标表1和目标表2为针对同一病患的两张不同表，或者在输出其中一张目标表时将另外一张与其有关联关系的目标表也输出。实现了具有关联关系的标准化数据的可视化，体现了标准化数据的实用性和易用性。
94.在实际应用中，前述的门诊病历表、住院病历表、手术病历表、学生个人信息表等表在医务系统或学校业务系统中被作为业务表来使用。医务系统或学校业务系统中除了存储业务表，还存储字典表。字典表可视为、为节省对医务系统或学校业务系统的存储空间的占用、为业务表中的某项或某个元素的取值或命名规定而设定的表。
95.以业务表中的性别这一元素为例，如果在业务表中姓名这一元素的取值均以汉字男(性)、女(性)书写并保存在系统中势必会占用很大的存储空间，为减少对存储空间的占用，为性别这一元素设计一个字典表，字典表中记录数字“0”表示男性，数字“1”表示女性。如此，在医务系统中，业务表中的性别这一元素可不采用汉字而采用数字的形式进行存储，如将一个门诊病历表中的性别一项的后面写上数字“0”，作为性别这一元素的取值，通过参照字典表可知具有该门诊病历表的患者的性别是男性。相当于，利用字典表能够实现对业务表中的元素的命名或元素的取值的简化存储，可大大减少对存储空间的占用。
96.由此可知，医务系统或学校业务系统中存在两种类型的表：业务表和字典表。在医务系统或学校业务系统中采集数据时，采集到的目标元素可能是业务表中的元素，还可能是字典表中的元素。如何识别采集到的目标元素是业务表中的元素还是字典表中的元素，可采用如下方案来实现。
97.基于目标元素的第一标签和第二标签，采用第二预设算法确定目标表的类型。
98.此处，第二预设算法为任何合理的ai模型算法，如二分类算法、逻辑回归算法、决策树算法等。在实施时，可将采集到的目标元素的第一标签和第二标签输入至采用前述至少其中之一算法的ai模型，由ai模型通过对目标元素的语义和取值特征的分析来得到该目标元素来源于业务表还是来源于字典表，并给出分析结果。由此实现对目标元素是业务表中的元素还是字典表中的元素的识别。
99.其中，由于ai模型的强鲁棒性和健壮性，所以可实现目标表的类型的准确识别。由此可提供数据治理的准确性。
100.可以理解，与存储的字典表相比，业务表的应用价值更大，对业务表中的元素进行标准化的应用意义强于对字典表中元素的标准化的应用意义。
101.在实际应用中，如果确定目标表的类型为第一类型表即业务表，则基于目标元素的数据类别，对目标元素进行标准化处理，得到所述目标元素的标准化数据。如果确定目标表的类型为第二类型表即字典表，则不进行标准化处理或者无需确定目标元素的数据类别。
102.当然，也可以，目标表的类型无论是第一类型还是第二类型，均可进行目标元素的标准化处理。进而实现对不同类型表中的元素的标准化，使得标准化处理更加全面。
103.作为一个可选方式，前述(s304)基于所述目标元素的数据类别，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据的方案可以是：按照目标元素的数据类别对应的目标处理方式，对目标元素进行标准化处理，得到目标元素的标准化数据。
104.其中，预先为每种数据类别设置一种对应的目标处理方式，利用目标处理方式实现对该类别的数据的标准化处理。示例性地，为姓名这一数据类别设置的目标处理方式为将采用“name”或“姓氏”命名的元素处理为采用“姓名”进行命名。基于该处理方式，将(第一)目标表中采用“name”或“姓氏”命名的元素处理为采用“姓名”进行命名，得到姓名元素的标准化命名。
105.这种标准化方法简单、易行，在工程上易于实施，实用性强。有效提供了数据治理效率。
106.作为一个可实施方式，所述基于所述目标元素的数据类别，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据，包括：
107.基于所述目标元素的数据类别和所述目标表的类型，对所述目标表的目标元素进行标准化处理，得到目标元素的标准化数据。
108.这种情况针对是业务表和字典表中出现的同一元素。如性别这一元素，在字典表中定义数字0表示男性，数字1表示为女性。在业务表中以数字0或数字1表示性别。目标表的类型不同，对不同类型目标表中的为同一数据类别的数据执行不同的标准化处理，得到标准化数据。基于数据类别和目标表的类型，实现了目标元素的标准化，实现了对不同表中的同一元素的各自标准化，使得标准化更加全面。
109.示例性地，如果目标表为业务表，对业务表中针对性别这一数据类别，采用的目标处理方式是按照字典表的规定进行性别从数字表示到汉字表示的还原，按照这种目标处理方式，可将目标表中取值为“0”的性别元素的取值处理为“男性”。
110.如果目标表为字典表，不对字典表中的目标元素进行标准化处理。或者，对字典表中的目标元素进行标准化处理。如，针对字典表中性别这一数据类别，采用的目标处理方式是将数字0和数字1的性别表示进行变换，如原本的数字0表示男性变换成数字0表示女性，原本的数字1表示女性变换成数字1表示男性，按照这种目标处理方式，可知字典表中的数字0和1表示的性别进行了互换。后续医务系统或学校业务系统根据该字典表的规定，进而性别的记录。
111.如图6所示，作为一个可实施方式，本公开的数据处理方法还包括：
112.s305：输出目标元素的标准化数据。
113.如将第一目标表中的采用“name”或“姓氏”进行命名的姓名这一目标元素输出为“姓名”这一标准化数据，以实现对姓名这一目标元素的标准化命名的输出。
114.数据的这种标准化输出，实现了标准化数据的可视化，体现了标准化数据的实用性和易用性。也可大大方便相关人员如卫健委、或教委人员的查看，提高了用户体验。
115.下面结合图7-图8对本公开实施例的技术方案做详细说明。
116.如图7所示，实现本公开实施例的数据处理方法的系统包括采集子系统、处理子系统和展示子系统。其中，采集子系统用于从医务系统或学校业务系统中进行目标数据的采集。分析子系统用于对采集子系统采集到的目标数据进行处理，主要是将采集到的非标准元素的命名和/或元素的取值处理为标准化命名和/或标准取值，即，主要用于实现数据从非标准化到标准化的处理。展示子系统用于对标准化的处理结果进行展示。
117.下面对以上几个子系统进行详细的说明。
118.以采集子系统采集医务系统中的门诊病历表作为目标表为例，采集子系统可在采
集周期到来时或检测到用户需要采集子系统进行数据采集的输入操作的情况下进行一次数据的采集。
119.考虑到医学系统中存在多种表，如门诊病历表、住院病历表、手术病历表等，每次采集的表的种类、每种表的数量可以根据实际情况而设定。
120.如，在当前次的采集下采集了l个门诊病历表，将门诊病历表中的姓名、性别、年龄、手机号码、既往病史、现患病情况等几项数据作为目标元素。读取l个门诊病历表中存在的各种目标元素的命名信息和目标元素的取值信息。
121.如，读取l个关于姓名这一元素的命名信息和取值信息，读取l个关于性别这一元素的命名信息和取值信息，读取l个关于年龄这一元素的命名信息和取值信息。
122.以姓名这一目标元素为例，在门诊病历表中该元素的命名可能是“姓名”、“姓氏”、“name”，取值信息可以是张三、李四、王五等。
123.门诊病历表中的性别的命名可能是“性别”、“sexy”、“sex”(性别的英文)等。因为字典表的存在，其取值信息可以是数字0、数字1等。
124.可见，采集到的姓名、性别等目标元素的命名信息是多样的，不统一。
125.可以理解，姓名的命名信息和取值信息的数量为l个，性别的命名信息和取值信息的数量为l个。如果仅取姓名和性别作为目标元素，则可仅对l个关于姓名的命名信息和取值信息进行标准化，以及对l个关于性别的命名信息和取值信息进行标准化。
126.如，将l个关于姓名的命名信息均标准化为“姓名”，将l个关于性别的命名信息均标准化为“性别”。如此，可将采集到的门诊病历表中的原本书写成“姓氏”或“name”的数据项均统一为“姓名”，将原本书写成“sexy”、“sex”的数据项均统一为“性别”。由此实现姓名、性别等元素的标准化，可有效提高数据治理效率。
127.如图8所示，处理子系统主要包括如下几个模块：
128.1)探查模块
129.假定当前次采集到l个表，针对l个表中的特定元素如性别或年龄，以性别为例，在读取到l个表中各个表中的性别的取值的情况下，采用统计学方式，计算性别的取值的分布特征，如果该分布特征符合正态分布或平均分布，说明当前次采集到的男女性别比例较为平衡，可将读取到的l个表的各目标元素的取值信息输入至后续模块。如果该分布特征未符合正态分布或平均分布，说明当前次采集到的男女性别比例不平衡，触发采集子系统进行目标数据的重新采集，直至性别取值的分布特征符合预定分布特征。
130.在一些应用场景，也需要采集各个年龄段的数据，参照前述对性别取值是否均衡的说明，可对年龄这个目标元素的取值进行分布特征的计算，由此识别出采集到的目标数据中年龄是否均衡。
131.2)语义复原(或识别)模块
132.采用自然语言的语义识别方法，对l个表中的姓名、性别等目标元素的命名信息进行语义识别，或者结合目标元素所处的表的命名信息如“门诊病历表”对目标元素的命名信息进行语义识别，得到目标元素的语义。由此可获知，表中的“name”、“姓氏”等数据指的是姓名，表中的“sexy”、“sex”等数据指的是性别。
133.在实际应用中，表中的数据除可采用英文进行书写，还可以采用中文拼音的方式进行书写，如“nl(年龄的中文拼音的首写字母)”。此处方案，可视为将采用英文和/或中文
拼音进行书写的命名信息进行语义的识别，以方便后续的标准化。
134.3)特征分析模块
135.针对各表中的元素，结合元素的语义和元素的取值信息，对元素的取值特征进行识别。
136.示例性，性别这一元素，在l个表中元素的取值为0或1，为两种取值。且取这两个值的元素的语义为性别。由此可知，语义为性别的元素具有0和1两种取值的取值特征。
137.示例性地，针对既往病史这一元素，在l个表中的元素取值可以为l个病患以往的患病情况，基于对元素取值的分析，可知语义为既让病史的这一元素的取值为多种病症。
138.示例性地，针对年龄这一元素，在l个表中的元素取值可以为l个病患的年龄，基于对元素取值的分析，可知语义为年龄的这一元素的取值为多个数值年龄。
139.由此可获知表中的各个元素的取值特征。
140.4)识别模块
141.将元素的语义和取值特征进行结合，利用ai方式实现对数据类别的识别。
142.示例性地，将元素语义为性别的元素的语义和为0和1的两种取值的取值特征输入至ai模型如逻辑回归模型，由ai模型识别该元素的数据类别为性别这一类别。
143.示例性地，将元素语义为年龄的元素的语义和为多个数值年龄的取值特征输入至ai模型如逻辑回归模型，由ai模型识别该元素的数据类别为年龄这一类别。
144.将元素的语义和取值特征进行结合，利用ai方式实现对元素所处的表的类型的识别。
145.在实际应用中，每次采集的表中可能存在字典表，可能存在业务表。将从表1中读取出的目标元素的语义和取值特征输入至ai模型如二分类模型，由二分类模型基于输入信息识别出目标元素所处的表如表1是字典表还是业务表的结果并输出。由此可实现对采集到的各个表是字典表或是业务表的识别。
146.5)挖掘模块
147.可将l个表的各表中目标元素的语义和取值特征输入至采用社群关系挖掘算法的挖掘模型，由挖掘模型根据输入的信息对具有关联关系的表进行挖掘，并给出挖掘结果。
148.如，表1和表2是具有关联关系的表，均为针对同一病患的表。如表1为就诊时间在2021的门诊病历表，表2为就诊时间在2022年的门诊病历表。
149.挖掘模型能够挖掘出具有关联关系的表的原理主要是：在具有关联关系的不同表中，会存在两个或两个以上元素的取值相同。如在针对同一病患的两个不同表中，其姓名、性别、年龄、出生日期和手机号码等元素的取值会相同。挖掘模型通过元素的语义和取值特征来识别在l个表中哪些表具有关联关系。
150.前述的关联关系可以是任何合理的关联关系，如基于表中患者家属信息挖掘出具有亲缘关系病患的表，同一病患的住院病历表和手术病历表等。
151.6)标准化模块
152.按照为每种数据类别设置的目标处理方式实现对该类别的数据的标准化处理。
153.如，将表中采用“name”或“姓氏”命名的姓名元素处理为采用“姓名”进行命名，得到姓名元素的标准化命名。将表中采用“sexy”命名的性别元素处理为采用“性别”进行命名，得到性别元素的标准化命名。
154.或者，按照字典表的规定，将表中针对性别元素而采用的数字0和数字1的元素取值变换为男和女的元素取值。
155.由此可实现表中的数据的标准化命名和标准化取值。
156.可以理解，可结合表的类型对各类别数据进行标准化处理。如果表为业务表，则按照前述方案进行标准化。如果表为字典表，则可不进行标准化，也可进行标准化。字典表的标准化过程参见前述相关说明。
157.在实际应用中，不同类型的表如字典表和业务表中可能出现相同元素，结合表的类型进行该相同元素的标准化，可有效避免数据被标准化出错的问题。
158.前述的处理子系统实现了表中的数据从非标准化数据到标准化的过程。即，处理子系统将表中的非标准化数据处理为标准化数据，为一种自动处理为标准化的方案。与相关技术中的人工治理数据的方案相比，可解放人力物力，提高治理效率。
159.另外，在前述方案中，处理子系统将元素语义和取值特征进行结合，采用ai方式进行数据类别的识别、表关系的挖掘和表类型的识别。两种标签(元素语义和取值特征)的结合以及ai算法的采用，可大大提高准确性，进而实现对数据的准确治理。
160.处理子系统的如上处理过程(包括处理子系统的各个模块的处理过程)可以以表为单位，逐一对各个表中的各个目标元素进行如上处理。还可以以元素为单位，将各表中相同元素作为一个待处理组，对各待处理组进行如上处理，可加快处理效率，从而提高数据治理效率。
161.处理子系统可将识别出的数据类别、挖掘出的表关系、识别出的表类型、处理后的标准化数据等作为推荐内容，推荐至展示子系统进行输出。
162.如图8所示，展示子系统包括以下几个模块：
163.1)表展示模块：可对目标元素的命名和/或取值进行标准化的表进行展示。如展示目标元素被标准化的门诊病历表，其中关于姓名元素的命名为“姓名”，性别元素的命名为“性别”、且取值为男，均为标准化数据。不存在被命名为“name”、“sex”的数据。
164.如果将某个病患的经过标准化的手术病历表作为主表，则该病患的经过标准化的门诊病历表作为副表，处理子系统为该主表进行副表的推荐，推荐的副表的数量可以为一个，还可以为多个。如果表展示模块每次仅能输出一个或少量的副表，如果经人工核验发现副表错误、无法作为当前输出的主表的副表，则可人工从其他推荐的副表中进行正确副表的选择并输出。
165.其中，可结合用户输入的采集任务来确定主表。如果用户输入的采集任务是采集门诊病历表，则门诊病历表作为主表来使用。经过标准化的其他表如手术病历表作为副表来使用。
166.2)元素展示模块：可将经过标准化的元素的命名信息和取值信息中的其中之一进行展示。即，不对表进行整体展示，仅对表中的经过标准化的元素的命名信息的和取值信息进行展示。
167.示例性地，对l个表中经过标准化的关于性别这一元素的命名信息和取值信息(男或女)进行展示。
168.3)表关系展示模块：可展示具有关联关系的不同表或表中的数据。该表中的数据可以是经过标准化的数据，也可以是未经过标准化的数据，优选为经过标准化的数据。
169.或者，在输出某个表或表中的数据时，将与其具有关联关系的表的id(标识)如表文件的命名信息也输出。
170.4)字典表展示模块：在识别出表的类型为字典表的情况下，可对字典表进行展示。在字典表展示的过程中，人工可对字典表进行更改，如对字典表中描述的规则进行更改。或者，在输出主表时，字典表作为副表被输出，经人工核查发现该输出的字典表不是此时输出的主表的字典表，则可人工从展示子系统推荐的多个字典表中选择出正确的字典表。
171.可以理解，前述方案为自动实现数据治理的方案，为提高治理准确性。同时，可实现数据的可视化。针对以上各展示模块输出的内容，可由人工进行进一步核验，如果发现错误，可从推荐内容中挑选出正确的内容进行展示。
172.在实际应用中，在对采集到的某个表中的目标元素进行命名信息和取值信息的标准化后，将这些经过标准化的目标元素的相关信息(命名信息和取值信息)进行集合，得到一个新的表，该表中记录的各元素的命名信息和取值信息均为标准化的数据。
173.在实际应用中，可以预先设计好一个关于门诊病历的标准表，在标准表中各目标元素采用标准命名信息进行命名，那么仅需要将采集到的表中的采用非标准数据书写的元素的取值进行从非标准到标准的处理，并添加到标准表中的相应项的后面。如将原本性别元素取值为0的数据处理为男性，并将男性这两个字添加到标准表的性别项后面。
174.本公开的技术方案将代替人工治理方案，大大缩短人工治理时间，提高数据治理效率，同时使数据更加直观的展示。另外，本公开技术方案，基于数据的直观展示，为人工提供了修改机会，可进一步保证数据治理的准确性。
175.本公开实施例提供一种数据处理装置，如图9所示，所述装置包括：
176.第一获取单元901，用于获取目标数据，所述目标数据包括至少一个目标元素；
177.第二获取单元902，用于基于所述目标元素的属性，得到所述目标元素的第一标签和第二标签，其中所述第一标签表征为目标元素的语义，第二标签表征为目标元素的取值特征；
178.第一确定单元903，用于基于所述目标元素的第一标签和第二标签，采用人工智能方式确定所述目标元素的数据类别；
179.第三获取单元904，用于基于所述目标元素的数据类别，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据。
180.在一个可选方案中，第二获取单元902，用于
181.基于所述目标元素的命名信息，得到所述目标元素的第一标签；
182.或者，
183.基于所述目标元素所处的目标表的命名信息和所述目标元素的命名信息，得到所述目标元素的第一标签。
184.在一个可选方案中，第二获取单元902，用于基于所述目标元素的取值信息和第一标签，得到所述目标元素的第二标签。
185.在一个可选方案中，所述目标元素为目标表中的元素，所述目标表的数量为多个，所述装置还包括第二确定单元，用于
186.基于所述多个目标表中的每个目标表中的目标元素的第一标签和第二标签，采用第一预设算法从所述多个目标表中确定出具有关联关系的目标表；其中目标表之间的关联
关系用于供输出。
187.在一个可选方案中，所述目标元素为目标表中的元素，所述装置还包括第三确定单元，用于
188.基于所述目标元素的第一标签和第二标签，采用第二预设算法确定所述目标表的类型。
189.在一个可选方案中，第三获取单元904，用于
190.基于所述目标元素的数据类别和所述目标表的类型，对所述目标表的目标元素进行标准化处理，得到所述目标元素的标准化数据。
191.在一个可选方案中，第三获取单元904，用于
192.按照所述目标元素的数据类别对应的目标处理方式，对所述目标元素进行标准化处理，得到所述目标元素的标准化数据。
193.在一个可选方案中，所述目标元素为目标表中的元素，所述目标表的数量为多个，第一获取单元901，在获取目标数据之后，还用于
194.获得各个目标表中的相同目标元素的取值分布特征；
195.在所述相同目标元素的取值分布特征满足预定分布特征的情况下，基于各个目标表中的所述相同目标元素的属性，得到各个目标表中的所述相同目标元素的第一标签和第二标签。
196.在一个可选方案中，所述装置还包括输出单元，用于输出所述目标元素的标准化数据。
197.本公开实施例的数据处理装置中的各组成单元的功能可以参见数据处理方法的描述，在此不再赘述。本公开实施例的数据处理装置，由于解决问题的原理与前述的数据处理方法相似，因此，数据处理装置的实施过程及实施原理、有益效果均可以参见前述相关方法的实施过程及实施原理、有益效果描述，重复之处不再赘述。
198.根据本公开的实施例，本公开还提供了一种电子设备，所述电子设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的业务配置参数的获得方法。
199.关于电子设备的处理器、存储器的描述可参见图10中计算单元1001、存储单元1008的相关说明。
200.根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行前述的交通控制方法、交通控制模型的训练方法。关于计算机可读存储介质的说明请参见图10中的相关说明。
201.根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述的业务配置参数的获得。关于计算机程序产品的说明请参见图10中的相关说明。
202.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
203.图10是用来实现本公开实施例的数据处理装置的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服
务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
204.如图10所示，电子设备1000包括计算单元1001，其可以根据存储在rom 1002中的计算机程序或者从存储单元1008加载到ram 1003中的计算机程序来执行各种适当的动作和处理。在ram 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入输出(i/o)接口1005也连接至总线1004。
205.电子设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等任何可作为存储器使用的器件；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
206.本公开实施例中的存储单元1008可以具体为便携式计算机盘、硬盘、随机存储器(ram)、只读存储器(rom)、可擦编程只读存储器(eprom)或快闪存储器、光纤、cd-rom、光学储存设备、磁储存设备中的至少一种存储器。
207.计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于cpu、图形处理单元(gpu)、人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字处理器(dsp)、以及任何适当的处理器、控制器、微控制器等处理器。计算单元1001执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
208.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、可编辑阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
209.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器等可执行计算机程序代码的产品，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分
地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
210.在本公开的上下文中，机器可读介质(存储介质)可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、ram、rom、eprom或快闪存储器、光纤、cd-rom、光学储存设备、磁储存设备、或上述内容的任何合适组合。
211.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
212.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
213.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
214.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
215.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。