一种智能电网用人工智能数据采集方法及装置与流程

1.本发明涉及智能电网电力数据采集技术领域，尤其涉及一种智能电网用人工智能数据采集方法及装置。


背景技术：

2.现代观念的智能电网由高效、可靠、随时保持有效的配电网络组成。随着技术的发展和进步，供电公司基本上都采用智能电网设备，此类设备提供关于动态变化负荷的高精度、随时间变化的信息。为精确收集此类电力数据，迫切需要研究针对智能电网的人工智能数据采集方法。
3.人工智能是计算机科学的一个分支，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用。在对网络上的数据进行采集时，可以借助人工智能核心来完成数据采集的目的。人工智能数据采集在实施的过程中，尽管采集的速度较快，但是在初始采集的过程中往往都是对数据进行打包采集，在进行采集的过程中不能够针对性的对数据进行分类和辨识，此种采集方式容易导致在后续对数据进行处理时需要花费大量的时间，降低了数据采集的效率，同时在对不同网页上的数据进行采集时，一旦遇到大量重复性的数据时也会采集下来，无法对重复性的数据进行辨别，此种方式会造成数据冗余的情况发生。


技术实现要素：

4.为了解决相关技术问题，本技术的目的是提供了一种智能电网用人工智能数据采集方法及装置。
5.为实现本技术的目的，本技术提供的技术方案如下：
6.第一方面
7.本发明提供了一种智能电网用人工智能数据采集方法，包括如下步骤：
8.步骤s1：采用人工智能python核心来对网页数据信息进行收集，同时在收集的过程中根据实际情况来选择相应的数据采集；
9.步骤s2，在采集相应的数据后，进行数据清洗处理，将多余且重复的信息进行剔除；
10.步骤s3：基于人工智能python核心对采集的数据进行解析，将采集的数据进行分类；
11.步骤s4：完成数据分类后，通过人工智能python核心运算将数据储存在相应的数据库中；
12.步骤s5，当完成一个网页的数据采集后，通过人工智能python核心对该网页数据信息进行标识，以防在后续数据采集中收集到重复信息；
13.步骤s6，当需要对相应的数据进行读取时，根据需求在人工智能python核心中输入相应类别的数据，从而完成精准的数据读取工作。
14.其中，所述步骤s1中，在进行信息收集的过程中，首先由人工智能python核心发出命令请求，然后由python爬虫对相应的网页信息数据进行记录。
15.其中，所述步骤s1中，在信息数据记录采集的过程中，分别对不同的数据进行精确采集，分别实现图像采集、文字采集、视频采集和音频采集。
16.其中，所述步骤s2中，完成数据采集后，由人工智能python核心运行对数据进行清洗，将数据中重复的部分剔除掉，同时根据数据是否异常化来进行处理。
17.其中，所述步骤s3中，处理完数据后需要对其进行解析，由人工智能python核心运行将数据解析拆分，根据数据类型不同实现不同数据的分门别类，且在解析的过程中可以对无法解析的数据进行丢弃，避免出现数据冗余的情况。
18.其中，所述步骤s4中，完成数据解析后，对文件进行处理，由人工智能python核心建立五个库，分别为图像库、文字库、视频库、音频库以及混合库，其中混合库存放了不同类型的混合数据，由工作人员进行自主识别时。
19.第二方面
20.本发明提供了一种智能电网用人工智能数据采集装置，包括如下单元：
21.数据采集单元，其用于采用人工智能python核心来对网页数据信息进行收集，同时在收集的过程中根据实际情况来选择相应的数据采集；
22.数据处理单元，其用于在采集相应的数据后，进行数据清洗处理，将多余且重复的信息进行剔除；
23.数据分类单元，其用于基于人工智能python核心对采集的数据进行解析，将采集的数据进行分类；
24.数据存储单元，其用于完成数据分类后，通过人工智能python核心运算将数据储存在相应的数据库中；
25.数据标识单元，其用于当完成一个网页的数据采集后，通过人工智能python核心对该网页数据信息进行标识，以防在后续数据采集中收集到重复信息；
26.数据读取单元，其用于当需要对相应的数据进行读取时，根据需求在人工智能python核心中输入相应类别的数据，从而完成精准的数据读取工作。
27.其中，所述数据采集单元用于在进行信息收集的过程中，首先由人工智能python核心发出命令请求，然后由python爬虫对相应的网页信息数据进行记录。
28.其中，所述数据采集单元用于在信息数据记录采集的过程中，分别对不同的数据进行精确采集，分别实现图像采集、文字采集、视频采集和音频采集。
29.其中，所述数据分类单元用于处理完数据后对其进行解析，由人工智能python核心运行将数据解析拆分，根据数据类型不同实现不同数据的分门别类，且在解析的过程中可以对无法解析的数据进行丢弃，避免出现数据冗余的情况。
30.与现有技术相比，本发明的有益效果为：本发明通过采用全新的数据采集方式，在初步采集的过程中就可以完成不同类别的数据收集，这样在对数据储存的过程中就可以实现分类处理，并分类保存的效果，从而在采集的过程中提高了对数据处理的效率，提升了数据采集的速度。
附图说明
31.图1为本发明提供的方法流程图。
具体实施方式
32.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
33.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用属于“包含”和/或“包括”时，其指明存在特征、步骤、操作、部件或者模块、组件和/或它们的组合。
35.实施例1
36.如图1所示，本发明实施例提供了一种人工智能数据采集方法，包括如下步骤：
37.步骤s1：信息收集：首先采用人工智能python核心来对网页数据信息进行收集，同时在收集的过程中根据实际情况来选择相应的数据采集；
38.步骤s2：数据处理：当采集到相应的数据后，需要进行数据清洗处理，将多余且重复的信息进行剔除；
39.步骤s3：数据解析：然后基于人工智能python核心来对采集到的数据进行解析，将采集的数据进行分类；
40.步骤s4：数据储存：完成了数据分类工作后，由人工智能python核心运算将数据储存在相应的数据库中；
41.步骤s5：记录标识：当完成了一个网页中的数据采集后，就会由人工智能python核心对该数据信息进行标识，以防在后续数据采集中收集到重复信息；
42.步骤s6：数据读取：最后当工作人员需要对相应的数据进行读取时，只需要根据需求在人工智能python核心中输入相应类别的数据，就会完成精准的数据读取工作。
43.在优选的实施例中，在步骤s1中，在进行信息收集的过程中，首先由人工智能python核心发出命令请求，然后由python爬虫对相应的网页信息数据进行记录。
44.在优选的实施例中，在步骤s1中，同时在信息数据记录采集的过程中，可以分别对不同的数据进行精确采集，在采集的过程中可以分别实现图像采集、文字采集、视频采集和音频采集，实现了全方面采集的效果。
45.在优选的实施例中，在步骤s2中，当完成了数据采集后，由人工智能python核心运行对数据进行清洗，将数据中重复的部分剔除掉，同时根据数据是否异常化来进行处理。
46.在优选的实施例中，在步骤s3中，处理完数据后需要对其进行解析，由人工智能python核心运行将数据解析拆分，根据数据类型不同实现不同数据的分门别类，且在解析的过程中可以对无法解析的数据进行丢弃，避免出现数据冗余的情况。
47.在优选的实施例中，在步骤s4中，完成了数据解析后，即可对文件进行处理，由人工智能python核心建立五个库，分别为图像库、文字库、视频库、音频库以及混合库，其中混合库存放了不同类型的混合数据，由工作人员进行自主识别时。
48.在优选的实施例中，在步骤s5中，在完成了一个网页的数据采集工作后，人工智能python核心就会对已经采集后的数据进行标记，以此来辨别是否出现重复采集的情况，这样就会大大提高数据采集效率，避免出现重复数据。
49.在优选的实施例中，在步骤s6中，最后当使用者需要读取采集的数据时，在人工智能python核心中输入相应需要提取数据的类型，然后完成了识别处理后就会由人工智能python核心将数据提取出来，从而可以实现精准提取的效果，缩短了数据读取的时间。
50.综上所述，本发明通过采用全新的数据采集方式，在初步采集的过程中就可以完成不同类别的数据收集，这样在对数据储存的过程中就可以实现分类处理，并分类保存的效果，从而在采集的过程中提高了对数据处理的效率，提升了数据采集的速度；同时在将采集的数据储存后，可以根据数据的类别对其打上标记，这样当人工智能继续对不同的数据进行采集时，就可以实现重复数据快速辨别的效果，从而不会出现采集重复数据的情况，避免了容易出现数据冗余的情况，优化了数据采集的流程，具有广泛的应用前景。
51.实施例2
52.与上述方法相对应地，本发明实施例提供了一种人工智能数据采集装置，包括如下单元：
53.数据采集单元，其用于采用人工智能python核心来对网页数据信息进行收集，同时在收集的过程中根据实际情况来选择相应的数据采集；
54.数据处理单元，其用于在采集相应的数据后，进行数据清洗处理，将多余且重复的信息进行剔除；
55.数据分类单元，其用于基于人工智能python核心对采集的数据进行解析，将采集的数据进行分类；
56.数据存储单元，其用于完成数据分类后，通过人工智能python核心运算将数据储存在相应的数据库中；
57.数据标识单元，其用于当完成一个网页的数据采集后，通过人工智能python核心对该网页数据信息进行标识，以防在后续数据采集中收集到重复信息；
58.数据读取单元，其用于当需要对相应的数据进行读取时，根据需求在人工智能python核心中输入相应类别的数据，从而完成精准的数据读取工作。
59.在优选的实施例中，所述数据采集单元用于在进行信息收集的过程中，首先由人工智能python核心发出命令请求，然后由python爬虫对相应的网页信息数据进行记录。
60.在优选的实施例中，所述数据采集单元用于在信息数据记录采集的过程中，分别对不同的数据进行精确采集，分别实现图像采集、文字采集、视频采集和音频采集。
61.在优选的实施例中，所述数据分类单元用于处理完数据后对其进行解析，由人工智能python核心运行将数据解析拆分，根据数据类型不同实现不同数据的分门别类，且在解析的过程中可以对无法解析的数据进行丢弃，避免出现数据冗余的情况。
62.需要说明的是，本技术中未详述的技术方案，采用公知技术。
63.以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。