调度自动化系统运行状态信息采集方法、存储介质和设备与流程

1.本发明涉及电力系统调度自动化技术领域，具体涉及一种调度自动化系统运行状态信息采集方法、存储介质和设备。


背景技术：

2.调度自动化系统运行状态信息是指通过厂站的自动化设备或其它设备采集的电网调度生产需要的信息，直接反映电网运行实际工况，是电网安全、经济和节能环保调度必不可缺少的重要依据。
3.作为电力调度自动化装置应具有数据采集、数据分析和数据处理等功能，能及时地下达指标和执行命令。从电力系统的分析数据上来看，数据的精确度要求越来越高，采样周期越来越短，目前的数据采集方法已不能满足日益发的需求。目前数据采集方式为两种，方式一通过在被监视对象上安装采集引擎代理程序，执行后台采集服务以及采集脚本的方式实现对监视对象的系统资源和节点状况进行采集，监视对象包括：服务器设备、工作站设备等。对存储设备、安防设备、网络通信设备、动力环境设备等运行状态（磁盘信息、网卡信息、主机信息）及调度自动化系统代理（消息总线、服务总线、实时数据库、服务器上的应用状态和进程信息）进行采集。方式二使用简单网络管理协议snmp（v1/v2/v3版本）网络协议远程获取监视对象数据。
4.采集数据因网络安全区限制无法对数据统一汇聚分析处理，所以不同网络安全区下的采集代理程序首先在本安全区做第一次数据汇聚统一发送至总的数据汇聚服务，再由总的数据汇聚服务发送至消息总线做数据分析及处理等工作。这样导致控制系统与远端管理程序通信有一定延迟性，导致对采集代理程序下发需要采集的模块信息无法做到即时生效。
5.另外，原有的调度自动化系统运行状态可监视的范围较小、内容简单。


技术实现要素：

6.为解决现有技术中的不足，本发明提供一种调度自动化系统运行状态信息采集方法、存储介质和设备，解决了现有调度自动化系统运行状态信息采集方法具有延时、速度慢、监视内容简单的问题。
7.为了实现上述目标，本发明采用如下技术方案：一种调度自动化系统运行状态信息采集方法，包括：磁盘信息、网卡信息、主机信息、占用系统资源前设定位数的进程信息、调度自动化系统代理信息以及智能平台管理接口ipmi固件告警信息采集的方法。
8.进一步的，所述磁盘信息采集方法包括：1）判断数据上送配置文件及磁盘采集下发配置文件是否同时存在，如果不存在，则等待一定时间后再次判断，直到配置文件存在；所述数据上送配置文件中包括：数据上送服务器ip和端口；
所述磁盘采集下发配置文件中包括：需要采集的磁盘信息、磁盘数据在数据上送服务器的数据库中存储的表id、是否需要监视标志、需要采集信息的当前服务器的id以及需要监视的磁盘信息；2）解析配置文件内容，若监视标志为不需要监视，则周期性获取当前服务器的需要采集的磁盘信息发送给数据上送服务器中的数据库表id对应的表，并根据数据库中的磁盘信息更新磁盘采集下发配置文件中的需要采集的磁盘信息；3)若监视标志为需要监视，周期性获取磁盘采集下发配置文件中的需要采集的磁盘信息，并与当前服务器实际磁盘信息进行对比，如果与实际磁盘信息有变化则将当前服务器最新的磁盘信息组成xml报文发通过消息队列送给数据上送服务器，并更新数据库中的内容，同时从磁盘采集下发配置文件中获取需要监视的磁盘信息，并从当前服务器中筛选出对应的磁盘，获取需要监视磁盘设备元数据、磁盘在操作系统中的设备id和次设备id，通过系统文件获取磁盘对扇区的读写次数计算出磁盘的读写速度，将数据组成xml报文并通过消息队列发送给数据上送服务器。
9.进一步的，所述网卡信息采集方法包括：1）判断数据上送配置文件及网卡采集下发配置文件是否同时存在，如果不存在则等待一定时间后再次判断，直到配置文件存在；网卡采集下发配置文件包括：需要采集的网卡信息、网卡数据在数据库中存储的表id、是否需要监视标志、当前服务器的id以及需要监视的网卡信息；2）解析配置文件内容，若监视标志为不需要监视，则周期性获取当前服务器的需要采集的网卡信息发送给网卡数据上送服务器中的数据库表id对应的表，并根据数据库中数据更新网卡采集下发配置文件中的需要采集的网卡信息；3）若监视标志为需要监视，周期性获取下发配置文件中需要采集的网卡信息，并与当前服务器实际的网卡信息进行对比，如果与实际网卡信息有变化则将当前服务器最新的网卡信息组成xml报文发通过消息队列送给网卡数据上送服务器，并更新数据库中的内容；同时从网卡采集下发配置文件中获取需要监视的网卡信息，通过实现系统命令及读取系统文件获取网卡的静态信息和动态流量，将数据组成xml报文发通过消息队列送给数据上送服务器。
10.进一步的，所述主机信息采集方法包括：通过系统文件获取cpu信息、磁盘信息、内存信息，通过系统命令获取磁盘利用率，通过系统的/proc/目录下内容获取进程个数，通过系统文件获取占用的socket连接数，通过系统命令获取交换分区和共享内存占用的物理内存使用情况，通过系统文件获取共享内存使用情况，组织报文发通过消息队列发送给数据上送服务器。
11.进一步的，所述占用系统资源前设定位数的进程信息采集方法包括：通过系统文件获取进程信息，进程信息包括：磁盘的读、写速度、cpu使用率、内存使用率，对获取到的进程信息进行排序，从中获取对应的四组前设定位数的进程信息，组织报文通过消息队列发送给数据上送服务器。
12.进一步的，所述调度自动化系统代理信息采集方法包括：注册退出信号处理函数，加载主机信息，读取代理下发配置文件获取需要监控的代理信息，读取数据上送配置文件获取数据上送服务器的ip和端口，如果读取到的代理下发配
置文件和数据上送配置文件中的内容都正确则调用相应接口对服务总线的服务名、所属系统id、端口号、负载均衡、连接数进行采集；对消息总线的消息总线名、态名、应用名、消息堆积个数、收发消息数进行采集；对实时数据库的实时数据库名、表记录使用率、实时库进程访问数进行采集；对应用的应用名、应用的当前状态、刷新状态和切换状态进行采集；对进程的进程对象id、进程重要等级、进程运行时间、进程启动时间、进程占用文件描述符个数、拥有的线程数、进程核心转储文件数进行采集；组织报文发通过消息队列发送给上送服务器。
13.进一步的，所述ipmi固件告警信息采集方法包括：加载ipmi 的modprobe ipmi_devintf和modprobe ipmi_si模块，判断是否加载成功，如果加载失败则直接退出，如果成功，加载数据上送配置文件，获取上送服务器ip及端口，初始化数据上送服务器中的告警信息；通过系统命令获取系统日志，存入缓存，根据获取的日志内容进行判断，将日志中的告警数据或告警恢复数据发送给上送服务器。
14.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据前述的调度自动化系统运行状态信息采集方法中的任一方法。
15.一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据前述的调度自动化系统运行状态信息采集方法中的任一方法的指令。
16.本发明所达到的有益效果：采用消息队列机制提高数据实时性，采集方法延迟小、速度快，采用下发配置文件的方式提高了采集的灵活性，可以对部分内容进行采集提高效率，能够采集磁盘信息、网卡信息、主机信息、占用系统资源前10位进程信息、调度自动化系统代理信息以及智能平台管理接口（ipmi）固件告警信息，监视内容多，监视范围广；本发明加强了调度自动化系统运维的智能化水平，提高现有自动化系统故障分析和处理能力，支撑自动化系统安全、稳定的运行，在对当前业务需求深入分析的基础上，以实现对调度自动化系统一体化运行监视与指挥以及故障的快速定位和整体状态评估。
具体实施方式
17.下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
18.实施例1：一种调度自动化系统运行状态信息采集方法，包括：磁盘信息、网卡信息、主机信息、占用系统资源前10位进程信息、调度自动化系统代理信息以及智能平台管理接口（ipmi）固件告警信息采集的方法。
19.磁盘信息采集的具体步骤包括：1)判断数据上送配置文件及磁盘采集下发配置文件是否同时存在，如果不存在，则等待一定时间后再次判断，直到配置文件存在；数据上送配置文件中包括：数据上送服务器ip和端口；磁盘采集下发配置文件中包括：需要采集的磁盘信息（磁盘数量、磁盘名、挂载点、磁盘
总大小）、磁盘数据在数据上送服务器的数据库中存储的表id、是否需要监视标志（0为不需要监视，1为需要监视）、需要采集信息的当前服务器的id以及需要监视的磁盘信息。
20.数据上送配置文件和采集下发配置文件通过客户端配置；按照设定的时间间隔定期获取配置文件中的内容；2)解析配置文件内容，若监视标志为0，则周期性获取当前服务器的需要采集的磁盘信息（硬盘数量、磁盘名、挂载点、磁盘总大小）发送给磁盘数据上送服务器中的数据库表id对应的表，并根据数据库中的磁盘信息更新磁盘采集下发配置文件中的需要采集的磁盘信息；3)若监视标志位为1，周期性获取磁盘采集下发配置文件中的需要采集的磁盘信息，并与当前服务器实际磁盘信息进行对比。如果发现和实际磁盘信息有变化则将当前服务器最新的磁盘信息组成xml报文发通过消息队列送给磁盘数据上送服务器，并更新数据库中的内容，由客户端选择性更新配置文件中需要监视的磁盘信息。同时从磁盘采集下发配置文件中获取需要监视的磁盘信息，并从当前服务器中筛选出对应的磁盘，获取需要监视磁盘设备元数据、磁盘在操作系统中的设备id和次设备id。通过系统文件获取磁盘对扇区的读写次数计算出磁盘的读写速度，将这些数据组成xml报文并通过消息队列发送给磁盘数据上送服务器。数据发送均采用消息队列机制，解决了采集方法有延迟，速度慢的问题。
21.网卡信息采集的流程为：1) 判断数据上送配置文件（包括数据上送所需的服务器ip和端口）及网卡采集下发配置文件是否同时存在，如果不存在则等待一定时间后再次判断，直到配置文件存在；网卡采集下发配置文件：包括需要采集的网卡信息（网卡数量、网卡名、ip地址、mac地址）、网卡数据在数据库中存储的表id、是否需要监视标志（0为不需要监视，1为需要监视）、当前服务器的id、以及需要监视的网卡信息。
22.网卡数据上送配置文件和网卡采集下发配置文件通过客户端配置；按照设定的时间间隔定期获取配置文件中的内容；2) 解析配置文件内容，若监视标志为0，则周期性获取当前服务器的需要采集的网卡信息（网卡数量、网卡名、ip地址、mac地址）发送给网卡数据上送服务器中的数据库表id对应的表，并根据数据库中数据更新网卡采集下发配置文件中的需要采集的网卡信息；3) 若监视标志位为1，周期性获取下发文件中需要采集的网卡信息，并与当前服务器实际的网卡信息（网卡数量、网卡名、ip地址、mac地址）进行对比。如果发现和实际网卡信息有变化则将当前服务器最新的网卡信息组成xml报文发通过消息队列送给网卡数据上送服务器，并更新数据库中的内容，由客户端选择性更新网卡采集下发配置文件中需要监视的网卡信息。同时从网卡采集下发配置文件中获取需要监视的网卡信息，通过实现系统命令及读取系统文件获取这些网卡的静态信息和动态流量。将这些数据组成xml报文发通过消息队列送给网卡数据上送服务器。数据发送均采用消息队列机制，解决了采集方法有延迟，速度慢的问题。
23.主机信息、占用系统资源前10位进程信息（简称top10进程信息）的采集的流程具体包括以下步骤：从数据上送配置文件获取数据上送服务器的ip和端口；主机信息采集方法：通过系统文件获取cpu信息、磁盘信息、内存信息，通过系统命令获
取磁盘利用率，通过系统的/proc/目录下内容获取进程个数，通过系统文件获取占用的socket连接数，通过系统命令获取交换分区和共享内存占用的物理内存使用情况，通过系统文件获取共享内存使用情况，组织报文发通过消息队列发送给数据上送服务器。
24.top10进程信息采集方法：通过系统文件获取进程信息（包括：磁盘的读写速度、cpu使用率、内存使用率），通过写速度比较函数、读速度比较函数、cpu使用率比较函数、内存使用率比较函数对获取到的进程信息进行排序，从中获取对应的四组前10个进程的信息，组织报文通过消息队列发送给数据上送服务器。
25.调度自动化系统代理采集的流程为：注册退出信号处理函数（能够保证程序正常退出的库函数，由操作系统提供），加载主机信息，读取代理下发配置文件获取需要监控的代理信息，读取数据上送配置文件获取数据上送服务器的ip和端口，如果读取到的代理下发配置文件和数据上送配置文件中的内容都正确则调用相应接口对服务总线的服务名、所属系统id、端口号、负载均衡、连接数进行采集。对消息总线的消息总线名、态名、应用名、消息堆积个数、收发消息数进行采集。对实时数据库的实时数据库名、表记录使用率、实时库进程访问数进行采集。对应用的应用名、应用的当前状态、刷新状态和切换状态进行采集。对进程的进程对象id、进程重要等级、进程运行时间、进程启动时间、进程占用文件描述符个数、拥有的线程数、进程核心转储文件数。并组织报文发通过消息队列发送给上送服务器，同时周期性从代理下发配置文件获取需要采集的内容信息并选择性对采集指标进行采集。
26.ipmi（智能平台管理接口）固件告警的流程为：此步骤主要采集服务器硬件告警信息。
27.该方法需要系统的超级用户执行，加载ipmi 的modprobe ipmi_devintf和modprobe ipmi_si模块（ipmi中的现有模块），判断是否加载成功，如果加载失败则直接退出，如果成功，加载数据上送配置文件，获取上送服务器ip及端口，初始化上送服务器中的告警信息；通过系统命令获取系统日志，存入缓存，根据获取的日志内容进行判断，将日志中的告警数据或告警恢复数据发送给上送服务器。缓存中的日志如果大于500条则执行一次命令清理日志。
28.实施例2：一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行前述的调度自动化系统运行状态信息采集方法。
29.一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括前述的用于执行调度自动化系统运行状态信息采集方法的指令。
30.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
31.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程
图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
32.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
33.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
34.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。