数据采集方法及装置与流程

本申请涉及但不限于计算机领域，具体而言，涉及一种数据采集方法及装置。

背景技术：

在相关技术中，在信息技术(informationtechnology，简称为it)监控项目中，需要通过采集数据进行项目监测，图1是根据相关技术中的网管监控平台的架构示意图，如图1所示，需要对大量的网络设备、软件中间件、虚拟化资源、存储、数据库等资源进行主动的周期性采集，针对网管监控平台产品开发一种采集终端程序probe，每个采集probe支持各类采集对象的采集。网管监控平台向多个probe下发采集任务，采集probe通过各种协议开发的方式对采集对象进行数据采集，将采集的结果数据用kafka发送给网管监控平台。

在网络环境中部署多个采集probe，采集这些硬、软件对象的资源配置、性能指标数据，汇总到网管监控平台系统进行资源管理、性能数据分析、实时告警。

针对相关技术中通过probe进行数据采集时采集效率低且不稳定的问题，目前还没有有效的解决方案。

技术实现要素：

本申请实施例提供了一种数据采集方法及装置，以至少解决相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

根据本申请的一个实施例，提供了一种数据采集方法，包括：网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集方法，包括：分布式服务器接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集装置，包括：获取模块，用于获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；第一分配模块，用于分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集装置，包括：接收模块，用于接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；第二分配模块，用于将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本申请，将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据相关技术中的网管监控平台的架构示意图；

图2是本申请实施例的一种数据采集方法的设备的硬件结构框图；

图3是根据本申请实施例的数据采集方法的流程图；

图4是根据本申请另一个实施例的分组的probe示意图；

图5是根据本申请另一个实施例的任务号的示意图；

图6是根据本申请另一个实施例的组内probe变更的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在相关技术的现场项目中，一些大型项目要监控上千台网络设备，集群化的软件中间件可能达到几百个节点。假如按一个采集probe要采集100个节点资源，平均每个节点要采15个指标，则每次要采到1500条数据。设定对每个节点每5分钟做一次轮询采集，那么一个采集probe就会不断的向采集对象下发采集任务，同时接收采集结果做处理，并不断的向网管监控平台上报数据。通过项目运行情况分析日志来看，采集probe处于不间断的活动状态，在采集资源数据量多时会耗费较多系统内存和cpu处理时间。

对采集对象的采集任务是下发到指定采集probe，如果新部署并启动了probe，则要重新调整采集任务分派到新probe，需要人工在界面做配置操作实现。

在项目中经常遇到采集probe因采集能力不足、耗费内存过大造成采集任务停止，甚至采集probe程序崩溃的情况，一旦采集probe停采则会丢失监控数据。

另外采集的数据量太大可能造成采集probe端数据积压，不能及时上报网管监控平台，无法起到及时的监控效果。

实施例一

针对上述问题，本申请实施例一所提供的方法实施例可以在移动设备、计算机设备或者类似的运算装置中执行。以运行在计算机设备上为例，图2是本申请实施例的一种数据采集方法的设备的硬件结构框图，如图2所示，移动设备可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器204，可选地，上述移动设备还可以包括用于通信功能的传输装置206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动设备的结构造成限定。例如，移动设备还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据采集方法对应的程序指令/模块，处理器202通过运行存储在存储器204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至移动设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动设备的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置206可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

网管侧设备可以是网管服务器，或者称为网管计算机等。

在本实施例中提供了一种运行于网管侧设备的数据采集方法，图3是根据本申请实施例的数据采集方法的流程图，如图3所示，该流程包括如下步骤：

步骤s302，网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；

网管侧设备可以将该多个分片分配至一个分布式服务器，或者分配至多个分布式服务器处理。进一步地，可以分配至一个分布式服务器的多个probe组，也可以分配至一个分布式服务器的一个probe组。

步骤s304，分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

通过上述步骤，将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

可选地，按照预设规则将所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理之前，为所述一组probe中的每个probe分配分片数值。分片数值默认是10，即将0-9十个数分配至一组内的多个probe上，可以平均分配。例如，一组内包括5个probe，则每个probe分配两个分片数值。采用该方案，每个有分片数值的probe按照预设规则处理对应的采集任务分片，在合作中完成采集任务。

可选地，为所述一组probe中的每个probe分配分片数值，包括：按照平均分片策略，为所述一组probe中的每个probe分配分片数值。采用该方案，使得一组内的probe较公平的分到probe，实现负载均衡。

可选地，为所述一组probe中的每个probe分配分片数值，包括：在检测到所述一组probe中的probe发生改变时，重新为改变后组内probe分配分片数值。例如，在一个组内有probe停止工作，该组的主probe及时上报，然后网管指示或者自动触发分片数值的重配，可以完全重配或者不完全重配，不完全重配包括仅将停止工作的probe的分片数值进行重新分配。在一个组内有新增probe，也可以进行分片数值重新分配。采用该方案，保证了所有任务分片均能找到对应的probe，避免分片积压。

可选地，按照预设规则将所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理，包括：在一个分片的任务号task_no的尾数为第一数值时，将所述分片分配至分片数值中包括所述第一数值的probe。例如，分片的任务号的尾数为0，则将该分片至分片数值为0的probe。当然，此处仅为举例，除了第一数值还可以是其他方式进行对应，例如通过英文字母进行对应，将任务号尾数为0的分片，分至与英文字母a对应的probe。

可选地，按照预设规则将所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理之后，在检测到所述一组probe中的第一probe的采集延迟满足预设条件时，复制所述第一probe至另一组probe中，形成第二probe，其中，所述第二probe用于执行与所述第一probe相同的采集任务。在该实施例中，可以适用于设置有延迟监测的情况下。采用该方案，在采集延迟较大时，及时将probe复制至另一组，以分担前一组的probe的处理压力，以保证数据采集的及时性。

可选地，所述另一组probe与所述一组probe属于不同分布式服务器，或者属于同一分布式服务器。

根据本申请的另一个实施例，还提供了一种数据采集方法，包括以下步骤：

步骤一，分布式服务器接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；

步骤二，将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

预设规则可以网管侧和分布式服务器预先约定的，或者实时协商确定。上述实施例的预设规则可以与图3实施例的预设规则相同。

通过上述步骤，将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

可选地，分布式服务器接收网管侧设备为一组采集终端probe分配的采集任务之前，接收所述一组probe中主probe上报的自身rest服务地址，作为所述一组probe的组服务地址；并转发所述组服务地址至网管侧设备。此处仅为举例，也可以通过其他方式选择组服务地址，例如，将一组probe中任一个probe的rest服务地址作为组服务地址。

可选地，所述方法还包括：发送通知信息至所述一组probe的主probe，用于通过所述主probe通知所述一组probe内的多个probe更新采集任务。采用该方案，主probe及时通知其他probe更新采集任务缓存，保证任务的及时处理。

下面结合本申请另一个实施例进行说明。

本申请另一个实施例针对以上采集probe存在的问题，提出以下几点改进：

1.实现采集probe分布式部署，支持多个采集任务在多台服务器中均衡下发；

2.支持动态可伸缩扩充probe，当采集对象资源增加或减少时，在不影响其它probe运行的情况下可新增加采集probe运行，任务可自动运行在新probe中。也可停止多余probe运行，不需要人为调整任务的重新分配。

3.对采集probe分组，采集任务指定下发到组而不必具体到哪个probe，一组内的多个probe均衡分布的共同执行组内的采集任务。一个组内至少存在一个probe运行保证采集不中断，实现采集功高可用。

2.2.1分布式作业调度：

采用elasicjob实现分布作业调度。elasticjob是开源的轻量级无中心分布式调度解决方案，支持作业高可用、任务分片功能。elasticjob没有作业调度中心节点，以jar包的形式提供分布式任务的协调服务。用zookeeper实现注册中心仅用于作业注册和监控信息存储。可将一个任务拆分成多个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。

例如，有3台服务器，作业分成10片，则分片项的结果为：服务器a＝0，1，2；服务器b＝3，4，5；服务器c＝6，7，8，9。如果服务器c崩溃，则分片项的分片结果为：服务器a＝0，1，2，3，4；服务器b＝5，6，7，8，9。在不丢失分片项的情况下，更大限度地利用现有资源提高吞吐量。

2.2.2采集probe分组：

图4是根据本申请另一个实施例的分组的probe示意图，如图4所示，每个probe分别指定一个组名，相同组名的probe归属于一个组，每组中的probe利用zookeeper的分布式锁原理选举一个probe做为主probe。

主probe的作用：向网管监控平台上报自己的rest服务地址，作为归属组的probe组服务地址；接收网管监控平台下发的采集任务，通知组内其它probe更新采集任务缓存；同时也和其它probe一样执行任务采集功能。

当主probe停止运行后，同组内的其它probe会参与选举出新的主probe，新的主probe向网管监控平台上报自己的rest服务地址。

网管监控平台向主probe中的rest服务下发采集任务，组内分配多个采集任务在多个probe的执行。

2.2.3probe组内任务分片方法：

使用elasticjob的默认的平均分片策略，设定默认的分片个数为10，就是分片数是从0到9。

每个probe在elasticjob任务调度下，会分配到分片数，例如一个probe组有3个probe：probe1，probe2，probe3，每次任务调度，每个probe大致得到分片数值如下：

probe1:得到分片数0，1，2

probe2:得到分片数3，4，5

probe3:得到分片数6，7，8，9

假如再启动一个probe4，分片数可能变成：

probe1:得到分片数0，1，2

probe2:得到分片数3，4，5

probe3:得到分片数6，7

probe4:得到分片数8，9

假如probe2，probe1都停掉了，重新分片情况：

probe3:得到分片数0，1，2，3，4

probe4:得到分片数5，6，7，8，9

就是根据probe节点启动情况，elasticjob会动态调整在各个probe的分片数。

2.2.4任务分配到组内probe原理：

设定采集任务有个任务号task_no字段，是每个任务唯一标识的数字值。每个采集任务在到达任务执行周期时，取task_no最后一位的值，与当前probe得到的分片数比较，如果相等，则是这个probe要执行的任务。图5是根据本申请另一个实施例的任务号的示意图，如图5所示，采集任务表中8条采集任务都是sgm3这个probe组采集任务，最后一个字段是任务号。

sgm3这个probe组目前有8个任务，每个任务的任务号最后一位分别是3，0，5，3，8，6，0，4，如果当前该组内有3个运行中的probe，则大致分到任务情况如下表所示，表1是根据本申请另一个实施例的分片数与任务号的对应表：

表1

这样就是每个probe用得到的分片数值，与该组内任务的任务号最后一位比较，如果任务号最后一位与该probe得到的分片数相同，就是当前这个probe要执行的任务。这样将多个任务大致平均的分到了多个probe中执行。实际情况中一个probe组要执行上百个采集任务，在任务量比较多时，各个probe得到的要执行的采集任务个数大致相等。

当probe组内有新probe启动、或者运行中的probe停止后，probe得到分片数将会有变化，则任务也会重新在各运行probe中进行分配。

2.2.5同组probe的可伸缩扩容和下线：

通过观察probe的日志，发现一个组内的采集probe出现采集延迟时，可直接复制一个采集probe到其它服务器，或者相同服务器的不同目录。如果在相同服务器复制新的probe，probe会自动探测probe要使用的端口号并选择不被系统占用的端口号。这样只需要复制一个probe并启动就可以，新probe会自动接收采集任务，分担同组probe的采集压力。

一个probe组内至少要有一个probe运行，同组内的probe也可以随时停止运行，组内的采集任务将会重新在组内各probe中分配，及时保证采集任务正常分配运行。

图6是根据本申请另一个实施例的组内probe变更的示意图，如图6所示，一个probe组a有3个probe采集10个任务时，新probe加入和停止导致了任务的重新分配。

采用上述方案，网管监控平台将多个采集任务下达给probe分组，组内多个probe共同并且均衡执行多个采集任务，即使一个probe停止运行，采集任务将由其它probe接力采集，保证了采集的高可用。能够快速的在采集能力不足的情况下部署新的采集probe并自动分配采集任务，不需要复杂的配置过程。以分组的方式来管理和执行多个采集任务，任务在多个采集终端程序中动态调整分配，保证了任务采集的可靠性、实现了负载均衡的采集方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

实施例二

在本实施例中还提供了一种数据采集装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本申请的一个实施例，提供了一种数据采集装置，包括：

获取模块，用于获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；

第一分配模块，用于分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

采用上述方案，将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

根据本申请的另一个实施例，还提供了一种数据采集装置，包括：

接收模块，用于接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；

第二分配模块，用于将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例三

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s1，网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；

s2，分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

s1，网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；

s2，分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。