一种计算机系统的测试方法与流程

本发明属于计算机领域，具体涉及一种计算机系统的测试方法。

背景技术：

为了测试各种大型计算机系统例如云计算系统，分布式存储系统在各种负载下的表现，要求测试人员能够非常灵活地组合各种计算负载，例如cpu负载，内存负载，输入输出负载等等。同时，为了检验软件系统应对各种异常环境之下的可靠性，测试人员往往会往系统中注入各种软件、硬件故障，例如硬件死机，网络断开等故障事件。

由于计算机负载和故障的多样性，如何灵活地混合、组装多种不同类型的负载和故障，以及如何控制故障和负载在何时、何种条件下按何种顺序发生，是一个很大的难题。

现有的测试系统中，可以利用工具单独地产生某种负载，以及可以手工注入各种故障。这样的方式低效，灵活度低，重用性差。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种计算机系统的测试方法，可以按需产生各种计算负载，灵活注入各种软硬件故障，可以达到实时、可控、定量、自动的负载管理和故障注入。

本发明中“api”的具体含义为：应用程序接口。

具体的，本发明的技术方案是：

一种计算机系统的测试方法，应用于测试主机和被测试系统，所述测试主机和被测试系统通信连接，所述被测试系统中安装有多个测试程序以及管理所述测试程序的守护进程，所述多个测试程序都在统一的测试程序框架下编写。

测试过程中，测试主机与守护进程通信连接，测试主机发送请求至守护进程，守护进程接收测试主机发送的请求，并根据所述请求控制被测试系统上的测试程序运行。

进一步的，所述测试程序包括负载发生工具和/或故障注入工具。

进一步的，所述被测试系统上设有共享内存区域，用于所述守护进程和测试程序之间进行信息交换。

进一步的，所述测试程序为可执行文件，用户可直接登录到被测试系统上，手动启停每个测试程序，临时产生工作负载或注入故障。

进一步的，所述测试主机为运行有测试脚本和/或cli命令行工具的计算机，所述测试脚本和cli命令行工具通过调用api与守护进程通信，用于向所述守护进程发送请求。

进一步的，所述方法由可产生各种负载和故障的计算机系统实现，所述计算机系统包括测试主机和被测试系统，所述测试主机和被测试系统通信连接；所述被测试系统中安装有多个测试程序以及管理所述测试程序的守护进程，所述多个测试程序都在统一的测试程序框架下编写。

与现有技术相比，本发明公开的技术方案用统一的程序框架编写和管理不同类型的负载发生和故障注入程序，故障和负载可以灵活组装，可以按需产生各种负载、灵活注入软硬件故障。同时无需对测试程序框架进行修改，新增加的测试程序可自动被发现并立即被使用，扩展性强。被测试系统和测试主机不在同一个系统，被测试系统的状态不会影响测试主机所在系统，实现了被测试系统和测试系统的有效隔离。测试主机可同时连接多个被测试系统，故障和负载可以在多个被测试系统间协调运行。

【附图说明】

图1为本发明实施例提供的一种可产生各种负载和故障的计算机系统。

图2为本发明实施例提供的一种计算机系统的测试方法中测试程序的运行流程图。

【具体实施方式】

下面将结合附图对本发明的技术方案进行清楚完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明的保护范围。

参照图1-2：

本实施例提供一种可产生各种负载和故障的计算机系统，包括测试主机一和测试主机二，以及被测试系统。测试主机一和测试主机二与被测试系统通信连接，具体的可以通过网线直接连接或者通过无线网络连接。该被测试系统上安装有测试程序和用于管理测试程序的守护进程，测试程序包括负载发生工具和故障注入工具。负载发生工具包括用于产生读写负载的读写负载程序、用于产生cpu负载的cpu负载程序和用于产生内存负载的内存负载程序，故障注入程序包括产生掉线故障的掉线故障程序、用于产生断网故障的断网故障程序和用于产生死机故障的死机故障程序。所有测试程序都遵循统一的测试程序框架编程规范，测试程序框架提供通用函数，在守护进程和测试程序的运行过程中，通用函数支持守护进程和测试程序之间的信息交互，守护进程通过通用函数控制测试程序的运行。

测试程序在入口处调用测试程序框架提供的api函数进行初始化，初始化过程包括：

a.处理默认参数

b.向守护进程注册自身

c.创建后台线程以及对应的通信套接字，与守护进程保持通信

测试程序均支持一定的默认参数，该默认参数可用来控制测试程序的行为，例如cpu负载程序中的负载百分比，负载百分比可控制cpu负载程序占用被测试系统中cpu资源的百分比。

优选的，被测试系统上设置有共享内存区域，用于测试程序和守护进程之间进行信息交换。共享内存区域存储测试程序的运行状态信息，供守护进程和测试脚本读取调用。

测试主机一上安装有测试脚本，测试主机二上安装有cli命令行工具。测试主机一优选为一台计算机，测试主机二优选为移动平板电脑。测试脚本和cli命令行工具调用api来与守护进程进行通信，以控制被测试系统上的测试程序。

优选的，api支持多种编程语言，包括c语言、python和perl语言。

在系统测试过程中，被测试系统启动时守护进程同时启动，守护进程启动时打开网络套接字，监听来自远程客户端的请求。当测试人员需要在被测试系统中产生某种负载或故障时，测试人员启动测试主机一，运行测试主机一中的测试脚本。测试脚本调用api函数发送请求至被测试系统，守护进程监听到测试脚本的请求后与测试主机建立网络连接。测试脚本和守护进程建立连接后，测试脚本可根据测试需要向被测试系统发送不同的请求，如发送信息读取指令，读取被测试系统中的测试程序信息，达到枚举被测试系统上测试程序的目的，也可发送启动命令，启动不同的测试程序，产生不同的负载和故障。测试人员可根据需求灵活组合不同的负载和故障，如同时启动cpu负载程序和内存负载程序，产生cpu负载和内存负载，也可同时启动cpu负载程序、断网故障程序和死机故障程序，同时产生负载和故障。以上操作也可由测试主机二中的cli命令行工具执行，在此不做赘述。

守护进程同时具有消息路由功能，当测试脚本或cli命令行工具需要传递消息给某个测试程序时，守护进程首先接收到该消息，并将该消息传递给指定的测试程序。该消息可以用来控制测试程序的行为，如修改测试程序的默认参数，例如修改内存负载程序的负载百分比参数，调节内存负载占被测试系统中cpu负载的百分比，50％表示内存负载占用50％cpu资源，30％表示内存负载占用30％cpu资源。

共享内存区域是被测试主机上的一块共享内存区域，在测试程序运行过程中，测试程序将不同数据信息发送至共享内存区域存储，数据信息可以是测试程序的运行记录、运行结果和运行状态等消息。守护进程可通过共享内存区域读取测试程序的数据信息，测试脚本和cli命令行工具可通过api读取共享内存区域中存储的数据信息。

在测试过程中，测试主机可以同时连接多个不同的被测试系统，测试脚本和cli命令行工具可以同时与多个被测试系统连接，同时向多个被测试系统发送请求，使负载和故障可以在多个被测试系统中协调运行。

当达到测试目的后，测试脚本可发送控制命令至守护进程，停止被测试系统上运行的测试程序。测试程序结束时，测试程序终止后台线程，释放共享内存，关闭网络套接字。

在被测试系统中，测试程序框架完全开放，测试人员可以任意的添加或删除测试程序，被添加的测试程序可通过测试脚本和cli命令行工具的枚举功能自动的被测试脚本和cli命令行工具发现并使用，可以随时提供新的负载类型和故障类型。

参照图2，由于每个测试程序实际上都是一个可执行文件，所以被测试系统支持手动控制，测试人员可直接登录到被测试系统上手动启停每个测试程序，临时产生工作负载或故障注入。

上述实施例仅用于说明本发明的技术方案，而非对其限制。本发明并不局限于上面已经描述并在附图中示意的准确结构，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出的各种改变和变形，都应当视为属于本发明的保护范围。