Jmeter+Ant+Jenkins接口自动化测试

平台简介

一个完整的接口自动化测试平台需要支持接口的自动执行,自动生成测试报告,以及持续集成。Jmeter支持接口的测试,Ant支持自动构建,而Jenkins支持持续集成,所以三者组合在一起可以构成一个功能完善的接口自动化测试平台。

环境准备

环境依赖

  • JDK环境配置
  • Jmeter安装
  • Ant安装环境变量配置
  • Jenkins安装

Ant简介

Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。

下载安装

下载地址:https://ant.apache.org/bindownload.cgi

下载之后解压到任意文件路径,我这里是放到C盘根目录。

环境变量配置

  • ANT_HOME C:\apache-ant-1.10.5
  • Path : %ANT_HOME%\bin
  • ClassPath %ANT_HOME%\lib

配置检测

输入如下命令即可检查是否安装成功

1
2
C:\Users\Shuqing>ant -version
Apache Ant(TM) version 1.10.5 compiled on July 10 2018

注意:如果提示‘ant不是内部命令也不是外部命令’ 说明环境变量可能配置错误。

Jenkins简介

Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。

下载与安装

下载地址:https://jenkins.io/download/

下载后安装到指定的路径即可,默认启动页面为localhots:8080,如果8080端口被占用无法打开,可以进入到jenkins安装目录,找到jenkins.xml配置文件打开,修改如下代码的端口号即可。

1
<arguments>-Xrs -Xmx256m -Dhudson.lifecycle=hudson.lifecycle.WindowsServiceLifecycle -jar "%BASE%\jenkins.war" --httpPort=8080 --webroot="%BASE%\war"</arguments>

平台搭建

依赖文件配置

  • 首先在Jmeter目录下面新建一个文件夹 loadTest (文件夹名称不要使用下划线,空格字符),并将Jemter测试脚本放置到该文件夹中。
  • 将Jmeter extras 文件中的 ant-jmeter-1.1.1.jar 放到Ant中的 lib文件夹中
  • 将Jmeter extras 文件中的 jmeter-results-detail-report_21.xsl ,build.xmlcollapse.pngexpand.png 放到 ant目录中的 bin目录下面。

build.xml配置

在Ant的bin目录中打开build.xml文件找到以下内容

1
2
3
4
5
6
<property name="testpath" value="${user.dir}"/>
<property name="jmeter.home" value="${basedir}/.."/>
<property name="report.title" value="Load Test Results"/>

<!-- Name of test (without .jmx) -->
<property name="test" value="Test"/>

参数说明

  • testpath 测试计划,这里用于存放测试脚本、测试生成的文件、测试报告
  • jmeter.home Jmeter目录路径
  • report.title 测试报告的标题
  • test jmeter测试脚本的名称(无需后缀.jmx)

这里根据自己的环境修改为

1
2
3
4
5
6
<property name="testpath" value="C:\apache-jmeter-4.0\loadTest"/>
<property name="jmeter.home" value="C:\apache-jmeter-4.0"/>
<property name="report.title" value="Httpbin API Test Report"/>

<!-- Name of test (without .jmx) -->
<property name="test" value="httpbin_test"/>

Ant构建

执行如下命令进行构建

1
ant -buildfile C:\apache-ant-1.10.5\bin\build.xml

结果如下:

ant-buildfile.PNG

进入到loadTest文件夹可以看到生成如下文件:

loadTest-file.PNG

打开html测试报告httpbin_test.html 报告内容如下:

jmeter-report

报告优化

Jmeter默认生成报告不是很详细,因此我们需要进行优化。这里我们使用新的报告模板:jmeter-results-detail-report_30.xsl 默认的报告模板是jmeter-results-detail-report_21

打开 build.xml21改为30

1
2
3
<condition property="style_version" value="_30">


补充删除 .jtl的代码,如果不删除每次迭代的记录都会显示在报告里面,显得很冗余。

1
2
3
4
<target name="run">
<echo>funcMode = ${funcMode}</echo>
<delete file="${testpath}/${test}.html"/>
<delete file="${testpath}/${test}.jtl"/>

进入Jmeter的bin目录,找到jmeter.properties文件打开。然后将以下代码取消注释状态,并改为true

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
jmeter.save.saveservice.data_type=true
jmeter.save.saveservice.label=true
jmeter.save.saveservice.response_code=true
# response_data is not currently supported for CSV output
jmeter.save.saveservice.response_data=true
# Save ResponseData for failed samples
jmeter.save.saveservice.response_data.on_error=true
jmeter.save.saveservice.response_message=true
jmeter.save.saveservice.successful=true
jmeter.save.saveservice.thread_name=true
jmeter.save.saveservice.time=true
jmeter.save.saveservice.subresults=true
jmeter.save.saveservice.assertions=true
jmeter.save.saveservice.latency=true
# Only available with HttpClient4
jmeter.save.saveservice.connect_time=true
jmeter.save.saveservice.samplerData=true
jmeter.save.saveservice.responseHeaders=true
jmeter.save.saveservice.requestHeaders=true
jmeter.save.saveservice.encoding=true
jmeter.save.saveservice.bytes=true
# Only available with HttpClient4
jmeter.save.saveservice.sent_bytes=true
jmeter.save.saveservice.url=true
jmeter.save.saveservice.filename=true
jmeter.save.saveservice.hostname=true
jmeter.save.saveservice.thread_counts=true
jmeter.save.saveservice.sample_count=true
jmeter.save.saveservice.idle_time=true

最后执行即可生成最新的报告:样式如下,可以清晰看到每一个请求发送,响应内容。

report-30

注意

如果生成的报告为空,则说明jmeter脚本有错误,此时可以打开jmeter的bin目录中的jmeter.log日志文件,查看具体的报错信息。

集成到Jenkins

在Jenkins新建一个任务httpbin_Api_test

在构建选项中选择Invoke Ant 然后在Build File输入build.xml配置文件路径。注意:不要输入到Targets里面去了,需要点击高级选项后才可以显示除Build File

Invoke ant

执行之后可以看到控制台输出和cmd的控制台输出是一样的

jenkins-console-output.PNG

如果想定制构建则可以在构建触发器中选择Build periodically 如果想每个工作日下班18时执行,则可以如下设置:

build periodcally

扩展资料:Appium jenkins自动化测试平台搭建

Tips:如果Jenkins已经安装输入地址127.0.0.1:8080无法打开说明可能jenkins服务没有启动,需要在管理员模式下输入如下命令来启动:

1
2
3
4
λ net start jenkins
Jenkins 服务正在启动 .
Jenkins 服务已经启动成功。

邮件推送

参考 python 邮件发送

报错相关

1.jtl does not exist

1
2
BUILD FAILED
C:\apache-ant-1.10.5\bin\build.xml:124: input file C:\apache-jmeter-4.0\loadTest\httpbin_test.jtl does not exist

原因分析

  • 写入.jtl的目录文件没有写入权限
  • 脚本名称和配置不一致,如下面的value值名称和jmx名称不一致
1
2
<!-- Name of test (without .jmx) -->
<property name="test" value="xxx"/>
  • jmeter.properties中参数配置问题,具体如下:
    jmeter.save.saveservice.output_format=csv改为jmeter.save.saveservice.output_format=xml

解决方案

  • 将文件夹增加写入权限
  • 配置build.xmlvalue值和jmeter脚本名称一致。
  • 打开jmeter.log查看其他具体原因

2.生成的报告为空

一般可能脚本运行有错误,比如依赖的文件路径发生了变化。可以打开jmeter.log 查看具体错误原因。

批量运行多个脚本

由于jmeter4.0版本默认提供的build.xml不支持通配符来批量运行多个脚本,所以这里修改build.xml配置文件来实现批量执行,具体脚本如下:

build.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
<?xml version="1.0" encoding="UTF-8"?>

<project name="ant-jmeter-test" default="run" basedir=".">

<!-- 根据时间戳来命名测试报告名称-->
<tstamp>
<format property="time" pattern="yyyyMMddhhmm" />
</tstamp>

<!-- 需要改成自己本地的 Jmeter 目录-->
<property name="jmeter.home" value="C:\apache-jmeter-4.0" />
<!-- 设置脚本的测试目录-->
<property name="jmeter.dir" value="loadTest" />

<!-- jmeter生成jtl格式的结果报告的路径-->
<property name="jmeter.result.jtl.dir" value="${jmeter.home}\${jmeter.dir}\report\jtl" />
<!-- jmeter生成html格式的结果报告的路径-->
<property name="jmeter.result.html.dir" value="${jmeter.home}\${jmeter.dir}\report\html" />

<!-- 生成的报告的前缀-->
<property name="ReportName" value="TestReport" />
<property name="jmeter.result.jtlName" value="${jmeter.result.jtl.dir}/${ReportName}${time}.jtl" />
<property name="jmeter.result.htmlName" value="${jmeter.result.html.dir}/${ReportName}${time}.html" />

<target name="run">
<antcall target="test" />
<antcall target="report" />
</target>

<target name="test">
<taskdef name="jmeter" classname="org.programmerplanet.ant.taskdefs.jmeter.JMeterTask" />
<jmeter jmeterhome="${jmeter.home}" resultlog="${jmeter.result.jtl.dir}/${ReportName}${time}.jtl">

<!-- 声明要运行的脚本。"*.jmx"指包含此目录下的所有jmeter脚本,也可以指定具体执行的脚本-->
<testplans dir="${jmeter.home}\${jmeter.dir}" includes="*.jmx" />
<property name="jmeter.save.saveservice.output_format" value="xml"/>

</jmeter>
</target>

<target name="report">
<tstamp> <format property="report.datestamp" pattern="yyyy/MM/dd HH:mm" /></tstamp>
<xslt
classpathref="xslt.classpath"
force="true"
in="${jmeter.result.jtlName}"
out="${jmeter.result.htmlName}"
style="${jmeter.home}/extras/jmeter-results-detail-report_30.xsl">
<param name="dateReport" expression="${report.datestamp}"/>
</xslt>

<!-- 因为上面生成报告的时候,不会将相关的图片也一起拷贝至目标目录,所以,需要手动拷贝 -->
<copy todir="${jmeter.result.html.dir}">
<fileset dir="${jmeter.home}/extras">
<include name="collapse.png" />
<include name="expand.png" />
</fileset>
</copy>
</target>

<path id="xslt.classpath">
<fileset dir="${jmeter.home}/lib" includes="xalan*.jar"/>
<fileset dir="${jmeter.home}/lib" includes="serializer*.jar"/>
</path>
</project>

参考资料