说起自动化测试,我想大家都会有个疑问,要不要做自动化测试? 自动化测试给我们带来的收益是否会超出在建设时所投入的成本,这个嘛别说是我,即便是高手也很难回答,自动化测试的初衷是美好的,而测试工程师往往在实现过程中花费了很多成本、精力,而最终以失败告终。 失败的原因会很多,我总结几项:
1. 太过依赖测试工具,高估了工具的力量,最终会以失望告终。
2. 项目紧急的情况,为了规避那些多余的环节,干脆人工测试,结果整个链路中断。
3. 研发和测试人员不能很好的交互,如果这两个角色之间有了一道防火墙,那别说自动化测试了,手工测试也不会有好的效果。测试人员可以把研发想象成自己的女朋友, 努力培养相互之间的感情。
4. 自动化测试人员实力被低估而导致的情绪低落,这个问题在所有岗位上都会发生,当然要看领导重视程度了。
5. 资源不够,公司不舍得资源投入,或者蹑手蹑脚,那就不要浪费时间了。
6. 太高的期望,过低的回报。
现在国内没有几家公司说能玩转自动化测试的,在看国外那些耳熟能详的企业像google ,Microsoft ,它们反而搞得热火朝天的。可笑的是在微软中国的测试部门工作过几年的测试经理,出来搞个什么《微软自动化测试体系最佳实践课程》,就能忽悠国内的那些知名的企业掏钱去听,我这也不是说他们的东西不好, 只是希望我们自己也能够重视起来,要知道人家“卓越”体系也是由那些“专业团队”花了很多的时间和精力才搭建起来的,所以先不说收益如何,即便是为了这一个美好的初衷,我们也应该去尝试一下,即使是失败。
我也做了几年的测试,但也是最近才开始研究自动化测试的,在工作中多多少少接触过几种常见的工具,如 silktest 和Selenium ,搞过测试的应该都听过,我最近刚刚为现有项目搭建了一个测试框架,为其中的部分模块编写了一些测试case, 收益还是颇丰的,先说说这两种工具吧。
SilkTest 是商业工具,想使用是需要花钱的,但是有现成的平台和框架,也比较容易学习,可以基于windows ,unix 平台。ie ,firefox (部分)浏览器。可以录制回放,对象识别或者手工编程,也能基于数据驱动,关键字驱动等等测试框架。SilkTest 里面的语言4test 其实是类C (也有Silk4J ,用Java 写),编程能力相对较强。
Selenium 是免费的,需要有类似ide (如eclipse ),原先是thoughtworks 的几个牛人开发的,现在google 维护(人都跳槽过去了)。可以基于windows ,unix ,mac 等平台。ie ,firefox 等浏览器。 测试团队,经费不足,能力很强(Java 上面),有对测试平台和环境要求比较高(ie ,firefox ,safari 等等),那么Selenium 是很不错的选择。
一、工具准备
工具 | 说明 | 下载 |
junit | JUnit是一个开发源代码的Java测试框架,用于编写和运行可重复的测试。 | http://www.junit.org |
selenium | 先介绍两个重要的组件Selenium-IDE来录制脚本;selenium-rc selenium-remote control缩写,是使用具体的语言来编写测试类 | Selenium |
Coverlipse | Coverlipse这个Eclipse插件能够把JUnit测试的代码覆盖直观化。 | Download |
Ant | Ant是一个类似make的工具,大家都已经很熟悉了,这里我们可以利用其中的ant task来生成junit日志 | Apache Ant - Binary Distributions |
二、Junit的安装
1. Eclipse本身会自带Junit.jar包,所一般情况下是不需要额外下载junit的。
2. 将junit3的library添加到工程的buildPath中
3. 因为junit的日志是通过Ant来生成的,所以一定要将Junit.jar添加到ant_home里
三、selenium的安装
1. 安装seleniumIDE,打开火狐浏览器,然后进入工具—>添加附件,搜索seleniumIDE
2. 查询出对应的IDE后,点击直接安装,安装结束后重启FireFox,看到下面的菜单说明安装成功
3. 安装selenium-rc,先去http://www.openqa.org/selenium/下载selenium包。用命令行来到解压到文件夹下:d:/autoTesting/selenium-server-standalone-2.0b1.jar目录下
4. 运行java -jar selenium-server-standalone-2.0b1.jar,启动selenium server。为了在运行时应用运行的浏览器与selenium服务的浏览器分开可在其后面加–multiWindow。
5. 在Eclipse创建一个项目,在项目的build path里面加上elenium-server-1.0-beta-1下selenium-server.jar、selenium-java-client-driver-1.0-beta-1下selenium-java-client-driver.jar(这两个在刚解压的包里面)和eclipse/plugins/org.junit_3.8.1下junit.jar。
6. 将制定的Jar包导入到工程里,然后你就可以集成并使用相应的API,编写自己的测试CASE了。
四、Coverlipse的安装
1. 直接通过Eclipse即可安装,步骤如下
In Eclipse, click Help -> Software Updates -> Find and Install.
In the dialog, select Search for new features to install, then Next.
In the next step, add a New Remote Site. Name it "Coverlipse update site", the URL is "http://coverlipse.sf.net/update/".
Press Finish. Eclipse now searches for the Coverlipse feature to install and shows that to you.
2. 配置Coverlipse以获取代码覆盖
3. 一旦单击了Run,Eclipse会运行Coverlipse并在源代码(如图7所示)中嵌入标记,该标记显示了具有相关JUnit测试的代码部分
4. Coverlipse生成的具有嵌入类标记的报告
5. 正如您所见,使用Coverlipse Eclipse插件可以更快地确定代码覆盖率。例如,这种实时数据功能有助于在将代码签入CM系统前更好地进行测试。
五、ANT安装,eclipse自带,只需要配置环境变量ant_home即可。
六、创建一个案例
1. 创建一个工程testSelenium安装下面目录结构
2. 录制脚本,打开Firefox浏览器,进入selenium IDE菜单
3. 输入相应录制的地址,点击红色按钮,开始录制
4. 将脚本转换成junit代码,然后将其拷贝到测试类中做为测试CASE编码的雏形。
七、如何查看日志,这里日志分两类:
l Junit日志,通过junit写的断言,和标准输出,这些操作产生的日志记录。
l Selenium日志,当运行junit脚本时,selenium相关的脚本就会产生回放日志,例如打开界面的url,标准输入,输出等信息。
虽然这两种日志没有交集,需要分开查看。但一般情况下我们只需要观察Selenium日志已经足够用了,与其相比Junit日志更适用于编码阶段。
1. Junit日志,只需要配置脚本build-selenium.xml,如下
<project name="seleniumTest"default="junit" basedir="."><propertyenvironment="env" /><conditionproperty="ia.home" value="${env.IA_HOME}"><issetproperty="env.IA_HOME" /></condition><propertyname="run.classpath" value="../class"></property><propertyname="run.srcpath" value="../testSelenium"></property><propertyname="test.xml" value="../xml"></property><propertyname="test.report" value="../report"></property><propertyname="lib.dir" value="../lib" /><pathid="compile.path"><filesetdir="${lib.dir}"><includename="junit.jar" /><includename="ant.jar" /></fileset></path><targetname="init"><deletedir="${run.classpath}" /><mkdirdir="${run.classpath}" /><deletedir="${test.report}" /><mkdirdir="${test.report}" /><deletedir="${test.xml}" /><mkdirdir="${test.xml}" /></target><targetname="compile" depends="init"><javacdestdir="${run.classpath}" srcdir="${run.srcpath}" /></target><targetname="junit" depends="compile"><junitprintsummary="false"><classpathpath="${run.classpath}"><pathrefid="compile.path" /></classpath><formattertype="xml" /><batchtesttodir="${test.xml}"><filesetdir="${run.classpath}"><includename="**/Test*.class" /><includename="**/*Test.class" /></fileset></batchtest></junit><junitreporttodir="${test.xml}"><filesetdir="${test.xml}"><includename="TEST-*.xml" /></fileset><reportformat="frames" todir="${test.report}" /></junitreport></target></project>
2. 运行ant脚本以后,就可以生成相应的junit日志。
selenium日志
当运行junit脚本时,selenium相关的脚本就会产生回放日志,但默认记录的东西可读性太差了,所以我们使用loggingSelenium(http://loggingselenium.sourceforge.net/usage.html) ,可以将每个case可以生成记录selenium命令的html格式的result了。
4. plugin的下载地址:
Download logging-selenium-1.2.jar (LoggingSelenium)
5. 安装方法:只需要将下载的logging-selenium-1.2.jar导入到工程里即可。
6. 编写代码如下
@Beforepublic void setUp() {finalString resultPath ="absolute-path-to-where-your-result-will-be-written";finalString resultHtmlFileName = resultPath + File.separator +"result.html";finalString resultEncoding = "UTF-8"loggingWriter = LoggingUtils.createWriter(resultHtmlFileName,resultEncoding);LoggingResultsFormatter htmlFormatter =newHtmlResultFormatter(loggingWriter, resultEncoding);htmlFormatter.setScreenShotBaseUri(""); // this is for linkingto the screenshotshtmlFormatter.setAutomaticScreenshotPath(resultPath);// wrapHttpCommandProcessor from remote-controlLoggingCommandProcessor myProcessor =new LoggingCommandProcessor(newHttpCommandProcessor(your-configs), htmlFormatter);selenium= new LoggingDefaultSelenium(myProcessor);selenium.start();}@Afterpublic void tearDown() {selenium.stop();try {if(null != loggingWriter) {loggingWriter.close();}} catch(IOException e) {//do nothing}}
7. 运行成功以后在指定的目录中生成相应的reports
八、框架优势
1. 记录测试的过程,所见即是所得,selenium的所有内部程序都是用Javascipt编写的,比较灵活;
2. 可以通过selenium IDE录制脚本,脚本可以回放,可以作为junit编码的雏形;
3. 支持多种操作系统;
4. 支持多种编码语言。JAVA,.NET, Perl,Python, Ruby
八、框架劣势
1. selenium的录制工具只能安装在firefox浏览器上, 如果系统界面不被firefox支持,那就要花费一定的时间去手写case。 不过最近听说有一个工具叫360WebTester ,可以支持IE的录制,而且是国产的评价还不错,有时间我要研究一下。