自动化测试代码项目流程实现

news/2024/10/31 3:27:09/

由于项目需要,写了版针对业务的自动化测试代码,主要应用场景在于由于业务日趋复杂,一些公共代码的改动,担心会影响已有业务。还没进行重写,但知识点还是不少的与大家分享实践下。首先,介绍下整个流处理的业务流程。

  首先 从网管实时接入数据到kafka,然后消息接入 进行预处理(这个过程是通过jetty框架,直接用servlet启动的项目,因为考虑到tomcat的并发不够,所以这样用。)随后预处理完 传入kafka,然后storm的不同的topo根据不同的传入类型,进行接入消息的规则匹配,规则是存在于前台的项目中,定时刷入redis(1分钟1刷) 随后加载用户卡数据、用户信息等(这些数据是每晚通过跑mapreduce任务生成的大宽表,直接导入redis),通过redis加载效率非常高,满足实时性(如果redis中不存在数据的情况下,会连接hbase,再进行查询) 随后进行业务处理(有时有些会调各个网管的接口,获取相应业务数据),随后将封装好的数据发总致下游通知拓扑,通知拓扑通过webservice或者restTemple发送值各个其他平台,比如微信,支付宝,短信等,最终将整个运行日志写入hbase。

  首先准备下一些需要的公共类,kafkaclient:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

private Properties properties;

    private String defaultTopic;

    private KafkaProducer<K, V> producer;

    public void setProperties(Properties properties) {

        this.properties = properties;

    }

    public void setDefaultTopic(String defaultTopic) {

        this.defaultTopic = defaultTopic;

    }

    public void setProducer(KafkaProducer<K, V> producer) {

        this.producer = producer;

    }

    public void init() {

        if (properties == null) {

            throw new NullPointerException("kafka properties is null.");

        }

        this.producer = new KafkaProducer<K, V>(properties);

    }

    public void syncSend(V value) {

        ProducerRecord<K, V> producerRecord = new ProducerRecord<K, V>(defaultTopic, value);

        try {

            producer.send(producerRecord).get();

        catch (Exception e) {

            throw new RuntimeException(e);

        }

    }

    public void asyncSend(V value) {

        ProducerRecord<K, V> producerRecord = new ProducerRecord<K, V>(defaultTopic, value);

        producer.send(producerRecord);

    }

  HbaseUtil:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

private static final Logger logger = LoggerFactory.getLogger(HbaseResult.class);

    private Gson gson = new Gson();

     

    private HConnection connection = null;

    private Configuration conf = null;

    private String logFile = "D:/error.txt";

    public void init() throws IOException {

        logger.info("start init HBasehelper...");

        conf = HBaseConfiguration.create();

        connection = HConnectionManager.createConnection(conf);

        logger.info("init HBasehelper successed!");

    }

    public synchronized HConnection getConnection() throws IOException {

        if (connection == null) {

            connection = HConnectionManager.createConnection(conf);

        }

        return connection;

    }

    private synchronized void closeConnection() {

        if (connection != null) {

            try {

                connection.close();

            catch (IOException e) {

            }

        }

        connection = null;

    }

  kafkaClient主要负责将读取报文的信息发送至kafka,随之又topo自行运算,最终使用通过调用hbaseUtil,对相应字段的比对查询。

那么下面对整个自动化测试的流程进行说明:

  一、导入前台活动  由于是自动化测试,我们不可能每次都手工上下线,或在页面配置启用某个活动,所以通过直接调用前台系统 导入功能 的方法,将活动配置写入mysql数据库,并进行状态的切换。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

List<String> codeList = new ArrayList<String>();

      List<String> activityIdList = new ArrayList<String>();

     try {

       FileBody bin = new FileBody(new File("D:/activityTest/activity.ac"));

       InputStream in = bin.getInputStream();

       BufferedReader br = new BufferedReader(new InputStreamReader(in));

       String tr = null;

       while((tr = br.readLine())!=null){

           HttpPost httppost = new HttpPost("http://*********:8088/***/***/***/import");

           CloseableHttpClient httpclient = HttpClients.createDefault();

         ObjectMapper mapper = new ObjectMapper();

           ActivityConfig cloneActivity = null;

           cloneActivity = mapper.readValue(tr.toString(),ActivityConfig.class);

           List<ActivityConfig> cloneActivitys = new ArrayList<ActivityConfig>();//存放所有的活动

           cloneActivitys.add(cloneActivity);

              

           for (ActivityConfig cloneActivity1 : cloneActivitys) {

             String code = cloneActivity1.getCode();

               codeList.add(code);

           }

             HttpEntity reqEntity = MultipartEntityBuilder.create()

                     .addPart("file", bin)

                     .build();

             httppost.setEntity(reqEntity);

             System.out.println("executing request " + httppost.getRequestLine());

             CloseableHttpResponse response = httpclient.execute(httppost);

             System.out.println(response.getStatusLine());

             HttpEntity resEntity = response.getEntity();

             if (resEntity != null) {

                 System.out.println("Response content length: " + resEntity.getContentLength());

             }

             EntityUtils.consume(resEntity);

             response.close();

             httpclient.close();

       }

       for(String code : codeList){

         String code1 = "'" + code + "'";

           if(StringUtils.isNotEmpty(activityCode)){

             activityCode.append(",");

           }

       activityCode.append(code1);

        }<br>      }<br>      return activityIdList;<br>    ]<br>

二、读取准备好的报文数据(xml形式需通过解析,数据分隔符格式读取后直接发送至kafka)

public String readTxt() throws IOException{StringBuffer sendMessage = new StringBuffer();BufferedReader br = null;try {br = new BufferedReader(new InputStreamReader(new FileInputStream(MessageText), "UTF-8"));String line = "";while((line = br.readLine()) != null){if (line.contains("<?xml")) {int beginIndex = line.indexOf("<?xml");line = line.substring(beginIndex);}sendMessage.append(line);}} catch (UnsupportedEncodingException e) {e.printStackTrace();} catch (FileNotFoundException e) {e.printStackTrace();}finally{br.close();}return sendMessage.toString();}

三、下来,我们需要将解析后的报文数据写入hbase的相应用户宽表、卡宽表中,以便storm拓扑中进行用户数据的加载,这里的rowkey为预分区过的。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

HbaseResult baseHelper = new HbaseResult();

baseHelper.init();

tableName = "CARD****";

rowkey = HTableManager.generatRowkey(cardNo);

data.put("*****""10019");

data.put("*****", cardNo);

data.put("*****", certNo);

data.put("*****""A");

data.put("*****""1019");

data.put("*****", supplementCardNo);

data.put("*****""10020");

data.put("*****", certNo);

data.put("*****", cardType);

data.put("*****", cardType);

data.put("*****", cardNo.substring(12,16));

data.put("*****""F");        

data.put("*****""ysy");

Put put = new Put(Bytes.toBytes(rowkey));

for (Entry<String, String> rs : data.entrySet()) {

    put.add(HTableManager.DEFAULT_FAMILY_NAME, Bytes.toBytes(rs.getKey()), Bytes.toBytes(rs.getValue()));

}  

baseHelper.put(tableName, put);

System.out.println("rowkey:"+rowkey);

data.clear();

四、随后就可进行消息的发送(发送至集群的kafka)

1

2

3

KafkaInit();

FSTConfiguration fstConf = FSTConfiguration.getDefaultConfiguration();

kafkaClient.syncSend(fstConf.asByteArray(kafkaData));

五、最终进行发送数据的字段对比(通过报文中的,预设的数据字段 与 最终输出的字段或结果进行对比,随后追加写入输出文件)

Result result = baseHelper.getResult("EVENT_LOG_DH", messageKey);
//对比字段
baseHelper.compareData(dataMap, result,activityCode);public Result getResult(String tableName, String rowKey) throws IOException {Get get = new Get(Bytes.toBytes(rowKey));Result result = null;HTableInterface tableInterface = null;try {tableInterface = getConnection().getTable(tableName);result = tableInterface.get(get);return result;} catch (Exception e) {closeConnection();logger.error("", e);} finally {if (tableInterface != null) {tableInterface.close();}
}
public void compareData(Map<String,Object> messageData, Result res,List<String> activityCode) throws IOException{List<String> Messages = new ArrayList<String>();for (Cell cell : res.rawCells()) {String qualifier = Bytes.toString(CellUtil.cloneQualifier(cell));if(Bytes.toString(CellUtil.cloneQualifier(cell)).equalsIgnoreCase("VARIABLESETS")){System.out.println(qualifier + "[" + new Gson().fromJson(Bytes.toString(CellUtil.cloneValue(cell)), Map.class) + "]");@SuppressWarnings("unchecked")Map<String,Object> data = gson.fromJson(Bytes.toString(CellUtil.cloneValue(cell)), Map.class);String message = "";for(String datakey : data.keySet()){if(messageData.containsKey(datakey)){String dataValue = getString(data,datakey);String messageValue = getString(messageData,datakey);if(datakey.equals("dh22")){dataValue = dataValue.substring(0,dataValue.indexOf("."));messageValue = messageValue.substring(0,messageValue.indexOf("."));}if(dataValue.equals(messageValue)){message = datakey + " = " + dataValue + " 与报文中的 " + dataValue + "对比相同";Messages.add(message);}else{message = datakey + " = " + dataValue + " 与报文中的 " + dataValue + "不一致!!!";Messages.add(message);}}}}if(Bytes.toString(CellUtil.cloneQualifier(cell)).equalsIgnoreCase("NOTIFY__")){}}if(Messages.size() > 0){StringBuffer sb = new StringBuffer();for(String error : Messages){sb.append(error).append("\n");}FileWriter fw = new FileWriter(logFile,true);fw.write("\n----------------------");fw.write(sb.toString());fw.flush();fw.close();}else{String sb = "没有对不上的字段呀";FileWriter fw = new FileWriter(logFile);fw.write(sb);fw.flush();fw.close();}}

六、清除导入的数据等信息,整个流程结束~

public void delHbaseData(String cardNo,String certNo) throws IOException{String rowkeyCard = HTableManager.generatRowkey(cardNo) ;String rowKeyUse =  HTableManager.generatRowkey(certNo) ;Delete delData = null;HTableInterface tableInterface = null;String tableName = "";try {tableInterface = getConnection().getTable(tableName);tableInterface.delete(delData);}return;} catch (Exception e) {closeConnection();logger.error("", e);} finally {if (tableInterface != null) {tableInterface.close();}}
}

http://www.ppmy.cn/news/70190.html

相关文章

解密《永恒之塔私服》龙界要塞全貌

《永恒之塔2.0&#xff1a;进军龙界》将于12月29日14:00正式开放测试&#xff0c;全区全服29日起陆续更新&#xff0c;并将在元旦假期期间完成所有区服更新工作。12月27日&#xff0c;2.0新区抢先免费体验已经开始&#xff0c;凭特权激活码抢先免费体验无外挂《永恒之塔2.0》。…

公司新招了个字节拿36K的人,让我见识到了什么才是测试扛把子......

5年测试&#xff0c;应该是能达到资深测试的水准&#xff0c;即不仅能熟练地开发业务&#xff0c;而且还能熟悉项目开发&#xff0c;测试&#xff0c;调试和发布的流程&#xff0c;而且还应该能全面掌握数据库等方面的技能&#xff0c;如果技能再高些的话&#xff0c;甚至熟悉分…

操作系统原理 —— 什么是进程互斥? 以及进程互斥的实现方式(十四)

什么是进程互斥&#xff1f; 在操作系统中&#xff0c;有两种资源共享方式&#xff0c;一种是互斥共享方式&#xff0c;一种是同时共享方式。 互斥共享方式就是指在系统中的某些资源&#xff0c;虽然可以提供给多个进程使用&#xff0c;但一个时间段内只允许一个进程访问该资…

Linux篇1

Linux 1. 概述1.1 内容概要1.2 Linux发展1.3 Linux对比Windows 2. 虚拟机下安装CentOS系统2.1 下载安装VMware2.1.1 官网下载VMware软件2.1.2 安装VMware 2.2 下载CentOS镜像2.3 创建虚拟机&#xff08;在虚拟机中安装CentOS&#xff09;2.3.1 创建虚拟硬件环境2.3.2 安装CentO…

单位网站被黑被下达整改进行行政处罚

最近这几年&#xff0c;由于信息系统安全等级保护法的普及&#xff0c;越来越多公司收到当地公安网监部门打来的电话&#xff0c;说你们公司网站有漏洞&#xff0c;需要限期在2-3内进行漏洞整改和加固&#xff0c;遇到这种情况&#xff0c;不要着急&#xff0c;下面来分享一下该…

宝武中南钢铁借助飞桨让钢筋超限监控有了“火眼金睛”

现代钢铁工业生产过程是一个复杂而庞大的生产体系&#xff0c;涵盖数百道工序。 在70多年的发展历程中&#xff0c;炼钢、轧钢、连铸以及节能减排等各项技术不断进化&#xff0c;无一不印证了中国钢铁在技术创新之路上获得的持续性突破。如今&#xff0c;宝武中南钢铁&#xff…

什么是鉴权?这些postman鉴权方式你又知道多少?

一、什么是鉴权&#xff1f; 鉴权也就是身份认证&#xff0c;就是验证您是否有权限从服务器访问或操作相关数据。发送请求时&#xff0c;通常必须包含相应的检验参数以确保请求具有访问权限并返回所需数据。通俗的讲就是一个门禁&#xff0c;您想要进入室内&#xff0c;必须通过…

说说什么是IO多路复用?以及其演进过程。

文章目录 1.阻塞IO模型&#xff08;BIO&#xff09;和 非塞IO模型&#xff08;NIO&#xff09;2.什么是IO多路复用&#xff1f;3.IO多路复用的演进&#xff1f; 1.阻塞IO模型&#xff08;BIO&#xff09;和 非塞IO模型&#xff08;NIO&#xff09; 阻塞IO模型&#xff08;BIO&…