怎么使用Pytest+Allure生成漂亮的HTML圖形化測試報告

這篇文章給大家分享的是有關(guān)怎么使用Pytest+Allure生成漂亮的HTML圖形化測試報告的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

對于軟件測試工作來說，測試報告是非常重要的工作產(chǎn)出。一個漂亮、清晰、格式規(guī)范、內(nèi)容完整的測試報告，既能最大化我們的測試工作產(chǎn)出，又能夠減少開發(fā)人員和測試人員的溝通成本。

本篇文章將介紹如何使用開源的測試報告生成框架Allure生成規(guī)范、格式統(tǒng)一、美觀的測試報告。
通過這篇文章的介紹，你將能夠：

• 將Allure與Pytest測試框架相結(jié)合；

• 如何定制化測試報告內(nèi)容

• 執(zhí)行測試之后，生成Allure格式的測試報告。

• 如何與Jenkins集成。

• 將測試環(huán)境信息展示到測試報告中。

1、Allure測試報告介紹

Allure是一款輕量級并且非常靈活的開源測試報告框架。 它支持絕大多數(shù)測試框架， 例如TestNG、Pytest、JUint等。它簡單易用，易于集成。下面就Pytest如何與Allure集成做詳細(xì)介紹。

2、Pytest框架集成Allure

Pytest是Python的單元測試框架，非常方便和易用。強烈推薦對于用Python進(jìn)行測試工作的小伙伴使用這個測試框架，相比與Python自帶的UnitTest好用太多太多。這篇文章我不會介紹太多Pytest測試框架的使用，今天主要是介紹如何將測試報告生成工具Allure集成到Pytest中。

2.1 安裝Allure Pytest Plugin

allure-pytest是Pytest的一個插件，通過它我們可以生成Allure所需要的用于生成測試報告的數(shù)據(jù)。安裝allure-pytest插件方法：

$ pip install allure-pytest

2.2 改造基于Pytest的測試用例

allure-pytest的官方文檔中詳細(xì)介紹了allure-pytest所具有的功能。本篇文章不會再翻譯一遍，而是從實際入手，給大家介紹如何將其應(yīng)用到自己的框架中。

為了使用Allure生成報告，需要在測試腳本中加入Allure特性。而這個操作并不會對原有的測試用例邏輯產(chǎn)生任何變動。

直接看下面的腳本，我通過在腳本中添加注釋的方式給大家解釋allure特性的用途。比如測試腳本是test_shopping_trolley.py：

#!/usr/bin/env python
# coding=utf-8

import pytest
import allure


@allure.feature('購物車功能') # 用feature說明產(chǎn)品需求，可以理解為JIRA中的Epic
class TestShoppingTrolley(object):
  @allure.story('加入購物車') # 用story說明用戶場景，可以理解為JIRA中的Story
  def test_add_shopping_trolley(self):
    login('劉春明', '密碼') # 步驟1，調(diào)用“step函數(shù)”
    with allure.step("瀏覽商品"): # 步驟2，step的參數(shù)將會打印到測試報告中
      allure.attach('筆記本', '商品1') # attach可以打印一些附加信息
      allure.attach('手機', '商品2')
    with allure.step("點擊商品"): # 步驟3
      pass
    with allure.step("校驗結(jié)果"): # 步驟4
      allure.attach('添加購物車成功', '期望結(jié)果')
      allure.attach('添加購物車失敗', '實際結(jié)果')
      assert 'success' == 'failed'

  @allure.story('修改購物車')
  def test_edit_shopping_trolley(self):
    pass

  @pytest.mark.skipif(reason='本次不執(zhí)行')
  @allure.story('刪除購物車中商品')
  def test_delete_shopping_trolley(self):
    pass


@allure.step('用戶登錄') # 將函數(shù)作為一個步驟，調(diào)用此函數(shù)時，報告中輸出這個步驟，我把這樣的函數(shù)叫“step函數(shù)”
def login(user, pwd):
  print(user, pwd)

上面使用了Allure的幾個特性：

• @allure.feature # 用于描述被測試產(chǎn)品需求

• @allure.story # 用于描述feature的用戶場景，即測試需求

• with allure.step # 用于描述測試步驟，將會輸出到報告中

• allure.attach # 用于向測試報告中輸入一些附加的信息，通常是一些測試數(shù)據(jù)，截圖等

• @pytest.allure.step # 用于將一些通用的函數(shù)作為測試步驟輸出到報告，調(diào)用此函數(shù)的地方會向報告中輸出步驟
  

3、生成Allure測試報告

測試腳本中添加了Allure特性之后，可以通過兩步，就可以展示出測試報告了。

第一步，生成測試報告數(shù)據(jù)

在py.test執(zhí)行測試的時候，指定–alluredir選項及結(jié)果數(shù)據(jù)保存的目錄：

$ py.test test/ --alluredir ./result/

./result/中保存了本次測試的結(jié)果數(shù)據(jù)。另外，還可以執(zhí)行指定features或者stories執(zhí)行一部分測試用例，比如執(zhí)行”購物車功能“下的”加入購物車“子功能的測試用例：

$ py.test test/ --allure_features='購物車功能' --allure_stories='加入購物車'

第二步，生成測試報告頁面

通過下面的命令將./result/目錄下的測試數(shù)據(jù)生成測試報告頁面：

$ allure generate ./result/ -o ./report/ --clean

–clean選項目的是先清空測試報告目錄，再生成新的測試報告。

這一步需要提前安裝allure命令行，如果是Mac電腦，推薦使用Homebrew安裝。

$ brew install allure

4、解讀測試報告

打開生成的測試報告后，瀏覽器被自動調(diào)起，展示測試報告。下面我們分別看看測試報告的幾個頁面。

4.1、首頁

首頁中展示了本次測試的測試用例數(shù)量，成功用例、失敗用例、跳過用例的比例，測試環(huán)境，SUITES，F(xiàn)EATURES BY STORIES等基本信息，當(dāng)與Jenkins做了持續(xù)置成后，TREND區(qū)域還將顯示，歷次測試的通過情況。
首頁的左邊欄，還從不同的維度展示測試報告的其他信息，大家可以自己點進(jìn)去看看。

4.2、Behaviors頁面

進(jìn)入Behaviors頁面，這個頁面按照FEATURES和 STORIES展示測試用例的執(zhí)行結(jié)果：

從這個頁面可以看到“購物車功能”這個FEATURES包含的三個STORIES的測試用例執(zhí)行情況。

4.3、Suites頁面

Allure測試報告將每一個測試腳本，作為一個Suite。在首頁點擊Suites區(qū)域下面的任何一條Suite，都將進(jìn)入Suites頁面。

這個頁面，以腳本的目錄結(jié)構(gòu)展示所有測試用例的執(zhí)行情況。

4.4、Graphs頁面

這個頁面展示了本次測試結(jié)果的統(tǒng)計信息，比如測試用例執(zhí)行結(jié)果狀態(tài)、測試用例重要等級分布、測試用例執(zhí)行時間分布等。

4.5、測試用例詳情頁面

在Suites頁面上點擊任何一條測試用例，Suites頁面的右側(cè)將展示這條用例的詳細(xì)執(zhí)行情況。

從這個頁面可以看到測試用例執(zhí)行的每一個步驟，以及每個步驟的執(zhí)行結(jié)果，每一個步驟都可以添加附件，作為重要信息補充。從這里，對于失敗的測試用例，可以一目了然看到原因。

5、Jenkins中生成Allure報告

5.1、安裝 Allure Plugin

首先需要給Jenkins安裝Allure Plugin。在Jenkins的插件管理頁面，搜索“allure”，在搜索結(jié)果頁，選擇“Allure Jenkins Plugin”進(jìn)行安裝。

安裝完成之后重啟一下Jenkins。

在Jenkins的“全局工具管理”頁面，找到Allure Commandline模塊進(jìn)行安裝：

點擊后，彈出下面的頁面，輸入Allure的命令別名和版本后，點擊Apply 和Save。

5.2、修改Pipeline

在Pipeline的定義中，在執(zhí)行測試用例的環(huán)節(jié)增加--alluredir ./allure-results保存測試結(jié)果數(shù)據(jù)，并在構(gòu)建后的步驟中增加allure includeProperties: false, jdk: '', report: 'jenkins-allure-report', results: [[path: 'allure-results']]將測試結(jié)果數(shù)據(jù)生成測試報告頁面，完整的Jenkinsfile如下：

pipeline {
  // ...
  stages {
  //...
    stage('執(zhí)行測試用例') {
      steps {
        sh "py.test tests/ --alluredir ./allure-result"
      }
    }
  }
  post {
      always{
      script {
        allure includeProperties: false, jdk: '', report: 'jenkins-allure-report', results: [[path: 'allure-result']]
      }
    }
  }
}

這樣，我們的Jenkins Job執(zhí)行完測試用例時候，將在Job的主頁面上看到Allure Report圖標(biāo)，點擊進(jìn)去就看到了Allure Report報告。

如果你現(xiàn)在依然使用的是Freestyle風(fēng)格的job。那么需要在構(gòu)建后步驟中，添加Allure Report步驟，將allure的報告數(shù)據(jù)添加到Path中：

這樣當(dāng)job執(zhí)行完成后，也可以看到allure測試報告了。

6、增加測試環(huán)境到Allure報告中

在4.1小節(jié)展示的報告首頁中，有一個區(qū)域可以展示測試執(zhí)行的環(huán)境信息。但是目前allure-pytest插件中并沒有實現(xiàn)。不過在之前我用過的另外一個插件pytest-allure-adaptor是支持的。可惜pytest-allure-adaptor插件項目已經(jīng)被標(biāo)記為Deprecated了。

將測試環(huán)境信息輸出到報告中，對于測試報告來講是非常有意義的。我們有沒有什么變通的辦法可以實現(xiàn)呢？在網(wǎng)上進(jìn)行了一番查詢，發(fā)現(xiàn)stackoverflow上也有很多關(guān)于這個話題的討論。其中一個話題還給出了Workaround方法，這里給大家貼上鏈接：
https://stackoverflow.com/questions/52030518/recommend-workaround-for-the-missing-environmental-support-in-pytest-allure

這個Workaround的方法也比較簡單方便，就是在allure-results目錄中，新建environment.properties文件，并以key=value形式，在其中寫入環(huán)境相關(guān)的信息，比如：

browser=chrome
backend=staging
domain=http://baidu.com

這樣，在執(zhí)行allure generate ./result/ -o ./report/ --clean生成測試報告時，將能將測試環(huán)境信息融合到測試報告的頁面中了。

這樣看，測試報告是不是更顯得完整了呢？

不過，這種手動方式還是比較麻煩，下面我們看看如何在pytest框架中，自動實現(xiàn)上面的workaround。

在Pytest中，有一個hook函數(shù)叫作pytest_sessionfinish，根據(jù)官方文檔的描述，這個函數(shù)是在整個測試完成后被調(diào)用的，我們可以在其內(nèi)部實現(xiàn)我們自己的邏輯。

我們將生成environment.properties文件放到pytest_sessionfinish中實現(xiàn)，再適合不過了。在測試項目的根目錄下創(chuàng)建conftest.py文件，在其中實現(xiàn)pytest_sessionfinish函數(shù)，代碼如下。

#!/usr/bin/env python
# coding=utf-8

def pytest_sessionfinish(session):
  with open("{}/result/environment.properties".format(session.config.rootdir), "w") as f:
    f.write("browser=chrome\nbackend=staging\ndomain=http://baidu.com")

這樣，我們每次測試完成后，就自動將我們的測試環(huán)境信息添加到測試報告中了。

感謝各位的閱讀！關(guān)于“怎么使用Pytest+Allure生成漂亮的HTML圖形化測試報告”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！