您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

騰訊 TMQ 實踐:用 Xcode UI Testing 打造 iOS UI 自動化測試體系

編輯:iOS 開發綜合

前言:iOS 自動化測試的困境

行動裝置普及之後,自動化測試在業界的重要性水漲船高。但客觀來看,Android 平台的自動化工具與實踐累積得多,iOS 平台不論在工具數量還是成熟度上都明顯落後。

原因不難理解:iOS 系統相對封閉,加上裝置數量與碎片化程度都比 Android 低,這個平台的自動化進展自然慢了下來。就筆者觀察,不少 iOS 測試人員仍停留在純手工驗證階段,更別說和 PC 端相比。

但也正因為難、研究得少,這件事反而值得投入。一旦能在 iOS 上建立起大規模且可長期穩定的自動化測試,對整個 iOS 品質體系都是一次實質推進。手機 QQ 瀏覽器(iPhone)測試小組在比對與實踐業界現有工具後,做了如下整理:

久旱逢甘霖:Xcode 7 的 UI Testing

Apple 在 2015 年的 Xcode 7 中推出了 UI Testing。它設定簡單、支援錄製回放、執行速度快、測試程式碼可以中斷除錯、以 Objective-C 作為腳本語言相容性良好、支援 UIWebView、內建截圖能力,而最重要的優點是——穩定性高。

選工具時,我們最看重兩件事:可除錯性與穩定性。可除錯是剛需,不必多說;而許多工具之所以推廣不起來,往往就是因為跑一陣子就自己掛掉。UI Testing 由 Apple 自己維護,與被測 App 的相容性天然較好,實測可以通宵穩定跑完腳本,未出現因工具自身問題導致的閃退。效能負擔也小,後期發現截圖操作會略微拖慢速度,但整體仍在可接受範圍。

在眾多 iOS 自動化方案難以施展的時候,UI Testing 給了我們一個可行的起點。

磨合之路:從能跑到好用

工具好,不代表能直接落地。以下是我們實際導入時踩過的三個關卡。

關卡一:門檻必須夠低

第一個問題是學習成本與投入產出比。Objective-C 本來就不是容易快速上手的語言,加上底層是 XCTest 介面,錄製出來的腳本長這樣:

凌亂、冗長、可讀性低。要讓團隊成員願意用,就必須封裝。

我們的封裝分兩層。第一層處理彈窗、異常、超時等待、手勢操作等通用行為;第二層把「控件類型」與「手勢」組合起來,直接提供給腳本呼叫。這樣做有兩個好處:腳本撰寫者只需關注業務語意,命名與呼叫方式都清晰可讀;同時底層介面若有必要調整,也不會影響上層函式的使用形式,用例維護成本大幅下降。

舉例來說,瀏覽器多視窗介面往左滑即可關閉頁面。把這個動作封裝之後:

後續要關閉第一個頁面,只要傳入對應參數呼叫這個函式即可。

另一類是特殊控件封裝。當某個控件找不到唯一標識,或者它所在的層級太深時,我們改用錄製方式讀取其屬性,加工後打包成一個整體,存放到指定檔案供後續呼叫。

例如瀏覽器多視窗管理介面右下角有個返回按鈕,檢視 XML 結構無法取得唯一標識,只能靠錄製確認它的控件結構,再封裝成特殊控件:

使用時直接呼叫封裝好的介面即可。每個介面都包含一或多個固定參數,以及一個可變參數。固定參數照型別傳值,可變參數則需依約定格式傳遞,例如:

VariableParameter: @"StepName=切換小說書架為宮格模式&LogLevel=WARN"

多個參數以 & 串接,每個參數用 KEY=VALUE 表示。

關卡二:編譯與執行要夠靈活

自動化專案常見的兩個痛點是環境設定太繁、以及單獨執行不方便。相比 Appium 一長串環境配置,UI Testing 的設定清爽許多:

1) 加入服務端設定。把 UITestServer.xcodeproj 放進目標工程的 thirdparty 目錄。這是自行開發的服務器,負責嵌入被測 App、監聽埠口、服務啟停、訊息接收與處理,並提供截圖、取得 App 日誌、監控記憶體/CPU/網速/流量等事件能力,且可擴充。

2) 設定被測 App。在其主要載入函式中啟動監聽埠。為了不影響正式版本,這段只在 DEBUG 模式下生效。

3) 設定 QBUITests 元件。這部分是自動化框架本體,包含各類元件、腳本與設定資訊。把 UITestUtils、SystemResources、SpecialElement、ScreenShot、Log、ScriptInterface 等資料夾全部拖進 QBUITests Target 即可。

完成以上三步,框架就算搭好了。

至於單獨執行,例如下圖是小說模組的腳本開頭,包含初始化流程,可以直接執行單一用例「test311001」,也能正常中斷除錯,或指定執行全部/部分腳本。

關卡三:結果必須可查

不論做 UI 自動化、監控還是准入測試,最後都得有輸出。而自動化測試的結果輸出,核心就是兩樣東西:截圖與日誌。

截圖既可以是「隨時截」,讓設計者或測試人員在任意時刻取想要的畫面;也可以是「出錯自動截」。日誌則要詳細記錄每一步操作,出了問題才能逐步回溯。

UI Testing 除了控件辨識與基本操作外,並未提供螢幕截圖能力,這部分必須自己實作,而且要能在各種封裝函式中靈活使用。像下圖這樣,在呼叫函式時於可變參數中帶入 LogLevel=WARN,就能在執行過程中同步截圖。

程式異常或找不到元素時也會自動截圖,這些行為預設都寫在封裝函式裡,使用者不必另外設定。

日誌分兩類:一類是操作過程記錄,一類是記憶體之類的效能數據。兩者都需要跨行程通訊來取得。前者記錄用例執行的每一步與對應截圖,後者抓取裝置的系統效能指標(記憶體、CPU、網路等)。產生的本地 log 如下:

最終彙整進日誌系統:

從單機走向規模化

度過磨合期後,我們已經具備本地單機執行自動化的能力。但要真正對專案產生價值,還需要更好的執行方式與結果呈現。

整體架構

先來看整體架構:

最底層使用系統提供的 XCTest 介面、訊息處理、驅動模組與系統資源取得能力;中間層做封裝,包含控件呼叫封裝、特殊控件封裝、截圖模組與日誌處理模組。最上層有兩塊:一是整合在 Xcode 中的自動化執行框架與腳本,二是分析 log 的自動化日誌分析系統。前者靠控件驅動搭配腳本與設定檔完成測試,後者負責日誌分析、視覺化展示與郵件通知,最終給團隊一份完整可讀的報告。

日誌系統

日誌分析系統以 Python 開發,獨立於 Xcode 框架之外。腳本執行完畢後把 log 傳給它,系統解析後即可檢視錯誤資訊、定位問題。

每次執行的日誌都會轉成 HTML 格式:

腳本日誌的詳細介紹:

步驟級別的細節如下,一般只需關注標紅的錯誤訊息:

有了這套系統,問題追蹤與回溯變得直觀許多。

持續集成

功能自動化測試的最終目標,是隨版本持續執行。幾個很合適的場景:准入測試、開發自測、回歸測試。不論哪一種,最佳做法都是把框架合入主線,讓組裡每個人在任何一台開發機上都能跑。

但這裡是 iOS 平台,有兩件事讓人頭痛:一是審核,二是私有 API。設定雖簡單、合入主線也不難,真正的難點在於打包上架時,不能把自研服務器那部分程式碼編進去——那部分為了實作某些功能,確實會用到私有 API。我們的解法是用動態關聯的方式,在主函式所在檔案加入一段條件判斷:開發主線時正常掛載,打包發布時則跳過編譯。

實踐成果

部署現況

目前手機 QQ 瀏覽器(iPhone)專案已採用這套 UI Testing 自動化方案進行 BVT 建設:每晚測試當天合入主線的最新程式碼,守住主線品質,並為隔天早上的提測包做准入檢查。

部署時考量到版本快速迭代、UI 變動頻繁,主要把自動化用例放在瀏覽器基礎 FT 上,並針對使用者高頻訪問的熱門頁面做檢測:

如此一來,合入主線的程式碼若影響基礎功能,當晚就會被抓出來,不必等到提測後才浪費人力與時間。發現異常時可點進詳情查看:

另外,對瀏覽服務 SDK 也做了自動化監控:

投入產出比

投入產出比就像天平兩端,產出必須重過投入,這件事才值得長期經營。

成本可以拆成一次性投入與線性投入兩塊,以下以實際落地的 iOS BVT 為例。

一次性成本:框架研發(1 人 × 2 個月)+ 設定與部署(4 人 × 0.5 天)+ 學習培訓(3 人 × 1 天)。這塊主要花在框架本身與測試人員的初始培訓上,之後只有新成員加入才會再增加。實證下來,這筆前期投入非常划算——好框架直接決定了後期維護階段的穩定性與使用門檻。

線性成本:用例撰寫平均約 14 分鐘/條,每日維護約 8 分鐘。這部分會隨時間變化:用例寫熟之後單條耗時下降,但隨著用例數量與需求變動增加,每日維護成本會上升,這些都在預期之內。

產出則從客觀與主觀兩面評估。

客觀:

A. 問題暴露時間前置。BVT 每日執行,因此總能早於正式提測發現問題。目前部署在主線上,主線大約 40 天提測 10 次,平均 4 天提測一次,一旦 BVT 抓到問題,平均可提前約三天。以這個基數估算,累積發現 29 個問題,相當於前置了約 87 天。

B. 減少提測被拒的次數,省下人力時間。BVT 中的用例全是基礎核心案例,一旦跑不過,基本就代表不符合准入標準。過去沒有 BVT 時,提測前得靠開發手工自測、測試手工複驗,一發現先天缺陷就打回,來回消耗大量人力。有了 BVT 之後,開發可以自行執行腳本做基礎自測,測試端也有每日監控。目前人工跑完一輪用例約需 200 分鐘,機器夜裡 60 分鐘就能跑完;每個版本平均約有 2 次拒測,粗算等於省下 400 分鐘左右(更嚴謹的算法應該是「從開始測試到找出導致拒測的缺陷所花的時間」× 拒測次數,但這個數據暫時無從取得)。

主觀:

之所以要談主觀收益,是因為客觀省下的時間之外,團隊心態上的「更淡定」同樣重要。BVT 上線後,測試在專案中的話語權明顯提升,iOS 端品質從純手工時代正式邁入自動化,每日版本品質有了持續穩定的檢驗,全組對上線的信心也更踏實。

營運數據

下圖是每日問題統計,金色線為確認的缺陷數,藍色線為 BVT 每日報出的問題數。兩線重%).合處相當多,說明誤報率維持在較低水準。

發現的問題大致分三類:純誤報(腳本穩定性造成)、UI 變動(含被測元素屬性變更與需求變更)、真實缺陷。以下兩個月的統計顯示,UI 變動導致的問題占比相對較低。這是在尚未與開發端約定程式碼規範時的數據;隨著後續協作深化,元素屬性變動這類問題會進一步下降,但純需求變動的比例仍會維持一定水準。

寫在最後

最後談談這套方案目前的限制與後續方向。

首先是硬體門檻。要進行真機操作或模擬器執行,需要一台 iMac,系統需 OS 10.10.5 以上,Xcode 7.1 以上,Python 2.7 以上,記憶體建議 2G 以上。低於這個配置,很難穩定跑起來。

其次是效能。已封裝的工具腳本總數理論上建議控制在 1000 個以內,可穩定運行 10 小時以上。這個時長足以覆蓋我們目前的自動化需求,但超過數小時後仍會出現輕微變慢。後續可以從優化底層訊息傳遞機制、縮短截圖耗時著手,這也是自動化持續打磨的方向。

未來的規劃是繼續擴大腳本覆蓋範圍、封裝更多特殊控件、優化函式彈性、降低自動化門檻、提升整體效率。也期待更多同業前輩一起交流切磋。

原文出處:https://tmq.qq.com/2016/06/uitestingiosautomation/

TMQ(騰訊行動品質中心)是騰訊最早專注於行動 App 測試的團隊,文章多為獨家原創,只談實戰,不談虛的。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved