澳洲 iOS 開發者 Giovanni Lodi 近日整理了 iOS 平台上單元測試、驗收測試的可用工具,分析各自的優缺點,並一併盤點支援 iOS App 的持續整合服務。
XCTest 是蘋果在 iOS 7 與 Xcode 5 導入的測試框架,走 xUnit 風格,寫起來相當直覺。優點是與 Xcode 深度整合、有專屬的 Test 導航欄;缺點是受限於官方 API,功能相對單薄。
UIAutomation 是蘋果提供的 UI 自動化測試框架,測試腳本以 JavaScript 撰寫,但實際寫起來偏繁瑣。
在持續整合這塊,蘋果的答案是 Xcode Bots:可以設定觸發條件,讓它代跑測試或自動把程式碼同步到伺服器。
開源社群接受新事物的速度很快,好東西往往像病毒一樣擴散。iOS 社群目前的寫作趨勢是 xSpec 風格,靈感來自 Ruby 的 RSpec。
Kiwi 是 XCTest 的完整替代品,採 xSpec 風格,自帶 expectations、mocks、stubs,甚至支援異步測試。
Specta 功能與 Kiwi 相近,但哲學不同:Kiwi 追求功能整合,Specta 講究模組化,本體只負責跑測試,把匹配與模擬交給第三方。可與兩者搭配的元件包括:
Quick 是以 Swift 打造的新框架,對用 Swift 撰寫的專案特別友善,搭配的 Nimble 負責表達匹配條件。
KIF(Keep It Functional) 以 Objective-C 撰寫,屬於使用者介面層級的測試框架。它的 tester 會調用私有 API 取得 App 內的視圖層級,缺點是執行速度偏慢。
Subliminal 同樣與 XCTest 整合,但基底是 UIAutomation,目的在把 UIAutomation 那些繁瑣細節對開發者藏起來。最後一次更新停在 2014 年 2 月,很可能已停止維護。
Calabash 出自跨平台工具商 Xamarin,用 BDD 風格撰寫驗收測試。優點是跨平台(需搭配各自的庫)、宣告式語法易讀易寫;缺點是穩定性不足且速度慢。
這裡只列雲端方案,因為自建 Jenkins 這類環境的成本相當可觀。目前支援 iOS 的主流 CI 服務有:
彼此差異主要在價格、設定手續與上手門檻。