並發要描述的概念是同時執行多個任務。這些任務可能是在單核 CPU 上以分時(時間片輪轉)的方式「看起來同時」執行,也可能在多核 CPU 上真正並行。
OS X 與 iOS 提供了多套並發 API,各自功能與限制不同,所處的抽象層級也不同。抽象層越低,你能做的操作越底層,但相對地也要扛起更多責任。
並發本身就是個有難度的主題,暗礁很多。使用 GCD 或 NSOperationQueue 這類高層 API 時,人反而容易忽略這些問題。本文先瀏覽各套 API,再談那些與你選用哪個 API 無關、本質上就存在的挑戰。
兩者提供的是同一套並發編程 API:pthread、NSThread、GCD、NSOperationQueue,以及 NSRunLoop。把 run loop 放進來其實有點勉強,因為它並不能真正並行,但它與並發的關係太密切,值得一談。
由於高層 API 都建立在低層之上,介绍順序會由下往上;但實際開發時的選擇順序剛好相反——絕大多數情況,選高層 API 不僅能完成同樣的事,還能讓並發模型單純許多。
線程是組成進程的子單位,作業系統的調度器可以對它單獨排程。所有並發 API 最終都建立在線程之上,GCD 與操作隊列也不例外。
多線程可以在單核 CPU 上「同時」執行:系統把一個個小時間片分配給各線程,讓使用者感覺多件事在進行。若 CPU 是多核,線程就能真正並行,縮短整體完成時間。你可以用 Instruments 的 CPU strategy view 觀察自己的程式碼或框架程式碼是如何在多核間調度執行的。
要特別留意的是,你無法控制自己的程式碼何時被調度、何時被暫停讓位給別的任務。這種調度機制威力強大,但也極其複雜。
把複雜度先放一邊,開發者確實可以透過 POSIX 線程 API,或 Objective-C 對它的封裝 NSThread,自行建立線程。但直接使用線程有個常見副作用:如果你的程式碼與你所依賴的框架都各自建立線程,活動線程數量可能指數級成長。舉例來說,在 8 核 CPU 上手動開了 8 條線程想把效能榨乾,而你呼叫的框架程式碼出於善意也做了同樣的事(它並不知道你已經開了),很快就會冒出成千上百條線程。每一部分的程式碼單看都沒問題,合在一起卻出事了。而線程並非免費:每條線程都會消耗記憶體與核心資源。
為了讓開發者更容易用上多核 CPU,蘋果在 OS X 10.6 與 iOS 4 中推出了 GCD。
使用 GCD 之後,你不再直接和線程打交道,只要把「程式碼塊」放進佇列,GCD 會在後端管理一個線程池,決定你的任務在哪條線程執行,並依可用系統資源調度。這也把開發者從線程管理中解放出來,靠集中管理緩解了線程暴增的問題。
另一個關鍵轉變是心態:你可以把工作想成一個佇列,而不是一堆線程。這種抽象模型更容易掌握。
GCD 公開了 5 個佇列:主線程上的 main queue、3 個不同優先級的後台佇列,以及一個優先級更低的 I/O 佇列。此外你也能建立自訂佇列,分為序列與並行兩種;自訂佇列中被排程的所有 block,最終都會被放進系統的全域佇列與線程池中。
聽起來很直接,但我們強烈建議:絕大多數情況只使用預設優先級佇列就好。如果任務之間需要存取共享資源,把它們散落在不同優先級的佇列裡,很快就會出現難以預料的行為,甚至讓程式完全掛住——低優先級任務阻塞了高優先級任務。關於這點,後面「優先級反轉」會細談。
GCD 雖然是低層級的 C API,用起來卻很直觀,這反而容易讓人忘記並發中的種種陷阱。
操作隊列是 GCD 佇列模型在 Cocoa 上的抽象封裝。GCD 給你更底層的控制,操作隊列則在其上補上了許多便利功能,對 App 開發者而言通常是最合適也最安全的选择。
NSOperationQueue 有主佇列與自訂佇列兩種:主佇列跑在主線程,自訂佇列在後台執行。兩者處理的任務都以 NSOperation 的子類來表示。
你可以覆寫 main 或 start 來定義自己的 operation。覆寫 main 最簡單,不必管理 isExecuting、isFinished 等狀態屬性,main 一返回任務就結束了;缺點是靈活性不如覆寫 start。雖然直接把 block 塞進佇列很方便,但定義自己的 NSOperation 子類在除錯時很有幫助——只要你覆寫 description,就能一眼看出某個佇列中目前排程了哪些操作。
除了基本的排程,操作隊列還支援一些 GCD 不易處理的特性。例如透過 maxConcurrentOperationCount 控制特定佇列中可並發執行的數量;設為 1 就得到一個序列佇列,做資料隔離時很好用。
另一個便利之處是依 operation 自身優先級排序,這有別於 GCD 的佇列優先級,只影響同一佇列內任務的執行先後。若想更精細地控制順序,還可以在 operation 之間宣告依賴關係:
[intermediateOperation addDependency:operation1]; [intermediateOperation addDependency:operation2]; [finishedOperation addDependency:intermediateOperation];
這幾行確保 operation1 與 operation2 都會在 intermediateOperation 之前執行,自然也都在 finishedOperation 之前。需要明確順序時,依賴機制非常強大:你可以把一批操作組成群組,確保它們在依賴者之前完成,或讓並行佇列中的某幾個操作以序列方式執行。
就純效能而言,操作隊列略遜於 GCD,但多數情況下這點差距可以忽略。實務上,操作隊列往往是並發編程的首選工具。
嚴格說來 run loop 不是並發機制,因為它無法並行執行任務。但在主 dispatch 或 operation 佇列中,它會直接參與任務執行,提供一種非同步執行程式的途徑。
相比操作隊列與 GCD,run loop 好懂得多:你不必碰觸並發的複雜情境,就能非同步地跑一段程式。
一個 run loop 永遠綁定在某條特定線程上。main run loop 屬於主線程,在每個 Cocoa 與 Cocoa Touch 程式中都扮演核心角色,負責處理 UI 事件、計時器與其他核心事件。每當你設定計時器、使用 NSURLConnection,或呼叫 performSelector:withObject:afterDelay:,背後其實都是 run loop 在支撐。
使用 run loop 時要記住:它可以運行在不同模式下,每種模式定義了一組 run loop 會回應的事件。這在「暫時讓某件事被優先處理」的場景中是個聰明的手段。
iOS 中最典型的例子就是滾動。捲動期間 run loop 並不運行在預設模式,因此你先前設定的計時器不會觸發;一旦停止滾動,run loop 回到預設模式,才會處理佇列中的相關事件。若你希望在滾動過程中計時器仍能作動,就必須把它以 NSRunLoopCommonModes 模式加入 run loop。
主線程通常已經配置好 main run loop,其他線程預設沒有。你當然可以為其他線程建立 run loop,但很少有必要——大多數時候用 main run loop 輕鬆得多。若你有重活不想佔用主線程,仍可在 main run loop 中接手任務後,把工作分派給其他佇列。
真的要在別的線程加 run loop 時,別忘了至少加入一個 input source。沒有配置好的 input source,run loop 每次一啟動就會立刻退出。
只要你的需求超出最基本的情境,要盯住多個並行任務彼此影響的各種狀態就變得異常困難。更麻煩的是,問題往往出現在不確定、難以重現的地方,這讓除錯雪上加霜。
最有名的案例發生在 1995 年:NASA 發射的開拓者號火星探測器成功登陸後不久便任務中止,探測器不明原因地不斷重啟。這個現象在電腦領域被稱為「優先級反轉」——低優先級線程持續阻塞高優先級線程。可見即便資源充足、工程師優秀,並發依然會反咬你一口。
許多並發問題的根源,都是多線程存取共享資源。資源可以是一個屬性、一個物件、一塊通用記憶體、網路裝置或檔案。任何共享資源都是潛在的衝突點,必須審慎設計。
舉個最簡單的例子:用一個整數當計數器。線程 A 與 B 同時想把它的值加一。問題在於,你寫的一行程式對 CPU 來說往往不是一條機器指令:必須先從記憶體讀出目前值、做加法、再把結果寫回。
如果兩個線程同時進行這套動作:A 與 B 都讀到 17,各自加一得到 18,然後都寫回 18。結果這個 17 被加了兩次,值卻只有 18——計數器已經被破壞了。
這就是所謂的競態條件。多線程存取共享資源時,若沒有一種機制保證「A 還沒用完之前,B 不會開始存取」,競爭就必然發生。如果你寫入的不是簡單整數,而是更複雜的資料結構,可能出現「第一個線程還在寫,第二個線程已經在讀」的情形,讀到的資料新舊參半甚至尚未初始化。要避免這種狀況,多線程需要一套互斥機制。
真實情況往往更複雜,因為現代 CPU 為了最佳化,會改變讀寫記憶體的順序(out-of-order execution)。
互斥的意思很直白:同一時刻只允許一個線程存取某個特定資源。想存取的線程先得取得該資源的互斥鎖,用完後釋放,其他線程才有機會。
除了確保互斥,還得處理無序執行帶來的副作用。若無法保證 CPU 存取記憶體的順序與程式指令一致,光靠互斥是不夠的,因此還需要引入記憶體屏障(memory barrier),確保無序執行的指令不會跨過屏障。
而互斥鎖自身的實作也必須不存在競態條件——這其實是很強的保證,需要依賴現代 CPU 的特殊指令。
從語言層面看,Objective-C 中把屬性宣告為 atomic 就等於啟用了互斥。事實上屬性預設就是 atomic,每次存取都會隱式加鎖與解鎖。最保險的做法當然是全部用 atomic,但加解鎖是有代價的。
鎖的代價來自幾個方面:取得與釋放鎖本身就需要無競態的實作,在多核系統上尤其重要;取得鎖時線程可能需要等待,因為鎖已被他人持有,這時線程進入休眠,等鎖釋放時再被喚醒。這一整套流程既昂貴又複雜。
鎖的種類也有差別:有些鎖在無競爭時表現極好,一旦有競爭效能就大幅下滑;有些鎖基本成本較高,但競爭時的劣化沒那麼嚴重。(鎖競爭是指一個或多個線程試圖取得已被他人持有的鎖。)
於是這裡存在一組取捨:加解鎖有 overhead,所以你不該頻繁進出臨界區;但若你持鎖執行一大段程式,又會提高鎖競爭的風險,讓其他線程只能乾等。這並不容易拿捏。
我們常看到本應並行的程式,因為共享資源上掛了鎖,實際上同一時刻只有一條線程在活動。對程式如何跑在多核上的預測因此格外重要——你可以用 Instruments 的 CPU strategy view 檢查是否真的用上了所有可用核心,再據此最佳化。
互斥鎖解決了競態條件,卻也帶來新問題,其中之一是死鎖:當多個線程彼此等待對方結束,程式就會卡住。
就在你以為已經摸清並發的問題時,還有資源饑餓(starvation)。鎖定的共享資源會引發讀寫難題:多數情況下,限制資源同一時刻只能被讀取其實很浪費,因此允許在沒有寫入鎖時持有多個讀取鎖。但這會導致一種情況——某個持有讀取鎖的線程正在等待取得寫入鎖,而其他想讀取資源的線程因為拿不到讀取鎖而被餓死。
回到開拓者號的故事,看看它為何差點任務失敗。
優先級反轉指的是:低優先級任務阻塞了高優先級任務,等於把兩者的優先級對調。由於 GCD 提供了多個不同優先級的後台佇列(還有一個 I/O 佇列),我們最好了解它的可能性。
當高、低優先級任務共享資源時就可能發生:低優先級任務拿到鎖後理應迅速完成並釋放,讓高優先級任務幾乎無延遲地繼續;但在它持鎖期間,高優先級任務是被阻塞的。此時若有一個不需要該資源的中優先級任務出現,由於高優先級任務處於阻塞狀態,中優先級任務反而成了當前可執行任務中最高的一條,於是它搶占了低優先級任務,使其遲遲無法釋放鎖,最終導致高優先級任務一直等下去。
在你自己的程式裡,大概不會戲劇化到像火星探測器那樣無限重啟,但優先級反轉帶來的卡頓仍然惱人。
解決思路通常是:乾脆不要用不同優先級。最後你多半得讓高優先級程式去等低優先級程式。使用 GCD 時,請一律使用預設優先級佇列(直接使用,或作為 target queue)。刻意引入多種優先級,往往只會讓事情更糟。
教訓是:多優先級佇列聽起來美好,實則紙上談兵,它會讓本就複雜的並行編程更難預測。哪天你發現高優先級任務莫名卡住,不妨想起本文,以及 NASA 工程師遇過的那個優先級反轉。
再簡單的並發 API,一旦用在不該用的地方,產生的問題也會極難觀測,而這類問題的除錯成本向來高昂。
但另一方面,並發確實是極好用的工具,能充分釋放現代多核 CPU 的算力。關鍵原則只有一個:盡量讓並發模型保持簡單,藉此限制所需鎖的數量。
我們推薦的安全模式是:從主線程取出要處理的資料,丟給一個操作隊列在後台運算,完成後回到主佇列回送結果。這樣你完全不必自己做鎖操作,出錯機率自然大幅下降。