您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

WWDC 學習筆記延伸:iOS 圖形效能的完整梳理

編輯:iOS 開發基礎

作者:方秋枋(微博)

學習與延伸

本文是看完 session「Advanced Graphics and Animations for iOS Apps」之後的整理,並在原有內容之外做了細節延伸與補充,主軸是「圖形效能」與「測試工具」兩塊。

目錄:

  • Core Animation Pipeline

  • UIBlurEffectView

  • 圖形效能

  • 測試工具

  • 總結

Core Animation Pipeline

第一部分講 Core Animation 的工作流程與渲染過程。整體渲染流程可以概括成下圖:

在 GPU 渲染階段,可以清楚看到頂點著色器(vertex shader)與像素著色器(pixel shader)參與了圖像處理。objc.io 上有一篇專文進一步說明了這兩個著色器在 GPU 加速圖像處理中的角色。

UIBlurEffectView

第二部分談 iOS 8 導入的 UIBlurEffectView,並接續第一部分說明它的運作方式與效能表現。

我覺得最有意思的一點是:為了效率,它並沒有採用一般直覺的模糊演算法。Session 裡沒提到實作細節,我在這裡補充最基礎的做法——取中心像素與周圍像素顏色的算術平均值,作為模糊後的顏色。

那蘋果怎麼做?關鍵在於它先把圖像縮小,再進行模糊。這樣演算法需要處理的像素數量大幅下降,速度自然快得多。

看到這裡我笑了,覺得非常機智。適時跳出框架「偷個懶」,效果往往好得出乎意料。

接著是水平模糊與垂直模糊分別處理後再合成,最後疊上顏色。

還有一點值得注意:蘋果提供了 Extra Light、Light、Dark 三種 UIBlurEffect 風格,但三者消耗的資源並不相同——Extra Light 最耗資源,Light 次之,Dark 最省。

我在自己的專案裡也用 UIBlurEffectView 美化過介面,兩個 App 都已上架並完整開源,有興趣可以看看:

  • TouchColor:主要用於主選單畫面。

  • QR Catcher:用於即時遮罩,類似微信掃碼框外的黑色半透明背景,這裡改成即時模糊,視覺更細緻。

圖形效能

過去我對圖形效能關注不夠,多半是照搬前人整理好的優化守則。這次藉著這個 session 往外延伸閱讀,把遺漏點、底層細節、原理與優化工具重新梳理了一遍。

1. 關於 CALayer 的 shouldRasterize(光柵化)

開啟 shouldRasterize 之後,CALayer 會被光柵化成 bitmap,陰影等效果的計算結果也會一併存進這張 bitmap。

使用時有三點必須注意。

  • 更新已光柵化的 layer 會造成大量 offscreen 渲染。

所以要不要開啟,取決於使用場景。它只適合「內容基本不變」的情況:

① 避免靜態內容上的複雜特效被反覆重繪,例如前面提到的 UIBlurEffect。

② 避免多層 View 嵌套所產生的複雜畫面被反覆重繪。

如果內容會頻繁變動,就不要開,否則純屬效能浪費。最典型的反例是 TableViewCell:由於 Cell 會被反覆重用、重繪頻率極高,一旦內容不斷改變卻又設了可光柵化,就會產生大量 offscreen 渲染,把效能拖下水。

反過來說,用得對的話收益也很明顯——光柵化後 layer 會被快取成 bitmap,那些加了 shadow 等昂貴效果的靜態內容不必每次重算,效能自然提升。

  • 不要濫用,系統對快取大小的限制是螢幕尺寸的 2.5 倍。

一旦超出快取上限,同樣會退回大量 offscreen 渲染。

  • 光柵化後的圖片若超過 100ms 未被使用,會被主動移除。

因此只該快取那些會被連續使用的內容;對偶爾才用到的圖片做快取,既沒意義又浪費資源。

2. 關於 offscreen rendering

先說為什麼要避開它。WWDC 2011 的「Understanding UIKit Rendering」指出,多數圖形效能問題都源自 offscreen rendering。所以當你發現列表滾動不順、動畫卡頓,就可以往這個方向去找:哪一段程式碼造成了大量 offscreen 渲染?

簡單說,offscreen rendering 指的是畫面在繪製到當前螢幕之前,必須先在一塊螢幕外的區域完成一次渲染。

它昂貴的原因有兩個:顯卡需要額外配置一塊記憶體來做這件事;而且 onscreen 與 offscreen 之間的上下文切換成本極高(涉及 OpenGL 的 pipeline 與 barrier 等)。

補充一點:這裡談的主要是 GPU 執行的 offscreen。事實上也有 CPU 執行的 offscreen(例如使用 Core Graphics、drawRect)。而 cornerRadius、masks、shadows 這類觸發的,屬於 GPU 的 offscreen。

很多人有個誤區,以為 offscreen rendering 等同 software rendering、純粹靠 CPU 運算。實際上它牽涉的面向比這複雜得多。開發時我們真正需要注意的是「避免大量 offscreen rendering」,不必糾結定義。

會造成 offscreen rendering 的常見情況:

  • 任何設了 mask 的 layer(layer.mask)

  • 任何 layer.masksToBounds 為 true 的 layer

  • 任何 layer.allowsGroupOpacity 為 YES 且 layer.opacity 小於 1.0 的 layer

  • 任何帶 drop shadow 的 layer(layer.shadow*)

  • 任何 layer.shouldRasterize 為 true 的 layer

  • 任何設了 layer.cornerRadius、layer.edgeAntialiasingMask、layer.allowsEdgeAntialiasing 的 layer

因此在需要優化圖形效能時,可以先檢查自己是否觸發了 offscreen rendering,再設法換成更有效率的做法。

例如陰影繪製:用 shadowPath 取代 shadowOffset 等屬性設定。

以下面這個簡單的 tableView 為例:

不使用 shadowPath:

CALayer *imageViewLayer = cell.imageView.layer;
imageViewLayer.shadowColor = [UIColor blackColor].CGColor;
imageViewLayer.shadowOpacity = 1.0;
imageViewLayer.shadowRadius = 2.0;
imageViewLayer.shadowOffset = CGSizeMake(1.0, 1.0);

使用 shadowPath:

imageViewLayer.shadowPath = CGPathCreateWithRect(imageRect, NULL);

兩者的效能差距在下圖中非常明顯。

個人推測 shadowPath 之所以快,是因為它直接描繪路徑即可,不必先把圖像讀出來再渲染,因此繞開了 offscreen。

第二個例子:把圖片裁成圓形。

作法一,使用 cornerRadius:

CALayer *imageViewLayer = cell.imageView.layer;
imageViewLayer.cornerRadius = imageHeight / 2.0;
imageViewLayer.masksToBounds = YES;

作法二,用一張中央為透明圓形的圖片當遮罩。雖然會引入 blending,效能仍優於 offscreen。根據蘋果的測試,第二種方式效率更高:

兩個例子都說明:避開大量 offscreen 渲染之後,效能提升非常直觀。

3. 關於 blending

前面提到用透明圓形圖片做遮罩會引起 blending,而 blending 同樣吃效能。一路讀到這裡,是不是有點看不到盡頭的感覺?我自己整理到這邊也覺得路漫漫其修遠,但還是得繼續上下求索。

那我們來認識一下 Blending。

  • 什麼是 Blending?

在 iOS 的圖形處理中,blending 主要指混合像素顏色的計算。最直觀的例子:把兩個圖層疊在一起,如果上層是透明的,最終像素顏色就必須把下層一起算進來——這個過程就是 blending。

  • 會導致 blending 的原因:

layer(UIView)的 alpha 小於 1。

UIImageView 的 image 帶有 alpha 通道(即使 UIImageView 的 alpha 是 1,只要圖片本身含透明通道,仍會觸發 blending)。

  • 為什麼 blending 會損耗效能?

原因很直觀:圖層不透明時,系統直接顯示它的顏色就好;一旦透明,就必須把底下的圖層也納入計算再混合,多了一整輪運算。

理解這點之後,你就明白為什麼大量優化守則都在強調「盡量使用不透明圖層」。剩下的就是在開發中實際留意並調整。

測試工具

出現圖形效能問題、滾動或動畫不順時,第一步是定位問題所在。這個過程不該只靠經驗與窮舉,而應該有脈絡、有順序地科學排查。

建議依下列順序逐步推進:

  1. 定位幀率。要給使用者流暢感,幀率需維持在 60 幀上下,先確認這一點。

  2. 定位瓶頸在 CPU 還是 GPU。占用率越低越好,一是為了流暢,二來也省電。

  3. 檢查有無不必要的 CPU 渲染,例如重寫了其實不需要也不該寫的 drawRect。理想狀態是讓 GPU 承擔更多工作。

  4. 檢查 offscreen 渲染是否過多。它會讓 GPU 不斷在 onscreen 與 offscreen 之間切換上下文,代價高昂。

  5. 檢查 blending 是否過多。渲染不透明圖層對 GPU 而言更省資源。

  6. 檢查圖片格式與尺寸是否正常。若格式不被 GPU 支援,就只能交由 CPU 處理。iOS 開發一般建議使用 PNG,蘋果為這個格式做過渲染與壓縮上的專門優化。

  7. 檢查是否用了代價高的 View 或效果,例如前面提到的 UIBlurEffect,需要合理節制。

  8. 最後檢查 View 層級是否正確。反覆增刪 View 很容易在你不注意時埋下 bug——我就犯過不斷 addSubview 的低級錯誤。理想的狀態是 View 層級裡只留你要的東西。

有了這套排查模式,接著就能動用蘋果提供的工具。常用工具包括:

Instruments:

  • Core Animation instrument

  • OpenGL ES Driver instrument

模擬器:

  • Color debug options

Xcode:

  • View debugging

對應前面第 1 到第 3 項(幀率、瓶頸定位、是否有不必要的 CPU 渲染),使用 Core Animation instrument:

Core Animation instrument 含兩個模組:第一張圖是幀率檢測,第二張圖是 CPU 呼叫檢測。第二張圖左下角是 CPU 的 call stack,就在這裡判斷自己有沒有寫了多餘的 drawRect,或是在主線程塞了太多工作而阻塞 UI 更新。

若要進一步了解 GPU 瓶頸(例如 GPU 占用率),可以改用 OpenGL ES Driver instrument,左下角會顯示 Device utilization。

第 4 到第 7 項(offscreen 渲染、blending、圖片格式與縮放對齊、複雜圖形效果)同樣用 Core Animation instrument 檢測。

如上圖右下角所示,Debug options 有多個選項,勾選後即觸發 Color Debug。逐一說明:

  • Color Blended layers

勾選後,會混合的 layer 標示為紅色,不透明的 layer 為綠色。紅色區域越少越好。

  • Color Hits Green and Misses Red

用來檢查 shouldRasterize 是否被正確使用。成功命中快取的 layer 標為綠色,未命中的標為紅色。

第一次載入時,開啟光柵化的 layer 顯示紅色是正常的,因為還沒建立快取。但若在後續測試(例如來回滾動 TableView)時仍出現大片紅色,就要小心了——正如前面所分析,這代表大量 offscreen rendering。此時應檢查是否濫用了這個屬性(快取上限為螢幕尺寸的 2.5 倍),以及 layer 內容是否在不斷更新(更新會讓快取失效)。

  • Color copied images

檢查是否用了 GPU 不支援的圖片格式;這類圖片會被標為青色,只能交由 CPU 處理。我們不希望滾動時 CPU 才來即時運算,那很可能阻塞主線程。

  • Color misaligned images

檢查圖片是否被縮放、像素是否對齊。被縮放的標為黃色,像素不對齊的標為紫色。

  • Color offscreen-rendered yellow

把需要 offscreen 渲染的 layer 標為黃色。

以圖為例,NavigationBar 與 ToolBar 被標黃,是因為它們要模糊背後內容,這是我們需要的。圖片也被標黃則是因為陰影——若改用 shadowPath,就能省下這筆 offscreen 開銷。

  • Color OpenGL fast path blue

勾選後,由 OpenGL compositor 繪製的圖層標為藍色。這是好的結果。

  • Flash updated regions

把螢幕上被快速更新的區域閃示為黃色。理想情況是只有真正需要更新的部分被標示。

調試選項終於介紹完了,小結一下。最需要重点关注的是這三個:

① Color Blended layers

② Color Hits Green and Misses Red

③ Color offscreen-rendered yellow

因為它們對效能的影響最大。

最後第 8 項,檢查 View 層級是否正確。

上圖可以清楚看到 View 的層級關係,用來核對結構是否正確。

小提示(App 執行後,在 Xcode 左側工具列由左而右第七個圖示打開):

總結

圖形效能還有大量細節與底層內容可以深挖,但經過這輪整理,大致已經掌握了 iOS 圖形效能的優化要點與工具鏈。

過程中我感受最深的有兩點。

第一,任何一類技術現象背後都有原理,把原理弄清楚,才能tag真掌握這一類問題。以前做 UI 優化多半是在套前人結論,這次之後,我理解了那些守則背後的機制——尤其是最傷效能的 offscreen rendering 與 blending,分析和優化都更有方向。

第二,排查問題不該盲目。有模式、有工具,思路會清楚很多。與其一上來就翻程式碼大海撈針,不如照前面的順序走:先定位幀率、再摸清瓶頸、然後逐項擊破,最後配上合適的工具驗證。效率和準確率都會提升。

如有疑問,歡迎聯絡作者討論。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved