
本文整理自 WWDC 2016 Session 406,從系統加載二進制的原理講起,落到可執行的優化手段。理解啟動過程發生了什麼,是做出正確權衡的前提。
要弄懂 main() 之前的那段時間花在哪裡,需要四塊基礎知識:Mach-O 文件格式、虛擬內存機制、二進制鏡像的加載流程,以及 dyld 的職責邊界。
Mach-O 是各類運行時可執行文件的容器格式,常見的三種文件類型是:
Executable:應用的主二進制。
Dylib:動態鏈接庫,也稱 DSO 或 DLL。
Bundle:不能被鏈接的 Dylib,只能在運行時通過 dlopen() 加載,可用作 macOS 插件。
Image 是 executable、dylib 或 bundle 的統稱;Framework 則是打包了 Dylib、資源與頭文件的一個目錄。
Mach-O 被劃分為若干 segment,每個 segment 再劃分為若干 section。segment 名為大寫,其空間大小是頁的整數倍——arm64 架構下一頁 16KB,其餘架構 4KB。section 沒有對齊要求,但彼此不允許重疊。
幾乎所有 Mach-O 都包含三個段:
__TEXT:Mach header、可執行代碼、只讀常量(如 C 字符串),權限 r-x。
__DATA:全局變量、靜態變量等,權限 rw-。
__LINKEDIT:加載程序所需的元數據,如函數名與地址,權限 r–。
所謂 FAT 二進制,是把多種架構的 Mach-O 合併為一個文件,通過 Fat Header 記錄各架構在文件中的偏移量,Fat Header 本身佔一頁。按分頁存儲 segment 與 header 會浪費空間,但這正是虛擬內存得以高效工作的前提。
虛擬內存本質上是一層間接尋址。軟件工程裡有句格言:任何問題都能通過增加一個間接層來解決。這裡要解決的問題是物理 RAM 的統一管理——通過間接層,每個進程使用自己的邏輯地址空間,再映射到某個物理頁。這種映射不是一對一的:邏輯地址可能尚未映射到 RAM,此時存儲操作會觸發 page fault;多個邏輯地址也可能映射到同一物理頁,這就是共享內存。
文件同樣不必整體讀入。通過分頁映射(mmap()),文件片段被關聯到進程邏輯內存的某個頁上;當訪問的頁不在內存中時觸發 page fault,內核只讀入那一頁——這就是文件的懶加載。
由此不難推導:__TEXT 段可以被多個進程映射、懶加載並共享內存。而 __DATA 可讀寫,這裡用到了 Copy-On-Write(COW):多進程共享同一頁時,一旦某進程要寫入,系統先複製該頁內容,再把它的邏輯地址重新映射到新的物理頁,這個進程便擁有了該頁的私有拷貝。
這也引出了 clean page 與 dirty page 的區分:dirty page 含有進程自身的狀態,無法重建;clean page 則可以由內核重新從磁盤生成。因此 dirty page 的代價顯著高於 clean page。多進程加載 Mach-O 時,只讀的 __TEXT 與 __LINKEDIT 均可共享,可讀寫的 __DATA 則會產生 dirty page;dyld 執行完畢後 __LINKEDIT 不再需要,對應內存頁會被回收。
ASLR(地址空間佈局隨機化)讓鏡像每次加載到隨機地址,這其實是一二十年前的舊技術。代碼簽名則常被誤解:並非對整個文件做一次加密哈希,而是為每一頁生成獨立的加密散列值存放到 __LINKEDIT,從而在運行時不必重讀整個文件,就能逐頁校驗、確保內容未被篡改。
exec() 是一次系統調用。內核把應用映射到新的地址空間,起始位置因 ASLR 而隨機,並把起始位置到 0x000000 之間的區域標記為不可讀寫、不可執行。32 位進程這段至少 4KB,64 位進程至少 4GB。它能捕獲 NULL 指針引用與指針截斷錯誤。
動態鏈接庫出現之後,才需要一個專門的加載器。蘋果平台上叫 dyld,其他 Unix 系統有各自的 ld.so。內核完成進程映射後,會把名為 dyld 的 Mach-O 映射到進程內的隨機地址,將 PC 寄存器指向它並開始執行。dyld 以與應用相同的權限運行,負責加載應用依賴的全部動態庫並準備好運行環境。
dyld 的時間線可以概括為:
Load dylibs → Rebase → Bind → ObjC → Initializers
dyld 先從主執行文件的 header 讀取依賴列表(header 此時已由內核映射完成),然後逐個查找 dylib:打開文件、確認它是 Mach-O、找到代碼簽名並向內核註冊,最後對每個 segment 調用 mmap()。dylib 之間存在依賴,因此實際加載的是一個遞歸依賴集合。一般應用會加載 100 到 400 個 dylib,但絕大多數是系統庫,它們已被預計算並緩存,加載很快。
加載完成後,各 dylib 彼此仍是孤立的,需要綁定,這一步就是 Fix-ups。代碼簽名不允許修改指令,因此一個 dylib 不能直接調用另一個 dylib,必須引入間接層。
現代 code-gen 稱為動態 PIC(Position Independent Code):調用發生時,代碼實際上在 __DATA 段建立一個指向被調用方的指針,隨後加載指針並跳轉。dyld 要做的就是修正這些指針與數據,分為兩類:
Rebasing:調整鏡像內部指針的指向。
Binding:把指針指向鏡像外部的內容。
可以用命令行查看這些信息:
xcrun dyldinfo -rebase -bind -lazy_bind myapp.app/myapp
rebase、bind、weak_bind、lazy_bind 都存在 __LINKEDIT 段中,可通過 LC_DYLD_INFO_ONLY 查看各自的偏移量與大小。實際排查時,MachOView 的展示更直觀。
ImageLoader 是加載可執行文件的基類,負責鏈接鏡像但不關心具體格式,格式處理交給子類。每個可執行文件對應一個 ImageLoader 實例。ImageLoaderMachO 是處理 Mach-O 的子類,而 ImageLoaderMachOClassic 與 ImageLoaderMachOCompressed 分別處理 __LINKEDIT 為傳統格式和壓縮格式的情況。
由於 dylib 之間有依賴關係,ImageLoader 的許多操作都沿依賴鏈遞歸進行,Rebasing 與 Binding 對應 recursiveRebase() 和 recursiveBind()。遞歸使得自底向上依次調用 doRebase() 與 doBind(),被依賴的庫總是先於依賴方完成 Fix-up。兩個方法都接收一個 LinkContext 參數,其中保存了可執行文件的大量狀態與相關函數。
在真正執行前,會先判斷是否已做過 Prebinding。若已預綁定,就無需再走 Fix-up 流程。不使用預綁定的五種情況是:
Mach-O Header 中 MH_PREBOUND 標志位為 0;
鏡像加載地址存在偏移;
依賴的庫有變化;
鏡像使用 flat-namespace,預綁定的一部分會被忽略;
LinkContext 中的環境變量禁用了預綁定。
doRebase() 的邏輯大致是:若使用預綁定,計數器加一後直接返回;若 MH_PREBOUND 為 1 且鏡像已在共享內存中,則重置上下文裡的 lazy pointer(後續 Binding 會處理,無需在此重複);若加載地址偏移為 0,說明不需要 Rebasing,直接返回;否則調用真正乾活的 rebase()。值得注意的是,開啟 TEXT_RELOC_SUPPORT 宏後,rebase() 會對 __TEXT 段執行寫操作——可見只讀屬性並非絕對。ImageLoaderMachOClassic 與 ImageLoaderMachOCompressed 各自實現了 doRebase(),邏輯大同小異,最後都會調用 setupLazyPointerHandler 設置 dyld 的入口點,放在最後是為了讓主可執行文件先完成 __dyld 或 __program_vars 的設置。
早年 dylib 會被加載到固定地址,指針和數據天生正確,dyld 無需做任何修正。引入 ASLR 後,dylib 被加載到隨機地址(actual_address),與代碼和數據中記錄的預期地址(preferred_address)產生偏差,dyld 需要把這個偏移量補回去:
Slide = actual_address - preferred_address
接著反覆對 __DATA 段中需要 rebase 的指針加上該偏移。這一步涉及 page fault 與 COW,可能成為 I/O 瓶頸;但由於 rebase 按地址順序進行,對內核而言這是有次序的任務,可以預先讀入數據,從而降低 I/O 開銷。
Binding 處理指向 dylib 外部的指針。這些指針實際上是按符號名(也就是字符串)綁定的,__LINKEDIT 中記錄了待綁定的指針及其目標符號。dyld 需要在符號表中查詢符號的實現,計算量不小;找到後把結果寫入 __DATA 對應指針。看起來 Binding 比 Rebasing 更重,但 I/O 很少——髒頁在 Rebasing 階段就已經產生過了。
ObjC 有大量數據結構依賴 Fix-up,例如 Class 中指向超類的指針和指向方法的指針。ObjC 是動態語言,支持用類名實例化對象,因此 runtime 需要維護一張類名到 Class 的全局映射表,加載 dylib 時把其中定義的所有類註冊進去。
C++ 有「易碎的基類」問題,ObjC 沒有,因為它會在加載時通過 fix-up 動態調整實例變量的偏移量。此外,通過 Category 為其他 dylib 中的類添加方法,也需要相應的 fix-up。而 ObjC 的 selector 必須全局唯一。
C++ 會為靜態構造的對象生成初始化器;ObjC 有 +load,但它已被事實上棄用,官方建議使用 +initialize。
當主執行文件與一堆 dylib 構成一張巨大的依賴有向圖時,初始化順序是自頂向下:先加載葉子節點,再逐層向上直到根節點。這樣保證了某個 dylib 被初始化時,它依賴的所有庫必然已就位。最後 dyld 調用 main(),由 main() 調用 UIApplicationMain()。
從點擊圖標到閃屏出現之間有一段系統動畫,理想狀態是 App 啟動比它更快。不同設備差異明顯,但建議把啟動時間控制在 400ms 以內,並以所支持的最低配置設備為基準衡量。需要注意的是,一旦超過 20 秒,系統會判定為死循環並終止進程。直到 applicationWillFinishLaunching 被調用,啟動才算真正結束。
Warm launch 指 App 與數據已在內存中;Cold launch 指 App 不在內核緩衝存儲器中。我們真正關心的是冷啟動耗時,為獲得準確數據,測量前應重啟設備。
main() 之前的耗時難以自行埋點,好在 dyld 內建了統計能力:在 Xcode 中打開 Edit scheme → Run → Arguments,把環境變量 DYLD_PRINT_STATISTICS 設為 1,控制台便會輸出類似內容:
Total pre-main time: 228.41 milliseconds (100.0%)
dylib loading time: 82.35 milliseconds (36.0%)
rebase/binding time: 6.12 milliseconds (2.6%)
ObjC setup time: 7.82 milliseconds (3.4%)
initializer time: 132.02 milliseconds (57.8%)
slowest intializers :
libSystem.B.dylib : 122.07 milliseconds (53.4%)
CoreFoundation : 5.59 milliseconds (2.4%)系統 dylib 因為有預計算與緩存所以很快,真正拖慢啟動的是內嵌(embedded)的 dylib。盡可能把多個內嵌庫合併為一個,或改用靜態歸檔。至於用 dlopen() 在運行時懶加載,並不推薦——它會引入額外問題,總開銷反而更大。
Rebasing 錨定在 I/O,Binding 則消耗在計算上,兩者耗時混在一起。既然這一步的工作量取決於需要 fix-up 的指針數量,優化方向就是減少指針:對 ObjC 而言即減少 Class、selector 和 category 等元數據的數量。
這裡有個反直覺的結論:編碼規範與設計模式常鼓勵大家寫大量精緻短小的類和方法、把每塊邏輯拆成獨立 category,而這恰恰會增加啟動時間。對 C++ 而言則要減少虛方法,因為虛方法會生成 vtable,同樣在 __DATA 中留下結構;雖然其影響小於 ObjC 元數據,也不可忽視。此外推薦使用 Swift 的結構體,它需要 fix-up 的內容更少。
這一步能做的事很少,幾乎全靠前面減少 fix-up 內容來間接優化。
顯式初始化方面:
用 +initialize 取代 +load;
不要用 __attribute__((constructor)) 把方法標記為初始化器,改為在首次實際使用時才執行,例如通過 dispatch_once()、pthread_once() 或 std::once(),把一部分工作向後推遲。
隱式初始化方面,針對帶有複雜構造器的 C++ 靜態變量:
把初始化放到實際調用的位置;
只用具體值類型賦值(POD),這樣靜態鏈接器可以預先計算好 __DATA 中的數據,省掉 fix-up;
開啟編譯器警告標志 -Wglobal-constructors,用它找出隱式初始化的代碼;
用 Swift 重寫,Swift 已提前處理好這類問題,強烈推薦。
最後一點尤其重要:不要在初始化方法中調用 dlopen()。dyld 在 App 啟動前運行,此時是單線程環境,系統會不加鎖;而 dlopen() 一旦開啟多線程,系統不得不重新加鎖,性能急劇下降,甚至可能死鎖並引出難以預料的後果。同理,也不要在初始化器中創建線程。
參考資料:https://developer.apple.com/videos/play/wwdc2016/406/