
iOS 10.3 為蘋果設備換上了全新的文件系統 APFS。它早在 2016 年的 WWDC 上就已經亮相,如今終於正式落地。本文梳理它的核心設計、加密體系,以及它所取代的 HFS+ 為何走到今天這一步。
APFS 是 Apple File System 的縮寫,用於取代現有的 HFS+。它統一了 HFS 的各種分支,是 Apple 從底層代碼開始重新打造的文件系統。
與使用 32 位文件 ID 的 HFS+ 不同,APFS 支持 64 位 inode 編號,單個卷最多可存放超過 900 億億個文件。HFS+ 只能對整個存儲設備一次性初始化文件系統;APFS 則引入了可擴展的存儲塊分配程序(Extensible block allocator),並支持數據結構的延遲初始化(Lazy initialization),從而大幅改善大容量卷的性能表現。
APFS 針對閃存 / SSD 做了深度優化(同時仍可運行於傳統機械硬盤),帶來了更強的加密能力、寫入時復制的元數據、空間共享、文件與目錄克隆、快照、快速的目錄尺寸調整、原子級安全存儲基元(Atomic safe-save primitives),以及改進的文件系統底層技術。此外還有稀疏文件、改進的 TRIM 操作、內建的擴展屬性支持等一系列改善。
Apple 的設備與系統很早就有加密能力:OS X 10.7 Lion 起提供整盤加密;iOS 4 起可通過數據保護技術,用專用密鑰逐文件加密。APFS 把這兩套機制整合,為文件系統元數據提供了一種統一的加密模型,並支持三種模式:
多密鑰加密為每個文件配備獨立密鑰,敏感元數據也有自己的密鑰,在保證可靠性的同時優化性能。它的意義在於:即使設備的物理安全被突破,用戶數據的完整性仍有保障。具體算法取決於硬件,可能是 AES-XTS 或 AES-CBC。
這套機制還順帶解決了「數據擦除」的老大難問題。以往要徹底刪除機密文件,或把用過的設備交給他人,往往得反覆覆寫整塊存儲設備,容量越大越耗時。而在 APFS 上,只要啟用了加密,安全擦除就變成一件極其輕快的事——不再需要用隨機數據反覆填充,只需刪掉加密密鑰即可。
APFS 引入了一個叫「空間共享」的特性:多個文件系統可以共享同一物理卷上的同一塊可用空間。也就是說,設備上的一個 APFS「容器」內部可以包含多個「卷」(文件系統)。
HFS+ 需要為每個文件系統預先分配固定容量,做法僵硬;APFS 則允許在不重新分區的前提下動態縮放卷的容量。在這樣的設計下,容器內每個卷顯示的可用空間都等同於整個容器的剩餘空間。舉例:一個 100GB 的容器裡有已用 10GB 的卷 A 和已用 20GB 的卷 B,那麼 A 與 B 都會顯示自己有 70GB 可用。
現代文件系統常用壓縮與去重(Deduplication)來削減佔用空間。壓縮好理解;去重則是找出大量文件中相同的數據塊、只保存一份,讀取時再動態「拼裝」出完整文件,這在保存海量用戶文件或虛擬機鏡像的服務器場景中最為划算。
APFS 能以恆定速度為多個文件和目錄創建副本。在同一文件系統(或同一容器)內復制文件時,實際上並不複製數據,只需更新文件元數據,讓磁盤上的數據被「共享」——此時文件實際體積不變,卻出現了兩個副本;而對其中任一副本的修改,才會觸發新空間的分配。這就是所謂的「寫入時復制」。要留意的是,克隆出的「副本」共享同一份底層數據,一旦設備故障,所有副本會同時受損。
SSD 雖然能模擬機械硬盤的「塊」,底層原理卻完全不同。SSD 的底層管理由閃存轉換層(FTL, Flash Translation Layer)這層軟件負責,它類似於文件系統,在塊地址與介質內部真實位置之間建立虛擬映射。由於 SSD、FTL 與文件系統全都在 Apple 掌控之中,各個組件都能得到更有針對性的聯合優化。
APFS 也支持 TRIM。TRIM 是 ATA 協議中的一條命令,讓文件系統得以告知 SSD(準確地說是告知 FTL)哪些空間是空閒的。可用空間越多,SSD 的表現通常越好——不少 SSD 的實際可用容量甚至高於標稱值,因為 FTL 可以用空間換性能和壽命。不過 TRIM 的前提是「有空間可用」,磁盤將滿時它幫不上忙。
APFS 的延遲表現也有明顯改善:通過 I/O QoS(服務質量)為不同訪問請求劃分優先級,把用戶能立刻感知的操作與後台活動區別對待。
任何計算機系統都可能出故障:崩潰、Bug、斷電……文件系統必須預料到這一點並從中恢復。過去遇到這種情況,可能需要在啟動前用 fsck 之類的工具檢查並修復;更現代的做法是采用「始終一致」的格式,或把不一致的窗口壓到最小,避免昂貴的全量 fsck。例如 ZFS 會先在磁盤上構造新狀態,再通過一次原子操作從舊狀態切換過去。
校驗(checksum)是對數據做摘要匯總,用來檢測乃至糾正錯誤。APFS 只對自己的元數據做校驗,而不覆蓋用戶數據。這個取捨理由充分:大部分元數據與用戶數據無關(校驗開銷不大),而丟失元數據極有可能連帶丟失用戶數據——比如某個頂層目錄的元數據出錯,整盤數據都可能變得不可訪問。也正是出於同樣的顧慮,ZFS 會為元數據建立副本,甚至對頂層元數據做三重備份。
完全不校驗用戶數據,這個決定更有意思。多數支持 APFS 的 Apple 設備中,SSD 由若干 NAND 芯片組成,存儲層具備強大的 ECC 糾錯能力。NAND 閃存與磁介質硬盤都能藉冗餘數據檢測並糾正錯誤——NAND 會為每 4KB 頁附加額外的 128 字節用於此目的。設備自身的誤碼率已經足夠低,在其生命週期內基本不會出錯;部分設備級錯誤也能靠文件系統的冗餘機制規避。但消費級 SSD 中真正具備端到端 ECC 保護的並不多,傳輸鏈路上仍可能出錯,固件 Bug 也可能導致數據丟失。
覆蓋寫入是最容易造成不一致的操作:當文件系統需要覆寫多個區塊時,有可能一部分區塊已是新狀態,另一部分還停留在舊狀態。APFS 用寫入時復制來規避——先分配新區塊,再釋放舊區塊供複用,而不就地修改。它實現的是一套「全新的寫入時復制元數據體系」:與 ZFS 複製所有被改動用戶數據的元數據不同,APFS 只需對文件系統結構做一次原子更新。
APFS 提升了 iOS、macOS、watchOS 與 tvOS 各平台的文件完整性與安全性。啟用之後系統體積明顯縮減,升級到 iOS 10.3 的設備大約能多出 1GB 可用空間,對老機型是個受用的消息。
當然它並非完美。按 Apple 在 WWDC 上的說法,APFS 的核心目標是把數據加密放在首位、並為現代備份方式提供快照能力;但目前的不足也很清楚:不校驗用戶數據、沒有數據冗餘機制;無法用於啟動磁盤;文件名與目錄名大小寫敏感;不支持 Time Machine、FileVault 或 Fusion 驅動器;其卷也無法被 OS X 10.11 Yosemite 及更早版本識別。技術總在往前走,這些問題也許遲早會有答案。
文件系統不只是「穩定存放文件」的容器,它同時是各項操作系統功能的基礎。Mac OS X 每個大版本都要新增數百項功能,其中許多都重度依賴文件系統的實現。
UFS 是經典的 Unix 文件系統,與 HFS+ 一同被引入早期的 Mac OS X。Unix 早期的文件系統被稱為 FS,包含啟動塊、超級塊(位於分區開頭,保存文件系統信息)、inode 與數據,但存在抖動等問題。為了解決這些問題,FFS(Fast File System)應運而生:它把整塊磁盤劃分為若干小組,每組自帶 inode 與數據,從而增強了文件的局部性、縮短了尋道時間。
Unix 的各大 BSD 分支(FreeBSD、OpenBSD、NetBSD、DragonFlyBSD)在 FFS 上各自擴展,彼此並不完全兼容,但由於塊大小與數據塊寬度一致,一個系統仍能對另一個系統的文件系統做只讀操作。於是它有了更通用的名字——UFS(Unix File System)。
後來 UFS 提供了簡單的日誌能力:文件系統變更時,先把相關信息寫入一塊稱為「日誌」的區域,再寫入主文件系統。這樣一旦發生內核崩潰或突然停電,日誌文件系統更容易保持一致性,恢復也更快。
BSD 的 Soft Update 走的是另一條路:通過讓元數據按依賴順序更新,保證掉電或崩潰時磁盤上的文件系統始終一致。它的目標與日誌相似,代價卻輕得多,但需要引入一個後台 FSCK 檢查。基於對 UFS 的改進,Soft Update 後來也加入了日誌功能,並擺脫了對 FSCK 的依賴。
早期 Unix 的訪問控制相當粗糙:權限分為用戶、同組用戶、其他用戶三類,每類可配讀、寫、執行。這種粒度既無法為單個用戶定制權限,也無法表達更細的規則(比如只允許刪除某文件)。為此 UFS 引入了 ACL(Access Control Lists),以存取控制矩陣為基礎,逐個文件對象記錄哪些主體對它擁有什麼權限。總的來說,UFS 一直在與時俱進。
Mac OS X 源自 NeXTSTEP,因為基於 BSD,自然也沿用了 UFS。
HFS 誕生於 1985 年。為了推動 Mac OS 現代化,Apple 在其基礎上加入了大文件支持、Unicode 與長文件名支持、32 位文件映射表等新能力,並把原本用 68K 處理器彙編編寫的代碼改寫為 C,於是有了 HFS+。
HFS+ 根植 Mac OS,是 HFS 的向後兼容擴展,因此支撐了 Mac OS 到 Mac OS X 的平滑過渡,Mac OS X 長期以它為默認文件系統。從 Mac OS X 10.2.2 起,帶日誌的 HFS+(HFSJ)成為默認;此後又增加了對文件名、目錄名大小寫敏感以及 Unicode 3.2 的支持。10.4 中 HFS+ 加入 ACL,把權限模型擴展到超越傳統 Unix 的程度。10.5 之後,HFS+ 成為唯一的正式系統,功能上已全面超越 UFS。
在逐步演進中,HFS+ 背負的功能越來越多:
長期演進讓 HFS+ 針對不同設備衍生出功能各異的分支,但它畢竟太老、也太混亂。更關鍵的是,它缺少當代企業環境所要求的一些基礎能力:納秒級時間戳、校驗、快照、稀疏文件等等。從 1998 年 4GB 的機械硬盤,到今天 TB 級的 SSD,存儲領域的變革早已把 HFS+ 推到了力不從心的位置。
HFS+ 基於 B-樹實現,查找未使用的節點時每次只能處理 16 位——這個設計源自當年 Mac 使用的 Motorola 68K 芯片原生支持 16 位操作。而無論 PowerPC 還是 Intel,寄存器都是 256 位寬的。
HFS+ 的元數據以大字節序保存,原因同樣歷史悠久:68K 與後來的 PowerPC 都是大端。但 Apple 遷移到 Intel 之後,當今所有 Mac 都是小端,於是每次讀寫數據都要做一次大小端轉換。此外 HFS+ 的時間分辨率只有一秒——遠古時期磁盤慢、CPU 也慢,一次磁盤操作佔掉的時間以秒計尚可接受;而今天主流文件系統的時間分辨率都在納秒級。

HFS+ 的元數據還有全局鎖,同一時間只允許一個進程訪問並更新文件系統。在單核處理器連手機平板都少見的時代,這個設計顯得相當原始。
它同樣不支持稀疏文件。舉個例子:某個數據庫分配了 10GB 文件,只在頭尾寫了少量數據,其餘全是 0。現代文件系統知道這是稀疏文件,實際只寫入頭尾那幾個字節;HFS+ 則會老老實實把 10GB 全部寫一遍,耗時長得多。
除此之外,HFS+ 缺少元數據校驗、快照、寫入時復制、就地執行、邏輯卷管理等諸多現代能力,也無法動態調整文件塊大小。這些都不是能輕易補上的功能,而它們的缺失意味著用戶數據時刻處於風險之中:一旦遇到斷電或內核崩潰,寫到一半的數據輕則損壞個別文件,重則讓整個文件系統癱瘓。在生產環境裡,這樣的文件系統可能釀成災難性的後果。
以快照為例,它能將文件系統的狀態「定格」在創建那一刻,同時允許繼續訪問和修改文件系統。由於只記錄新增或改動的數據塊,一個文件系統可以維持多個快照而不必擔心空間爆炸。Time Machine 這類備份工具正是靠它記錄「自上次備份以來的改動」,在不打斷用戶操作的前提下完成更高效的備份。
這正是 APFS 出現的理由——它不是一次功能疊加,而是對上述積弊的一次系統性回答。