SQLite3 是移動端最常用的數據庫,體積極其輕量,編譯後才數百 KB。但它麻雀雖小、五臟俱全,支持多線程、事務、約束以及幾乎所有常見 SQL 特性。iOS 裡很多 App 都會用到 SQLite,而使用中又常撞上性能問題。本文將深入 SQLite 內部實現,剖析其性能優化路徑。
開始分析前,先補一補數據庫基礎知識。
什麼是 ACID?
這個術語數據庫設計者耳熟能詳,使用者卻往往不太在意。ACID 是「Atomicity, Consistency, Isolation, Durability」的縮寫,用來保證一個數據庫事務的可靠性,中文即「原子性、一致性、隔離性、持久性」。維基百科的定義解釋如下:
原子性:一個事務中的所有操作要麼全部完成、要麼全部不完成,不會停在中間某個環節。執行中若出錯,會回滾(Rollback)到事務開始前的狀態,就像這個事務從未執行過。
一致性:事務開始前與結束後,數據庫的完整性都未被破壞。這意味著寫入的資料必須完全符合所有預設規則,包括精確度、串聯性,以及後續數據庫能自發完成預定工作。
隔離性:當兩個或多個事務並發訪問同一數據時所表現出的相互關系。事務隔離分為不同級別:讀未提交(Read uncommitted)、讀提交(read committed)、可重復讀(repeatable read)與串行化(Serializable)。
持久性:事務完成後,它對數據庫的更改便持久保存,且是完全的。
SQLite3 是符合 ACID 的——它保證即使程序 Crash、進程被殺,甚至內核崩潰或斷電,數據庫依然完整。既要維持 ACID,又要讓性能最大化,這是數據庫設計的一大挑戰。
SQLite3 裡可以用 BEGIN TRANSACTION 和 COMMIT TRANSACTION 來開始與結束一個事務。如果你不顯式添加這些語句,SQLite3 會為你的每一條 SQL 語句各加一個事務。
要優化 SQLite3 的性能,就必須了解它一次事務的完整執行過程。這裡以一個有寫操作、並成功執行的事務為例。
1. 初始狀態
數據庫打開後、未做任何操作時,大致如下圖。

image
圖片來自 sqlite.org
圖中分三部分:左邊是用戶空間,中間是內核緩存區(文件讀寫緩存),右邊是物理磁盤設備(iOS 的閃存)。SQLite 裡數據最小的讀寫單位是扇區(sector),通常 512B,圖中每個小矩形代表一個扇區。藍色代表未更改的原始數據,中間白色表示為空,即此時數據還沒讀到內核緩存區。
2. 准備讀取(加讀鎖)

image
任何寫操作都會先進行讀操作,因為寫之前得讀數據庫的 schema、插入與修改的位置等。讀取之間要加讀鎖,以防其他數據庫連接進行寫操作,保證讀取時數據不被破壞。此時其他數據庫的讀取操作仍可正常執行。
3. 讀取數據
加讀鎖後便開始讀數據:

image
這裡讀取了 3 個扇區的數據,讀取時通過系統文件讀取調用,會從內核緩存拷貝到用戶空間。(疑問:能否直接讀到用戶空間?)
4. 准備修改數據(加寫鎖)
數據讀完後,就准備修改,修改前首先要加寫鎖。此寫鎖可與其他進程的讀鎖同時存在:

image
5. 建立回滾日志
真正開始寫之前,先建立一個回滾日志文件,以便回滾,把更改前的舊數據保存進去。

image
回滾日志文件含一個頭信息(綠色部分),記錄回滾所需信息。
6. 在用戶空間中修改數據

image
圖中粉色表示已修改的數據。
7. 沖(fsync)回滾日志文件
用戶空間改完數據後,為確保回滾日志可靠,必須把它沖入物理磁盤持久存儲,這樣即使內核崩潰或斷電,數據仍可恢復。

image
8. 加互斥鎖
准備真正寫文件了,要加互斥鎖。互斥鎖可與已打開的讀鎖共存,但不再允許新建讀鎖。

image
9. 寫數據庫文件
現在可以安全地寫數據文件了。

image
10. 沖(fsync)數據庫文件
把數據庫文件沖到持久存儲設備。

image
11. 刪除回滾日志
沖入數據庫文件後才能刪除回滾日志,以確保內核崩潰或斷電後仍可恢復數據。

image
12. 釋放鎖

image
為確保 ACID,一次事務竟要走這麼多步。小結一下:
一次文件創建(回滾日志)
兩次文件寫入
兩次文件沖入(回滾日志、數據庫文件)
一次文件刪除(回滾日志)
加了 3 次鎖,最後一次不允許讀取
讀寫過程中,每次都會在用戶空間與內核空間之間拷貝一次數據。能否直接把文件讀到用戶空間?SQLite3 提供了 mmap 方式的 IO。開啟只需執行:
sqlite3_exec(db, "PRAGMA mmap_size=268435456;", NULL, NULL, NULL);
理論上 mmap 能減少內核與用戶空間的 IO,但在 iOS 上,從我這邊的測試來看,影響並不大。
事務操作裡有大量寫操作,能否把寫操作放到後台線程?SQLite3 支持這種做法——它可以自定義文件的讀取、寫入等操作方式,只需配置 VFS 結構:
struct sqlite3_vfs {
int iVersion; /* Structure version number (currently 3) */
int szOsFile; /* Size of subclassed sqlite3_file */
int mxPathname; /* Maximum file pathname length */
sqlite3_vfs *pNext; /* Next registered VFS */
const char *zName; /* Name of this virtual file system */
void *pAppData; /* Pointer to application-specific data */
int (*xOpen)(sqlite3_vfs*, const char *zName, sqlite3_file*, int flags, int *pOutFlags);
int (*xDelete)(sqlite3_vfs*, const char *zName, int syncDir);
int (*xAccess)(sqlite3_vfs*, const char *zName, int flags, int *pResOut);
int (*xFullPathname)(sqlite3_vfs*, const char *zName, int nOut, char *zOut);
...
};這個結構定義了各種文件操作的函數指針。要開啟異步 IO,需實現這個結構的定制。官方已提供擴展,下載後加入工程即可:
https://www.sqlite.org/src/tree?name=ext/async
我測了一下,性能提升並不明顯——雖然做了異步,但主線程獲取鎖的等待時間增加太多,實際影響不大。
事務過程中有兩次沖文件操作,能否關掉?SQLite 是允許的:
sqlite3_exec(db, "PRAGMA synchronous=OFF;", NULL, NULL, NULL);
關閉沖文件確實提升了不少性能,代價是內核崩潰或系統斷電時可能導致數據庫寫入不完整。即便如此,程序自身 Crash 還是安全的。
SQLite3.7.0 新增了 WAL 模式,iOS 大概從 5.0 引入支持。WAL 與傳統模式恰好相反:它會把修改的數據單獨寫到一個 WAL 文件中,而且多個事務可以共用一個 WAL 文件。
WAL 模式裡有個重要概念:checkpoint。每個 checkpoint 默認是 1000 扇區的數據,此值可動態調整。當 WAL 文件裡的更改量達到 checkpoint 時,才會把 WAL 裡的數據寫回真正的數據庫。
WAL 默認在 checkpoint 時進行 fsync,你也可以讓它每次事務都沖入,以確保數據完全可靠:
sqlite3_exec(db, "PRAGMA synchronous=FULL;", NULL, NULL, NULL);
WAL 模式會在共享內存中按數據順序建立索引,每個讀操作都會記錄最新的數據更改索引,只讀取此索引之前的數據,而寫操作可以繼續在 WAL 中追加,並發性能有所提升。
相比傳統模式,WAL 的改進在於:
一次文件創建(回滾日志)→ 僅在第一次和達到 checkpoint 時各創建一次
兩次文件寫入 → 大部分情況下只有 WAL 文件一次寫入
兩次文件沖入 → FULL 模式下有一次沖入,Normal 模式下僅在 checkpoint 時沖入
一次文件刪除 → 大部分情況下不用刪除
鎖的數量與讀寫阻塞也有相應減少
當然 WAL 也有短板:
當單個事務數據量較大、接近或超過 1000 頁時,會導致 WAL 內容頻繁同步回數據庫文件,反而拖慢性能。
WAL 的並發優化依賴系統共享內存,因此在部分網絡文件系統上無法使用(iOS 目前不存在這種文件系統)。
下面對各模式做測試,涉及模式如下:
正常模式:正常創建的數據庫,不做任何配置。
內存映射:用「PRAGMA mmap_size=268435456;」開啟。
異步 IO:加入官方異步 IO 擴展並開啟。
WAL 模式:用「PRAGMA journal_mode=WAL;」開啟。
sync OFF:用「PRAGMA synchronous=OFF;」關閉強制同步。
WAL(sync Full):用「PRAGMA journal_mode=WAL;PRAGMA synchronous=FULL;」開啟 WAL 與全同步。
內存數據庫:用特殊文件名「:memory:」打開。
測試分三種情況:1000 條小數據寫入;1000 條小數據寫入(合並為一個事務);100 條大數據(474940 Bytes)寫入。測試機型為 iPhone4,系統 iOS 7.1。
1000 條小數據寫入

image
小數據下 WAL 優勢明顯,關閉 fsync 的表現也不錯(但可靠性打折),不過仍不及 WAL(sync Full)模式快。
1000 條小數據寫入(合並為一個事務)

image
合並成一個事務後,各模式差別不大,因為 IO 次數有限。相比不合並事務,性能急劇提升到百毫秒級,請留意本圖單位。
100 條大數據(474940 Bytes)寫入

image
100 條大數據時,WAL 模式反而比其他模式略遜。單個事務數據量大的場景不推薦 WAL,或者應把 checkpoint 設置調大一些,以免產生過多 checkpoint。
異步 IO 似乎提升有限,官方已 deprecate,推薦改用 WAL 模式。
大量小記錄寫入(不合並事務)時,普通模式即使關閉文件 sync,也還不如 WAL 全 sync 模式快。
總體數據量小、且可重建恢復的,建議用內存數據庫,必要時備份到閃存文件。
總體數據量大、但可重建恢復的,可關閉 synchronous 以換取性能。
操作頻繁、單條記錄數據量小的,建議用 WAL 模式。
操作少、單條記錄數據量大的,建議用普通數據庫,別用 WAL 模式。