您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

iOS 資料庫方案透視:從磁碟 I/O 到 CoreData 的多執行緒模型

編輯:iOS 開發基礎

很早以前就想寫一篇 iOS 端資料庫的總結,把移動端資料庫的重要知識點梳理一遍,再綜合比較一下 Sqlite 與 CoreData 的優缺點,希望能让這方面經歷較少的同學少走一些彎路。

為什麼要用資料庫

iOS 上的持久化方案不少:NSUserDefault、Keychain、File、Sqlite 都能存關鍵業務資料。NSUserDefault 與 Keychain 屬於輕量級方案;自訂格式的 File 讀起來麻煩,而且每次只想改一小部分資料,卻要觸發整個檔案的 I/O。一旦資料結構複雜起來,最後還是會走向 Sqlite。

Sqlite 是行動端的輕量級資料庫方案,應用之廣幾乎滲透了我們日常使用的每一個主流 App。很多人熟悉的 CoreData 或 FMDB,內核其實都是 Sqlite。如今有各種第三方封裝,讓 Sqlite 用起來更順手——但資料庫畢竟是一整套知識體系,範疇龐大。簡單跑起來很容易,用得合理、用得漂亮就沒那麼容易了。一個高頻使用的 App,一年之後還要保持高效的讀寫,絕對不是件輕鬆的事。

在深入 CoreData 與 Sqlite 的細節之前,先梳理幾個資料相關的核心知識點。以下討論都以 Sqlite 為範疇。

Relation 與 Object 的分野

開始之前,分清楚 Relation(關係)與 Object(物件)非常重要。這兩個概念對初次接觸資料庫的人常常模糊不清,尤其是直接上手那些封裝過的 Sqlite 庫,很容易誤以為表與物件之間存在天然映射——畢竟 table 中的一筆記錄,剛好對應一個物件。

但對 Sqlite 這類關聯式資料庫而言,它在資料的儲存形式與表達方式上,和物件導向中的 Object 差別很大。我們用 OOP 語言寫程式的時候,習慣用物件去模擬一切業務存在:使用者、商品、購物車、瀏覽記錄、購買記錄……這些都能方便地對應到一張張 table。但 Object 在描述對象時靈活得多,比如 UserProfile 可以有一個屬性直接描述他的好友列表:

@interface UserProfile : NSObject
@property (nonatomic, strong) NSArray *friends;
@end

用 Array 這類集合概念可以進一步細化 Object 的表達,但 Sqlite 的 table 只能存 scalar type(單一資料型別),存不了 Array。關聯式資料庫的標準做法是用主鍵與外鍵,在兩張表之間表達關係。當然你也可以在 UserProfile 表裡塞一個自訂的 blobdata 或序列化後的特殊字串來存 array,但這種設計已經偏離了關聯式資料庫的範疇。

總之,關聯式資料庫更強調「關係」。把記憶體中的 OOP 物件存進資料庫,中間必然要做一步轉換:把 OOP 的 Relation 轉化成 Sqlite 的 Relation。

索引(Index)

索引是資料庫使用中最基礎的東西。如果只是把資料轉成表存起來、下次再取出,一旦表記錄變得龐大,效能問題立刻浮現。使用資料庫的另一大好處,正是讀取可以非常快——和傳統檔案儲存相比根本不在一個量級上。而這一切的關鍵,就在於索引:它讓我們能以特定方式快速讀取或查找記錄。究竟有多快?理解這件事需要一點演算法的底子,但並不複雜。

抽象地看,資料庫也可以視為一種集合類。對無序 Array,我們必須完整遍歷整個集合才能找到目標元素,時間複雜度 O(N)。對有序 Array,二分查找可降到 O(logN),但插入仍是 O(N)。那有沒有一種結構能讓 insert 與 search 同時都快?Tree 可以——Binary Search Tree 在兩者之間取得平衡,達到 O(logN)。

再深入之前,先抽象地看看 Sqlite 是怎麼存資料的:

所謂建索引,其實是為原資料表新建了一張 index 表來方便查找。如果我們給 User 表的 Name 建了索引,那麼依 Name 做查詢時,第一步其實是去對應的 Index 表查詢;Index 表以 Name 為 key,背後是一棵 B+Tree。上圖中 Index 表看起來也是一張 table,但它實際是以 B+Tree 為資料結構整理過的。在 B+Tree 中找到記錄 A 之後,第二步再依 A 中的位址資訊,回到原 User 表取出完整記錄。

由此可見,主要效能損耗集中在第一步,第二步只是普通的磁碟 I/O。索引並不是萬靈丹;要分析建了索引之後的效能瓶頸在哪,得先補齊幾個知識點。

磁碟 I/O 瓶頸

學校的計算機基礎課都講過:記憶體(Memory)比磁碟(Disk)快,但貴、空間小。於是大量資料只能放在 Disk 上,用的時候再搬進記憶體,每讀一次就觸發一次磁碟 I/O。同理,Sqlite 說白了就是一個 .db 檔案,每次執行查詢都要去讀檔案,而大多數查詢無法一次 I/O 就完成——所以如何減少磁碟 I/O 的次數,是優化 Sqlite 效能的關鍵指標。

理解磁碟與記憶體尋址的差異,還有一個重要概念:Random Access 與 Sequential Access。Random Access 指存取的位址隨機分布,這一刻讀 0x00000001,下一刻可能讀 0x000A0001;Sequential Access 則嚴格按順序尋址,0x00000001 之後緊接 0x00000002。對記憶體來說,兩者在效能上沒有差異。對 Disk 而言,Sequential Access 也能靠機械旋轉順利讀到連續位址,而 Random Access 就費時得多——可能要磁頭與磁碟做多次機械運動才能重新定位。

磁碟讀取方式與 Page 的概念

計算機基礎課程裡那張機械磁碟尋址示意圖大家都見過:磁頭帶頭移動,配合磁碟旋轉,找到目標分區與位址。正是因為尋道與旋轉都是機械運動,尋址效能才和記憶體差了好幾個量級。

磁碟讀取資料時以 Page(頁)為單位。Page 是計算機儲存時使用的基本邏輯單位,記憶體與磁碟之間的資料互動都以頁為準。即使你只需要 1 個位元組,從磁碟讀取時也會拿到一個或多個 page——這是一種預先快取策略,因為程式下一刻極有可能需要讀取這個位元組周圍的資料。理解頁的概念,有助於我們在腦中建立資料庫讀取的抽象示意圖,對後面分析 Sqlite 的效能問題幫助很大。

說到 Page,值得多囉嗦兩句,因為這個概念在不同場景中都有,很容易混淆:

  • VM(Virtual Memory)在轉換虛擬位址與物理位址時以 Page 為單位,稱為 Memory Page。
  • 磁碟儲存資料時也以 Page 或 Block 為單位,一般大小 4KB,稱為 Disk Page。
  • Sqlite 自身讀取資料時也有自己的單位,同樣叫 Page,預設大小 1KB,稱為 Sqlite Page。

三者都叫 Page,但含義各不相同,讀英文文件時需要仔細分辨。

table 記錄的儲存方式

有了 Page 的概念,再看一張表的記錄是如何以頁為單位儲存的。做個簡單估算就能明白其中的關聯。假設 User 表各欄位型別為:ID(Int, 4 Bytes)、Name(String, 128 Bytes)、Gender(Int, 4 Bytes)、Address(String, 128 Bytes),那麼一行記錄佔 4 + 128 + 4 + 128 = 264 Bytes。若一個 Page 是 4KB,一頁就能存 4×1024/264 ≈ 15 筆記錄,也就是說一次 I/O 可以取回 User 表約 15 筆資料;若這 15 筆裡不含目標,就還得再做一次 I/O。而索引表不需要包含原表的全部欄位,比如上圖中的 Index 表只需 Name(128 位元組)與 Position(4 位元組),一頁能容納的記錄數自然遠多於原表。

B+Tree

前面提到 Tree 能帶來不錯的 insert 與 search 效率。Binary Search Tree 或紅黑樹可以把查找降到 O(logN),其中 logN 就是樹高 h。但即使是完全平衡的紅黑樹,樹高也很難控制在理想範圍;而 B Tree 與 B+Tree 能把 h 壓到極小。節點總數固定,h 變小意味著每個節點的子節點數(degree)增加——由於查找效能與樹高直接相關,B+Tree 是更好的選擇。演算法原理這裡不展開,有興趣可以自行搜尋。

把上面的知識點串起來,我們可以在腦中形成這樣一個抽象查詢流程:

  • SQL 語句觸發磁碟 I/O。
  • 磁碟回傳一個 Page,其中包含索引表的若干筆記錄。
  • 在這些記錄中找到目標,依 position 資訊定位原 User 表的記錄位置。
  • 讀取 User 表中的目標記錄,完成查詢。

以此為基礎做簡單推理,可以歸納出幾條與索引相關的最佳實踐。

場景一:索引並不是越多越好

索引能加快查詢,但代價是多出一張儲存 B+Tree 結構的表。100 萬筆記錄,就對應一個 100 萬筆記錄的 Index 表,額外開銷相當可觀。所以平常應該只為真正有查詢需求的欄位建索引;況且索引還會增加 insert 與 delete 的時間複雜度。

場景二:數值型別建索引通常比字串更好

更準確的說法是:建立索引的欄位資料型別越小,索引查詢的效能越高。原因很簡單——資料越小,單筆記錄的磁碟開銷越小,一個 Page 能容納的記錄數越多,磁碟 I/O 的命中率自然越高。這也是為什麼我們總是給 ID 建索引,而很少對 Name 建索引。當然,這種差異只有在表記錄非常龐大時才看得出來。

場景三:建了索引,查詢也不一定快

有人以為建完索引就沒有效能問題了。比如 User 表針對 ID 建了索引,之後就能隨心所欲寫 SQL——實際上仍需具體場景具體分析。

索引背後是 B+Tree,本質上是一種有序結構。對 B+Tree 來說,取第 1000 個節點,需要連續走過前面 1000 個節點。所以下面這條 SQL 的效能並不理想:

select Name from User order by ID limit 1000, 10

即使 ID 有索引,讀第 1001~1010 筆與讀第 1~10 筆的速度完全不同。關鍵在 offset——這種寫法對 Sqlite 來說效率很低,每次查詢第一步都要跳到 offset,需要 O(offset) 次讀取才能定位。正確做法是用 >= 或 <= 做第一次跳轉:

select Name from User where ID >= 1000 order by ID limit 10

這樣第一步就能用 Binary Search 快速定位到大於 1000 的位置,再連續讀取 10 個節點即可。Sqlite 官方文件有專門篇章解釋這種場景,而設計翻頁功能時幾乎一定會遇到。

索引優化是個複雜的問題,需要大量理論與實踐積累。但上述基礎知識的理解,足以解決大部分應用場景中的索引問題,也能作為分析複雜場景的起點。

Sqlite 基礎知識

行動端的資料方案大多基於 Sqlite,CoreData、FMDB 也不例外。掌握一些 Sqlite 基礎,對選擇技術方案、分析技術問題都很有幫助。

先看檔案

直觀認識一下 Sqlite:它的主要儲存其實就是一個檔案,另外還配兩個輔助檔案。用 iTools 把 App 的 db 檔案導出,會看到三個檔案:

MyDB.db 不必多說,是各張 tables 的存放位置,前面提到的原始表、索引表都在這裡。

MyDB.db-wal 與 MyDB.db-shm 又是做什麼的?

-wal 是 Sqlite 的日誌檔,全稱 write-ahead log。在 wal 出現之前,Sqlite 使用的是 -journal 檔案(某些版本至今仍是 journal 模式)。簡單說,-journal 是配合事務(Transaction)做原子提交的:每次提交事務前,Sqlite 先把 .db 的狀態寫入 -journal,再提交事務資料;若事務順利完成,就刪除 journal 中的狀態;若中途異常中斷(斷電、crash),下次打開資料庫時會檢查 -journal,發現日誌就把 .db 恢復到事務之前的狀態。所以 -journal 是 Sqlite 的 rollback 日誌。

-wal 是 -journal 的替代品,工作方式恰好相反:所有事務先提交到 wal 檔案,原 db 檔案保持不變,到特定時機點才把 wal merge 回 db。所以使用 journal 模式時,新提交的資料在 db 檔中;使用 wal 模式時,新資料要到 wal 檔中找。wal 的好處是讀寫可以並行:一個連接讀 db 檔,另一個連接寫 wal 檔,互不阻塞。

wal 檔與 db 檔一樣以 page 為單位儲存。預設情況下,wal 檔達到 1000 個 page(1 page 為 1KB)時會觸發一次 checkpoint,把 wal 中的資料 append 到 db 檔。我實測 CoreData 的 checkpoint 臨界值是 4000 page,也就是約 4MB。所以平常用 CoreData 提交資料時,你會清楚看到 wal 檔慢慢變大、db 檔保持不變,直到 wal 接近 4MB 才 merge 進 db。

當然也可以透過命令列手動 merge,後面會示範。

-shm 檔是為了輔助 -wal 檔,shm 是 shared memory 的縮寫,相當於 wal 檔的 index,用來幫助 Sqlite 快速定位 wal 中的資訊(每一次完整的 commit)。shm 檔本身不存任何與 table 相關的資料,用 vim 打開是看不到任何業務記錄的。

用命令列檢視 db 檔

Sqlite 的命令列互動很豐富,這裡示範最常用的幾個:

sqlite3 MyDB.db      # 打開 db
.tables              # 列出所有 table
.schema tableName    # 檢視某個 table 的欄位結構
.head on             # 查詢結果顯示頂部欄位名
select * from tableName where ...;  # 執行 SQL

這幾步就足以在終端裡直觀瀏覽一個 db 的資料。

另外值得一提的是 PRAGMA 語句,它提供了更全面的互動能力。比如前面提到的手動 checkpoint,在打開 db 的前提下執行:

PRAGMA checkpoint_fullfsync = true;

退出 sqlite 命令模式後,你會發現 wal 檔被清空,資料全部 append 進了 db 檔。平常除錯時需要確認資料是否寫入成功,用命令列查看快速又高效。

CoreData

CoreData 的定義眾說紛紜,吐槽與總結汗牛充棟。在我看來,CoreData 是資料庫儲存與 OOP Object 之間的橋樑,並在儲存之上多封裝了一層 object graph——這層 object graph 才是它的重點。CoreData 並不算 ORM:它的儲存後端雖然通常是關聯式資料庫 Sqlite,但也可以是其他型別,核心始終在 object graph。為方便開發者快速搭建 model 層,CoreData 的所有功與罪,都源自這個善意的出發點。

從 xcdatamodeld 的圖形編輯介面,到 NSFetchedResultsController,可以看出 Apple 想提供的是一整套方案:從底層資料庫存取,到應用層 Controller 的資料展示與更新,一站式解決。對簡單的小型應用,這套東西確實方便,能迅速搭出持久化方案。但用簡單方案去簡化本來複雜的流程,就必然要隱藏、屏蔽一些原本該暴露的細節,也失去了可定製的靈活性——這正是 CoreData 在複雜專案中不停踩坑的根本原因。

我個人認為,對業務相對複雜的專案,持久化與 model 的處理應該被隔離在獨立的一層,不該把持久化的處理直接延伸到應用層(Controller)。透過介面分層,可以把 model 的變化與業務流程解耦;獨立維護 model layer,也更方便我們檢視與控制整個程式的狀態變化,必要時甚至能做持久層的資料遷移。

在 ORM 方案中,Active Record 鼓勵把 table 的資料直接對應到 model,並在 model 裡撰寫 domain logic。我認為 domain logic 指的是與 model 本身相關的邏輯(比如提供 fullName 方法拼接 firstName 與 lastName),而不應包含具體的應用層業務流程。Controller 使用 model 時,還需要多做一步轉換,在持久層 model 與應用層 model 之間做隔離。

CoreData 恰恰是因為想做太多,最後既不像 database,又不像 ORM;它那套不透明的 object graph 機制,讓效能分析與優化變得處處是坑。具體來看它與 Sqlite 的差異。

最大的差別在於:CoreData 更貼近 OOP 的 Object,而 FMDB 這類 Sqlite 封裝更靠近關聯式儲存。CoreData 雖基於 Sqlite,但為了貼合 OOP 思維,屏蔽了不少資料庫本身的特性。

不透明的 object graph

object graph 並不是新概念,無非是把 db 中的 table 映射成上層的 model,model 之間相互引用,形成一張完整的 graph。但它不只做了 ORM 的工作,還私自維護了 model 的 cache,甚至連磁碟 I/O 都替你屏蔽了。結果是:使用 model 時,你並不知道什麼時候會觸發真正的 I/O——很可能就在你訪問這個屬性的時候:

NSString *name = userEntity.name;

一切都自動發生,方便,但也失去了深度控制 model 行為的可能。

批量更新

iOS 8 之前,CoreData 給的都是一個個 model,要做批量更新只能逐一遍歷再 commit。無法批量提交,在一些場景下就是效能問題。iOS 8 之後終於有了批量更新介面:

NSBatchUpdateRequest *req = [[NSBatchUpdateRequest alloc] initWithEntityName:@"Message"];
req.predicate = [NSPredicate predicateWithFormat:@"read == %@", @(NO)];
req.propertiesToUpdate = @{ @"read": @(YES) };
req.resultType = NSUpdatedObjectsCountResultType;
NSBatchUpdateResult *res = (NSBatchUpdateResult *)[context executeRequest:req error:nil];

寫起來還是更像 SQL 語句一些。由此可見 Apple 一直在努力讓 CoreData 變得更完美、更全能:既能像 SQL 一樣思考,又能提供 model 層的便利。

沒有 Primary Key

用過 CoreData 就會發現,它的圖形介面裡並沒有設置 Primary Key 的地方。如果你需要一個唯一的 Key,只能自己在記憶體中維護一套生成機制。CoreData 透過 Object 這層抽象,把 Primary Key 屏蔽掉了。一個簡單可行的唯一 Key 生成方案是:用 NSUserDefault 存一個 int,每次讀取時 +1 再存回去,讀寫都加鎖——效能雖差一些,但對行動端而言完全夠用。

資料庫的多執行緒模型

全面理解 Sqlite 的多執行緒模型,對撰寫複雜儲存場景的 App 很有必要。

Sqlite 在多執行緒存取時,透過 db 鎖來控制並發,鎖共有五種狀態:

  • Unlocked:預設狀態。
  • Shared:共享鎖。多個讀執行緒可同時持有共享鎖;共享鎖存在時,不允許寫入。
  • Reserved:某個執行緒嘗試寫入時先持有 Reserved 鎖。多個寫入同時發生時,只有一個能拿到 Reserved 鎖。持有 Reserved 鎖時,其他讀執行緒仍可繼續持有 Shared 鎖——也就是 Reserved 排斥其他寫,不排斥讀。
  • Pending:持有 Reserved 鎖的寫入會升級為 Pending,此時新的讀與寫都不能進入,需等所有現有的 Shared 鎖釋放後,才能進入 Exclusive。
  • Exclusive:寫入從 Pending 升級為 Exclusive,此時寫入可以安全進行。

由此可得結論:Sqlite 支援多個讀操作並發,但同時只能有一個寫操作。從 Reserved 一直到 Exclusive 都是寫入互斥;但在 Pending 之前,新的讀仍可加入。這種鎖粒度對讀多寫少的場景相當友好,同時用 Pending 鎖避免了 write starvation。

基於上述分析,建立多執行緒模型時主要有三種選擇:

  • 讀與寫都在主執行緒。
  • 讀在主執行緒,一個子執行緒負責全部的寫。
  • 讀在主執行緒,多個子執行緒負責並發的寫。

第一種最簡陋,寫入會拖累 UI 執行緒。第二種最普遍:寫入全放到子執行緒,子執行緒也可以產生讀操作,既做到讀寫並發,又不影響 UI。第三種想用多個寫執行緒提升寫入效率,但從鎖狀態可見,從 Reserved 起寫入就已互斥,我個人感覺提升相當有限。一般推薦第二種做法。

CoreData 的多執行緒模型

CoreData 預設使用 Sqlite 的多執行緒模式:不能跨執行緒共享資料庫連接。雖然不清楚它的內部細節,但整體使用下來,一個 NSManagedObjectContext 大致對應一個資料庫連接,並維護自己的一套 object graph;而 object graph 並非執行緒安全,其中的物件不能跨執行緒直接共享,NSManagedObjectContext 也不能跨執行緒使用。所以規則是:

  • 不同執行緒要建立各自的 NSManagedObjectContext,維護各自的 object graph。
  • NSManagedObject 不能跨執行緒傳遞,只能傳遞 NSManagedObjectID,再由各自的 Context 依 ID 取回物件。

不同 context 之間並不會自動同步:write context 寫入的資料,在 main context 中讀不到。我們需要自己建立同步機制,一般有兩種方式。

方式一:監聽 context 的寫通知

// 主線程監聽 write context 的寫操作
[[NSNotificationCenter defaultCenter] addObserver:self.observer
                                         selector:@selector(mocDidSave:)
                                             name:NSManagedObjectContextDidSaveNotification
                                           object:self];

// merge 來自 write context 的資料變化
NSError *error = nil;
[[self managedObjectContextForMainThreadWithError:&error]
    mergeChangesFromContextDidSaveNotification:saveNotification];

方式二:共享 context

為了避免多個 context 之間的 merge,可以建立 parent-child 關係:通常會有一個公共的 background context,其他所有 main context 與 background context 都是它的 child。這確實繞開了 merge 問題,但本質上把所有讀寫都串行化了——雖然最終行為都發生在子執行緒,並發效能反而可能不如方式一。

CoreData 的第三方封裝也有一些。我用過其中一款 RHManagedObject,並依上述第一種方式做過多執行緒上的改造,經過兩年多實際專案驗證,目前還算穩定。

結語

CoreData 與 FMDB 我都在實際專案裡用過。總體感覺:CoreData 更適合小型儲存需求的專案,快速搭建、容易上手;Sqlite 或 FMDB 更適合複雜儲存需求的專案,更靈活、更可控。尤其是對讀寫頻繁的 App(比如 IM 這一類),需要對讀寫並發做深入優化時,CoreData 並不是一個好選擇。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved