iOS 8 問世的時候,Apple 一口氣開放了六類 App Extension,第三方程式第一次真正有了介入系統流程的資格。照片編輯擴展正是其中最貼近日常使用的一種——它能把你自家 App 的影像處理能力,直接送進系統「照片」App 的編輯流程裡。
先說個現實:從使用者視角看,走到照片編輯擴展這條路並不好走。選一張照片、點進編輯、再從那個不起眼的「更多」小按鈕裡翻出自己的擴展,總共要點三次。

門檻雖高,但反過來說,一旦使用者找到你,整套體驗就是無縫的。這類擴展給了開發者一個絕佳機會:用一致的方式管理照片、打造連貫的編輯體驗。
本文以範例專案 Filtster 為線索,從建立擴展、生命週期、調整資料一路談到除錯與記憶體限制。Filtster 示範了如何把數個 Core Image 濾鏡串成一個簡單的風格化流程,完整程式碼可在 GitHub 取得。
所有擴展都必須寄生在一個功能完整的 iOS App 之內,照片編輯擴展也不例外。這意味著你可能得認真做出一套像樣的 Core Image 濾鏡,才輪得到擴展上場。App Store 審查尺度會有多嚴,還有待觀察——畢竟目前多數主打影像編輯的 App,都是在 iOS 8 之前就已存在的。
要建立新的照片編輯擴展,只需在既有 iOS 專案裡新增一個 target,並選擇對應的擴展模板:

模板由三部分組成。
除了系統在頂部提供的工具列(含「取消」與「完成」兩個按鈕),照片編輯擴展的介面幾乎可以完全自訂。

storyboard 預設不啟用 Size Classes,但系統允許你自行開啟。雖然沒什麼硬性理由阻止你手動排版,Apple 仍強烈建議使用 Auto Layout——忽略這個建議,後續要承擔的風險並不少。
這裡決定擴展的類型、可接受的媒體類型,以及其他通用設定。核心在 NSExtension 這個字典:

NSExtensionPointIdentifier 的值設為 com.apple.photo-editing,系統便知道這是照片編輯擴展。唯一比較特殊的 key 是 PHSupportedMediaTypes,用來宣告可處理的媒體類型;預設是只含 Image 的陣列,你也可以加入 Video。
遵循 PHContentEditingController 協議,其中定義了照片編輯擴展所需的生命週期方法,細節見下一節。
另外別忘了提供擴展在系統選單中顯示的圖示:

圖示實際上是透過宿主 App 資產目錄裡的 App Icon 提供的。這裡的文件寫得有點誤導,它暗示你得在擴展本身另外準備圖示;即使你真的放了一張,擴展也不會採用。這一點頗具爭議,因為 Apple 明確要求擴展圖示必須與容器 App 一致。
照片編輯擴展建立在 Photos 框架之上,因此編輯從頭到尾都是非破壞性的:原始檔案永遠不會被改動,編輯結果以副本形式保存。框架同時保存了「如何重現這次編輯」的語意資訊,讓編輯可以隨時從原圖重新出發。而你要負責的,只是構建自己的那份資料物件。
PHAdjustmentData 只有三個成員:承載參數的 data,以及用來判定版本相容性的 formatIdentifier 與 formatVersion。後兩者都是字串,其中 formatIdentifier 建議採用反向網域命名格式。這兩個欄位讓你能設計出一整套App與擴展矩陣,彼此互相辨識對方的編輯結果;data 則是 NSData,你可以自由決定裡頭放什麼,好讓擴展能接續上次的編輯。
使用者啟動你的擴展時,系統會實例化視圖控制器並開啟生命週期。若這張照片先前已被編輯過,系統會先呼叫 canHandleAdjustmentData(_:) 並把 PHAdjustmentData 物件交給你。你的回傳值決定了框架接下來要走哪一條路徑。
接著系統呼叫 startContentEditingWithInput(_:,placeholderImage:)。參數中的 PHContentEditingInput 除了原始尺寸的圖檔路徑,還包含地理位置、建立時間、媒體類型等原始資產的元資料。特別值得注意的是 displaySizeImage:同一張圖,但已依螢幕尺寸縮放過。這意味著互動編輯可以在較低解析度下進行,既保持操作順暢,也省電。
func startContentEditing(with contentEditingInput: PHContentEditingInput?, placeholderImage: UIImage) {
input = contentEditingInput
filter.inputImage = CIImage(image: input?.displaySizeImage)
if let adjustmentData = contentEditingInput?.adjustmentData {
filter.importFilterParameters(adjustmentData.data)
}
vignetteIntensitySlider.value = Float(filter.vignetteIntensity)
...
}這裡把 contentEditingInput 存了下來,因為收尾時要用它完成輸出並匯入濾鏡參數。
如果 canHandleAdjustmentData(_:) 回傳 true,startContentEditingWithInput(_:,placeholderImage:) 會給你原圖,你的擴展需要依調整資料重建編輯結果。若重建耗時,placeholderImage 會提供上次渲染的暫存圖,供你先頂上。
這個階段使用者透過擴展介面操作編輯。由於擴展本身就是一個視圖控制器,任何 UIKit 元件都能用;範例專案以 Core Image 濾鏡鏈完成運算,介面則採用自訂的 GLKView 子類以降低 CPU 負擔。
使用者可以點「取消」或「完成」。若希望使用者放棄未儲存的修改前先被確認一次,就重寫 shouldShowCancelConfirmation 並回傳 true:

確認要取消後,系統會呼叫 cancelContentEditing,讓你清掉所有暫存資料。
使用者按下「完成」時,系統呼叫 finishContentEditingWithCompletionHandler(_:)。此時你必須用與畫面上完全一致的參數去處理原始尺寸圖像,並同時把調整資料打包好。
原圖可透過編輯開始時那份 PHContentEditingInput 的 fullSizeImageURL 取得。
完成編輯的方式,是呼叫傳入的 callback,並交出一個由輸入物件建構的 PHContentEditingOutput。這個輸出物件帶有 renderedContentURL 屬性,用來指定輸出的 JPEG 該寫到哪裡:
func finishContentEditing(completionHandler: @escaping (PHContentEditingOutput?) -> Void) {
// 在背景佇列進行渲染
DispatchQueue.global(qos: .default).async {
// 由編輯輸入建立編輯輸出
let output = PHContentEditingOutput(contentEditingInput: self.input!)
// 帶上調整資料,並把結果寫到指定位置
let adjustmentData = PHAdjustmentData(
formatIdentifier: self.filter.filterIdentifier,
formatVersion: self.filter.filterVersion,
data: self.filter.encodeFilterParameters())
output.adjustmentData = adjustmentData
// 輸出 JPEG
let fullSizeImage = CIImage(contentsOf: self.input!.fullSizeImageURL!)
UIGraphicsBeginImageContext(fullSizeImage.extent.size)
self.filter.inputImage = fullSizeImage
UIImage(ciImage: self.filter.outputImage)?.draw(in: fullSizeImage.extent)
let outputImage = UIGraphicsGetImageFromCurrentImageContext()
let jpegData = UIImageJPEGRepresentation(outputImage!, 1.0)
UIGraphicsEndImageContext()
jpegData?.write(to: output.renderedContentURL!, atomically: true)
// 回呼完成,交出結果
completionHandler(output)
}
}一旦 completionHandler 返回,你就可以清理暫存資料,修改後的檔案也準備好交還給系統。
PHAdjustmentData 看起來簡單,用好卻有規矩。formatIdentifier 建議用反向網域格式;formatVersion 與 data 的用法則完全由你決定。
關鍵是別忘了版本相容性。你需要一套類似語意化版本(Semantic Versioning)的機制來管理產品的生命週期,自行解析或借助 SemverKit 這類第三方套件都可以。
至於 data,Apple 的唯一建議是:放「重建編輯所需的設定」,而不是編輯結果本身——因為 PHAdjustmentData 的大小受 Photos 框架限制。
對 Filtster 這種不太複雜的擴展,把一個字典做序列化存檔就夠了:
public func encodeFilterParameters() -> Data {
var dataDict: [String: AnyObject] = [:]
dataDict["vignetteIntensity"] = vignetteIntensity as AnyObject
...
return NSKeyedArchiver.archivedData(withRootObject: dataDict)
}對應的解碼:
public func importFilterParameters(_ data: Data?) {
if let data = data,
let dataDict = NSKeyedUnarchiver.unarchiveObject(with: data) as? [String: AnyObject] {
vignetteIntensity = dataDict["vignetteIntensity"] as? Double ?? vignetteIntensity
...
}
}這兩個方法放在共用類別 FiltsterFilter 中,相容性判定也在同一處:
public func supportsFilterIdentifier(_ identifier: String, version: String) -> Bool {
return identifier == filterIdentifier && version == filterVersion
}需求更複雜時,可以另外設計一個設定類別,讓它遵循 NSCoding,再用同樣的方式封存。
使用者往往需要把多個互不相容的編輯串接起來。若當前擴展看不懂傳入的調整資料,系統會把一張預先渲染好的圖當作輸入。舉例來說,你可以先用系統裁剪工具裁切,再進到自訂擴展裡加工;此時存下的調整資料只包含最近一步的細節。想保留復原能力,就把先前那些不相容的調整資料一併塞進你的輸出調整資料裡,等於為濾鏡鏈中屬於你的那一階段實作還原。而 Photos 框架提供的「復原」,則是移除所有編輯、把照片退回原始狀態:

照片編輯擴展是以嵌入式執行檔的形式打包在容器 App 裡。既然 Apple 要求容器 App 必須功能完整,那麼兩邊出現大量重複邏輯幾乎是必然。共享程式碼的正解是建立 Cocoa Touch Framework target,把濾鏡鏈、自訂視圖類別等共用元件放進去,App 與擴展同時引用。
需要注意的是,因為要給擴展使用,你必須在 target 設定中把 API 相容性限制為「僅擴展可用」:

共享資料的需求就小得多,很多情況下根本不存在。真的需要的話,把 App 與擴展一起加入同一個 App Group,就能取得共享容器——那是磁碟上一塊雙方都能讀寫的空間,NSUserDefaults、SQLite 或直接寫檔案都行。
Xcode 的除錯體驗整體還算友善,但有幾個小陷阱。選擇擴展的 scheme 編譯執行後,Xcode 會問你要啟動哪個 App;由於照片編輯擴展只能在系統「照片」App 中運作,這裡就該選照片:

如果它執意啟動你的容器 App,去編輯擴展 scheme,把 executable 改成 Ask on Launch 即可。
Xcode 接著會等你打開擴展,再把除錯器掛上去。從那時起,除錯擴展就跟除錯一般 iOS App 沒兩樣。掛載需要一點時間,所以剛啟動擴展時可能會短暫無回應;想評估啟動效能,改用 Release 設定來跑。
性能分析同理,Instruments 是在擴展開始執行後才附加的。你也可以更新 scheme,指定要分析時啟動哪個 App。
擴展不是完整的 iOS App,系統資源自然受限。尤其當記憶體吃緊時,系統會優先砍掉擴展進程。確切上限無法得知,因為記憶體管理由 iOS 內部負責,實際門檻取決於裝置、宿主 App 以及其他程式的記憶體壓力。所以雖無硬性數字,方向仍然明確:能省就省。
影像處理本身就是高記憶體行為,面對 iPhone 相機的高解析度照片更是如此。有幾件事值得做:
善用顯示尺寸的圖片 進入編輯流程時系統已給你一張貼合螢幕的圖,互動階段用它取代原圖,記憶體用量會明顯下降。
壓低 Core Graphics 上下文數量 用 Core Graphics 處理影像沒錯,但別忘了每個上下文都是一大塊記憶體。盡量重用,並時時檢視用法是否恰當。
走 GPU 無論用 Core Image 還是 GPUImage 這類第三方框架,把濾鏡串成鏈式呼叫都能降低記憶體並省去中間緩衝區。
好消息是,因為影像編輯天生吃記憶體,照片編輯擴展能拿到的額度比其他擴展寬鬆一些。在非正式測試中,它大約可以使用超過 100 MB;而 800 萬像素的照片解壓後約 22 MB,對多數編輯擴展而言綽綽有餘。
iOS 8 之前,第三方開發者無法把功能延伸到自己的 App 之外。擴展徹底改變了這件事,而照片編輯擴展更把你的程式碼直接放進「照片」App 的核心流程裡。儘管三次點擊的入口略顯繁瑣,但憑藉 Photos 框架,最終呈現的是連貫而整合的使用體驗。
可復原編輯一直是 Aperture、Lightroom 這類桌面軟體的殺手級功能;如今在 iOS 上,Photos 框架也提供了可行的通用架構,而開放給第三方開發者,等於把這條路又往前推了一大步。
做照片編輯擴展確實有不少複雜課題,但它們並非獨一無二。打造直覺的介面、設計影像處理演算法,這些難題在任何一套完整的影像編輯 App 裡都得面對。
究竟有多少使用者會注意到這些第三方編輯擴展,還有待觀察;但整體而言,這對提升自家 App 的曝光度是有幫助的。