這篇文章會帶初學者認識 Core Image——一個橫跨 OS X 與 iOS 的圖像處理框架。
如果你想跟著文中的程式碼動手做,可以在 GitHub 下載示例工程。它是一個 iOS 應用,列出系統提供的大量圖像濾鏡供你挑選,並附上調整參數、觀察效果的介面。
雖然示例是用 Swift 寫的 iOS 程式,但這些概念轉移到 Objective-C 或 OS X 都很容易。
談 Core Image,得先介紹幾個基礎名詞。
一個濾鏡是一個物件,有多個輸入與輸出,並執行某些變換。舉例來說,模糊濾鏡可能需要一張輸入圖像和一個模糊半徑,才能產出適當的模糊結果。
一個濾鏡圖表則是串接起來的濾鏡網路(無環有向圖),讓一個濾鏡的輸出成為另一個濾鏡的輸入。用這種方式可以做出精心設計的效果,稍後我們會示範如何串接濾鏡來完成復古的拍立得風格。
Core Image 是插件式的架構,也就是說它允許你自訂濾鏡,並與系統提供的濾鏡整合來擴充功能。本文不會用到這項可擴充性,我提到它是因為它影響了整個框架的 API 設計。
Core Image 的設計目標是把運行環境的硬件用到底。每個濾鏡的實際實作(也就是內核)以 GLSL(OpenGL 著色語言)的子集撰寫。當多個濾鏡串成濾鏡圖表時,Core Image 會把各內核接起來,組裝成一個能在 GPU 上高效運行的程式。
只要有可能,Core Image 都會把工作延後。一般來說,直到濾鏡圖表最後一個濾鏡的輸出被請求之前,都不會真正發生配置或運算。
要完成工作,Core Image 需要一個稱為上下文(context)的物件。這是框架真正幹活的地方:配置必要的記憶體、編譯並執行濾鏡內核來處理圖像。建立上下文開銷不小,所以你通常會想重複使用同一個上下文。接著我們就會看到怎麼建立它。
Core Image 的濾鏡是按名字建立的。要取得系統濾鏡清單,我們向 Core Image 的 kCICategoryBuiltIn 類別索取名稱:
let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn) as [String]
iOS 上可用的濾鏡清單非常接近 OS X 可用濾鏡的子集:OS X 上有 169 個內建濾鏡,iOS 上有 127 個。
有了清單,就能建立並使用濾鏡了。例如要建立一個高斯模糊濾鏡,只要把名稱傳給 CIFilter 的初始化方法:
let blurFilter = CIFilter(name:"CIGaussianBlur")
由於 Core Image 的插件結構,多數濾鏡屬性不是直接賦值,而是透過鍵值編碼(KVC)設定。例如要設定模糊半徑,我們用 KVC 設定 inputRadius:
blurFilter.setValue(10.0 forKey:"inputRadius")
這種寫法參數型別是 AnyObject?(等同 Objective-C 的 id),並不具型別安全。所以設定濾鏡參數時要多留意,確認傳進去的值型別正確。
想知道某個濾鏡有哪些輸入與輸出參數,可以分別取得 inputKeys 與 outputKeys 陣列,兩者都回傳 NSString 的陣列。
要取得每個參數的細節,則可以看濾鏡提供的 attributes 字典。每個輸入與輸出參數名都映射到自己的字典裡,描述它是什麼樣的參數,並在適用的情況下給出最大值與最小值。例如以下是 CIColorControls 濾鏡對應 inputBrightness 的字典:
inputBrightness = { CIAttributeClass = NSNumber; CIAttributeDefault = 0; CIAttributeIdentity = 0; CIAttributeMin = -1; CIAttributeSliderMax = 1; CIAttributeSliderMin = -1; CIAttributeType = CIAttributeTypeScalar; };對數值型參數,字典裡會有 kCIAttributeSliderMin 與 kCIAttributeSliderMax 鍵,用來界定合理的輸入範圍。多數參數還帶有 kCIAttributeDefault,對應預設值。
圖像濾鏡的運作可以拆成三步:建立並設定濾鏡圖表、把待處理的圖像送進去、取出處理後的圖像。下面逐一說明。
建立濾鏡圖表包含幾個動作:實例化需要的濾鏡、設定參數、把它們串接起來,讓圖像資料依序流過每一層。
這節我們要做一個能生成 19 世紀錫版照風格圖像的濾鏡圖表。做法是把兩個效果串起來:一個去飽和並染上褐色調的黑白濾鏡,加上一個暗角濾鏡,做出帶陰影的鑲框照片。
用 Quartz Composer 替 Core Image 濾鏡圖表做原型非常方便,可以從 Apple 開發者網站下載。下面我們把黑白濾鏡與暗角濾鏡串在一起:

效果滿意之後,就可以回到程式碼裡重建這個圖表:
let sepiaColor = CIColor(red: 0.76, green: 0.65, blue: 0.54) let monochromeFilter = CIFilter(name: "CIColorMonochrome", withInputParameters: ["inputColor" : sepiaColor, "inputIntensity" : 1.0]) monochromeFilter.setValue(inputImage, forKey: "inputImage") let vignetteFilter = CIFilter(name: "CIVignette", withInputParameters: ["inputRadius" : 1.75, "inputIntensity" : 1.0]) vignetteFilter.setValue(monochromeFilter.outputImage, forKey: "inputImage") let outputImage = vignetteFilter.outputImage
注意黑白濾鏡的輸出圖像成了暗角濾鏡的輸入,這代表暗角效果會套用在已轉為黑白的圖像上。另外也注意,參數可以直接在初始化時指定,不必非得用 KVC 一個個設。
Core Image 濾鏡要求輸入圖像是 CIImage 型別。對習慣 UIImage 的 iOS 開發者來說這可能有點不尋常,但這個區別很值得理解:一個 CIImage 實例實際上比 UIImage 更全面,因為 CIImage 可以是無限大的。當然我們無法真的把無限大的圖像放進記憶體,但在概念上,這意味著你可以從二維平面上的任意區域取資料,並得到有意義的結果。
本文用到的圖像都是有限的,從 UIImage 建立 CIImage 也很容易,一行就夠:
let inputImage = CIImage(image: uiImage)
也有便利的初始化方法,可以直接從圖像資料或檔案 URL 建立 CIImage。
有了 CIImage 之後,把它設為濾鏡的輸入圖像:
filter.setValue(inputImage, forKey:"inputImage")
濾鏡都有一個名為 outputImage 的屬性,型別是 CIImage。那麼要怎麼反過來變成 UIImage?到這裡,我們已經把濾鏡圖表搭好了,現在該請 CIContext 出手,真正執行圖像處理。
建立上下文最簡單的方式是給它的建構子傳一個 nil 字典:
let ciContext = CIContext(options: nil)
要拿到處理後的圖像,我們讓 CIContext 從輸出圖像的某個矩形範圍內建立一張 CGImage,範圍就傳輸入圖像的 bounds:
let cgImage = ciContext.createCGImage(filter.outputImage, fromRect: inputImage.extent())
用輸入圖像的尺寸,是因為輸出圖像的邊界往往和輸入不同。例如模糊之後,由於取樣超出邊緣,圖像四周會多出一些額外像素。
現在就能從這張新 CGImage 建立 UIImage 了:
let uiImage = UIImage(CGImage: cgImage)
直接從 CIImage 建立 UIImage 技術上可行,但有個惱人之處:如果你試圖把這種圖像放進 UIImageView 顯示,它的 contentMode 屬性會被忽略。多繞一道 CGImage 需要多寫一步,但能省掉這個麻煩。
用 CPU 把 CGImage 畫出來既慢又浪費,而且結果還得回傳給 UIKit 做合成。我們更希望能把套用濾鏡後的圖像直接畫到螢幕上,不必在 Core Graphics 裡繞一圈。所幸由於 OpenGL 與 Core Image 的互操作性,這是可以做到的。
要讓 OpenGL 上下文與 Core Image 上下文共享資源,我們得用另一種方式建立 CIContext:
let eaglContext = EAGLContext(API: .OpenGLES2) let ciContext = CIContext(EAGLContext: context)
這裡我們用 OpenGL ES 2.0 的功能集建立了一個 EAGLContext。這個 GL 上下文可以用作 GLKView 的底層上下文,或拿來繪製到 CAEAGLLayer。示例程式碼就是用這個技巧來高效繪製圖像。
當 CIContext 關聯了 GL 上下文,濾鏡處理後的圖像就能用 OpenGL 繪製,像這樣呼叫:
ciContext.drawImage(filter.outputImage, inRect: outputBounds, fromRect: inputBounds)
跟先前一樣,fromRect 參數是用濾鏡處理後圖像的座標系,指定要畫哪一部分;inRect 則是 GL 上下文座標系中,圖像要落到的矩形。如果你想保持長寬比,可能得做一些計算來求出合適的 inRect。
只要有可能,Core Image 都會在 GPU 上執行濾鏡。不過它確實保留了退回 CPU 的能力。CPU 上的結果精度往往更好,因為 GPU 常以精度換速度。建立上下文時,把 kCIContextUseSoftwareRenderer 設為 true,就能強制 Core Image 在 CPU 上運行。
想知道某個濾鏡究竟跑在 CPU 還是 GPU,可以在 Xcode 的 scheme 設定裡把 CI_PRINT_TREE 環境變數設為 1。這樣每次濾鏡渲染時,Core Image 都會印出診斷資訊。這個設定用來檢查合成的濾鏡樹也很有幫助。
本文的示例程式是一個 iPhone 應用,展示了 iOS 上大量的各式 Core Image 圖像濾鏡。
為了盡可能多地展示各種濾鏡,示例程式利用了 Core Image 的內省能力,自動生成一個介面來控制它支援的濾鏡參數:

這個程式只處理單一圖像輸入、以及零個或多個數值輸入的濾鏡。也有一些有趣的濾鏡不屬於這一類(特別是合成與轉換類的濾鏡),即便如此,它仍很好地概括了 Core Image 的能力範圍。
對每個濾鏡輸入參數,都有一個滑桿可調整範圍,其值設為預設值。滑桿數值改變時,它把新值傳給 delegate——一個持有 CIFilter 參考的 UIImageView 子類。
除了眾多其他內建濾鏡,示例程式還展示了 iOS 7 引入的照片濾鏡。這些濾鏡沒有可調參數,但值得收錄,因為它們示範了如何在 iOS 上模擬照片應用程式的效果:

這篇文章簡要介紹了 Core Image 這個高效能的圖像處理框架。我們盡可能在有限的篇幅裡展示它更多的能力。你現在已經學會如何實例化並串接 Core Image 濾鏡、在濾鏡圖表中送入與取出圖像,以及調整參數取得想要的結果;也學會了如何存取系統提供的照片濾鏡,用來模擬 iOS 上照片應用程式的行為。
現在你知道的東西,已經足以動手寫一個自己的照片編輯應用。再多探索一些,你甚至可以寫自己的濾鏡,把 Mac 或 iPhone 的算力用來實現過去難以想像的效果。快去動手做吧!
Core Image Reference Collection 是 Core Image 的權威文件集。
Core Image Filter Reference 收錄了 Core Image 提供的完整濾鏡清單與用法示例。
如果你想寫更函數式風格的 Core Image 程式碼,可以看看 Florian Kluger 在 objc.io 專題 #16 裡的文章。
專題 #21 下的更多文章。
原文 An Introduction to Core Image