您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

圖像處理框架 Core Image 入門

編輯:iOS 開發基礎

這篇文章會帶初學者認識 Core Image——一個橫跨 OS X 與 iOS 的圖像處理框架。

如果你想跟著文中的程式碼動手做,可以在 GitHub 下載示例工程。它是一個 iOS 應用,列出系統提供的大量圖像濾鏡供你挑選,並附上調整參數、觀察效果的介面。

雖然示例是用 Swift 寫的 iOS 程式,但這些概念轉移到 Objective-C 或 OS X 都很容易。

基本概念

談 Core Image,得先介紹幾個基礎名詞。

一個濾鏡是一個物件,有多個輸入與輸出,並執行某些變換。舉例來說,模糊濾鏡可能需要一張輸入圖像和一個模糊半徑,才能產出適當的模糊結果。

一個濾鏡圖表則是串接起來的濾鏡網路(無環有向圖),讓一個濾鏡的輸出成為另一個濾鏡的輸入。用這種方式可以做出精心設計的效果,稍後我們會示範如何串接濾鏡來完成復古的拍立得風格。

熟悉 Core Image API

Core Image 架構

Core Image 是插件式的架構,也就是說它允許你自訂濾鏡,並與系統提供的濾鏡整合來擴充功能。本文不會用到這項可擴充性,我提到它是因為它影響了整個框架的 API 設計。

Core Image 的設計目標是把運行環境的硬件用到底。每個濾鏡的實際實作(也就是內核)以 GLSL(OpenGL 著色語言)的子集撰寫。當多個濾鏡串成濾鏡圖表時,Core Image 會把各內核接起來,組裝成一個能在 GPU 上高效運行的程式。

只要有可能,Core Image 都會把工作延後。一般來說,直到濾鏡圖表最後一個濾鏡的輸出被請求之前,都不會真正發生配置或運算。

要完成工作,Core Image 需要一個稱為上下文(context)的物件。這是框架真正幹活的地方:配置必要的記憶體、編譯並執行濾鏡內核來處理圖像。建立上下文開銷不小,所以你通常會想重複使用同一個上下文。接著我們就會看到怎麼建立它。

查詢可用的濾鏡

Core Image 的濾鏡是按名字建立的。要取得系統濾鏡清單,我們向 Core Image 的 kCICategoryBuiltIn 類別索取名稱:

let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn) as [String]

iOS 上可用的濾鏡清單非常接近 OS X 可用濾鏡的子集:OS X 上有 169 個內建濾鏡,iOS 上有 127 個。

按名字建立濾鏡

有了清單,就能建立並使用濾鏡了。例如要建立一個高斯模糊濾鏡,只要把名稱傳給 CIFilter 的初始化方法:

let blurFilter = CIFilter(name:"CIGaussianBlur")

設定濾鏡參數

由於 Core Image 的插件結構,多數濾鏡屬性不是直接賦值,而是透過鍵值編碼(KVC)設定。例如要設定模糊半徑,我們用 KVC 設定 inputRadius:

blurFilter.setValue(10.0 forKey:"inputRadius")

這種寫法參數型別是 AnyObject?(等同 Objective-C 的 id),並不具型別安全。所以設定濾鏡參數時要多留意,確認傳進去的值型別正確。

查詢濾鏡屬性

想知道某個濾鏡有哪些輸入與輸出參數,可以分別取得 inputKeys 與 outputKeys 陣列,兩者都回傳 NSString 的陣列。

要取得每個參數的細節,則可以看濾鏡提供的 attributes 字典。每個輸入與輸出參數名都映射到自己的字典裡,描述它是什麼樣的參數,並在適用的情況下給出最大值與最小值。例如以下是 CIColorControls 濾鏡對應 inputBrightness 的字典:

inputBrightness = {     CIAttributeClass = NSNumber;     CIAttributeDefault = 0;     CIAttributeIdentity = 0;     CIAttributeMin = -1;     CIAttributeSliderMax = 1;     CIAttributeSliderMin = -1;     CIAttributeType = CIAttributeTypeScalar; };

對數值型參數,字典裡會有 kCIAttributeSliderMin 與 kCIAttributeSliderMax 鍵,用來界定合理的輸入範圍。多數參數還帶有 kCIAttributeDefault,對應預設值。

圖像濾鏡實戰

圖像濾鏡的運作可以拆成三步:建立並設定濾鏡圖表、把待處理的圖像送進去、取出處理後的圖像。下面逐一說明。

建立一個濾鏡圖表

建立濾鏡圖表包含幾個動作:實例化需要的濾鏡、設定參數、把它們串接起來,讓圖像資料依序流過每一層。

這節我們要做一個能生成 19 世紀錫版照風格圖像的濾鏡圖表。做法是把兩個效果串起來:一個去飽和並染上褐色調的黑白濾鏡,加上一個暗角濾鏡,做出帶陰影的鑲框照片。

用 Quartz Composer 替 Core Image 濾鏡圖表做原型非常方便,可以從 Apple 開發者網站下載。下面我們把黑白濾鏡與暗角濾鏡串在一起:

效果滿意之後,就可以回到程式碼裡重建這個圖表:

let sepiaColor = CIColor(red: 0.76, green: 0.65, blue: 0.54)   let monochromeFilter = CIFilter(name: "CIColorMonochrome",    withInputParameters: ["inputColor" : sepiaColor, "inputIntensity" : 1.0]) monochromeFilter.setValue(inputImage, forKey: "inputImage") let vignetteFilter = CIFilter(name: "CIVignette",    withInputParameters: ["inputRadius" : 1.75, "inputIntensity" : 1.0]) vignetteFilter.setValue(monochromeFilter.outputImage, forKey: "inputImage") let outputImage = vignetteFilter.outputImage

注意黑白濾鏡的輸出圖像成了暗角濾鏡的輸入,這代表暗角效果會套用在已轉為黑白的圖像上。另外也注意,參數可以直接在初始化時指定,不必非得用 KVC 一個個設。

建立輸入圖像

Core Image 濾鏡要求輸入圖像是 CIImage 型別。對習慣 UIImage 的 iOS 開發者來說這可能有點不尋常,但這個區別很值得理解:一個 CIImage 實例實際上比 UIImage 更全面,因為 CIImage 可以是無限大的。當然我們無法真的把無限大的圖像放進記憶體,但在概念上,這意味著你可以從二維平面上的任意區域取資料,並得到有意義的結果。

本文用到的圖像都是有限的,從 UIImage 建立 CIImage 也很容易,一行就夠:

let inputImage = CIImage(image: uiImage)

也有便利的初始化方法,可以直接從圖像資料或檔案 URL 建立 CIImage。

有了 CIImage 之後,把它設為濾鏡的輸入圖像:

filter.setValue(inputImage, forKey:"inputImage")

取出濾鏡處理後的圖片

濾鏡都有一個名為 outputImage 的屬性,型別是 CIImage。那麼要怎麼反過來變成 UIImage?到這裡,我們已經把濾鏡圖表搭好了,現在該請 CIContext 出手,真正執行圖像處理。

建立上下文最簡單的方式是給它的建構子傳一個 nil 字典:

let ciContext = CIContext(options: nil)

要拿到處理後的圖像,我們讓 CIContext 從輸出圖像的某個矩形範圍內建立一張 CGImage,範圍就傳輸入圖像的 bounds:

let cgImage = ciContext.createCGImage(filter.outputImage, fromRect: inputImage.extent())

用輸入圖像的尺寸,是因為輸出圖像的邊界往往和輸入不同。例如模糊之後,由於取樣超出邊緣,圖像四周會多出一些額外像素。

現在就能從這張新 CGImage 建立 UIImage 了:

let uiImage = UIImage(CGImage: cgImage)

直接從 CIImage 建立 UIImage 技術上可行,但有個惱人之處:如果你試圖把這種圖像放進 UIImageView 顯示,它的 contentMode 屬性會被忽略。多繞一道 CGImage 需要多寫一步,但能省掉這個麻煩。

用 OpenGL 提升效能

用 CPU 把 CGImage 畫出來既慢又浪費,而且結果還得回傳給 UIKit 做合成。我們更希望能把套用濾鏡後的圖像直接畫到螢幕上,不必在 Core Graphics 裡繞一圈。所幸由於 OpenGL 與 Core Image 的互操作性,這是可以做到的。

要讓 OpenGL 上下文與 Core Image 上下文共享資源,我們得用另一種方式建立 CIContext:

let eaglContext = EAGLContext(API: .OpenGLES2)   let ciContext = CIContext(EAGLContext: context)

這裡我們用 OpenGL ES 2.0 的功能集建立了一個 EAGLContext。這個 GL 上下文可以用作 GLKView 的底層上下文,或拿來繪製到 CAEAGLLayer。示例程式碼就是用這個技巧來高效繪製圖像。

當 CIContext 關聯了 GL 上下文,濾鏡處理後的圖像就能用 OpenGL 繪製,像這樣呼叫:

ciContext.drawImage(filter.outputImage, inRect: outputBounds, fromRect: inputBounds)

跟先前一樣,fromRect 參數是用濾鏡處理後圖像的座標系,指定要畫哪一部分;inRect 則是 GL 上下文座標系中,圖像要落到的矩形。如果你想保持長寬比,可能得做一些計算來求出合適的 inRect。

強制在 CPU 上執行濾鏡

只要有可能,Core Image 都會在 GPU 上執行濾鏡。不過它確實保留了退回 CPU 的能力。CPU 上的結果精度往往更好,因為 GPU 常以精度換速度。建立上下文時,把 kCIContextUseSoftwareRenderer 設為 true,就能強制 Core Image 在 CPU 上運行。

想知道某個濾鏡究竟跑在 CPU 還是 GPU,可以在 Xcode 的 scheme 設定裡把 CI_PRINT_TREE 環境變數設為 1。這樣每次濾鏡渲染時,Core Image 都會印出診斷資訊。這個設定用來檢查合成的濾鏡樹也很有幫助。

示例應用一覽

本文的示例程式是一個 iPhone 應用,展示了 iOS 上大量的各式 Core Image 圖像濾鏡。

為濾鏡參數生成一個 GUI

為了盡可能多地展示各種濾鏡,示例程式利用了 Core Image 的內省能力,自動生成一個介面來控制它支援的濾鏡參數:

這個程式只處理單一圖像輸入、以及零個或多個數值輸入的濾鏡。也有一些有趣的濾鏡不屬於這一類(特別是合成與轉換類的濾鏡),即便如此,它仍很好地概括了 Core Image 的能力範圍。

對每個濾鏡輸入參數,都有一個滑桿可調整範圍,其值設為預設值。滑桿數值改變時,它把新值傳給 delegate——一個持有 CIFilter 參考的 UIImageView 子類。

使用內建的照片濾鏡

除了眾多其他內建濾鏡,示例程式還展示了 iOS 7 引入的照片濾鏡。這些濾鏡沒有可調參數,但值得收錄,因為它們示範了如何在 iOS 上模擬照片應用程式的效果:

結論

這篇文章簡要介紹了 Core Image 這個高效能的圖像處理框架。我們盡可能在有限的篇幅裡展示它更多的能力。你現在已經學會如何實例化並串接 Core Image 濾鏡、在濾鏡圖表中送入與取出圖像,以及調整參數取得想要的結果;也學會了如何存取系統提供的照片濾鏡,用來模擬 iOS 上照片應用程式的行為。

現在你知道的東西,已經足以動手寫一個自己的照片編輯應用。再多探索一些,你甚至可以寫自己的濾鏡,把 Mac 或 iPhone 的算力用來實現過去難以想像的效果。快去動手做吧!

參考

Core Image Reference Collection 是 Core Image 的權威文件集。

Core Image Filter Reference 收錄了 Core Image 提供的完整濾鏡清單與用法示例。

如果你想寫更函數式風格的 Core Image 程式碼,可以看看 Florian Kluger 在 objc.io 專題 #16 裡的文章。

專題 #21 下的更多文章。

原文 An Introduction to Core Image

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved