Core Image 問世之前,要在錄影或拍照時做即時影像處理不是做不到,而是非常麻煩。本文從「不用 Core Image 的土法煉鋼」開始,再逐步改寫成 Core Image 版本,最後加上錄影與人臉局部濾鏡。
由於會用到相機,本篇所有程式碼都必須在真機上測試,模擬器無法執行。
要做即時濾鏡,第一個前提是你能完全掌控預覽與畫面輸出,也就是不能用系統的 UIImagePickerController,一切都得自己畫。
建立一個 Single View Application,關掉 Auto Layout 與 Size Classes,放一個 Button 並連到 openCamera,然後為 VC 加上兩個屬性:
class ViewController: UIViewController, AVCaptureVideoDataOutputSampleBufferDelegate {
var captureSession: AVCaptureSession!
var previewLayer: CALayer!
// ...
}
previewLayer 是預覽視窗,AVCaptureSession 是整個管線的核心。由於要實作每一幀的處理回呼,所以類別需遵循 AVCaptureVideoDataOutputSampleBufferDelegate。使用 AV 框架記得先引入:
import AVFoundation
override func viewDidLoad() {
super.viewDidLoad()
previewLayer = CALayer()
previewLayer.bounds = CGRectMake(0, 0,
self.view.frame.size.height, self.view.frame.size.width);
previewLayer.position = CGPointMake(self.view.frame.size.width / 2.0,
self.view.frame.size.height / 2.0);
previewLayer.setAffineTransform(CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0)))
self.view.layer.insertSublayer(previewLayer, atIndex: 0)
setupCaptureSession()
}
注意 bounds 的寬高被對調,而且做了 90 度旋轉——因為 AVFoundation 輸出的影像預設是躺倒的,這裡先補回來。
func setupCaptureSession() {
captureSession = AVCaptureSession()
captureSession.beginConfiguration()
captureSession.sessionPreset = AVCaptureSessionPresetLow
let captureDevice = AVCaptureDevice.defaultDeviceWithMediaType(AVMediaTypeVideo)
let deviceInput = AVCaptureDeviceInput.deviceInputWithDevice(captureDevice, error: nil)
as AVCaptureDeviceInput
if captureSession.canAddInput(deviceInput) {
captureSession.addInput(deviceInput)
}
let dataOutput = AVCaptureVideoDataOutput()
dataOutput.videoSettings = [kCVPixelBufferPixelFormatTypeKey :
kCVPixelFormatType_420YpCbCr8BiPlanarFullRange]
dataOutput.alwaysDiscardsLateVideoFrames = true
if captureSession.canAddOutput(dataOutput) {
captureSession.addOutput(dataOutput)
}
let queue = dispatch_queue_create("VideoQueue", DISPATCH_QUEUE_SERIAL)
dataOutput.setSampleBufferDelegate(self, queue: queue)
captureSession.commitConfiguration()
}
幾個重點:
先看看不用 Core Image 會寫成什麼樣子:
optional func captureOutput(captureOutput: AVCaptureOutput!,
didOutputSampleBuffer sampleBuffer: CMSampleBuffer!,
fromConnection connection: AVCaptureConnection!) {
let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
CVPixelBufferLockBaseAddress(imageBuffer, 0)
let width = CVPixelBufferGetWidthOfPlane(imageBuffer, 0)
let height = CVPixelBufferGetHeightOfPlane(imageBuffer, 0)
let bytesPerRow = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0)
let lumaBuffer = CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0)
let grayColorSpace = CGColorSpaceCreateDeviceGray()
let context = CGBitmapContextCreate(lumaBuffer, width, height, 8,
bytesPerRow, grayColorSpace, CGBitmapInfo.allZeros)
let cgImage = CGBitmapContextCreateImage(context)
dispatch_sync(dispatch_get_main_queue(), {
self.previewLayer.contents = cgImage
})
}
這段程式碼的問題很明顯:難讀、難懂、難維護。而且這只是一個灰度效果——如果想再加淡入、模糊、復古色調,程式碼會立刻膨脹到無法收拾。擴充性幾乎為零。

改造從兩個核心物件開始:CIFilter 與 CIContext。
var filter: CIFilter!
lazy var context: CIContext = {
let eaglContext = EAGLContext(API: EAGLRenderingAPI.OpenGLES2)
let options = [kCIContextWorkingColorSpace : NSNull()]
return CIContext(EAGLContext: eaglContext, options: options)
}()
這裡刻意用 contextWithEAGLContext: 而非 contextWithOptions: 來建立 CIContext。差別在於:前者渲染的全程都在 GPU 上進行,影像永遠不會被複製回 CPU 記憶體,效能明顯更好。若用後者建立 GPU context,渲染雖然在 GPU 執行,但輸出的 image 必須先複製回 CPU 才能轉成可顯示的型別(例如 UIImage),多了一次昂貴的搬運。
把 working color space 設為 nil 是為了關閉色彩管理。色彩管理會拖慢效能,而只有在對顏色保真度要求極高的場合才需要它。即時影像處理的第一優先是流暢度,不是色準——沒有使用者會喜歡影格延遲很高的相機 App。
把 session 設定中的
kCVPixelFormatType_420YpCbCr8BiPlanarFullRange
換成
kCVPixelFormatType_32BGRA
YUV 是平面格式,處理起來眉角很多;BGRA 每個像素四個位元組 Straightforward,大多數情況都適用。
func captureOutput(captureOutput: AVCaptureOutput!,
didOutputSampleBuffer sampleBuffer: CMSampleBuffer!,
fromConnection connection: AVCaptureConnection!) {
let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
var outputImage = CIImage(CVPixelBuffer: imageBuffer)
if filter != nil {
filter.setValue(outputImage, forKey: kCIInputImageKey)
outputImage = filter.outputImage
}
let cgImage = context.createCGImage(outputImage, fromRect: outputImage.extent())
dispatch_sync(dispatch_get_main_queue(), {
self.previewLayer.contents = cgImage
})
}
可讀性與可維護性都完全不同了。邏輯只有四步:拿到緩衝區 → 轉成 CIImage → 套用濾鏡(有才套,沒有就顯示原圖)→ 用 context 生成 CGImage 並顯示。
在 Storyboard 上放一個 UIView 當容器,裡面擺四顆 Button,tag 從 0 到 3,事件全部連到 applyFilter:

lazy var filterNames: [String] = {
return ["CIColorInvert", "CIPhotoEffectMono",
"CIPhotoEffectInstant", "CIPhotoEffectTransfer"]
}()
@IBAction func openCamera(sender: UIButton) {
sender.enabled = false
captureSession.startRunning()
self.filterButtonsContainer.hidden = false
}
@IBAction func applyFilter(sender: UIButton) {
filter = CIFilter(name: filterNames[sender.tag])
}
這樣就完成了即時濾鏡。在真機上編譯執行即可看到效果。

加一顆「拍照」按鈕連到 takePicture。動手之前要先解決方向問題。
原本我們是靠旋轉 previewLayer 來讓畫面看起來正確,但這樣存到相簿的圖會是躺的。解法是不要在 layer 上做旋轉,改在 CIImage 上處理:
previewLayer = CALayer() previewLayer.anchorPoint = CGPointZero previewLayer.bounds = view.bounds
設定 anchorPoint 為原點,是把 bounds 的基準從中心改為左上角(與 UIView 一致)。此時執行會看到方向錯誤的畫面,這是預期的。
接著在回呼中依裝置方向旋轉 CIImage:
var outputImage = CIImage(CVPixelBuffer: imageBuffer)
let orientation = UIDevice.currentDevice().orientation
var t: CGAffineTransform!
if orientation == UIDeviceOrientation.Portrait {
t = CGAffineTransformMakeRotation(CGFloat(-M_PI / 2.0))
} else if orientation == UIDeviceOrientation.PortraitUpsideDown {
t = CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0))
} else if orientation == UIDeviceOrientation.LandscapeRight {
t = CGAffineTransformMakeRotation(CGFloat(M_PI))
} else {
t = CGAffineTransformMakeRotation(0)
}
outputImage = outputImage.imageByApplyingTransform(t)
if filter != nil {
filter.setValue(outputImage, forKey: kCIInputImageKey)
outputImage = filter.outputImage
}
順序很重要:先校正方向,再套濾鏡。四個方向一次都處理掉了。
另外,我們需要保留這個 CIImage,因為裡面帶有做為後設資料用的屬性(方向、格式等),不能丟:
var ciImage: CIImage! // 回呼中 let cgImage = context.createCGImage(outputImage, fromRect: outputImage.extent()) ciImage = outputImage
最後是拍照動作:
@IBAction func takePicture(sender: UIButton) {
sender.enabled = false
captureSession.stopRunning()
var cgImage = context.createCGImage(ciImage, fromRect: ciImage.extent())
ALAssetsLibrary().writeImageToSavedPhotosAlbum(cgImage, metadata: ciImage.properties()) {
(url: NSURL!, error: NSError!) -> Void in
if error == nil {
println("保存成功")
} else {
let alert = UIAlertView(title: "錯誤", message: error.localizedDescription,
delegate: nil, cancelButtonTitle: "確定")
alert.show()
}
self.captureSession.startRunning()
sender.enabled = true
}
}
記得 import AssetsLibrary。這裡用到了尾隨閉包(trailing closure)語法。
由於預覽是用 CALayer 做的,它沒有 autoresizingMask,橫屏時會跑掉。可在 iOS 8 上覆寫這方法補救:
override func viewWillTransitionToSize(size: CGSize,
withTransitionCoordinator coordinator: UIViewControllerTransitionCoordinator) {
previewLayer.bounds.size = size
}
錄影的核心是 AVAssetWriter,它的工作方式與 AVCaptureSession 很像,同樣是為了控制輸入與輸出的流程。
@IBOutlet var recordsButton: UIButton! var assetWriter: AVAssetWriter? var assetWriterPixelBufferInput: AVAssetWriterInputPixelBufferAdaptor? var isWriting = false var currentSampleTime: CMTime? var currentVideoDimensions: CMVideoDimensions?
各屬性職責:
func movieURL() -> NSURL {
var tempDir = NSTemporaryDirectory()
let urlString = tempDir.stringByAppendingPathComponent("tmpMov.mov")
return NSURL(fileURLWithPath: urlString)
}
func checkForAndDeleteFile() {
let fm = NSFileManager.defaultManager()
let exist = fm.fileExistsAtPath(movieURL().path!)
var error: NSError?
if exist {
fm.removeItemAtURL(movieURL(), error: &error)
println("刪除之前的臨時文件")
if let errorDescription = error?.localizedDescription {
println(errorDescription)
}
}
}
刪除舊檔是必須的,因為 AVAssetWriter 無法寫入已存在的檔案 URL,會直接報錯。
這裡有個實測經驗:判斷檔案存在時若用 absoluteString,AVAssetWriter 不會報錯,但後續緩衝區會出問題,而且極難排查。改用 path 就正常了。
func createWriter() {
self.checkForAndDeleteFile()
var error: NSError?
assetWriter = AVAssetWriter(URL: movieURL(),
fileType: AVFileTypeQuickTimeMovie, error: &error)
if let errorDescription = error?.localizedDescription {
println("創建 writer 失敗")
println(errorDescription)
return
}
let outputSettings = [
AVVideoCodecKey : AVVideoCodecH264,
AVVideoWidthKey : Int(currentVideoDimensions!.width),
AVVideoHeightKey : Int(currentVideoDimensions!.height)
]
let assetWriterVideoInput = AVAssetWriterInput(mediaType: AVMediaTypeVideo,
outputSettings: outputSettings)
assetWriterVideoInput.expectsMediaDataInRealTime = true
assetWriterVideoInput.transform = CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0))
let sourcePixelBufferAttributesDictionary = [
kCVPixelBufferPixelFormatTypeKey : kCVPixelFormatType_32BGRA,
kCVPixelBufferWidthKey : Int(currentVideoDimensions!.width),
kCVPixelBufferHeightKey : Int(currentVideoDimensions!.height),
kCVPixelFormatOpenGLESCompatibility : kCFBooleanTrue
]
assetWriterPixelBufferInput = AVAssetWriterInputPixelBufferAdaptor(
assetWriterInput: assetWriterVideoInput,
sourcePixelBufferAttributes: sourcePixelBufferAttributesDictionary)
if assetWriter!.canAddInput(assetWriterVideoInput) {
assetWriter!.addInput(assetWriterVideoInput)
} else {
println("不能添加視訊 writer 的 input")
}
}
要點:
因為錄影時方向已在 writer input 處理過,所以要把「套濾鏡」與「方向調整」的順序對調,並在中間插入寫檔邏輯:
if self.filter != nil {
self.filter.setValue(outputImage, forKey: kCIInputImageKey)
outputImage = self.filter.outputImage
}
// 處理錄影
let formatDescription = CMSampleBufferGetFormatDescription(sampleBuffer)
self.currentVideoDimensions = CMVideoFormatDescriptionGetDimensions(formatDescription)
self.currentSampleTime = CMSampleBufferGetOutputPresentationTimeStamp(sampleBuffer)
if self.isWriting {
if self.assetWriterPixelBufferInput?.assetWriterInput.readyForMoreMediaData == true {
var newPixelBuffer: Unmanaged<CVPixelBuffer>? = nil
CVPixelBufferPoolCreatePixelBuffer(nil,
self.assetWriterPixelBufferInput?.pixelBufferPool, &newPixelBuffer)
self.context.render(outputImage,
toCVPixelBuffer: newPixelBuffer?.takeUnretainedValue(),
bounds: outputImage.extent(),
colorSpace: nil)
let success = self.assetWriterPixelBufferInput?.appendPixelBuffer(
newPixelBuffer?.takeUnretainedValue(),
withPresentationTime: self.currentSampleTime!)
newPixelBuffer?.autorelease()
if success == false { println("Pixel Buffer 沒有 append 成功") }
}
}
// 接著才是方向校正與顯示
let orientation = UIDevice.currentDevice().orientation
// ...
流程說明:
CMSampleBufferGetOutputPresentationTimeStamp 取真實時間,也可以手動累加(例如每幀 +1/30 秒做出 30fps 影片),但這樣無法反映真實時序,某些耗時的濾鏡會造成影音不同步。readyForMoreMediaData,確認 writer 準備好接收。CVPixelBufferPoolCreatePixelBuffer 從池建立緩衝區。好處是它會自動套用 assetWriterPixelBufferInput 的設定,不必重新配置。注意:若 assetWriter 尚未 startWriting,pixelBufferPool 會是 nil,緩衝區建立不出來。由於 Swift 中這個函式需要 Unmanaged 物件,要自行處理轉換。另外因為此方法物件眾多、佔用記憶體,建議整段包進 autoreleasepool { }。
@IBAction func record() {
if isWriting {
self.isWriting = false
assetWriterPixelBufferInput = nil
recordsButton.enabled = false
assetWriter?.finishWritingWithCompletionHandler({[unowned self] () -> Void in
println("錄制完成")
self.recordsButton.setTitle("處理中...", forState: UIControlState.Normal)
self.saveMovieToCameraRoll()
})
} else {
createWriter()
recordsButton.setTitle("停止錄制...", forState: UIControlState.Normal)
assetWriter?.startWriting()
assetWriter?.startSessionAtSourceTime(currentSampleTime!)
isWriting = true
}
}
startWriting 與 startSessionAtSourceTime 兩者都必須呼叫:前者讓 assetWriter 真正開始運作(否則回呼裡取 pixelBufferPool 會拿到 nil),後者讓回呼能取到最新的時間戳。少了這兩個,appendPixelBuffer 會出問題,就算最後存檔成功也只會得到一個空影片。
func saveMovieToCameraRoll() {
ALAssetsLibrary().writeVideoAtPathToSavedPhotosAlbum(movieURL(),
completionBlock: { (url: NSURL!, error: NSError?) -> Void in
if let errorDescription = error?.localizedDescription {
println("寫入視訊錯誤:\(errorDescription)")
} else {
self.checkForAndDeleteFile()
println("寫入視訊成功")
}
self.recordsButton.enabled = true
self.recordsButton.setTitle("開始錄制", forState: UIControlState.Normal)
})
}
存檔成功後就可以刪掉臨時檔了。
不同於 Core Image 需要 CIDetector,AVFoundation 本身就內建人臉偵測,用 AVCaptureMetadataOutput 就能拿到。
在 commitConfiguration() 之前加入:
let metadataOutput = AVCaptureMetadataOutput()
metadataOutput.setMetadataObjectsDelegate(self, queue: dispatch_get_main_queue())
if captureSession.canAddOutput(metadataOutput) {
captureSession.addOutput(metadataOutput)
metadataOutput.metadataObjectTypes = [AVMetadataObjectTypeFace]
}
metadataObjectTypes 必須在加入 session 之後設定,這是容易忽略的順序問題。回呼放在主佇列,因為要直接操作 layer。
var faceObject: AVMetadataFaceObject?
func captureOutput(captureOutput: AVCaptureOutput!,
didOutputMetadataObjects metadataObjects: [AnyObject]!,
fromConnection connection: AVCaptureConnection!) {
if metadataObjects.count > 0 {
faceObject = metadataObjects.first as? AVMetadataFaceObject
}
}
這裡只取第一張臉。若要先做視覺標記,可以建立一個 CALayer 畫紅框;但要留意,faceObject.bounds 回傳的是 0~1 之間的相對比例,不是絕對座標,所以必須乘上 view 的寬高,而且 x / y 軸要對調以修正方向。直接用會完全錯位。

在 session 回呼中,全域濾鏡之後、錄影邏輯之前插入:
if self.faceObject != nil {
outputImage = self.makeFaceWithCIImage(outputImage, faceObject: self.faceObject!)
}
實作方法:
func makeFaceWithCIImage(inputImage: CIImage, faceObject: AVMetadataFaceObject) -> CIImage {
// 1. 先產生整張圖的馬賽克版
var filter = CIFilter(name: "CIPixellate")
filter.setValue(inputImage, forKey: kCIInputImageKey)
filter.setValue(max(inputImage.extent().size.width, inputImage.extent().size.height) / 60,
forKey: kCIInputScaleKey)
let fullPixellatedImage = filter.outputImage
// 2. 依人臉位置產生遮罩
let faceBounds = faceObject.bounds
let centerX = inputImage.extent().size.width *
(faceBounds.origin.x + faceBounds.size.width / 2)
let centerY = inputImage.extent().size.height *
(1 - faceBounds.origin.y - faceBounds.size.height / 2)
let radius = faceBounds.size.width * inputImage.extent().size.width / 2
let radialGradient = CIFilter(name: "CIRadialGradient",
withInputParameters: [
"inputRadius0" : radius,
"inputRadius1" : radius + 1,
"inputColor0" : CIColor(red: 0, green: 1, blue: 0, alpha: 1),
"inputColor1" : CIColor(red: 0, green: 0, blue: 0, alpha: 0),
kCIInputCenterKey : CIVector(x: centerX, y: centerY)
])
let maskImage = radialGradient.outputImage.imageByCroppingToRect(inputImage.extent())
// 3. 用遮罩把兩張圖合成
let blendFilter = CIFilter(name: "CIBlendWithMask")
blendFilter.setValue(fullPixellatedImage, forKey: kCIInputImageKey)
blendFilter.setValue(inputImage, forKey: kCIInputBackgroundImageKey)
blendFilter.setValue(maskImage, forKey: kCIInputMaskImageKey)
return blendFilter.outputImage
}
三個步驟:產生全圖馬賽克 → 用 CIRadialGradient 在人臉位置畫一個由不透明漸層到透明的圓形遮罩 → 用 CIBlendWithMask 讓遮罩內顯示馬賽克版、遮罩外顯示原圖。
其中 kCIInputScaleKey 控制馬賽克顆粒大小,預設 0.5;數值越小顆粒越細。註解掉那行對照看效果,會很明顯。

這一系列(自動改善、內建濾鏡、複合濾鏡、人臉偵測、視訊即時濾鏡)背後其實只有一個骨架:
把這五步摸熟,任何即時影像處理需求都只是在中間換不同的 filter 而已。
本文寫於 Swift 1.x 時代,語法(println、UIImagePickerController 風格的 optional 宣告、ALAssetsLibrary、EAGLContext 搭配 OpenGLES2)在今日都已演進。概念完全適用,實作時請對照現行 API 調整:
CIContext(options:) 並搭配 Metal(MTLDevice),比 EAGL 效能更好。AVMetadataObject.transformedRect(for:) 由系統代勞。範例專案在 GitHub 上有持續更新版本,可對照查閱。