自第一台 iPhone 問世起,它就配備了相機。在最早的 SDK 版本裡,App 內整合相機的唯一途徑是 UIImagePickerController;直到 iOS 4 推出功能更靈活的 AVFoundation 框架,局面才徹底改變。
本文將帶你看清如何使用 AVFoundation 捕捉圖像、如何操控相機,以及它在 iOS 8 中帶來的新特性。
概述
AVFoundation 與 UIImagePickerController 之別
UIImagePickerController 提供了一種極為簡便的拍照方式,支援所有基本功能,例如切換前後鏡頭、開關閃光燈、點擊螢幕區域對焦與曝光,以及在 iOS 8 中像系統相機那樣調整曝光。
然而,一旦有「直接存取相機」的需求,就可以改用 AVFoundation 框架。它能賦予開發者完全的操作權,諸如以程式方式變更硬體參數,或即時操控預覽畫面。
AVFoundation 相關類別
AVFoundation 框架以以下幾個類別為基礎來實現圖像捕捉,透過它們可以取得相機裝置的原始資料並控制各個組件:
AVCaptureDevice:相機硬體的介面,用於控制鏡頭位置、曝光、閃光燈等硬體特性。
AVCaptureDeviceInput:提供來自裝置的資料。
AVCaptureOutput:一個抽象類別,描述 capture session 的輸出結果。以下三個具體子類別與靜態圖片捕捉相關:
AVCaptureStillImageOutput:用於捕捉靜態圖片
AVCaptureMetadataOutput:啟用人臉與 QR Code 偵測
AVCaptureVideoOutput:為即時預覽提供原始畫面幀
AVCaptureSession:管理輸入與輸出之間的資料流,並在發生問題時產生執行期錯誤。
AVCaptureVideoPreviewLayer:CALayer 的子類別,可自動顯示相機產生的即時畫面,並提供數個工具方法,能把 layer 上的座標轉換到裝置座標系。它看起來像輸出,實際上並不是;此外,它持有 session(而 outputs 由 session 持有)。
設置
來看看如何捕捉圖像。首先我們需要一個 AVCaptureSession 物件:
let session = AVCaptureSession()
接著需要一個相機裝置輸入。在大多數 iPhone 與 iPad 上,我們可以選擇後置鏡頭或前置鏡頭(也就是自拍鏡頭)其中之一。因此必須先遍歷所有能提供視訊資料的裝置(麥克風也屬於 AVCaptureDevice,這裡略過),並檢查 position 屬性:
let availableCameraDevices = AVCaptureDevice.devicesWithMediaType(AVMediaTypeVideo) for device in availableCameraDevices as [AVCaptureDevice] { if device.position == .Back { backCameraDevice = device } else if device.position == .Front { frontCameraDevice = device } }一旦找到合適的相機裝置,就能取得對應的 AVCaptureDeviceInput 物件,並把它設為 session 的輸入:
var error:NSError? let possibleCameraInput: AnyObject? = AVCaptureDeviceInput.deviceInputWithDevice(backCameraDevice, error: &error) if let backCameraInput = possibleCameraInput as? AVCaptureDeviceInput { if self.session.canAddInput(backCameraInput) { self.session.addInput(backCameraInput) } }請注意,App 首次運行時,第一次呼叫 AVCaptureDeviceInput.deviceInputWithDevice() 會觸發系統提示,向使用者請求相機存取權。這在 iOS 7 時僅限部分國家,到了 iOS 8 才擴展到所有地區。除非獲得使用者同意,否則相機輸入會一直是全黑的畫面資料流。
處理相機權限時,更得體的做法是先確認目前的授權狀態;若授權尚未確定(也就是使用者還沒看過授權對話框),我們應明確地發起請求。
let authorizationStatus = AVCaptureDevice.authorizationStatusForMediaType(AVMediaTypeVideo) switch authorizationStatus { case .NotDetermined: // 許可對話沒有出現,發起授權許可 AVCaptureDevice.requestAccessForMediaType(AVMediaTypeVideo, completionHandler: { (granted:Bool) -> Void in if granted { // 繼續 } else { // 用戶拒絕,無法繼續 } }) case .Authorized: // 繼續 case .Denied, .Restricted: // 用戶明確地拒絕授權,或者相機設備無法訪問 }若能繼續,我們有兩種方式顯示來自相機的畫面流。最簡單的一種,是建立一個帶有 AVCaptureVideoPreviewLayer 的 view,並以 capture session 作為初始化參數。
previewLayer = AVCaptureVideoPreviewLayer.layerWithSession(session) as AVCaptureVideoPreviewLayer previewLayer.frame = view.bounds view.layer.addSublayer(previewLayer)
AVCaptureVideoPreviewLayer 會自動顯示來自相機的輸出。當我們需要把即時預覽上的點擊轉換到裝置座標系時(例如點擊某區域對焦),這種做法會很方便,後面我們會看到細節。
第二種方式,是從輸出資料流中捕捉單一畫面幀,再用 OpenGL 手動把它們繪製到 view 上。這稍微複雜些,但如果我們想對即時預覽進行加工或使用濾鏡,這一步就必不可少。
要取得資料流,我們需要建立一個 AVCaptureVideoDataOutput。如此一來,相機運行時,我們就能透過代理方法 captureOutput(_:didOutputSampleBuffer:fromConnection:) 取得所有畫面幀(除非處理太慢而掉幀),再將它們繪製到一個 GLKView 中。無需對 OpenGL 框架有太深刻的理解,只要這樣就能建立一個 GLKView:
glContext = EAGLContext(API: .OpenGLES2) glView = GLKView(frame: viewFrame, context: glContext) ciContext = CIContext(EAGLContext: glContext) 現在輪到 AVCaptureVideoOutput: videoOutput = AVCaptureVideoDataOutput() videoOutput.setSampleBufferDelegate(self, queue: dispatch_queue_create("sample buffer delegate", DISPATCH_QUEUE_SERIAL)) if session.canAddOutput(self.videoOutput) { session.addOutput(self.videoOutput) }以及代理方法:
func captureOutput(captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, fromConnection connection: AVCaptureConnection!) { let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) let image = CIImage(CVPixelBuffer: pixelBuffer) if glContext != EAGLContext.currentContext() { EAGLContext.setCurrentContext(glContext) } glView.bindDrawable() ciContext.drawImage(image, inRect:image.extent(), fromRect: image.extent()) glView.display() }提醒一點:這些來自相機的樣本旋轉了 90 度,這是相機感光元件的朝向所致。AVCaptureVideoPreviewLayer 會自動處理這種情況,但在這個例子裡,我們需要手動旋轉 GLKView。
馬上就完成了。最後一個組件——AVCaptureStillImageOutput——其實最為關鍵,因為它讓我們得以捕捉靜態圖片。只需建立一個實例並加入 session:
stillCameraOutput = AVCaptureStillImageOutput() if self.session.canAddOutput(self.stillCameraOutput) { self.session.addOutput(self.stillCameraOutput) }配置
現在所有必需的物件都齊備了,接下來該為我們的需求尋找最合適的配置。這裡同樣有兩種做法。最簡單也最推薦的方式,是使用 session preset:
session.sessionPreset = AVCaptureSessionPresetPhoto
AVCaptureSessionPresetPhoto 會為拍照挑選最合適的配置,例如允許我們使用最高的感光度(ISO)與曝光時間、基於相位偵測的自動對焦,以及輸出全解析度、JPEG 壓縮的靜態圖片。
然而,若你需要更多操控,可以改用 AVCaptureDeviceFormat 這個類別。它描述了裝置所使用的一些參數,例如靜態圖片解析度、視訊預覽解析度、自動對焦類型、感光度與曝光時間限制等。每個裝置支援的格式都列在 AVCaptureDevice.formats 屬性中,並可賦值給 AVCaptureDevice 的 activeFormat(請注意,你無法修改格式本身)。
操作相機
iPhone 與 iPad 內建的相機,操作方式或多或少與其他相機相同,差別在於:對焦、曝光時間(相當於單眼相機的快門速度)、感光度等參數可以調整,唯獨鏡頭光圈固定、無法改變。到了 iOS 8,我們已經可以對這些可變參數進行手動調節了。
細節稍後再談,不過首先,該啟動相機了:
sessionQueue = dispatch_queue_create("com.example.camera.capture_session", DISPATCH_QUEUE_SERIAL) dispatch_async(sessionQueue) { () -> Void in self.session.startRunning() }在 session 與相機裝置上完成的所有操作與配置,都是以 block 呼叫的。因此,建議把這些操作分配到背景序列佇列中執行。此外,相機裝置在變更某些參數前必須先鎖定,直到變更結束才能解鎖,例如:
var error:NSError? if currentDevice.lockForConfiguration(&error) { // 鎖定成功,繼續配置 // currentDevice.unlockForConfiguration() } else { // 出錯,相機可能已經被鎖 }對焦
在 iOS 相機上,對焦是透過移動鏡片、改變它與感光元件之間的距離來實現的。
自動對焦透過相位偵測與對比偵測實現。然而,對比偵測僅適用於低解析度、高 FPS 的視訊捕捉(慢動作)。
編者注:關於相位對焦與對比對焦,可參考這篇文章。
AVCaptureFocusMode 是一個列舉,描述了可用的對焦模式:
Locked:鏡片處於固定位置
AutoFocus:相機先自動對焦一次,隨後進入 Locked 模式
ContinuousAutoFocus:當場景改變時,相機會自動重新對焦到畫面中心
設定想要的對焦模式,必須在鎖定之後進行:
let focusMode:AVCaptureFocusMode = ... if currentCameraDevice.isFocusModeSupported(focusMode) { ... // 鎖定以進行配置 currentCameraDevice.focusMode = focusMode ... // 解鎖 } }一般情況下,AutoFocus 模式會試圖讓螢幕中心成為最清晰的區域,但也可以透過改變「感興趣的點(point of interest)」來指定另一個區域。這個點是一個 CGPoint,數值從左上角 {0,0} 到右下角 {1,1},{0.5,0.5} 即畫面中心。通常可用預覽畫面上的點擊手勢來改變它;想把手勢在 view 上的座標轉換到裝置的規範座標,可以運用 AVCaptureVideoPreviewLayer.captureDevicePointOfInterestForPoint():
var pointInPreview = focusTapGR.locationInView(focusTapGR.view) var pointInCamera = previewLayer.captureDevicePointOfInterestForPoint(pointInPreview) ...// 鎖定,配置 // 設置感興趣的點 currentCameraDevice.focusPointOfInterest = pointInCamera // 在設置的點上切換成自動對焦 currentCameraDevice.focusMode = .AutoFocus ...// 解鎖
在 iOS 8 中,還多了一個新選項,可以移動鏡片的位置:從較近物體的 0.0,到較遠物體的 1.0(並非無窮遠)。
... // 鎖定,配置 var lensPosition:Float = ... // 0.0 到 1.0的float currentCameraDevice.setFocusModeLockedWithLensPosition(lensPosition) { (timestamp:CMTime) -> Void in // timestamp 對應於應用了鏡片位置的第一張圖像緩存區 } ... // 解鎖這意味著對焦可以用 UISlider 來設定,有點類似於轉動單眼相機的對焦環。當用這種方式手動對焦時,通常會有一個可見的輔助標記指向清晰區域。AVFoundation 裡沒有內建這種機制,但可以透過顯示「對焦峰值(focus peaking)」(一種把已對焦區域高亮顯示的方式)來補救。這裡不談細節,不過對焦峰值很容易實現:使用臨界邊緣(threshold edge)濾鏡(自訂 CIFilter 或 GPUImageThresholdEdgeDetectionFilter),再呼叫 AVCaptureVideoDataOutputSampleBufferDelegate 下的 captureOutput(_:didOutputSampleBuffer:fromConnection:) 方法,將它覆蓋到即時預覽上即可。
曝光
在 iOS 裝置上,鏡頭光圈是固定的(iPhone 5s 及之後的機型為 f/2.2,更早的則為 f/2.4),因此只能透過改變曝光時間與感光元件的靈敏度來調整畫面亮度,從而達到理想效果。與對焦一樣,我們可以選擇連續自動曝光、在「感興趣的點」做一次自動曝光,或手動曝光。除了指定「感興趣的點」,我們還能透過設定曝光補償(compensation)來修改自動曝光,也就是曝光檔位的目標偏移。目標偏移以曝光檔數為單位,範圍介於 minExposureTargetBias 與 maxExposureTargetBias 之間,0 為預設值(即不補償)。
var exposureBias:Float = ... // 在 minExposureTargetBias 和 maxExposureTargetBias 之間的值 ... // 鎖定,配置 currentDevice.setExposureTargetBias(exposureBias) { (time:CMTime) -> Void in } ... // 解鎖使用手動曝光,我們可以設定 ISO 與曝光時間,兩者的值都必須落在裝置當前格式所指定的範圍內。
var activeFormat = currentDevice.activeFormat var duration:CTime = ... //在activeFormat.minExposureDuration 和 activeFormat.maxExposureDuration 之間的值,或用 AVCaptureExposureDurationCurrent 表示不變 var iso:Float = ... // 在 activeFormat.minISO 和 activeFormat.maxISO 之間的值,或用 AVCaptureISOCurrent 表示不變 ... // 鎖定,配置 currentDevice.setExposureModeCustomWithDuration(duration, ISO: iso) { (time:CMTime) -> Void in } ... // 解鎖那麼,如何判斷照片曝光是否得當?我們可以透過 KVO 觀察 AVCaptureDevice 的 exposureTargetOffset 屬性,確認它是否落在 0 附近。
白平衡
數位相機為了適應不同類型的光照條件,需要進行補償。這意味著在冷光線下,感光元件應增強紅色部分;而在暖光線下則增強藍色部分。iPhone 相機中,裝置會自動決定合適的補光,但有時會被場景的顏色干擾而失效。所幸,iOS 8 已能手動控制白平衡。
自動模式的工作方式與對焦、曝光相同,但沒有「感興趣的點」,整張圖像都會被納入考量。在手動模式下,我們可以透過開爾文溫度來調節色溫與色調。典型的色溫範圍,從 2000–3000K(類似蠟燭或燈泡的暖光源)到 8000K(純淨的藍色天空);色調範圍則從最小的 -150(偏綠)到 150(偏洋紅)。
溫度與色調可用於計算來自相機感光元件的恰當 RGB 值,因此只有在它們完成基於裝置的校正後,才能被設定。
以下是完整流程:
var incandescentLightCompensation = 3_000 var tint = 0 // 不調節 let temperatureAndTintValues = AVCaptureWhiteBalanceTemperatureAndTintValues(temperature: incandescentLightCompensation, tint: tint) var deviceGains = currentCameraDevice.deviceWhiteBalanceGainsForTemperatureAndTintValues(temperatureAndTintValues) ... // 鎖定,配置 currentCameraDevice.setWhiteBalanceModeLockedWithDeviceWhiteBalanceGains(deviceGains) { (timestamp:CMTime) -> Void in } } ... // 解鎖即時人臉偵測
AVCaptureMetadataOutput 可用於偵測人臉與 QR Code 這兩類物件。很明顯,沒什麼人用 QR Code(編者注:因為歐美現在 QR Code 並不流行,這裡是一處調侃。文中連結的這個 tumblr 部落格主題是「人們掃 QR Code 時的模樣」,但自 2012 年開博至今沒有任何一張圖片,暗諷 QR Code 根本沒人在用,這與以中日韓為代表的亞洲使用者習慣完全相悖),因此我們就來看看如何實現人臉偵測。我們只需透過 AVCaptureMetadataOutput 的代理方法捕捉元物件:
var metadataOutput = AVCaptureMetadataOutput() metadataOutput.setMetadataObjectsDelegate(self, queue: self.sessionQueue) if session.canAddOutput(metadataOutput) { session.addOutput(metadataOutput) } metadataOutput.metadataObjectTypes = [AVMetadataObjectTypeFace]func captureOutput(captureOutput: AVCaptureOutput!, didOutputMetadataObjects metadataObjects: [AnyObject]!, fromConnection connection: AVCaptureConnection!) { for metadataObject in metadataObjects as [AVMetadataObject] { if metadataObject.type == AVMetadataObjectTypeFace { var transformedMetadataObject = previewLayer.transformedMetadataObjectForMetadataObject(metadataObject) } }更多關於人臉偵測與辨識的內容,請參閱 Engin 的文章。
捕捉靜態圖片
最後,我們要做的是捕捉高解析度圖像,於是我們呼叫 captureStillImageAsynchronouslyFromConnection(connection, completionHandler)。在資料被讀取時,completion handler 會在某個未指定的執行緒上被呼叫。
若設定使用 JPEG 編碼作為靜態圖片輸出(無論是透過 session 的 .Photo 預設,還是透過裝置輸出設定),sampleBuffer 都會回傳包含圖像元資料的內容。若 AVCaptureMetadataOutput 中有可用資料,這裡會包含 EXIF 資訊,或被辨識出的人臉等:
dispatch_async(sessionQueue) { () -> Void in let connection = self.stillCameraOutput.connectionWithMediaType(AVMediaTypeVideo) // 將視頻的旋轉與設備同步 connection.videoOrientation = AVCaptureVideoOrientation(rawValue: UIDevice.currentDevice().orientation.rawValue)! self.stillCameraOutput.captureStillImageAsynchronouslyFromConnection(connection) { (imageDataSampleBuffer, error) -> Void in if error == nil { // 如果使用 session .Photo 預設,或者在設備輸出設置中明確進行了設置 // 我們就能獲得已經壓縮為JPEG的數據 let imageData = AVCaptureStillImageOutput.jpegStillImageNSDataRepresentation(imageDataSampleBuffer) // 樣本緩沖區也包含元數據,我們甚至可以按需修改它 let metadata:NSDictionary = CMCopyDictionaryOfAttachments(nil, imageDataSampleBuffer, CMAttachmentMode(kCMAttachmentMode_ShouldPropagate)).takeUnretainedValue() if let image = UIImage(data: imageData) { // 保存圖片,或者做些其他想做的事情 ... } } else { NSLog("error while capturing still image: \(error)") } } }當圖片被捕捉時,給予視覺回饋是不錯的體驗。想知道何時開始、何時結束,可以用 KVO 觀察 AVCaptureStillImageOutput 的 isCapturingStillImage 屬性。
分級捕捉
iOS 8 還有一個有趣的特性叫「分級捕捉」,可以在不同的曝光設定下連續拍攝數張照片。這在複雜光線環境下拍照時非常有用,例如設定 -1、0、1 三個不同的曝光檔數,再用 HDR 演算法把它們合成一張。
以下是程式碼實現:
dispatch_async(sessionQueue) { () -> Void in let connection = self.stillCameraOutput.connectionWithMediaType(AVMediaTypeVideo) connection.videoOrientation = AVCaptureVideoOrientation(rawValue: UIDevice.currentDevice().orientation.rawValue)! var settings = [-1.0, 0.0, 1.0].map { (bias:Float) -> AVCaptureAutoExposureBracketedStillImageSettings in AVCaptureAutoExposureBracketedStillImageSettings.autoExposureSettingsWithExposureTargetBias(bias) } var counter = settings.count self.stillCameraOutput.captureStillImageBracketAsynchronouslyFromConnection(connection, withSettingsArray: settings) { (sampleBuffer, settings, error) -> Void in ... // 保存 sampleBuffer(s) // 當計數為0,捕捉完成 counter-- } }這很像單張圖片捕捉,不同的是,completion handler 被呼叫的次數,與設定陣列的元素個數相同。
總結
我們已經詳盡地看過如何在 iPhone 應用裡實現拍照的基礎功能(呃……不光是 iPhone,用 iPad 拍照其實也很不錯)。你也可以查看這個範例。最後要說的是,iOS 8 允許更精確的捕捉,尤其是對進階使用者而言,這讓 iPhone 與專業相機之間的差距縮小,至少在手動控制方面如此。不過,並非人人都喜歡在日常拍照時面對複雜的手動操作介面,因此請合理地運用這些特性。
(原文:Camera Capture on iOS)