您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS 8 Core Image in Swift:視訊即時濾鏡、錄影與局部馬賽克

編輯:iOS 開發綜合

Core Image 問世之前,要在錄影或拍照時做即時影像處理不是做不到,而是非常麻煩。本文從「不用 Core Image 的土法煉鋼」開始,再逐步改寫成 Core Image 版本,最後加上錄影與人臉局部濾鏡。

由於會用到相機,本篇所有程式碼都必須在真機上測試,模擬器無法執行。

一、視訊採集:拿回對相機的控制權

要做即時濾鏡,第一個前提是你能完全掌控預覽與畫面輸出,也就是不能用系統的 UIImagePickerController,一切都得自己畫。

建立一個 Single View Application,關掉 Auto Layout 與 Size Classes,放一個 Button 並連到 openCamera,然後為 VC 加上兩個屬性:

class ViewController: UIViewController, AVCaptureVideoDataOutputSampleBufferDelegate {
    var captureSession: AVCaptureSession!
    var previewLayer: CALayer!
    // ...
}

previewLayer 是預覽視窗,AVCaptureSession 是整個管線的核心。由於要實作每一幀的處理回呼,所以類別需遵循 AVCaptureVideoDataOutputSampleBufferDelegate。使用 AV 框架記得先引入:

import AVFoundation

初始化預覽層

override func viewDidLoad() {
    super.viewDidLoad()

    previewLayer = CALayer()
    previewLayer.bounds = CGRectMake(0, 0,
        self.view.frame.size.height, self.view.frame.size.width);
    previewLayer.position = CGPointMake(self.view.frame.size.width / 2.0,
                                       self.view.frame.size.height / 2.0);
    previewLayer.setAffineTransform(CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0)))

    self.view.layer.insertSublayer(previewLayer, atIndex: 0)
    setupCaptureSession()
}

注意 bounds 的寬高被對調,而且做了 90 度旋轉——因為 AVFoundation 輸出的影像預設是躺倒的,這裡先補回來。

設定 capture session

func setupCaptureSession() {
    captureSession = AVCaptureSession()
    captureSession.beginConfiguration()

    captureSession.sessionPreset = AVCaptureSessionPresetLow

    let captureDevice = AVCaptureDevice.defaultDeviceWithMediaType(AVMediaTypeVideo)
    let deviceInput = AVCaptureDeviceInput.deviceInputWithDevice(captureDevice, error: nil)
                      as AVCaptureDeviceInput
    if captureSession.canAddInput(deviceInput) {
        captureSession.addInput(deviceInput)
    }

    let dataOutput = AVCaptureVideoDataOutput()
    dataOutput.videoSettings = [kCVPixelBufferPixelFormatTypeKey :
                                kCVPixelFormatType_420YpCbCr8BiPlanarFullRange]
    dataOutput.alwaysDiscardsLateVideoFrames = true

    if captureSession.canAddOutput(dataOutput) {
        captureSession.addOutput(dataOutput)
    }

    let queue = dispatch_queue_create("VideoQueue", DISPATCH_QUEUE_SERIAL)
    dataOutput.setSampleBufferDelegate(self, queue: queue)

    captureSession.commitConfiguration()
}

幾個重點:

  • beginConfiguration / commitConfiguration 成對使用。後者被呼叫時才批次套用設定,而且是執行緒安全的,甚至可以在 session already running 時呼叫。養成習慣總是成對出現。
  • sessionPreset 決定採集品質,除 Low 之外還有 High、Medium、Photo 等多種,可依需求取捨效能。
  • canAddInput / canAddOutput 先判斷再加是好習慣,某些組合(如前鏡搭配特定輸出)會被系統拒絕。
  • AVCaptureVideoDataOutput 表示「每一幀」,這正是即時處理需要的。其他的還有 AVMovieFileOutput(整段影片)、AVCaptureAudioDataOutput(音訊)、AVCaptureStillImageOutput(靜幀)。
  • videoSettings 目前只支援 kCVPixelBufferPixelFormatTypeKey,用來指定像素輸出格式,這個值直接決定後續能不能成功生成圖像。
  • alwaysDiscardsLateVideoFrames = true:來不及處理的影格直接丟棄。即時預覽寧可掉幀也不要延遲累積。

二、土法煉鋼:不用 Core Image 的灰度實作

先看看不用 Core Image 會寫成什麼樣子:

optional func captureOutput(captureOutput: AVCaptureOutput!,
    didOutputSampleBuffer sampleBuffer: CMSampleBuffer!,
    fromConnection connection: AVCaptureConnection!) {

    let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
    CVPixelBufferLockBaseAddress(imageBuffer, 0)

    let width      = CVPixelBufferGetWidthOfPlane(imageBuffer, 0)
    let height     = CVPixelBufferGetHeightOfPlane(imageBuffer, 0)
    let bytesPerRow = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0)
    let lumaBuffer = CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0)

    let grayColorSpace = CGColorSpaceCreateDeviceGray()
    let context = CGBitmapContextCreate(lumaBuffer, width, height, 8,
                                        bytesPerRow, grayColorSpace, CGBitmapInfo.allZeros)
    let cgImage = CGBitmapContextCreateImage(context)

    dispatch_sync(dispatch_get_main_queue(), {
        self.previewLayer.contents = cgImage
    })
}

這段程式碼的問題很明顯:難讀、難懂、難維護。而且這只是一個灰度效果——如果想再加淡入、模糊、復古色調,程式碼會立刻膨脹到無法收拾。擴充性幾乎為零。

三、改用 Core Image

改造從兩個核心物件開始:CIFilter 與 CIContext。

var filter: CIFilter!

lazy var context: CIContext = {
    let eaglContext = EAGLContext(API: EAGLRenderingAPI.OpenGLES2)
    let options = [kCIContextWorkingColorSpace : NSNull()]
    return CIContext(EAGLContext: eaglContext, options: options)
}()

這裡刻意用 contextWithEAGLContext: 而非 contextWithOptions: 來建立 CIContext。差別在於:前者渲染的全程都在 GPU 上進行,影像永遠不會被複製回 CPU 記憶體,效能明顯更好。若用後者建立 GPU context,渲染雖然在 GPU 執行,但輸出的 image 必須先複製回 CPU 才能轉成可顯示的型別(例如 UIImage),多了一次昂貴的搬運。

把 working color space 設為 nil 是為了關閉色彩管理。色彩管理會拖慢效能,而只有在對顏色保真度要求極高的場合才需要它。即時影像處理的第一優先是流暢度,不是色準——沒有使用者會喜歡影格延遲很高的相機 App。

修改像素格式

把 session 設定中的

kCVPixelFormatType_420YpCbCr8BiPlanarFullRange

換成

kCVPixelFormatType_32BGRA

YUV 是平面格式,處理起來眉角很多;BGRA 每個像素四個位元組 Straightforward,大多數情況都適用。

改寫回呼

func captureOutput(captureOutput: AVCaptureOutput!,
    didOutputSampleBuffer sampleBuffer: CMSampleBuffer!,
    fromConnection connection: AVCaptureConnection!) {

    let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)

    var outputImage = CIImage(CVPixelBuffer: imageBuffer)

    if filter != nil {
        filter.setValue(outputImage, forKey: kCIInputImageKey)
        outputImage = filter.outputImage
    }

    let cgImage = context.createCGImage(outputImage, fromRect: outputImage.extent())

    dispatch_sync(dispatch_get_main_queue(), {
        self.previewLayer.contents = cgImage
    })
}

可讀性與可維護性都完全不同了。邏輯只有四步:拿到緩衝區 → 轉成 CIImage → 套用濾鏡(有才套,沒有就顯示原圖)→ 用 context 生成 CGImage 並顯示。

加入濾鏡切換

在 Storyboard 上放一個 UIView 當容器,裡面擺四顆 Button,tag 從 0 到 3,事件全部連到 applyFilter:

lazy var filterNames: [String] = {
    return ["CIColorInvert", "CIPhotoEffectMono",
            "CIPhotoEffectInstant", "CIPhotoEffectTransfer"]
}()

@IBAction func openCamera(sender: UIButton) {
    sender.enabled = false
    captureSession.startRunning()
    self.filterButtonsContainer.hidden = false
}

@IBAction func applyFilter(sender: UIButton) {
    filter = CIFilter(name: filterNames[sender.tag])
}

這樣就完成了即時濾鏡。在真機上編譯執行即可看到效果。

四、拍照並存到相簿

加一顆「拍照」按鈕連到 takePicture。動手之前要先解決方向問題。

原本我們是靠旋轉 previewLayer 來讓畫面看起來正確,但這樣存到相簿的圖會是躺的。解法是不要在 layer 上做旋轉,改在 CIImage 上處理:

previewLayer = CALayer()
previewLayer.anchorPoint = CGPointZero
previewLayer.bounds = view.bounds

設定 anchorPoint 為原點,是把 bounds 的基準從中心改為左上角(與 UIView 一致)。此時執行會看到方向錯誤的畫面,這是預期的。

接著在回呼中依裝置方向旋轉 CIImage:

var outputImage = CIImage(CVPixelBuffer: imageBuffer)

let orientation = UIDevice.currentDevice().orientation
var t: CGAffineTransform!
if orientation == UIDeviceOrientation.Portrait {
    t = CGAffineTransformMakeRotation(CGFloat(-M_PI / 2.0))
} else if orientation == UIDeviceOrientation.PortraitUpsideDown {
    t = CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0))
} else if orientation == UIDeviceOrientation.LandscapeRight {
    t = CGAffineTransformMakeRotation(CGFloat(M_PI))
} else {
    t = CGAffineTransformMakeRotation(0)
}
outputImage = outputImage.imageByApplyingTransform(t)

if filter != nil {
    filter.setValue(outputImage, forKey: kCIInputImageKey)
    outputImage = filter.outputImage
}

順序很重要:先校正方向,再套濾鏡。四個方向一次都處理掉了。

另外,我們需要保留這個 CIImage,因為裡面帶有做為後設資料用的屬性(方向、格式等),不能丟:

var ciImage: CIImage!

// 回呼中
let cgImage = context.createCGImage(outputImage, fromRect: outputImage.extent())
ciImage = outputImage

最後是拍照動作:

@IBAction func takePicture(sender: UIButton) {
    sender.enabled = false
    captureSession.stopRunning()

    var cgImage = context.createCGImage(ciImage, fromRect: ciImage.extent())
    ALAssetsLibrary().writeImageToSavedPhotosAlbum(cgImage, metadata: ciImage.properties()) {
        (url: NSURL!, error: NSError!) -> Void in
        if error == nil {
            println("保存成功")
        } else {
            let alert = UIAlertView(title: "錯誤", message: error.localizedDescription,
                                    delegate: nil, cancelButtonTitle: "確定")
            alert.show()
        }
        self.captureSession.startRunning()
        sender.enabled = true
    }
}

記得 import AssetsLibrary。這裡用到了尾隨閉包(trailing closure)語法。

由於預覽是用 CALayer 做的,它沒有 autoresizingMask,橫屏時會跑掉。可在 iOS 8 上覆寫這方法補救:

override func viewWillTransitionToSize(size: CGSize,
    withTransitionCoordinator coordinator: UIViewControllerTransitionCoordinator) {
    previewLayer.bounds.size = size
}

五、錄製視訊

錄影的核心是 AVAssetWriter,它的工作方式與 AVCaptureSession 很像,同樣是為了控制輸入與輸出的流程。

@IBOutlet var recordsButton: UIButton!
var assetWriter: AVAssetWriter?
var assetWriterPixelBufferInput: AVAssetWriterInputPixelBufferAdaptor?
var isWriting = false
var currentSampleTime: CMTime?
var currentVideoDimensions: CMVideoDimensions?

各屬性職責:

  • assetWriter:控制輸出的流程,最終把資料寫進檔案。
  • assetWriterPixelBufferInput:顧名思義,它讓我們能不斷把像素緩衝區塞進 assetWriter。
  • isWriting:是否正在錄影。
  • currentSampleTime:時間戳。AVFoundation 中每一段資料除了內容還需要時間,每幀時間不同,就形成了幀的持續時間。
  • currentVideoDimensions:影片尺寸(像素)。

兩個工具方法

func movieURL() -> NSURL {
    var tempDir = NSTemporaryDirectory()
    let urlString = tempDir.stringByAppendingPathComponent("tmpMov.mov")
    return NSURL(fileURLWithPath: urlString)
}

func checkForAndDeleteFile() {
    let fm = NSFileManager.defaultManager()
    let exist = fm.fileExistsAtPath(movieURL().path!)
    var error: NSError?
    if exist {
        fm.removeItemAtURL(movieURL(), error: &error)
        println("刪除之前的臨時文件")
        if let errorDescription = error?.localizedDescription {
            println(errorDescription)
        }
    }
}

刪除舊檔是必須的,因為 AVAssetWriter 無法寫入已存在的檔案 URL,會直接報錯。

這裡有個實測經驗:判斷檔案存在時若用 absoluteString,AVAssetWriter 不會報錯,但後續緩衝區會出問題,而且極難排查。改用 path 就正常了。

建立 writer

func createWriter() {
    self.checkForAndDeleteFile()

    var error: NSError?
    assetWriter = AVAssetWriter(URL: movieURL(),
                                fileType: AVFileTypeQuickTimeMovie, error: &error)
    if let errorDescription = error?.localizedDescription {
        println("創建 writer 失敗")
        println(errorDescription)
        return
    }

    let outputSettings = [
        AVVideoCodecKey : AVVideoCodecH264,
        AVVideoWidthKey : Int(currentVideoDimensions!.width),
        AVVideoHeightKey : Int(currentVideoDimensions!.height)
    ]

    let assetWriterVideoInput = AVAssetWriterInput(mediaType: AVMediaTypeVideo,
                                                  outputSettings: outputSettings)
    assetWriterVideoInput.expectsMediaDataInRealTime = true
    assetWriterVideoInput.transform = CGAffineTransformMakeRotation(CGFloat(M_PI / 2.0))

    let sourcePixelBufferAttributesDictionary = [
        kCVPixelBufferPixelFormatTypeKey : kCVPixelFormatType_32BGRA,
        kCVPixelBufferWidthKey : Int(currentVideoDimensions!.width),
        kCVPixelBufferHeightKey : Int(currentVideoDimensions!.height),
        kCVPixelFormatOpenGLESCompatibility : kCFBooleanTrue
    ]

    assetWriterPixelBufferInput = AVAssetWriterInputPixelBufferAdaptor(
        assetWriterInput: assetWriterVideoInput,
        sourcePixelBufferAttributes: sourcePixelBufferAttributesDictionary)

    if assetWriter!.canAddInput(assetWriterVideoInput) {
        assetWriter!.addInput(assetWriterVideoInput)
    } else {
        println("不能添加視訊 writer 的 input")
    }
}

要點:

  • expectsMediaDataInRealTime = true 是從相機即時編碼的必要設定。
  • transform 同樣是為了處理方向,這裡設在 writer input 上,所以回呼中不需要再旋轉。
  • kCVPixelFormatOpenGLESCompatibility 讓緩衝區能與 GPU 渲染流程共用。
  • 音訊軌需要另外建立一個 AVAssetWriterInput(mediaType 為 AVMediaTypeAudio),本篇未涵蓋。

處理每一幀

因為錄影時方向已在 writer input 處理過,所以要把「套濾鏡」與「方向調整」的順序對調,並在中間插入寫檔邏輯:

if self.filter != nil {
    self.filter.setValue(outputImage, forKey: kCIInputImageKey)
    outputImage = self.filter.outputImage
}

// 處理錄影
let formatDescription = CMSampleBufferGetFormatDescription(sampleBuffer)
self.currentVideoDimensions = CMVideoFormatDescriptionGetDimensions(formatDescription)
self.currentSampleTime = CMSampleBufferGetOutputPresentationTimeStamp(sampleBuffer)

if self.isWriting {
    if self.assetWriterPixelBufferInput?.assetWriterInput.readyForMoreMediaData == true {
        var newPixelBuffer: Unmanaged<CVPixelBuffer>? = nil
        CVPixelBufferPoolCreatePixelBuffer(nil,
            self.assetWriterPixelBufferInput?.pixelBufferPool, &newPixelBuffer)

        self.context.render(outputImage,
            toCVPixelBuffer: newPixelBuffer?.takeUnretainedValue(),
            bounds: outputImage.extent(),
            colorSpace: nil)

        let success = self.assetWriterPixelBufferInput?.appendPixelBuffer(
            newPixelBuffer?.takeUnretainedValue(),
            withPresentationTime: self.currentSampleTime!)

        newPixelBuffer?.autorelease()

        if success == false { println("Pixel Buffer 沒有 append 成功") }
    }
}

// 接著才是方向校正與顯示
let orientation = UIDevice.currentDevice().orientation
// ...

流程說明:

  1. 取得尺寸與時間。時間尤其關鍵——assetWriter 必須知道何時該顯示每一幀。除了用 CMSampleBufferGetOutputPresentationTimeStamp 取真實時間,也可以手動累加(例如每幀 +1/30 秒做出 30fps 影片),但這樣無法反映真實時序,某些耗時的濾鏡會造成影音不同步。
  2. 檢查 readyForMoreMediaData,確認 writer 準備好接收。
  3. 用 CVPixelBufferPoolCreatePixelBuffer 從池建立緩衝區。好處是它會自動套用 assetWriterPixelBufferInput 的設定,不必重新配置。注意:若 assetWriter 尚未 startWriting,pixelBufferPool 會是 nil,緩衝區建立不出來。
  4. 用 context 把影像渲染進緩衝區。
  5. append 進檔案並取得結果。

由於 Swift 中這個函式需要 Unmanaged 物件,要自行處理轉換。另外因為此方法物件眾多、佔用記憶體,建議整段包進 autoreleasepool { }。

開始與停止錄影

@IBAction func record() {
    if isWriting {
        self.isWriting = false
        assetWriterPixelBufferInput = nil
        recordsButton.enabled = false
        assetWriter?.finishWritingWithCompletionHandler({[unowned self] () -> Void in
            println("錄制完成")
            self.recordsButton.setTitle("處理中...", forState: UIControlState.Normal)
            self.saveMovieToCameraRoll()
        })
    } else {
        createWriter()
        recordsButton.setTitle("停止錄制...", forState: UIControlState.Normal)
        assetWriter?.startWriting()
        assetWriter?.startSessionAtSourceTime(currentSampleTime!)
        isWriting = true
    }
}

startWriting 與 startSessionAtSourceTime 兩者都必須呼叫:前者讓 assetWriter 真正開始運作(否則回呼裡取 pixelBufferPool 會拿到 nil),後者讓回呼能取到最新的時間戳。少了這兩個,appendPixelBuffer 會出問題,就算最後存檔成功也只會得到一個空影片。

存進相簿

func saveMovieToCameraRoll() {
    ALAssetsLibrary().writeVideoAtPathToSavedPhotosAlbum(movieURL(),
        completionBlock: { (url: NSURL!, error: NSError?) -> Void in
        if let errorDescription = error?.localizedDescription {
            println("寫入視訊錯誤:\(errorDescription)")
        } else {
            self.checkForAndDeleteFile()
            println("寫入視訊成功")
        }
        self.recordsButton.enabled = true
        self.recordsButton.setTitle("開始錄制", forState: UIControlState.Normal)
    })
}

存檔成功後就可以刪掉臨時檔了。

六、局部濾鏡:只對人臉打馬賽克

不同於 Core Image 需要 CIDetector,AVFoundation 本身就內建人臉偵測,用 AVCaptureMetadataOutput 就能拿到。

步驟 1:加入 metadata 輸出

在 commitConfiguration() 之前加入:

let metadataOutput = AVCaptureMetadataOutput()
metadataOutput.setMetadataObjectsDelegate(self, queue: dispatch_get_main_queue())

if captureSession.canAddOutput(metadataOutput) {
    captureSession.addOutput(metadataOutput)
    metadataOutput.metadataObjectTypes = [AVMetadataObjectTypeFace]
}

metadataObjectTypes 必須在加入 session 之後設定,這是容易忽略的順序問題。回呼放在主佇列,因為要直接操作 layer。

步驟 2:接收並記錄人臉資訊

var faceObject: AVMetadataFaceObject?

func captureOutput(captureOutput: AVCaptureOutput!,
    didOutputMetadataObjects metadataObjects: [AnyObject]!,
    fromConnection connection: AVCaptureConnection!) {
    if metadataObjects.count > 0 {
        faceObject = metadataObjects.first as? AVMetadataFaceObject
    }
}

這裡只取第一張臉。若要先做視覺標記,可以建立一個 CALayer 畫紅框;但要留意,faceObject.bounds 回傳的是 0~1 之間的相對比例,不是絕對座標,所以必須乘上 view 的寬高,而且 x / y 軸要對調以修正方向。直接用會完全錯位。

步驟 3:對人臉區域合成馬賽克

在 session 回呼中,全域濾鏡之後、錄影邏輯之前插入:

if self.faceObject != nil {
    outputImage = self.makeFaceWithCIImage(outputImage, faceObject: self.faceObject!)
}

實作方法:

func makeFaceWithCIImage(inputImage: CIImage, faceObject: AVMetadataFaceObject) -> CIImage {
    // 1. 先產生整張圖的馬賽克版
    var filter = CIFilter(name: "CIPixellate")
    filter.setValue(inputImage, forKey: kCIInputImageKey)
    filter.setValue(max(inputImage.extent().size.width, inputImage.extent().size.height) / 60,
                    forKey: kCIInputScaleKey)
    let fullPixellatedImage = filter.outputImage

    // 2. 依人臉位置產生遮罩
    let faceBounds = faceObject.bounds
    let centerX = inputImage.extent().size.width *
                  (faceBounds.origin.x + faceBounds.size.width / 2)
    let centerY = inputImage.extent().size.height *
                  (1 - faceBounds.origin.y - faceBounds.size.height / 2)
    let radius = faceBounds.size.width * inputImage.extent().size.width / 2

    let radialGradient = CIFilter(name: "CIRadialGradient",
        withInputParameters: [
            "inputRadius0" : radius,
            "inputRadius1" : radius + 1,
            "inputColor0" : CIColor(red: 0, green: 1, blue: 0, alpha: 1),
            "inputColor1" : CIColor(red: 0, green: 0, blue: 0, alpha: 0),
            kCIInputCenterKey : CIVector(x: centerX, y: centerY)
        ])

    let maskImage = radialGradient.outputImage.imageByCroppingToRect(inputImage.extent())

    // 3. 用遮罩把兩張圖合成
    let blendFilter = CIFilter(name: "CIBlendWithMask")
    blendFilter.setValue(fullPixellatedImage, forKey: kCIInputImageKey)
    blendFilter.setValue(inputImage, forKey: kCIInputBackgroundImageKey)
    blendFilter.setValue(maskImage, forKey: kCIInputMaskImageKey)

    return blendFilter.outputImage
}

三個步驟:產生全圖馬賽克 → 用 CIRadialGradient 在人臉位置畫一個由不透明漸層到透明的圓形遮罩 → 用 CIBlendWithMask 讓遮罩內顯示馬賽克版、遮罩外顯示原圖。

其中 kCIInputScaleKey 控制馬賽克顆粒大小,預設 0.5;數值越小顆粒越細。註解掉那行對照看效果,會很明顯。

七、把整篇串起來看

這一系列(自動改善、內建濾鏡、複合濾鏡、人臉偵測、視訊即時濾鏡)背後其實只有一個骨架:

  1. AVCaptureSession 把相機畫面變成一串 CMSampleBuffer。
  2. 從 sample buffer 取出 CVPixelBuffer,包成 CIImage。
  3. 用 CIFilter 串成想要的處理鏈。
  4. 用 CIContext 渲染成 CGImage(預覽)或寫回 CVPixelBuffer(錄影)。
  5. 需要存檔時,連同 CIImage 的 properties() 後設資料一起寫入相簿。

把這五步摸熟,任何即時影像處理需求都只是在中間換不同的 filter 而已。

版本提醒

本文寫於 Swift 1.x 時代,語法(println、UIImagePickerController 風格的 optional 宣告、ALAssetsLibrary、EAGLContext 搭配 OpenGLES2)在今日都已演進。概念完全適用,實作時請對照現行 API 調整:

  • 相簿改用 Photos framework(PHPhotoLibrary / PHAssetChangeRequest),ALAssetsLibrary 早已廢棄。
  • CIContext 建議改用 CIContext(options:) 並搭配 Metal(MTLDevice),比 EAGL 效能更好。
  • 預覽層建議直接用 AVCaptureVideoPreviewLayer,省去自己管理 CALayer 與方向的麻煩。
  • 方向處理改用 AVCaptureConnection 的 videoRotationAngle 或 AVCaptureVideoDataOutput 的 portraitEffects 等機制,比手動矩陣轉換可靠。
  • AVMetadataFaceObject 的比例座標計算,可改用 AVMetadataObject.transformedRect(for:) 由系統代勞。

GitHub

範例專案在 GitHub 上有持續更新版本,可對照查閱。

參考資料

  • https://weblog.invasivecode.com/post/18445861158/a-very-cool-custom-video-camera-with
  • https://developer.apple.com/library/mac/documentation/graphicsimaging/conceptual/CoreImaging/ci_intro/ci_intro.html
  • https://en.wikipedia.org/wiki/YUV
  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved