您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

iOS 三種錄制視頻方式:從 UIImagePickerController 到 AVAssetWriter

編輯:iOS 開發基礎

隨著每一代 iPhone 處理能力與相機硬體的提升,用它來捕捉視頻變得越來越有意思。它們小巧、輕便、低調,而且與專業攝影機之間的差距已經小到某種程度——在某些情況下,iPhone 真的能取代它們。

本文討論如何配置視頻捕獲管線(pipeline),以及如何最大化利用硬體效能。文中提供了一個使用不同管線的範例 App,可以在 GitHub 查看。

UIImagePickerController

目前把視頻捕獲整合進 App 最簡單的方式,就是使用 UIImagePickerController。它封裝了完整的視頻捕獲管線與相機 UI。

在實例化之前,先確認裝置是否支援相機錄製:

if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
    NSArray *availableMediaTypes =
        [UIImagePickerController availableMediaTypesForSourceType:UIImagePickerControllerSourceTypeCamera];

    if ([availableMediaTypes containsObject:(NSString *)kUTTypeMovie]) {
        // 支援視頻錄制
    }
}

接著建立一個 UIImagePickerController 物件,設定代理以便後續處理錄好的視頻(例如存進相簿),並回應使用者關閉相機:

UIImagePickerController *camera = [UIImagePickerController new];
camera.sourceType = UIImagePickerControllerSourceTypeCamera;
camera.mediaTypes = @[(NSString *)kUTTypeMovie];
camera.delegate = self;

這就是實作一個功能完整的攝影機所需要寫的全部程式碼。

相機配置

UIImagePickerController 還提供了額外的設定選項。

透過 cameraDevice 可以指定使用哪顆相機。這是個 UIImagePickerControllerCameraDevice 列舉,預設為 UIImagePickerControllerCameraDeviceRear,也可以設為 UIImagePickerControllerCameraDeviceFront。每次都要先確認目標相機可用:

UIImagePickerController *camera = ...;

if ([UIImagePickerController isCameraDeviceAvailable:UIImagePickerControllerCameraDeviceFront]) {
    [camera setCameraDevice:UIImagePickerControllerCameraDeviceFront];
}

videoQuality 屬性用於控制錄製視頻的品質,它讓你設定一個特定的編碼預設,進而改變視頻的碼率與解析度。共有六種預設:

enum {
    UIImagePickerControllerQualityTypeHigh        = 0,
    UIImagePickerControllerQualityTypeMedium      = 1,  // default value
    UIImagePickerControllerQualityTypeLow         = 2,
    UIImagePickerControllerQualityType640x480     = 3,
    UIImagePickerControllerQualityTypeIFrame1280x720 = 4,
    UIImagePickerControllerQualityTypeIFrame960x540  = 5
};
typedef NSUInteger UIImagePickerControllerQualityType;

前三種是相對預設(low、medium、high),它們的實際編碼配置會因裝置而異——選 high,該相機會給你這台設備能支援的最高畫質。後三種是特定解析度預設(640×480 VGA、960×540 iFrame、1280×720 iFrame)。

自定義 UI

如前所述,UIImagePickerController 自帶一套相機 UI 可直接使用。但你也可以自訂控件:隱藏預設控件,建立帶有自訂控件的視圖,覆蓋在相機預覽圖層上:

UIView *cameraOverlay = ...;

picker.showsCameraControls = NO;
picker.cameraOverlayView = cameraOverlay;

然後把覆蓋層上的控件關聯到 UIImagePickerController 的控制方法,比如 startVideoCapture 與 stopVideoCapture。

AVFoundation

如果你需要更多控制捕獲流程的能力,而這些是 UIImagePickerController 無法提供的,那就得動用 AVFoundation。

AVFoundation 中處理視頻捕獲的核心類別是 AVCaptureSession,負責調配影音輸入與輸出之間的資料流。

AVCaptureSession 的設置

使用 capture session 的流程是:先實例化,加入輸入與輸出,然後啟動從輸入到輸出的資料流:

AVCaptureSession *captureSession = [AVCaptureSession new];

AVCaptureDeviceInput *cameraDeviceInput = ...;
AVCaptureDeviceInput *micDeviceInput    = ...;
AVCaptureMovieFileOutput *movieFileOutput = ...;

if ([captureSession canAddInput:cameraDeviceInput]) {
    [captureSession addInput:cameraDeviceInput];
}
if ([captureSession canAddInput:micDeviceInput]) {
    [captureSession addInput:micDeviceInput];
}
if ([captureSession canAddOutput:movieFileOutput]) {
    [captureSession addOutput:movieFileOutput];
}

[captureSession startRunning];

(為了簡潔,調度隊列相關程式碼已省略。所有對 capture session 的呼叫都是阻塞的,因此建議把它們分配到背景序列隊列中執行。)

capture session 還可以透過一個 sessionPreset 進一步配置,用來指定輸出品質等級。共有 11 種預設:

NSString *const AVCaptureSessionPresetPhoto;
NSString *const AVCaptureSessionPresetHigh;
NSString *const AVCaptureSessionPresetMedium;
NSString *const AVCaptureSessionPresetLow;
NSString *const AVCaptureSessionPreset352x288;
NSString *const AVCaptureSessionPreset640x480;
NSString *const AVCaptureSessionPreset1280x720;
NSString *const AVCaptureSessionPreset1920x1080;
NSString *const AVCaptureSessionPresetiFrame960x540;
NSString *const AVCaptureSessionPresetiFrame1280x720;
NSString *const AVCaptureSessionPresetInputPriority;

第一個代表高像素的靜態圖像輸出。接下來九個與前面 UIImagePickerController 的 videoQuality 選項非常相似,只是這裡多了一些可用於 capture session 的額外預設。最後一個(AVCaptureSessionPresetInputPriority)表示 capture session 不控制音頻與視頻的輸出設置,而是反過來由已連接捕獲裝置的 activeFormat 決定輸出等級。下一節會看到更多關於裝置與裝置格式的細節。

輸入

AVCaptureSession 的輸入就是一個或多個 AVCaptureDevice 物件,透過 AVCaptureDeviceInput 連上 capture session。我們可以用 [AVCaptureDevice devices] 找出可用的捕獲裝置。以 iPhone 6 為例:

(
    "",
    "",
    ""
)

視頻輸入

配置相機輸入時,實例化一個 AVCaptureDeviceInput,傳入期望的相機裝置,再加進 capture session:

AVCaptureSession *captureSession = ...;
AVCaptureDevice *cameraDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];

NSError *error;
AVCaptureDeviceInput *cameraDeviceInput =
    [[AVCaptureDeviceInput alloc] initWithDevice:cameraDevice error:&error];

if ([captureSession canAddInput:cameraDeviceInput]) {
    [captureSession addInput:cameraDeviceInput];
}

如果前面列出的 session 預設已經能滿足需求,就不必做更多。若不夠——比如你想要更高的幀率——就得去配置具體的裝置格式。一個視頻捕獲裝置有許多格式,每個都帶有特定的屬性與能力。以下是 iPhone 6 後置攝影鏡頭的部分範例(總共 22 種可用格式):

  • 格式 = 像素格式
  • FPS = 支援幀數範圍
  • HRSI = 高像素靜態圖片尺寸
  • FOV = 視角
  • VIS = 該格式是否支援視頻防抖
  • Upscales = 加入數字 upscaling 時的放大比例
  • AF = 自動對焦系統(1 為反差對焦,2 為相位對焦)
  • ISO = 支援的感光度範圍
  • SS = 支援的曝光時間範圍
  • HDR = 是否支援高動態範圍圖像

從上表可以看到:若要錄製 240fps 的視頻,可以依想要的像素格式選第一或第二種;而若要捕獲 1920×1080 的解析度,則不支援 240fps。

配置具體裝置格式的第一步是呼叫 lockForConfiguration: 取得裝置配置屬性的獨占存取權,接著用 setActiveFormat: 設定捕獲格式——這會自動把 capture session 的預設切換為 AVCaptureSessionPresetInputPriority。設好格式之後,就能在該格式的參數範圍內進一步微調。

至於視頻捕獲的對焦、曝光與白平衡,與圖像捕獲時相同,可參考〈iOS 上的相機捕捉〉。除此之外,這裡還有一些視頻特有的選項。

你可以用捕獲裝置的 activeVideoMinFrameDuration 與 activeVideoMaxFrameDuration 設定幀速率(一幀的時長是幀速率的倒數)。設定前要先確認它在裝置格式支援的範圍內,然後鎖住裝置來配置。為了確保幀速率恆定,可以把最小與最大幀時長設成同一個值:

NSError *error;
CMTime frameDuration = CMTimeMake(1, 60);

NSArray *supportedFrameRateRanges = [device.activeFormat videoSupportedFrameRateRanges];
BOOL frameRateSupported = NO;

for (AVFrameRateRange *range in supportedFrameRateRanges) {
    if (CMTIME_COMPARE_INLINE(frameDuration, >=, range.minFrameDuration) &&
        CMTIME_COMPARE_INLINE(frameDuration, <=, range.maxFrameDuration)) {
        frameRateSupported = YES;
    }
}

if (frameRateSupported && [device lockForConfiguration:&error]) {
    [device setActiveVideoMaxFrameDuration:frameDuration];
    [device setActiveVideoMinFrameDuration:frameDuration];
    [device unlockForConfiguration];
}

視頻防抖是在 iOS 6 與 iPhone 4S 發表時引入的功能。到了 iPhone 6,加入了更強勁流暢的影院級防抖模式,相關 API 也有所調整(目前文件尚未反映,可直接看標頭檔)。要注意的是,防抖並不在捕獲裝置上配置,而是設在 AVCaptureConnection 上;而且並非所有裝置格式都支援全部防抖模式,實作前應先確認:

AVCaptureDevice *device = ...;
AVCaptureConnection *connection = ...;

AVCaptureVideoStabilizationMode stabilizationMode = AVCaptureVideoStabilizationModeCinematic;

if ([device.activeFormat isVideoStabilizationModeSupported:stabilizationMode]) {
    [connection setPreferredVideoStabilizationMode:stabilizationMode];
}

iPhone 6 的另一個新特性是視頻 HDR。它是「高動態範圍的視頻流」,與傳統上把不同曝光度的靜態圖像合成一張 HDR 圖片的做法完全不同,而是內建在感光元件中的。配置方式有兩種:直接把 capture device 的 videoHDREnabled 設為啟用或停用,或者用 automaticallyAdjustsVideoHDREnabled 交給系統判斷。

技術參考:iPhone 6 和 iPhone Plus 的新 AV Foundation 相機特性

音頻輸入

前面的裝置清單裡只有一個音頻裝置,這可能讓人意外——畢竟 iPhone 6 有三個麥克風。但因為有時會一起使用以便優化效能,所以它們被當成一個裝置呈現。例如在 iPhone 5 及以上機型錄製視頻時,會同時使用前後麥克風做定向降噪。

Technical Q&A: AVAudioSession – Microphone Selection

大多數情況下,使用預設的麥克風配置即可。後置麥克風會自動搭配後置攝影鏡頭(前置麥克風則用於降噪),前置麥克風與前置攝影鏡頭同理。

不過想要存取並配置個別麥克風也是可行的。例如使用者用後置攝影鏡頭捕捉場景時,改用前置麥克風錄製旁白,這就必須依賴 AVAudioSession。為了切換音頻來源,audio session 首先要設定為支援此操作的類別,然後遍歷輸入端口與端口資料來源,找到目標麥克風:

// 配置 audio session
AVAudioSession *audioSession = [AVAudioSession sharedInstance];
[audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:nil];
[audioSession setActive:YES error:nil];

// 尋找期望的輸入端口
NSArray *inputs = [audioSession availableInputs];
AVAudioSessionPortDescription *builtInMic = nil;

for (AVAudioSessionPortDescription *port in inputs) {
    if ([port.portType isEqualToString:AVAudioSessionPortBuiltInMic]) {
        builtInMic = port;
        break;
    }
}

// 尋找期望的麥克風
for (AVAudioSessionDataSourceDescription *source in builtInMic.dataSources) {
    if ([source.orientation isEqual:AVAudioSessionOrientationFront]) {
        [builtInMic setPreferredDataSource:source error:nil];
        [audioSession setPreferredInput:builtInMic error:&error];
        break;
    }
}

除了切換麥克風,你也可以用 AVAudioSession 配置其他音頻設定,比如音頻增益與取樣率。

存取權限

有件事必須記住:存取相機與麥克風都需要先取得使用者授權。當你為視頻或音頻建立第一個 AVCaptureDeviceInput 時,iOS 會自動彈出一次對話框請求授權,但你最好還是自己實作一遍——這樣在使用者先前拒絕過的情況下,你依然能用相同程式碼再次提示。若使用者未授權,錄製視頻或音頻得到的將是黑畫面與無聲。

輸出

輸入配置完成,現在把注意力轉向 capture session 的輸出。

AVCaptureMovieFileOutput

把視頻寫入檔案最簡單的選擇是 AVCaptureMovieFileOutput。把它作為輸出加入 capture session,就能把視頻與音頻寫入 QuickTime 檔案,所需配置極少:

AVCaptureMovieFileOutput *movieFileOutput = [AVCaptureMovieFileOutput new];

if ([captureSession canAddOutput:movieFileOutput]) {
    [captureSession addOutput:movieFileOutput];
}

// 開始錄制
NSURL *outputURL = ...;
[movieFileOutput startRecordingToOutputFileURL:outputURL recordingDelegate:self];

想要在實際錄製開始或停止時收到回調,就必須提供一個錄製代理。錄製停止時輸出通常還在寫入資料,等它寫完才會呼叫代理方法。

AVCaptureMovieFileOutput 還有一些其他選項,例如設定在某段時間後、達到指定檔案大小時、或裝置剩餘磁碟空間低於某個閾值時停止錄製。如果你需要更多控制——比如自訂視頻音頻的壓縮率,或者在寫入檔案前處理視頻音頻樣本——就需要更複雜的做法。

AVCaptureDataOutput 與 AVAssetWriter

若你想對影音輸出做更多操作,可以改用 AVCaptureVideoDataOutput 與 AVCaptureAudioDataOutput 取代 AVCaptureMovieFileOutput。

這兩個輸出會各自捕獲視頻與音頻的樣本緩衝,然後送給它們的代理。代理可以對樣本做處理(例如為視頻加上濾鏡),也可以原樣轉發。搭配 AVAssetWriter 物件,就能把樣本緩衝寫入檔案:

配置一個 asset writer 需要定義輸出 URL 與檔案格式,並加入一個或多個輸入來接收樣本緩衝。我們還要把輸入的 expectsMediaDataInRealTime 設為 YES,因為它們需要從 capture session 即時取得資料:

NSURL *url = ...;

AVAssetWriter *assetWriter =
    [AVAssetWriter assetWriterWithURL:url fileType:AVFileTypeMPEG4 error:nil];

AVAssetWriterInput *videoInput =
    [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeVideo outputSettings:nil];
videoInput.expectsMediaDataInRealTime = YES;

AVAssetWriterInput *audioInput =
    [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeAudio outputSettings:nil];
audioInput.expectsMediaDataInRealTime = YES;

if ([assetWriter canAddInput:videoInput]) {
    [assetWriter addInput:videoInput];
}
if ([assetWriter canAddInput:audioInput]) {
    [assetWriter addInput:audioInput];
}

(這裡同樣建議把 asset writer 派送到背景序列隊列中呼叫。)

上面的範例把 outputSettings 設為 nil,意味著附加上來的樣本不會被重新編碼。如果你確實想重新編碼,就需要提供一個包含具體輸出參數的字典——音頻輸出設定的鍵值定義在這裡,視頻輸出設定則定義在另一份文件中。

為了省事,AVCaptureVideoDataOutput 與 AVCaptureAudioDataOutput 分別提供了 recommendedVideoSettingsForAssetWriterWithOutputFileType: 與 recommendedAudioSettingsForAssetWriterWithOutputFileType:,可以直接生成與 asset writer 相容、包含全部鍵值對的字典。所以你只要修改其中想覆寫的屬性,就能定義自己的輸出設定——比如提高視頻碼率來改善畫質。

或者,你也可以用 AVOutputSettingsAssistant 來配置輸出設定字典。不過以我的經驗,用上面那種方式更好,它們提供的設定更實用(比如會給出合適的視頻碼率);AVOutputSettingsAssistant 似乎存在一些小缺陷,例如當你改變期望的幀速率時,視頻碼率並不會跟著調整。

實時預覽

用 AVFoundation 做圖像捕獲時,我們必須自己提供一套使用者界面,其中關鍵的相機互動元件就是實時預覽圖。最簡單的做法是把 AVCaptureVideoPreviewLayer 作為一個 sublayer 加到相機圖層上:

AVCaptureSession *captureSession = ...;

AVCaptureVideoPreviewLayer *previewLayer =
    [AVCaptureVideoPreviewLayer layerWithSession:captureSession];

UIView *cameraView = ...;
previewLayer.frame = cameraView.bounds;
[cameraView.layer addSublayer:previewLayer];

如果想進一步操作,例如在實時預覽圖上加濾鏡,你需要把 AVCaptureVideoDataOutput 加進 capture session,並使用 OpenGL 呈現畫面,細節可參考〈iOS 上的相機捕捉〉。

總結

在 iOS 上可以為視頻捕獲配置許多不同的管線,從最直接的 UIImagePickerController,到精密配合的 AVCaptureSession 與 AVAssetWriter。如何抉擇取決於專案需求:期望的視頻品質與壓縮率,以及你想呈現給使用者的相機控件。

本文作者:伯樂在線 - dearqjn

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved