
隨著每一代 iPhone 處理能力與相機硬體的提升,用它來捕捉視頻變得越來越有意思。它們小巧、輕便、低調,而且與專業攝影機之間的差距已經小到某種程度——在某些情況下,iPhone 真的能取代它們。
本文討論如何配置視頻捕獲管線(pipeline),以及如何最大化利用硬體效能。文中提供了一個使用不同管線的範例 App,可以在 GitHub 查看。
目前把視頻捕獲整合進 App 最簡單的方式,就是使用 UIImagePickerController。它封裝了完整的視頻捕獲管線與相機 UI。
在實例化之前,先確認裝置是否支援相機錄製:
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
NSArray *availableMediaTypes =
[UIImagePickerController availableMediaTypesForSourceType:UIImagePickerControllerSourceTypeCamera];
if ([availableMediaTypes containsObject:(NSString *)kUTTypeMovie]) {
// 支援視頻錄制
}
}
接著建立一個 UIImagePickerController 物件,設定代理以便後續處理錄好的視頻(例如存進相簿),並回應使用者關閉相機:
UIImagePickerController *camera = [UIImagePickerController new]; camera.sourceType = UIImagePickerControllerSourceTypeCamera; camera.mediaTypes = @[(NSString *)kUTTypeMovie]; camera.delegate = self;
這就是實作一個功能完整的攝影機所需要寫的全部程式碼。
UIImagePickerController 還提供了額外的設定選項。
透過 cameraDevice 可以指定使用哪顆相機。這是個 UIImagePickerControllerCameraDevice 列舉,預設為 UIImagePickerControllerCameraDeviceRear,也可以設為 UIImagePickerControllerCameraDeviceFront。每次都要先確認目標相機可用:
UIImagePickerController *camera = ...;
if ([UIImagePickerController isCameraDeviceAvailable:UIImagePickerControllerCameraDeviceFront]) {
[camera setCameraDevice:UIImagePickerControllerCameraDeviceFront];
}
videoQuality 屬性用於控制錄製視頻的品質,它讓你設定一個特定的編碼預設,進而改變視頻的碼率與解析度。共有六種預設:
enum {
UIImagePickerControllerQualityTypeHigh = 0,
UIImagePickerControllerQualityTypeMedium = 1, // default value
UIImagePickerControllerQualityTypeLow = 2,
UIImagePickerControllerQualityType640x480 = 3,
UIImagePickerControllerQualityTypeIFrame1280x720 = 4,
UIImagePickerControllerQualityTypeIFrame960x540 = 5
};
typedef NSUInteger UIImagePickerControllerQualityType;
前三種是相對預設(low、medium、high),它們的實際編碼配置會因裝置而異——選 high,該相機會給你這台設備能支援的最高畫質。後三種是特定解析度預設(640×480 VGA、960×540 iFrame、1280×720 iFrame)。
如前所述,UIImagePickerController 自帶一套相機 UI 可直接使用。但你也可以自訂控件:隱藏預設控件,建立帶有自訂控件的視圖,覆蓋在相機預覽圖層上:
UIView *cameraOverlay = ...; picker.showsCameraControls = NO; picker.cameraOverlayView = cameraOverlay;
然後把覆蓋層上的控件關聯到 UIImagePickerController 的控制方法,比如 startVideoCapture 與 stopVideoCapture。
如果你需要更多控制捕獲流程的能力,而這些是 UIImagePickerController 無法提供的,那就得動用 AVFoundation。
AVFoundation 中處理視頻捕獲的核心類別是 AVCaptureSession,負責調配影音輸入與輸出之間的資料流。
使用 capture session 的流程是:先實例化,加入輸入與輸出,然後啟動從輸入到輸出的資料流:
AVCaptureSession *captureSession = [AVCaptureSession new];
AVCaptureDeviceInput *cameraDeviceInput = ...;
AVCaptureDeviceInput *micDeviceInput = ...;
AVCaptureMovieFileOutput *movieFileOutput = ...;
if ([captureSession canAddInput:cameraDeviceInput]) {
[captureSession addInput:cameraDeviceInput];
}
if ([captureSession canAddInput:micDeviceInput]) {
[captureSession addInput:micDeviceInput];
}
if ([captureSession canAddOutput:movieFileOutput]) {
[captureSession addOutput:movieFileOutput];
}
[captureSession startRunning];
(為了簡潔,調度隊列相關程式碼已省略。所有對 capture session 的呼叫都是阻塞的,因此建議把它們分配到背景序列隊列中執行。)
capture session 還可以透過一個 sessionPreset 進一步配置,用來指定輸出品質等級。共有 11 種預設:
NSString *const AVCaptureSessionPresetPhoto; NSString *const AVCaptureSessionPresetHigh; NSString *const AVCaptureSessionPresetMedium; NSString *const AVCaptureSessionPresetLow; NSString *const AVCaptureSessionPreset352x288; NSString *const AVCaptureSessionPreset640x480; NSString *const AVCaptureSessionPreset1280x720; NSString *const AVCaptureSessionPreset1920x1080; NSString *const AVCaptureSessionPresetiFrame960x540; NSString *const AVCaptureSessionPresetiFrame1280x720; NSString *const AVCaptureSessionPresetInputPriority;
第一個代表高像素的靜態圖像輸出。接下來九個與前面 UIImagePickerController 的 videoQuality 選項非常相似,只是這裡多了一些可用於 capture session 的額外預設。最後一個(AVCaptureSessionPresetInputPriority)表示 capture session 不控制音頻與視頻的輸出設置,而是反過來由已連接捕獲裝置的 activeFormat 決定輸出等級。下一節會看到更多關於裝置與裝置格式的細節。
AVCaptureSession 的輸入就是一個或多個 AVCaptureDevice 物件,透過 AVCaptureDeviceInput 連上 capture session。我們可以用 [AVCaptureDevice devices] 找出可用的捕獲裝置。以 iPhone 6 為例:
(
"",
"",
""
)
配置相機輸入時,實例化一個 AVCaptureDeviceInput,傳入期望的相機裝置,再加進 capture session:
AVCaptureSession *captureSession = ...;
AVCaptureDevice *cameraDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
NSError *error;
AVCaptureDeviceInput *cameraDeviceInput =
[[AVCaptureDeviceInput alloc] initWithDevice:cameraDevice error:&error];
if ([captureSession canAddInput:cameraDeviceInput]) {
[captureSession addInput:cameraDeviceInput];
}
如果前面列出的 session 預設已經能滿足需求,就不必做更多。若不夠——比如你想要更高的幀率——就得去配置具體的裝置格式。一個視頻捕獲裝置有許多格式,每個都帶有特定的屬性與能力。以下是 iPhone 6 後置攝影鏡頭的部分範例(總共 22 種可用格式):

從上表可以看到:若要錄製 240fps 的視頻,可以依想要的像素格式選第一或第二種;而若要捕獲 1920×1080 的解析度,則不支援 240fps。
配置具體裝置格式的第一步是呼叫 lockForConfiguration: 取得裝置配置屬性的獨占存取權,接著用 setActiveFormat: 設定捕獲格式——這會自動把 capture session 的預設切換為 AVCaptureSessionPresetInputPriority。設好格式之後,就能在該格式的參數範圍內進一步微調。
至於視頻捕獲的對焦、曝光與白平衡,與圖像捕獲時相同,可參考〈iOS 上的相機捕捉〉。除此之外,這裡還有一些視頻特有的選項。
你可以用捕獲裝置的 activeVideoMinFrameDuration 與 activeVideoMaxFrameDuration 設定幀速率(一幀的時長是幀速率的倒數)。設定前要先確認它在裝置格式支援的範圍內,然後鎖住裝置來配置。為了確保幀速率恆定,可以把最小與最大幀時長設成同一個值:
NSError *error;
CMTime frameDuration = CMTimeMake(1, 60);
NSArray *supportedFrameRateRanges = [device.activeFormat videoSupportedFrameRateRanges];
BOOL frameRateSupported = NO;
for (AVFrameRateRange *range in supportedFrameRateRanges) {
if (CMTIME_COMPARE_INLINE(frameDuration, >=, range.minFrameDuration) &&
CMTIME_COMPARE_INLINE(frameDuration, <=, range.maxFrameDuration)) {
frameRateSupported = YES;
}
}
if (frameRateSupported && [device lockForConfiguration:&error]) {
[device setActiveVideoMaxFrameDuration:frameDuration];
[device setActiveVideoMinFrameDuration:frameDuration];
[device unlockForConfiguration];
}
視頻防抖是在 iOS 6 與 iPhone 4S 發表時引入的功能。到了 iPhone 6,加入了更強勁流暢的影院級防抖模式,相關 API 也有所調整(目前文件尚未反映,可直接看標頭檔)。要注意的是,防抖並不在捕獲裝置上配置,而是設在 AVCaptureConnection 上;而且並非所有裝置格式都支援全部防抖模式,實作前應先確認:
AVCaptureDevice *device = ...;
AVCaptureConnection *connection = ...;
AVCaptureVideoStabilizationMode stabilizationMode = AVCaptureVideoStabilizationModeCinematic;
if ([device.activeFormat isVideoStabilizationModeSupported:stabilizationMode]) {
[connection setPreferredVideoStabilizationMode:stabilizationMode];
}
iPhone 6 的另一個新特性是視頻 HDR。它是「高動態範圍的視頻流」,與傳統上把不同曝光度的靜態圖像合成一張 HDR 圖片的做法完全不同,而是內建在感光元件中的。配置方式有兩種:直接把 capture device 的 videoHDREnabled 設為啟用或停用,或者用 automaticallyAdjustsVideoHDREnabled 交給系統判斷。
技術參考:iPhone 6 和 iPhone Plus 的新 AV Foundation 相機特性
前面的裝置清單裡只有一個音頻裝置,這可能讓人意外——畢竟 iPhone 6 有三個麥克風。但因為有時會一起使用以便優化效能,所以它們被當成一個裝置呈現。例如在 iPhone 5 及以上機型錄製視頻時,會同時使用前後麥克風做定向降噪。
Technical Q&A: AVAudioSession – Microphone Selection
大多數情況下,使用預設的麥克風配置即可。後置麥克風會自動搭配後置攝影鏡頭(前置麥克風則用於降噪),前置麥克風與前置攝影鏡頭同理。
不過想要存取並配置個別麥克風也是可行的。例如使用者用後置攝影鏡頭捕捉場景時,改用前置麥克風錄製旁白,這就必須依賴 AVAudioSession。為了切換音頻來源,audio session 首先要設定為支援此操作的類別,然後遍歷輸入端口與端口資料來源,找到目標麥克風:
// 配置 audio session
AVAudioSession *audioSession = [AVAudioSession sharedInstance];
[audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:nil];
[audioSession setActive:YES error:nil];
// 尋找期望的輸入端口
NSArray *inputs = [audioSession availableInputs];
AVAudioSessionPortDescription *builtInMic = nil;
for (AVAudioSessionPortDescription *port in inputs) {
if ([port.portType isEqualToString:AVAudioSessionPortBuiltInMic]) {
builtInMic = port;
break;
}
}
// 尋找期望的麥克風
for (AVAudioSessionDataSourceDescription *source in builtInMic.dataSources) {
if ([source.orientation isEqual:AVAudioSessionOrientationFront]) {
[builtInMic setPreferredDataSource:source error:nil];
[audioSession setPreferredInput:builtInMic error:&error];
break;
}
}
除了切換麥克風,你也可以用 AVAudioSession 配置其他音頻設定,比如音頻增益與取樣率。
有件事必須記住:存取相機與麥克風都需要先取得使用者授權。當你為視頻或音頻建立第一個 AVCaptureDeviceInput 時,iOS 會自動彈出一次對話框請求授權,但你最好還是自己實作一遍——這樣在使用者先前拒絕過的情況下,你依然能用相同程式碼再次提示。若使用者未授權,錄製視頻或音頻得到的將是黑畫面與無聲。
輸入配置完成,現在把注意力轉向 capture session 的輸出。
把視頻寫入檔案最簡單的選擇是 AVCaptureMovieFileOutput。把它作為輸出加入 capture session,就能把視頻與音頻寫入 QuickTime 檔案,所需配置極少:
AVCaptureMovieFileOutput *movieFileOutput = [AVCaptureMovieFileOutput new];
if ([captureSession canAddOutput:movieFileOutput]) {
[captureSession addOutput:movieFileOutput];
}
// 開始錄制
NSURL *outputURL = ...;
[movieFileOutput startRecordingToOutputFileURL:outputURL recordingDelegate:self];
想要在實際錄製開始或停止時收到回調,就必須提供一個錄製代理。錄製停止時輸出通常還在寫入資料,等它寫完才會呼叫代理方法。
AVCaptureMovieFileOutput 還有一些其他選項,例如設定在某段時間後、達到指定檔案大小時、或裝置剩餘磁碟空間低於某個閾值時停止錄製。如果你需要更多控制——比如自訂視頻音頻的壓縮率,或者在寫入檔案前處理視頻音頻樣本——就需要更複雜的做法。
若你想對影音輸出做更多操作,可以改用 AVCaptureVideoDataOutput 與 AVCaptureAudioDataOutput 取代 AVCaptureMovieFileOutput。
這兩個輸出會各自捕獲視頻與音頻的樣本緩衝,然後送給它們的代理。代理可以對樣本做處理(例如為視頻加上濾鏡),也可以原樣轉發。搭配 AVAssetWriter 物件,就能把樣本緩衝寫入檔案:
配置一個 asset writer 需要定義輸出 URL 與檔案格式,並加入一個或多個輸入來接收樣本緩衝。我們還要把輸入的 expectsMediaDataInRealTime 設為 YES,因為它們需要從 capture session 即時取得資料:
NSURL *url = ...;
AVAssetWriter *assetWriter =
[AVAssetWriter assetWriterWithURL:url fileType:AVFileTypeMPEG4 error:nil];
AVAssetWriterInput *videoInput =
[[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeVideo outputSettings:nil];
videoInput.expectsMediaDataInRealTime = YES;
AVAssetWriterInput *audioInput =
[[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeAudio outputSettings:nil];
audioInput.expectsMediaDataInRealTime = YES;
if ([assetWriter canAddInput:videoInput]) {
[assetWriter addInput:videoInput];
}
if ([assetWriter canAddInput:audioInput]) {
[assetWriter addInput:audioInput];
}
(這裡同樣建議把 asset writer 派送到背景序列隊列中呼叫。)
上面的範例把 outputSettings 設為 nil,意味著附加上來的樣本不會被重新編碼。如果你確實想重新編碼,就需要提供一個包含具體輸出參數的字典——音頻輸出設定的鍵值定義在這裡,視頻輸出設定則定義在另一份文件中。
為了省事,AVCaptureVideoDataOutput 與 AVCaptureAudioDataOutput 分別提供了 recommendedVideoSettingsForAssetWriterWithOutputFileType: 與 recommendedAudioSettingsForAssetWriterWithOutputFileType:,可以直接生成與 asset writer 相容、包含全部鍵值對的字典。所以你只要修改其中想覆寫的屬性,就能定義自己的輸出設定——比如提高視頻碼率來改善畫質。
或者,你也可以用 AVOutputSettingsAssistant 來配置輸出設定字典。不過以我的經驗,用上面那種方式更好,它們提供的設定更實用(比如會給出合適的視頻碼率);AVOutputSettingsAssistant 似乎存在一些小缺陷,例如當你改變期望的幀速率時,視頻碼率並不會跟著調整。
用 AVFoundation 做圖像捕獲時,我們必須自己提供一套使用者界面,其中關鍵的相機互動元件就是實時預覽圖。最簡單的做法是把 AVCaptureVideoPreviewLayer 作為一個 sublayer 加到相機圖層上:
AVCaptureSession *captureSession = ...;
AVCaptureVideoPreviewLayer *previewLayer =
[AVCaptureVideoPreviewLayer layerWithSession:captureSession];
UIView *cameraView = ...;
previewLayer.frame = cameraView.bounds;
[cameraView.layer addSublayer:previewLayer];
如果想進一步操作,例如在實時預覽圖上加濾鏡,你需要把 AVCaptureVideoDataOutput 加進 capture session,並使用 OpenGL 呈現畫面,細節可參考〈iOS 上的相機捕捉〉。
在 iOS 上可以為視頻捕獲配置許多不同的管線,從最直接的 UIImagePickerController,到精密配合的 AVCaptureSession 與 AVAssetWriter。如何抉擇取決於專案需求:期望的視頻品質與壓縮率,以及你想呈現給使用者的相機控件。
本文作者:伯樂在線 - dearqjn