您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

用 AVFoundation 處理 iOS 視訊串流:從 API 結構到二維碼實戰

編輯:iOS 開發基礎

先看清楚框架層級

動手之前,先把 AVFoundation 在整個框架堆疊中的位置與角色摸清楚,後面的 API 就不會顯得零散。

要擷取影像,核心api圍繞這幾個類別(以及它們的子類):

  • AVCaptureDevice:實體輸入裝置,例如相機與麥克風。

  • AVCaptureInput:輸入資料的入口。

  • AVCaptureOutput:輸出資料的出口。

  • AVCaptureSession:負責把輸入與輸出串起來、協調資料流。

另外還有 AVCaptureVideoPreviewLayer,專門負責把相機畫面即時預覽出來。一句話概括它們的關係:

基本流程:六個步驟

實際用 AVFoundation 擷取視訊並不難。空談沒意思,直接看程式碼——音訊擷取、靜態影像擷取的流程也大同小異。

1. 建立 AVCaptureSession

它是整個管線的中樞,第一步就是把它 new 出來:

AVCaptureSession *session = [[AVCaptureSession alloc] init];

2. 建立 AVCaptureDevice

取得代表輸入裝置的物件,這裡指定用於影像擷取的相機:

AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];

3. 用 AVCaptureDeviceInput 把裝置掛進 Session

裝置要接入 session,得透過 AVCaptureDeviceInput,它負責管理裝置的連接埠,可以把它理解為裝置的抽象層。同一台裝置往往能同時提供影像與音訊,因此我們會用兩個 AVCaptureDeviceInput 分別代表影像輸入與音訊輸入。

NSError *error;
AVCaptureDeviceInput *input = [AVCaptureDeviceInput deviceInputWithDevice:device error:&error];
[session addInput:input];

4. 建立 AVCaptureOutput

要從 session 把資料取出來,就需要一個輸出物件:

AVCaptureVideoDataOutput *output = [[AVCaptureVideoDataOutput alloc] init];

5. 設定 delegate、掛上 Session,在代理方法裡處理影格

為 output 指定 delegate,並明確給它一條佇列。這裡有個關鍵細節:佇列必須是序列(serial)的,才能確保影格依序送達,不會亂序交錯。

videoDataOutputQueue = dispatch_queue_create("VideoDataOutputQueue", DISPATCH_QUEUE_SERIAL);
[videoDataOutput setSampleBufferDelegate:self queue:videoDataOutputQueue];
[session addOutput:videoDataOutput];

隨後每個影格都會走進這個代理方法:

captureOutput:didOutputSampleBuffer:fromConnection:

6. 開始擷取

[session startRunning];

流程本身不複雜,真正的門檻在於配置細節與效能取捨——設定解析度、影格率、背景執行、記憶體回收,這些才是需要反覆打磨的地方。

實戰:做一個二維碼掃描器 QRCatcher

把上面的知識落到一個具體專案上會更有感覺。QRCatcher 就是一個以 AVFoundation 為核心的二維碼識別 App,已上架 App Store 並完整開源。

專案結構:

|- Model
|    |- URLEntity
|- View
|    |- QRURLTableViewCell
|    |- QRTabBar
|- Controller
|    |- QRCatchViewController
|    |- QRURLViewController
|- Tools
|    |- NSString+Tools
|    |- NSObject+Macro

典型的 MVC 分層,並不複雜:

  • Model 只有一個 URLEntity,用來存放掃到的 URL 資訊。這個專案也順手練了 Core Data,搭配 NSFetchedResultsController 使用相當省心。

  • View 是一個 TableViewCell 與 TabBar;自訂 TabBar 主要是為了調整高度。

  • Controller 裡,QRCatchViewController 負責掃描與儲存二維碼,QRURLViewController 負責展示與管理蒐集到的 URL。

  • Tools 是日常累積維護的工具類集合(已開源),這裡主要用來檢查 URL 合法性、判斷裝置型別等。

回到 AVFoundation:在這個專案裡,它負責的就是二維碼的掃描與解析。

步驟一:設定 AVFoundation

- (void)setupAVFoundation {
    // session
    self.session = [[AVCaptureSession alloc] init];

    // device
    AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
    NSError *error = nil;

    // input
    AVCaptureDeviceInput *input = [AVCaptureDeviceInput deviceInputWithDevice:device error:&error];
    if (input) {
        [self.session addInput:input];
    } else {
        NSLog(@"%@", error);
        return;
    }

    // output
    AVCaptureMetadataOutput *output = [[AVCaptureMetadataOutput alloc] init];
    [self.session addOutput:output];
    [output setMetadataObjectTypes:@[AVMetadataObjectTypeQRCode]];
    [output setMetadataObjectsDelegate:self queue:dispatch_get_main_queue()];

    // add preview layer
    self.previewLayer = [AVCaptureVideoPreviewLayer layerWithSession:self.session];
    [self.preview.layer addSublayer:self.previewLayer];

    // start
    [self.session startRunning];
}

骨架和前面擷取視訊的六步完全一致:

  1. 建立 session

  2. 建立 device

  3. 建立 input

  4. 建立 output

  5. 設定代理與佇列

  6. 開始擷取

唯一的分歧在 output:擷取視訊用的是 AVCaptureVideoDataOutput,而這裡我們要的是二維碼資訊,因此改用 AVCaptureMetadataOutput,並指定要解析的 metadata 型別。範例中指定 AVMetadataObjectTypeQRCode,其餘如 PDF417 等條碼型別也都能指定,完整清單可查官方文件。

步驟二:實作代理方法

- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputMetadataObjects:(NSArray *)metadataObjects
       fromConnection:(AVCaptureConnection *)connection {
    for (AVMetadataMachineReadableCodeObject *metadata in metadataObjects) {
        if ([metadata.type isEqualToString:AVMetadataObjectTypeQRCode]) {
            self.borderView.hidden = NO;
            if ([metadata.stringValue isURL]) {
                [[UIApplication sharedApplication] openURL:[NSString HTTPURLFromString:metadata.stringValue]];
                [self insertURLEntityWithURL:metadata.stringValue];
                self.stringLabel.text = metadata.stringValue;
            } else {
                self.stringLabel.text = metadata.stringValue;
            }
        }
    }
}

資料在代理方法裡到手,剩下的就看你自己的業務需求。這裡只做了最簡單的判斷:如果是 URL,就喚起 Safari 開啟,同時存進資料庫。

總結

一個小小的二維碼 App,就足以展示 AVFoundation 處理視訊串流的能力。而它的本事遠不止於此——剪輯、音軌處理都在射程之內。下次要動手處理影音相關的需求時,在急著找第三方方案之前,不妨先看看蘋果交給我們的這個強大框架。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved