您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS Camera 開發筆記(三):OpenGL 即時特效與畫面比例縮放

編輯:iOS 開發綜合

原本打算用兩篇篇幅結束相機模組的介紹,寫到後面才發現還漏了最關鍵的一塊:OpenGL。於是有了這第三篇。

本篇要處理三件事:

  1. 錄影預覽畫面如何用 OpenGL 呈現
  2. 錄影過程中的即時特效處理
  3. 畫面的等比例縮放與旋轉(例如 16:9、4:3、1:1)

老實說這部分不太好寫,牽涉的知識面太廣,尤其 OpenGL 本身有相當的專業門檻,靠一篇文章中斷然講不完。所以這裡只把流程串起來,細節為何如此,建議找一本 OpenGL 的書讀過。等這系列收尾,說不定我會再寫幾篇專門談 OpenGL 的文章。

整體流程是:從 AVCaptureSession 取得拍攝時的視訊資料流,做特效處理,最後交給 OpenGL 進行紋理貼圖並顯示。

一、如何拿到視訊資料流

AVCaptureSession 初始化完成後,設定一個回呼方法即可取得每一幀的影像資料:

- (void)captureOutput:(AVCaptureOutput *)captureOutput
    didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
       fromConnection:(AVCaptureConnection *)connection {
    if (videoOutput == captureOutput) {
        OSStatus err = CMBufferQueueEnqueue(previewBufferQueue, sampleBuffer);
        if (!err) {
            dispatch_async(dispatch_get_main_queue(), ^{
                CMSampleBufferRef sbuf =
                    (CMSampleBufferRef)CMBufferQueueDequeueAndRetain(previewBufferQueue);
                if (sbuf) {
                    CVImageBufferRef pixBuf = CMSampleBufferGetImageBuffer(sbuf);
                    if (effectFlag) {
                        // 在這裡進行特效處理
                    }
                    // 在這裡進行 OpenGL 紋理貼圖與顯示
                    CFRelease(sbuf);
                }
            });
        }
    }
}

二、影像特效處理

這又是一個龐大主題,我另外寫了一篇專文討論。裡面牽涉各種影像處理演算法、NEON 與組語層級的優化、ARM 暫存器的使用等等,這裡只提最基礎的一步:把 ImageBuffer 轉成 RGBA 像素。

unsigned char *pixel = (unsigned char *)CVPixelBufferGetBaseAddress(pixelBuffer);

此時 pixel 指向的記憶體,存放的就是這張影像的 RGBA 像素值。

三、OpenGL 紋理貼圖

整個初始化過程可以拆成下列步驟:

  1. 重寫 layerClass,改用 CAEAGLLayer
  2. 取得並設定 CAEAGLLayer,指定 RGBA8 像素格式
  3. 建立 OpenGL ES 2.0 的繪圖環境 EAGLContext,並設為當前環境
  4. 建立幀緩衝區並綁定到繪圖管線
  5. 建立渲染緩衝區並綁定到管線
  6. 為渲染緩衝區配置空間
  7. 取得渲染緩衝區的寬高
  8. 把渲染緩衝區附加到幀緩衝區
  9. 檢查幀緩衝區狀態是否完整
  10. 建立 OpenGL 紋理物件(CVOpenGLESTextureCache)
  11. 載入頂點與片段著色器
  12. 建立並初始化 shader program

對應程式碼如下:

// 使用 OpenGL ES 時必須重寫圖層類別
+ (Class)layerClass {
    return [CAEAGLLayer class];
}

- (BOOL)initializeBuffers {
    // 設定 oglContext 為當前環境
    if ([EAGLContext currentContext] != oglContext) {
        [EAGLContext setCurrentContext:oglContext];
    }

    BOOL success = YES;

    // 暫存並切換圖層尺寸為全螢幕,初始化完成後還原
    CGRect rtCurrFrame  = self.layer.frame;
    CGRect rtCurrBounds = self.layer.bounds;
    CGRect rtFullscreem = [[UIScreen mainScreen] bounds];
    self.layer.frame  = rtFullscreem;
    self.layer.bounds = rtFullscreem;

    // 深度測試:開啟後可比較深度值並更新深度緩衝區,
    // 讓 OpenGL 追蹤 Z 軸上的像素,只在前方無遮挡時才繪製。
    // 一般繪製 3D 場景時才需要開啟。
    glDisable(GL_DEPTH_TEST);

    // 建立幀緩衝區並綁定
    glGenFramebuffers(1, &frameBufferHandle);
    glBindFramebuffer(GL_FRAMEBUFFER, frameBufferHandle);

    // 建立渲染緩衝區並綁定
    glGenRenderbuffers(1, &colorBufferHandle);
    glBindRenderbuffer(GL_RENDERBUFFER, colorBufferHandle);

    // 為渲染緩衝區配置空間
    [oglContext renderbufferStorage:GL_RENDERBUFFER
                       fromDrawable:(CAEAGLLayer *)self.layer];

    // 取得渲染緩衝區尺寸
    int renderBufferWidth = 0, renderBufferHeight = 0;
    glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_WIDTH,
                                 &renderBufferWidth);
    glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_HEIGHT,
                                 &renderBufferHeight);

    // 把渲染緩衝區附加到幀緩衝區
    glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0,
                              GL_RENDERBUFFER, colorBufferHandle);

    // 檢查幀緩衝區狀態
    if (glCheckFramebufferStatus(GL_FRAMEBUFFER) != GL_FRAMEBUFFER_COMPLETE) {
        NSLog(@"framebuffer 建立失敗 0x%X",
              glCheckFramebufferStatus(GL_FRAMEBUFFER));
        success = NO;
    }

    // 建立紋理快取
    CVReturn err = CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, NULL,
                                                oglContext, NULL,
                                                &videoTextureCache);
    if (err) {
        NSLog(@"CVOpenGLESTextureCacheCreate 錯誤 %d", err);
        success = NO;
    }

    // 載入頂點與片段著色器
    const GLchar *vertSrc = str_passThrough_v;
    const GLchar *fragSrc = str_passThrough_f;

    GLint attribLocation[NUM_ATTRIBUTES] = { ATTRIB_VERTEX, ATTRIB_TEXTUREPOSITION };
    GLchar *attribName[NUM_ATTRIBUTES] = { "position", "textureCoordinate" };

    // 建立並初始化 program
    glueCreateProgram(vertSrc, fragSrc,
                      NUM_ATTRIBUTES, (const GLchar **)&attribName[0],
                      attribLocation,
                      0, 0, 0,
                      &passThroughProgram);

    if (!passThroughProgram) {
        success = NO;
    }

    // 還原圖層尺寸
    self.layer.frame  = rtCurrFrame;
    self.layer.bounds = rtCurrBounds;

    return success;
}

四、畫面的等比例縮放

要控制顯示區域,關鍵在於設定紋理頂點座標:

glVertexAttribPointer(ATTRIB_TEXTUREPOSITION, 2, GL_FLOAT, 0, 0, textureVertices);

textureVertices 是一個用來描述貼圖範圍的陣列。

全螢幕填滿:

GLfloat squareVertices0[8] = {
    -1.0f, -1.0f,
     1.0f, -1.0f,
    -1.0f,  1.0f,
     1.0f,  1.0f
};

等比例(16:9)不變形:

GLfloat squareVertices1[8] = {
    -0.5625f, -1.0f,
     0.5625f, -1.0f,
    -0.5625f,  1.0f,
     0.5625f,  1.0f
};

這組數字的由來很簡單:拍攝解析度是 1920×1080,1080 ÷ 1920 = 0.5625。要特別留意拍攝時寬高是相反的關係,計算時別弄混。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved