原本打算用兩篇篇幅結束相機模組的介紹,寫到後面才發現還漏了最關鍵的一塊:OpenGL。於是有了這第三篇。
本篇要處理三件事:
老實說這部分不太好寫,牽涉的知識面太廣,尤其 OpenGL 本身有相當的專業門檻,靠一篇文章中斷然講不完。所以這裡只把流程串起來,細節為何如此,建議找一本 OpenGL 的書讀過。等這系列收尾,說不定我會再寫幾篇專門談 OpenGL 的文章。
整體流程是:從 AVCaptureSession 取得拍攝時的視訊資料流,做特效處理,最後交給 OpenGL 進行紋理貼圖並顯示。
AVCaptureSession 初始化完成後,設定一個回呼方法即可取得每一幀的影像資料:
- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
fromConnection:(AVCaptureConnection *)connection {
if (videoOutput == captureOutput) {
OSStatus err = CMBufferQueueEnqueue(previewBufferQueue, sampleBuffer);
if (!err) {
dispatch_async(dispatch_get_main_queue(), ^{
CMSampleBufferRef sbuf =
(CMSampleBufferRef)CMBufferQueueDequeueAndRetain(previewBufferQueue);
if (sbuf) {
CVImageBufferRef pixBuf = CMSampleBufferGetImageBuffer(sbuf);
if (effectFlag) {
// 在這裡進行特效處理
}
// 在這裡進行 OpenGL 紋理貼圖與顯示
CFRelease(sbuf);
}
});
}
}
}
這又是一個龐大主題,我另外寫了一篇專文討論。裡面牽涉各種影像處理演算法、NEON 與組語層級的優化、ARM 暫存器的使用等等,這裡只提最基礎的一步:把 ImageBuffer 轉成 RGBA 像素。
unsigned char *pixel = (unsigned char *)CVPixelBufferGetBaseAddress(pixelBuffer);
此時 pixel 指向的記憶體,存放的就是這張影像的 RGBA 像素值。
整個初始化過程可以拆成下列步驟:
layerClass,改用 CAEAGLLayerCAEAGLLayer,指定 RGBA8 像素格式EAGLContext,並設為當前環境對應程式碼如下:
// 使用 OpenGL ES 時必須重寫圖層類別
+ (Class)layerClass {
return [CAEAGLLayer class];
}
- (BOOL)initializeBuffers {
// 設定 oglContext 為當前環境
if ([EAGLContext currentContext] != oglContext) {
[EAGLContext setCurrentContext:oglContext];
}
BOOL success = YES;
// 暫存並切換圖層尺寸為全螢幕,初始化完成後還原
CGRect rtCurrFrame = self.layer.frame;
CGRect rtCurrBounds = self.layer.bounds;
CGRect rtFullscreem = [[UIScreen mainScreen] bounds];
self.layer.frame = rtFullscreem;
self.layer.bounds = rtFullscreem;
// 深度測試:開啟後可比較深度值並更新深度緩衝區,
// 讓 OpenGL 追蹤 Z 軸上的像素,只在前方無遮挡時才繪製。
// 一般繪製 3D 場景時才需要開啟。
glDisable(GL_DEPTH_TEST);
// 建立幀緩衝區並綁定
glGenFramebuffers(1, &frameBufferHandle);
glBindFramebuffer(GL_FRAMEBUFFER, frameBufferHandle);
// 建立渲染緩衝區並綁定
glGenRenderbuffers(1, &colorBufferHandle);
glBindRenderbuffer(GL_RENDERBUFFER, colorBufferHandle);
// 為渲染緩衝區配置空間
[oglContext renderbufferStorage:GL_RENDERBUFFER
fromDrawable:(CAEAGLLayer *)self.layer];
// 取得渲染緩衝區尺寸
int renderBufferWidth = 0, renderBufferHeight = 0;
glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_WIDTH,
&renderBufferWidth);
glGetRenderbufferParameteriv(GL_RENDERBUFFER, GL_RENDERBUFFER_HEIGHT,
&renderBufferHeight);
// 把渲染緩衝區附加到幀緩衝區
glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0,
GL_RENDERBUFFER, colorBufferHandle);
// 檢查幀緩衝區狀態
if (glCheckFramebufferStatus(GL_FRAMEBUFFER) != GL_FRAMEBUFFER_COMPLETE) {
NSLog(@"framebuffer 建立失敗 0x%X",
glCheckFramebufferStatus(GL_FRAMEBUFFER));
success = NO;
}
// 建立紋理快取
CVReturn err = CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, NULL,
oglContext, NULL,
&videoTextureCache);
if (err) {
NSLog(@"CVOpenGLESTextureCacheCreate 錯誤 %d", err);
success = NO;
}
// 載入頂點與片段著色器
const GLchar *vertSrc = str_passThrough_v;
const GLchar *fragSrc = str_passThrough_f;
GLint attribLocation[NUM_ATTRIBUTES] = { ATTRIB_VERTEX, ATTRIB_TEXTUREPOSITION };
GLchar *attribName[NUM_ATTRIBUTES] = { "position", "textureCoordinate" };
// 建立並初始化 program
glueCreateProgram(vertSrc, fragSrc,
NUM_ATTRIBUTES, (const GLchar **)&attribName[0],
attribLocation,
0, 0, 0,
&passThroughProgram);
if (!passThroughProgram) {
success = NO;
}
// 還原圖層尺寸
self.layer.frame = rtCurrFrame;
self.layer.bounds = rtCurrBounds;
return success;
}
要控制顯示區域,關鍵在於設定紋理頂點座標:
glVertexAttribPointer(ATTRIB_TEXTUREPOSITION, 2, GL_FLOAT, 0, 0, textureVertices);
textureVertices 是一個用來描述貼圖範圍的陣列。
全螢幕填滿:
GLfloat squareVertices0[8] = {
-1.0f, -1.0f,
1.0f, -1.0f,
-1.0f, 1.0f,
1.0f, 1.0f
};
等比例(16:9)不變形:
GLfloat squareVertices1[8] = {
-0.5625f, -1.0f,
0.5625f, -1.0f,
-0.5625f, 1.0f,
0.5625f, 1.0f
};
這組數字的由來很簡單:拍攝解析度是 1920×1080,1080 ÷ 1920 = 0.5625。要特別留意拍攝時寬高是相反的關係,計算時別弄混。
