您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

用 Metal 打造驚豔遊戲畫面:從底層圖形 API 到你的第一條渲染管線

編輯:iOS 開發基礎

蘋果的 Metal 框架把 GPU 硬體加速、進階 3D 圖形渲染與大資料量的平行運算整合在同一套 API 之下。它提供的是一組精簡卻表达能力極強的介面,讓開發者在資源組織、命令提交、圖形呈現、運算指令以及資料生命週期等層面都能做細粒度(fine-grain)的底層控制。設計目標很明確:盡量壓低 CPU 的負擔,把執行期的大宗運算交還給 GPU。

——Metal 編程指南

Metal 是一套用於 iPhone 與 iPad 上 GPU 編程的高效能框架。名字本身就帶著濃厚的暗示:這個圖形層已經低到「快貼到金屬板」了。

整套框架主要服務兩個目的——3D 圖形渲染與平行運算。這恰好也是圖形學裡最常被提及的兩件事,本質上都是靠專門撰寫的程式,在 GPU 上對大量資料做同步計算。

Metal 適合誰用

在深入 API 與著色語言之前,先談談 Metal 能給開發者帶來什麼。前面提過,它只有兩大能力:3D 渲染與平行運算。

如果你正在尋找現成的遊戲引擎,Metal 未必是唯一答案。光是蘋果自家的 Scene Kit(3D)與 Sprite Kit(2D)就已經足夠應付多數情境,這些高階 API 甚至內建了物理模擬。想要更完整的方案,Epic 的 Unreal Engine、Unity 這類跨平台 3D 引擎功能更全面。不過有趣的是,這些引擎在 iOS 上的底層輸出,同樣可以改走 Metal,並從中受益。

若你已經在寫自己的底層渲染引擎,那麼除了 Metal,另一個選擇是 OpenGL / OpenGL ES。OpenGL 的優勢在於跨平台——OS X、Windows、Linux、Android 都能跑,而且教學、書籍與實務指南汗牛充棟;反觀 Metal 的中文與英文資料相對稀少,且早期僅支援搭載 64 位處理器的 iPhone 與 iPad。但效能上,OpenGL 明顯遜於 Metal,開發過程中還容易踩到各種意料之外的坑。

至於 iOS 上的高效平行運算需求,答案幾乎沒有懸念:Metal 是首選。OpenCL 在 iOS 屬於私有框架,而依賴 OpenCL 的 Core Image 在這類場景下顯得既笨重又低效。

改用 Metal 的好處

最直接的收益,是相比 OpenGL ES 大幅降低資源開銷。用 OpenGL 建立一段緩衝區或紋理時,往往得額外保留一份複本,以防 GPU 取用資料期間 CPU 又來存取同一塊記憶體。當你想在確保資料安全的前提下複製大型緩衝區或紋理,這份成本相當可觀。Metal 完全不需要這套機制,CPU 與 GPU 可以同步共用同一份資料;蘋果還搭配 Grand Central Dispatch(GCD)讓這類同步存取更順手。換句話說,好的引擎應該能在不产生複本的情況下,有效率地載入或卸載資源。

第二個好處是 Metal 能提前把 GPU 狀態「打包定案」,省掉大量多餘的驗證與切換。用 OpenGL 時,我們習慣逐項設定 GPU 狀態,並在每次 draw call 前再驗證一遍;最糟的情況下,光是換一個狀態就得重新編譯陰影效果。Metal 換了個思路:初始化渲染引擎時,GPU 狀態被封裝進一個預先估好的渲染通道(render pass),該通道會搭配多種資源一起使用,其他狀態則完全不受干擾。這些渲染通道不需要額外驗證,因此把 API 負載壓到最低,每一幀的渲染品質都隨之提升。

Metal API 的設計取捨

多數 API 靠具體類別來實作平台支援,Metal 走的是協議導向(protocol-oriented)路線——因為具體型別是由執行時的裝置決定的。這實際上鼓勵開發者面向介面而非實作編程,降低耦合;代價則是要承擔大量透過 Objective-C runtime 為 Metal 型別添加繼承與擴充的風險。

為了效率,Metal 也犧牲了一部分安全性。蘋果其他框架在錯誤處理上普遍健壯,Metal 卻不是這麼回事:某些情況下你甚至可能拿到指向內部緩衝區的裸指標,因此同步操作時必須格外謹慎。OpenGL 出錯最多是黑屏,Metal 出錯則是「什麼都有可能」——閃屏、間歇性當機都見得到,這與它直接貼近 CPU 的特殊處理器設計有關。

另外值得一提的是,蘋果當初並未提供在虛擬機上執行 Metal 的輔助工具,也就是說測試只能靠真機。

動手寫第一個 Metal 程式

接下來我們會拆解一個最小可用的 Metal 程式:它會畫出一個持續自轉的正方形。範例原始碼可在 GitHub 取得,這裡無法逐一細究每個細節,但會把主要環節都點到。

建立裝置(Device)與圖層

在 Metal 裡,Device 是 GPU 的抽象代表,所有其他物件——緩衝區、材質、函式庫——都由它產生出來。取得預設裝置只需一行:

id device = MTLCreateSystemDefaultDevice();

注意這裡的 device 並非某個具體類別,它遵循的是 MTLDevice 協議。

接著建立一個 Metal 圖層,並把它掛成 UIView 背景層的子層:

CAMetalLayer *metalLayer = [CAMetalLayer layer];
metalLayer.device = device;
metalLayer.pixelFormat = MTLPixelFormatBGRA8Unorm;
metalLayer.frame = view.bounds;
[view.layer addSublayer:self.metalLayer];

CAMetalLayer 是 CALayer 的子類,用來呈現 Metal framebuffer 的內容。我們必須告訴它使用哪個 device,並設定像素格式——這裡選的是每通道 8 bit 的 BGRA,也就是每個像素包含藍、綠、紅與 Alpha 四個值,各自範圍 0–255。

函式與函式庫

Metal 程式的多數功能以頂點(vertex)與片段(fragment)函式撰寫,通俗說就是著色器,使用 Metal Shading Language 開發。Metal 的一大優勢是著色器在打包出中介碼時就完成編譯,並在 App 啟動時快取值,執行期不必再花時間編譯。

Metal 的「函式庫」是各類函式的集合。你在專案裡寫的所有著色器都會被編進預設函式庫,並可從 device 中取出:

id library = [device newDefaultLibrary]

稍後建立渲染管線狀態時就會用到它。

指令序列

所有指令會被集結成指令序列(command queue)後提交給 device,讓指令能在執行緒安全的情況下被修改或序列化執行。建立方式很直接:

id commandQueue = [device newCommandQueue];

建立渲染管線

Metal 的管線編程意味著:頂點資料在被渲染的過程中會經歷一系列可預期的轉換。頂點著色器與片段著色器屬於可程式化的部分;而剪切、光柵化掃描、視埠轉換等固定操作則不需我們直接介入,它們合稱固定渲染管線。

建立管線時,我們要分別指定頂點與片段函式,還得告知管線 framebuffer 的像素格式。Metal 要求這個格式必須與圖層一致,否則畫不出東西。

先依名稱從函式庫取出函式:

id vertexProgram = [library newFunctionWithName:@"vertex_function"];
id fragmentProgram = [library newFunctionWithName:@"fragment_function"];

然後建立管線描述符並完成設定:

MTLRenderPipelineDescriptor *pipelineStateDescriptor = [[MTLRenderPipelineDescriptor alloc] init];
[pipelineStateDescriptor setVertexFunction:vertexProgram];
[pipelineStateDescriptor setFragmentFunction:fragmentProgram];
pipelineStateDescriptor.colorAttachments[0].pixelFormat = MTLPixelFormatBGRA8Unorm;

最後用描述符建立管線狀態,這一步會依實際硬體把中介碼最佳化後編譯成著色器:

id pipelineState = [device newRenderPipelineStateWithDescriptor:pipelineStateDescriptor error:nil];

把資料載入 Buffer

管線有了,還得餵資料。本例要畫的只是一個旋轉正方形,由兩個共邊的直角三角形組成:

static float quadVertexData[] = {
    0.5, -0.5, 0.0, 1.0,   1.0, 0.0, 0.0, 1.0,
   -0.5, -0.5, 0.0, 1.0,   0.0, 1.0, 0.0, 1.0,
   -0.5,  0.5, 0.0, 1.0,   0.0, 0.0, 1.0, 1.0,
    0.5,  0.5, 0.0, 1.0,   1.0, 1.0, 0.0, 1.0,
    0.5, -0.5, 0.0, 1.0,   1.0, 0.0, 0.0, 1.0,
   -0.5,  0.5, 0.0, 1.0,   0.0, 0.0, 1.0, 1.0,
};

每一列的前四個值代表該頂點的 x、y、z、w,後四個則是紅、綠、藍與 Alpha。至於 3D 空間裡為何要用四個分量表示位置——第四個 w 是為了讓旋轉、平移、縮放等變換在數學上更簡潔,這裡不展開。

要讓 Metal 畫出頂點,必須先把資料放進 Buffer。Buffer 是存在於記憶體中、可被 CPU 與 GPU 共享的非結構化二進位串:

vertexBuffer = [device newBufferWithBytes:quadVertexData
                                  length:sizeof(quadVertexData)
                                 options:MTLResourceOptionCPUCacheModeDefault];

我們還需要另一個 Buffer 存放旋轉矩陣,只需指定長度、不必預先填入內容:

uniformBuffer = [device newBufferWithLength:sizeof(Uniforms)
                                  options:MTLResourceOptionCPUCacheModeDefault];

動畫

要讓正方形轉起來,得在頂點著色階段對頂點做變換,也就是每一幀都要更新統一資料緩衝區。做法是從當前旋轉角算出一個旋轉矩陣,複製進 uniform buffer。

Uniform 結構體只有一個 4×4 旋轉矩形成員,型別為 matrix_float4x4,這是蘋果 SIMD 庫中的資料結構,裡頭還有不少適合平行處理的型別:

typedef struct {
    matrix_float4x4 rotation_matrix;
} Uniforms;

要複製資料進去,先取得指標再用 memcpy:

Uniforms uniforms;
uniforms.rotation_matrix = rotation_matrix_2d(rotationAngle);
void *bufferPointer = [uniformBuffer contents];
memcpy(bufferPointer, &uniforms, sizeof(Uniforms));

準備繪製

畫之前先從圖層取得 drawable,它管理了一組供渲染使用的紋理:

id drawable = [metalLayer nextDrawable];

接著建立 MTLRenderPassDescriptor,用來描述渲染前後需要完成哪些動作。這裡我們先清空 framebuffer 並填成白色,執行繪製,最後把結果存回 framebuffer 顯示:

MTLRenderPassDescriptor *renderPassDescriptor = [MTLRenderPassDescriptor renderPassDescriptor];
renderPassDescriptor.colorAttachments[0].texture = drawable.texture;
renderPassDescriptor.colorAttachments[0].loadAction = MTLLoadActionClear;
renderPassDescriptor.colorAttachments[0].clearColor = MTLClearColorMake(1, 1, 1, 1);
renderPassDescriptor.colorAttachments[0].storeAction = MTLStoreActionStore;

送出繪製指令

使用指令序列前,必須先把指令編碼進指令緩衝區——也就是把指令轉成 GPU 讀得懂的格式:

id commandBuffer = [self.commandQueue commandBuffer];

真正負責翻譯的是 MTLRenderCommandEncoder,可以向指令緩衝區搭配先前的描述符索取:

id renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];

送出前,先用預編譯好的管線狀態設定編碼器,並綁定兩段緩衝區作為頂點著色器的參數:

[renderEncoder setRenderPipelineState:pipelineState];
[renderEncoder setVertexBuffer:vertexBuffer offset:0 atIndex:0];
[renderEncoder setVertexBuffer:uniformBuffer offset:0 atIndex:1];

再告訴 Metal 要畫哪種圖元(三角形),以及從緩衝區解析多少個頂點(本例是六個):

[renderEncoder drawPrimitives:MTLPrimitiveTypeTriangle vertexStart:0 vertexCount:6];

最後宣告這一輪繪製編碼結束:

[renderEncoder endEncoding];

把 framebuffer 送上螢幕

繪製指令準備好了,接著讓指令緩衝區把結果呈現到螢幕:

[commandBuffer presentDrawable:drawable];

通知緩衝區可以開始執行:

[commandBuffer commit];

到這裡,第一個 Metal 程式就完成啦。

Metal 著色語言(Shading Language)

Metal 雖然是與 Swift 一同在 WWDC 2014 上登場的重磅內容,但它的著色語言其實是以 C++11 標準為基礎,另外加了少量語法特性與關鍵字。

寫兩個著色器

要在著色器中運用頂點資料,得先定義一個結構體來描述頂點布局,相當於用 Objective-C 表達記憶體排列:

typedef struct {
    float4 position;
    float4 color;
} VertexIn;

還需要一個結構體描述從頂點著色器傳往片段著色器的資料。差別在於,這裡必須用 [[position]] 標明哪個成員是位置:

typedef struct  {
    float4 position [[position]];
    float4 color;
} VertexOut;

頂點函式對每個頂點執行一次,接收頂點陣列、統一資料與旋轉矩陣的指標,第三個索引參數則告訴函式目前處理到第幾個頂點。這裡的 buffer 索引,正對應我們設定渲染編碼器時指定的 atIndex,Metal 就是靠它辨識參數。

函式內部把頂點位置乘上旋轉矩陣,讓正方形繞自身中心旋轉,顏色則原封不動傳下去:

vertex VertexOut vertex_function(device VertexIn *vertices [[buffer(0)]],
                                constant Uniforms &uniforms [[buffer(1)]],
                                uint vid [[vertex_id]]) {
    VertexOut out;
    out.position = uniforms.rotation_matrix * vertices[vid].position;
    out.color = vertices[vid].color;
    return out;
}

片段函式則對每個像素執行一次,參數由 Metal 在光柵化過程中產生,並對各頂點的顏色與位置做插值。這個最簡單的版本直接把插值後的顏色當成最終像素色輸出:

fragment float4 fragment_function(VertexOut in [[stage_in]]) {
    return in.color;
}

為什麼不乾脆擴充 OpenGL

蘋果本身也是 OpenGL 架構審查委員會成員,在 iOS 上支援 OpenGL 擴充早有先例。但從內部改造 OpenGL 難度極高——它的設計初衷並非全力服務 iOS 裝置,更何況還得兼容層出不窮的硬體組合。OpenGL 雖然持續演進,速度卻慢且充滿爭議。

Metal 則是蘋果完全自主設計的獨佔方案。協議導向的 API 從一開始就與蘋果其他框架高度契合:以 Objective-C 撰寫、建立在 Foundation 之上,CPU 與 GPU 協同時還用上了 GCD。它在 GPU 管線抽象上比 OpenGL 更先進,根本不需要重寫。

Mac 上的 Metal

Metal 移植到 OS X 只是時間問題。它的 API 並不限於 iPhone 與 iPad 的 ARM 處理器,多數優勢在當代 GPU 上都能發揮。差別在於 iOS 裝置的 GPU 與 CPU 共享 RAM,交換資料不必複製;當時的 Mac 並不支援記憶體共用。未來 Metal 的 API 可能會調整以適配獨立 RAM 架構,或者僅應用於日後採用共享 RAM 的 Mac 機型。

結語

多數遊戲開發者短期內不會直接碰到 Metal,但主流引擎已經開始擁抱它,開發者不必自己造 API 就能享受紅利。而對玩家與硬體愛好者來說,Metal 意味著更驚豔的畫面與更順暢的幀率,這無疑是天大的好消息。

延伸資源

Metal 編程指南、Metal 著色語言指南、Metal 實例;本站另有 iOS 8 Metal Swift 教程(開始學習、3D 圖形)、Metal Framework 基礎使用教程、Metal 基本圖像處理實例等文章。

(本文由 CocoaChina 翻譯自 objc.io,轉載請註明出處)

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved