
蘋果的 Metal 框架把 GPU 硬體加速、進階 3D 圖形渲染與大資料量的平行運算整合在同一套 API 之下。它提供的是一組精簡卻表达能力極強的介面,讓開發者在資源組織、命令提交、圖形呈現、運算指令以及資料生命週期等層面都能做細粒度(fine-grain)的底層控制。設計目標很明確:盡量壓低 CPU 的負擔,把執行期的大宗運算交還給 GPU。
——Metal 編程指南
Metal 是一套用於 iPhone 與 iPad 上 GPU 編程的高效能框架。名字本身就帶著濃厚的暗示:這個圖形層已經低到「快貼到金屬板」了。
整套框架主要服務兩個目的——3D 圖形渲染與平行運算。這恰好也是圖形學裡最常被提及的兩件事,本質上都是靠專門撰寫的程式,在 GPU 上對大量資料做同步計算。
在深入 API 與著色語言之前,先談談 Metal 能給開發者帶來什麼。前面提過,它只有兩大能力:3D 渲染與平行運算。
如果你正在尋找現成的遊戲引擎,Metal 未必是唯一答案。光是蘋果自家的 Scene Kit(3D)與 Sprite Kit(2D)就已經足夠應付多數情境,這些高階 API 甚至內建了物理模擬。想要更完整的方案,Epic 的 Unreal Engine、Unity 這類跨平台 3D 引擎功能更全面。不過有趣的是,這些引擎在 iOS 上的底層輸出,同樣可以改走 Metal,並從中受益。
若你已經在寫自己的底層渲染引擎,那麼除了 Metal,另一個選擇是 OpenGL / OpenGL ES。OpenGL 的優勢在於跨平台——OS X、Windows、Linux、Android 都能跑,而且教學、書籍與實務指南汗牛充棟;反觀 Metal 的中文與英文資料相對稀少,且早期僅支援搭載 64 位處理器的 iPhone 與 iPad。但效能上,OpenGL 明顯遜於 Metal,開發過程中還容易踩到各種意料之外的坑。
至於 iOS 上的高效平行運算需求,答案幾乎沒有懸念:Metal 是首選。OpenCL 在 iOS 屬於私有框架,而依賴 OpenCL 的 Core Image 在這類場景下顯得既笨重又低效。
最直接的收益,是相比 OpenGL ES 大幅降低資源開銷。用 OpenGL 建立一段緩衝區或紋理時,往往得額外保留一份複本,以防 GPU 取用資料期間 CPU 又來存取同一塊記憶體。當你想在確保資料安全的前提下複製大型緩衝區或紋理,這份成本相當可觀。Metal 完全不需要這套機制,CPU 與 GPU 可以同步共用同一份資料;蘋果還搭配 Grand Central Dispatch(GCD)讓這類同步存取更順手。換句話說,好的引擎應該能在不产生複本的情況下,有效率地載入或卸載資源。
第二個好處是 Metal 能提前把 GPU 狀態「打包定案」,省掉大量多餘的驗證與切換。用 OpenGL 時,我們習慣逐項設定 GPU 狀態,並在每次 draw call 前再驗證一遍;最糟的情況下,光是換一個狀態就得重新編譯陰影效果。Metal 換了個思路:初始化渲染引擎時,GPU 狀態被封裝進一個預先估好的渲染通道(render pass),該通道會搭配多種資源一起使用,其他狀態則完全不受干擾。這些渲染通道不需要額外驗證,因此把 API 負載壓到最低,每一幀的渲染品質都隨之提升。
多數 API 靠具體類別來實作平台支援,Metal 走的是協議導向(protocol-oriented)路線——因為具體型別是由執行時的裝置決定的。這實際上鼓勵開發者面向介面而非實作編程,降低耦合;代價則是要承擔大量透過 Objective-C runtime 為 Metal 型別添加繼承與擴充的風險。
為了效率,Metal 也犧牲了一部分安全性。蘋果其他框架在錯誤處理上普遍健壯,Metal 卻不是這麼回事:某些情況下你甚至可能拿到指向內部緩衝區的裸指標,因此同步操作時必須格外謹慎。OpenGL 出錯最多是黑屏,Metal 出錯則是「什麼都有可能」——閃屏、間歇性當機都見得到,這與它直接貼近 CPU 的特殊處理器設計有關。
另外值得一提的是,蘋果當初並未提供在虛擬機上執行 Metal 的輔助工具,也就是說測試只能靠真機。
接下來我們會拆解一個最小可用的 Metal 程式:它會畫出一個持續自轉的正方形。範例原始碼可在 GitHub 取得,這裡無法逐一細究每個細節,但會把主要環節都點到。
在 Metal 裡,Device 是 GPU 的抽象代表,所有其他物件——緩衝區、材質、函式庫——都由它產生出來。取得預設裝置只需一行:
id device = MTLCreateSystemDefaultDevice();
注意這裡的 device 並非某個具體類別,它遵循的是 MTLDevice 協議。
接著建立一個 Metal 圖層,並把它掛成 UIView 背景層的子層:
CAMetalLayer *metalLayer = [CAMetalLayer layer]; metalLayer.device = device; metalLayer.pixelFormat = MTLPixelFormatBGRA8Unorm; metalLayer.frame = view.bounds; [view.layer addSublayer:self.metalLayer];
CAMetalLayer 是 CALayer 的子類,用來呈現 Metal framebuffer 的內容。我們必須告訴它使用哪個 device,並設定像素格式——這裡選的是每通道 8 bit 的 BGRA,也就是每個像素包含藍、綠、紅與 Alpha 四個值,各自範圍 0–255。
Metal 程式的多數功能以頂點(vertex)與片段(fragment)函式撰寫,通俗說就是著色器,使用 Metal Shading Language 開發。Metal 的一大優勢是著色器在打包出中介碼時就完成編譯,並在 App 啟動時快取值,執行期不必再花時間編譯。
Metal 的「函式庫」是各類函式的集合。你在專案裡寫的所有著色器都會被編進預設函式庫,並可從 device 中取出:
id library = [device newDefaultLibrary]
稍後建立渲染管線狀態時就會用到它。
所有指令會被集結成指令序列(command queue)後提交給 device,讓指令能在執行緒安全的情況下被修改或序列化執行。建立方式很直接:
id commandQueue = [device newCommandQueue];
Metal 的管線編程意味著:頂點資料在被渲染的過程中會經歷一系列可預期的轉換。頂點著色器與片段著色器屬於可程式化的部分;而剪切、光柵化掃描、視埠轉換等固定操作則不需我們直接介入,它們合稱固定渲染管線。
建立管線時,我們要分別指定頂點與片段函式,還得告知管線 framebuffer 的像素格式。Metal 要求這個格式必須與圖層一致,否則畫不出東西。
先依名稱從函式庫取出函式:
id vertexProgram = [library newFunctionWithName:@"vertex_function"]; id fragmentProgram = [library newFunctionWithName:@"fragment_function"];
然後建立管線描述符並完成設定:
MTLRenderPipelineDescriptor *pipelineStateDescriptor = [[MTLRenderPipelineDescriptor alloc] init]; [pipelineStateDescriptor setVertexFunction:vertexProgram]; [pipelineStateDescriptor setFragmentFunction:fragmentProgram]; pipelineStateDescriptor.colorAttachments[0].pixelFormat = MTLPixelFormatBGRA8Unorm;
最後用描述符建立管線狀態,這一步會依實際硬體把中介碼最佳化後編譯成著色器:
id pipelineState = [device newRenderPipelineStateWithDescriptor:pipelineStateDescriptor error:nil];
管線有了,還得餵資料。本例要畫的只是一個旋轉正方形,由兩個共邊的直角三角形組成:
static float quadVertexData[] = {
0.5, -0.5, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0,
-0.5, -0.5, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0,
-0.5, 0.5, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0,
0.5, 0.5, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0,
0.5, -0.5, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0,
-0.5, 0.5, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0,
};每一列的前四個值代表該頂點的 x、y、z、w,後四個則是紅、綠、藍與 Alpha。至於 3D 空間裡為何要用四個分量表示位置——第四個 w 是為了讓旋轉、平移、縮放等變換在數學上更簡潔,這裡不展開。
要讓 Metal 畫出頂點,必須先把資料放進 Buffer。Buffer 是存在於記憶體中、可被 CPU 與 GPU 共享的非結構化二進位串:
vertexBuffer = [device newBufferWithBytes:quadVertexData
length:sizeof(quadVertexData)
options:MTLResourceOptionCPUCacheModeDefault];我們還需要另一個 Buffer 存放旋轉矩陣,只需指定長度、不必預先填入內容:
uniformBuffer = [device newBufferWithLength:sizeof(Uniforms)
options:MTLResourceOptionCPUCacheModeDefault];要讓正方形轉起來,得在頂點著色階段對頂點做變換,也就是每一幀都要更新統一資料緩衝區。做法是從當前旋轉角算出一個旋轉矩陣,複製進 uniform buffer。
Uniform 結構體只有一個 4×4 旋轉矩形成員,型別為 matrix_float4x4,這是蘋果 SIMD 庫中的資料結構,裡頭還有不少適合平行處理的型別:
typedef struct {
matrix_float4x4 rotation_matrix;
} Uniforms;要複製資料進去,先取得指標再用 memcpy:
Uniforms uniforms; uniforms.rotation_matrix = rotation_matrix_2d(rotationAngle); void *bufferPointer = [uniformBuffer contents]; memcpy(bufferPointer, &uniforms, sizeof(Uniforms));
畫之前先從圖層取得 drawable,它管理了一組供渲染使用的紋理:
id drawable = [metalLayer nextDrawable];
接著建立 MTLRenderPassDescriptor,用來描述渲染前後需要完成哪些動作。這裡我們先清空 framebuffer 並填成白色,執行繪製,最後把結果存回 framebuffer 顯示:
MTLRenderPassDescriptor *renderPassDescriptor = [MTLRenderPassDescriptor renderPassDescriptor]; renderPassDescriptor.colorAttachments[0].texture = drawable.texture; renderPassDescriptor.colorAttachments[0].loadAction = MTLLoadActionClear; renderPassDescriptor.colorAttachments[0].clearColor = MTLClearColorMake(1, 1, 1, 1); renderPassDescriptor.colorAttachments[0].storeAction = MTLStoreActionStore;
使用指令序列前,必須先把指令編碼進指令緩衝區——也就是把指令轉成 GPU 讀得懂的格式:
id commandBuffer = [self.commandQueue commandBuffer];
真正負責翻譯的是 MTLRenderCommandEncoder,可以向指令緩衝區搭配先前的描述符索取:
id renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];
送出前,先用預編譯好的管線狀態設定編碼器,並綁定兩段緩衝區作為頂點著色器的參數:
[renderEncoder setRenderPipelineState:pipelineState]; [renderEncoder setVertexBuffer:vertexBuffer offset:0 atIndex:0]; [renderEncoder setVertexBuffer:uniformBuffer offset:0 atIndex:1];
再告訴 Metal 要畫哪種圖元(三角形),以及從緩衝區解析多少個頂點(本例是六個):
[renderEncoder drawPrimitives:MTLPrimitiveTypeTriangle vertexStart:0 vertexCount:6];
最後宣告這一輪繪製編碼結束:
[renderEncoder endEncoding];
繪製指令準備好了,接著讓指令緩衝區把結果呈現到螢幕:
[commandBuffer presentDrawable:drawable];
通知緩衝區可以開始執行:
[commandBuffer commit];
到這裡,第一個 Metal 程式就完成啦。
Metal 雖然是與 Swift 一同在 WWDC 2014 上登場的重磅內容,但它的著色語言其實是以 C++11 標準為基礎,另外加了少量語法特性與關鍵字。
要在著色器中運用頂點資料,得先定義一個結構體來描述頂點布局,相當於用 Objective-C 表達記憶體排列:
typedef struct {
float4 position;
float4 color;
} VertexIn;還需要一個結構體描述從頂點著色器傳往片段著色器的資料。差別在於,這裡必須用 [[position]] 標明哪個成員是位置:
typedef struct {
float4 position [[position]];
float4 color;
} VertexOut;頂點函式對每個頂點執行一次,接收頂點陣列、統一資料與旋轉矩陣的指標,第三個索引參數則告訴函式目前處理到第幾個頂點。這裡的 buffer 索引,正對應我們設定渲染編碼器時指定的 atIndex,Metal 就是靠它辨識參數。
函式內部把頂點位置乘上旋轉矩陣,讓正方形繞自身中心旋轉,顏色則原封不動傳下去:
vertex VertexOut vertex_function(device VertexIn *vertices [[buffer(0)]],
constant Uniforms &uniforms [[buffer(1)]],
uint vid [[vertex_id]]) {
VertexOut out;
out.position = uniforms.rotation_matrix * vertices[vid].position;
out.color = vertices[vid].color;
return out;
}片段函式則對每個像素執行一次,參數由 Metal 在光柵化過程中產生,並對各頂點的顏色與位置做插值。這個最簡單的版本直接把插值後的顏色當成最終像素色輸出:
fragment float4 fragment_function(VertexOut in [[stage_in]]) {
return in.color;
}蘋果本身也是 OpenGL 架構審查委員會成員,在 iOS 上支援 OpenGL 擴充早有先例。但從內部改造 OpenGL 難度極高——它的設計初衷並非全力服務 iOS 裝置,更何況還得兼容層出不窮的硬體組合。OpenGL 雖然持續演進,速度卻慢且充滿爭議。
Metal 則是蘋果完全自主設計的獨佔方案。協議導向的 API 從一開始就與蘋果其他框架高度契合:以 Objective-C 撰寫、建立在 Foundation 之上,CPU 與 GPU 協同時還用上了 GCD。它在 GPU 管線抽象上比 OpenGL 更先進,根本不需要重寫。
Metal 移植到 OS X 只是時間問題。它的 API 並不限於 iPhone 與 iPad 的 ARM 處理器,多數優勢在當代 GPU 上都能發揮。差別在於 iOS 裝置的 GPU 與 CPU 共享 RAM,交換資料不必複製;當時的 Mac 並不支援記憶體共用。未來 Metal 的 API 可能會調整以適配獨立 RAM 架構,或者僅應用於日後採用共享 RAM 的 Mac 機型。
多數遊戲開發者短期內不會直接碰到 Metal,但主流引擎已經開始擁抱它,開發者不必自己造 API 就能享受紅利。而對玩家與硬體愛好者來說,Metal 意味著更驚豔的畫面與更順暢的幀率,這無疑是天大的好消息。
延伸資源
Metal 編程指南、Metal 著色語言指南、Metal 實例;本站另有 iOS 8 Metal Swift 教程(開始學習、3D 圖形)、Metal Framework 基礎使用教程、Metal 基本圖像處理實例等文章。
(本文由 CocoaChina 翻譯自 objc.io,轉載請註明出處)