
原文:Convolutional Neural Networks in iOS 10 and macOS
作者:Geppy Parziale
譯者:ALEX 吳浩文
蘋果在 iOS 10 和 macOS 10.12 的 Metal Performance Shaders 框架與 Accelerate 框架裡,引入了全新的卷積神經網絡 API。
我在之前一篇文章裡已經介紹過 iOS 上的機器學習(ML)和人工神經網絡(ANN)。如果你對這些不熟悉,建議先讀讀那篇文章。
我最近參加了 CVPR 2016,一個計算機視覺與模式識別會議。我在那裡得知,近年來卷積神經網絡幾乎被世界各地的大學和公司用於所有研究工作。卷積神經網絡在計算機視覺各個領域的流行,再加上手機上又快又強的 GPU,讓它也成為行動開發的一個極具吸引力的利器。卷積神經網絡與深度學習打開了行動應用創新的大門。
我從五年前在蘋果工作時開始接觸卷積神經網絡(CNN)。那時候可不像今天,可用的文獻和工具都極其有限。我曾用 CNN 建立一個 iOS 和 OS X 上的光學字元識別(OCR),它是 iOS 5 的一個實現。OCR 的準確度令人驚艷,即使當時設備上的實現用的是 CPU。
在這之後,我繼續把 CNN 應用於其他類型的應用。最近,我用 CNN 來做人臉識別和面部表情識別,我們得到的結果十分驚人。
卷積(Convolution)
CNN 把一種大量使用的、很常見的信號處理操作稱為卷積。卷積是把陣列(或矩陣)的鄰近元素進行加權求和,其中使用的權重由一個輸入陣列定義,它通常被稱為核(kernel)、濾鏡(filter)或卷積的遮罩(mask)。
卷積是一種非常重要的數字信號(音頻、影片、圖像)處理,因此圖形處理單元(GPU)對它進行了優化。如果你想從事 CNN 相關工作,GPU 是最重要的實現工具。
作為人類,我們也在日常活動中使用卷積,尤其是那些涉及五感的活動。例如,當我們聽音樂或盯著東西看時,我們的大腦正在對外部世界的聲音和光資訊執行著每秒數百萬次的卷積。
一維卷積的例子
讓我們建立一個例子來更好地理解卷積是如何工作的。下圖展示了一個輸入陣列或一維信號 x[n] 與一維核陣列 w[n] 的卷積。

在這個例子中,我任意假設輸入陣列的值是 1、2、…7,核陣列的值是 1、1、2、1、1。前面的圖展示了輸出序列 y[n] 的元素(或樣本)y[2] 是如何被計算的。
一般情況下,核的個數往往是奇數,這樣使得在被計算元素周圍的加權和計算上是對稱的。遠小於輸入序列 x[n] 的核也很常見。核的中央元素被用作我們想處理的輸入信號中元素的重量,其他元素則作為被計算元素左右兩邊元素的權重。
概括這個例子,如果 x[n] 是一個輸入序列,w[m] 是一個核序列,那麼卷積操作的結果 y[n] 可以用以下的數學表達式表示:

注意一下序列 w[m] 在操作中第一個被反轉和轉化。
如果我們用之前的數學公式來計算前面例子中 y[n] 的每個元素,我們得到以下結果:

既然卷積由相鄰元素的順序定義,那麼靠近陣列結尾的輸出元素自然存在邊界條件。為了避免這個問題,一種很常見的做法是在輸入序列 x[n] 的兩端添加足夠的元素(稱為鬼元素)。如果你添加 0,這個操作被稱為零填充,其他方法也可以。在實現卷積時,你需要解決填充問題。
Swift 的卷積
讓我們來看看如何用 Swift 實現卷積。假設我們有以下輸入陣列 x 和核陣列 w:
let x: [Float] = [1, 2, 3, 4, 5], M = x.count let w: [Float] = [1, 2, 3], N = w.count let T = N+M-1 // 這個之後需要
在我們開始之前,如上所述讓我們添加 N-1 個 0 到序列 x,並添加 M-1 個 0 到核來容納計算。你可以使用以下函式:
func pad(sequence x: [Float], other sequence: [Float]) -> [Float] { return x + [Float](repeatElement(0, count: sequence.count-1)) }所以,填充過的新序列是:
let paddedX: [Float] = pad(sequence: x, other: kernel) let paddedK: [Float] = pad(sequence: kernel, other: x)
現在,我們可以建立 paddedX 和 paddedK 之間的一個卷積:

最後,卷積的結果是:
// y = [1, 4, 10, 16, 22]
Accelerate 的卷積
如果你想加速卷積處理,你可以使用 Accelerate 框架提供的 vDSP_conv 函式。同樣,我需要處理邊界條件和核反轉。這一次,我對輸入陣列和核換個零填充的方式。另外,我需要反轉核(文檔裡有解釋),否則我得到的是兩個序列的相關性。
以下是用 Accelerate 的實現:
import Accelerate let x: [Float] = [1, 2, 3, 4, 5], M = x.count let kernel: [Float] = [1, 2, 3], N = kernel.count let T = N+M-1 var res = [Float](repeatElement(0, count: T)) let zeros = [Float](repeatElement(0, count: N-1)) let newXin = zeros + x + zeros vDSP_conv(newXin, 1, kernel.reverse(), 1, &res, 1, vDSP_Length(T), vDSP_Length(N))
對於這個很短的輸入序列,你不會感激 Accelerate 框架帶來的加速。但如果我建立了 100,000 個元素的輸入陣列,並用和之前範例相同的 w 內核進行卷積,在我的 MacBook Pro 上,Swift 的實現需要 318 ms,而 Accelerate 的 vDSP_conv 方法只要 159 ns。
Metal 的卷積
讓我們看一下如何用 Metal 實現相同的例子。看這篇文章學習如何配置一個 GPU 計算的 Metal 專案。
在這個特殊的例子中,我們需要建立 3 個 Metal 紋理(遵守 MTLTexture 協議的物件):第一個紋理存儲輸入序列,第二個紋理存儲核,第三個紋理存儲最終結果。
以下是建立這些紋理的源代碼:
import Metal let paddedX: [Float] = input + [Float](repeatElement(0, count: N-1)) let paddedK: [Float] = kernel + [Float](repeatElement(0, count: M-1)) let inputTextureDescriptor = MTLTextureDescriptor.texture2DDescriptor(with: .r32Float, width: paddedX.count, height: 1, mipmapped: false) inputTextureDescriptor.usage = .shaderRead inTexture = metalContext.device.newTexture(with: inputTextureDescriptor) let region = MTLRegionMake2D(0, 0, paddedX.count, 1) inTexture?.replace(region, mipmapLevel: 0, withBytes: paddedX, bytesPerRow: paddedX.count * sizeof(Float32.self)) let kernelTextureDescriptor = MTLTextureDescriptor.texture2DDescriptor(with: .r32Float, width: paddedK.count, height: 1, mipmapped: false) kernelTexture = metalContext.device.newTexture(with: kernelTextureDescriptor) let kernelRegion = MTLRegionMake2D(0, 0, paddedK.count, 1) kernelTexture?.replace(kernelRegion, mipmapLevel: 0, withBytes: paddedK, bytesPerRow: paddedK.count * sizeof(Float32.self)) let outputTextureDescriptor = MTLTextureDescriptor.texture2DDescriptor(with: .r32Float, width: paddedX.count, height: 1, mipmapped: false) outputTextureDescriptor.usage = .shaderWrite outTexture = metalContext.device.newTexture(with: outputTextureDescriptor) executeConvolution()
在前面的源代碼裡,metalContext 是下面這個類的一個實例:
final class MetalContext: NSObject { let device: MTLDevice let commandQueue: MTLCommandQueue let library: MTLLibrary override init() { // Get the device self.device = MTLCreateSystemDefaultDevice()! // Create a command queue self.commandQueue = device.newCommandQueue() // Get the default library self.library = device.newDefaultLibrary()! super.init() } }這只是一個助手類,我通常用來配置一個 Metal 棧的主要物件。
最後一個 executeConvolution() 方法用來編碼 GPU 命令:
func executeConvolution() { guard let outTexture = self.outTexture else { return } let commandBuffer = metalContext.commandQueue.commandBuffer() let computeCommandEncoder = commandBuffer.computeCommandEncoder() computeCommandEncoder.setComputePipelineState(computePipelineState!) computeCommandEncoder.setTexture(inTexture, at: 0) computeCommandEncoder.setTexture(kernelTexture, at: 1) computeCommandEncoder.setTexture(outTexture, at: 2) computeCommandEncoder.dispatchThreadgroups(MTLSizeMake(T, 1, 1), threadsPerThreadgroup: MTLSizeMake(1, 1, 1)) computeCommandEncoder.endEncoding() commandBuffer.commit() let region = MTLRegionMake1D(0, T) var buffer = [Float32](repeatElement(0, count: T)) outTexture.getBytes(&buffer, bytesPerRow: T*sizeof(Float32.self), from: region, mipmapLevel: 0) }最後,我們需要用 Metal kernel 函式。這裡我們執行卷積的地方,一個非常簡單的實現可以這樣:

二維卷積
在處理圖像時,卷積在二維資料上進行。這時,圖像是由矩陣 X[n,m] 而不是一維陣列來表示。
下圖展示了如何計算輸出矩陣 Y 的元素 Y[1,2] 的卷積結果,高亮顯示的元素是卷積運算的中央。

和一維卷積一樣,我在這裡也可以給出二維情況下 Swift 的範例、Accelerate 框架的和 Metal 的,但我把這個留給你們當作練習。記得沿行和列反轉 W,此外,記得填充 P-1 和 Q-1 個零到矩陣 X 的兩端。
卷積神經網絡
下圖突出了一個全連接的神經網絡,並且有 2 個隱藏層(L1 和 L2)。

正如前一篇文章中討論的,網絡由層組成,每一層由神經元組成。讓我們看看隱藏層 L1 的神經元 N0,它的輸入是上一層 L0 每個神經元的輸出的加權和:

關於這個表達式,
是 L1 層的神經元 N0 的輸入,
是 L0 層的神經元 Ni 的輸出,
是 L0 層的神經元 Ni 和 L1 層的神經元 N0 之間的權重。
同樣的,下面的方程表示了 L1 層神經元 N1 的輸入:

類似的方程適用於 L1 層其餘的神經元,L2 層和 L3 層也是如此。
如果我們用一個列陣列表示 L1 層的輸入,用一個矩陣表示 L0 層和 L1 層之間的權重,用一個列陣列表示輸出層 L0,我們可以得到以下方程:

現在,如果我想要用這個全連接的神經網絡來處理圖像,輸入層必須有一定數量的神經元,其個數與輸入圖像的像素相等。所以,我們需要一個有 10000 個神經元的輸入層來處理僅僅 100x100 像素的圖像。這意味著在前面的方程(4)中矩陣 W 的列數是 10000。這計算實在消耗巨大,此外,每個像素獨立於相鄰像素處理。
因此,我們需要優化處理。如果我們仔細觀察前面的方程(2)和(3),我們會注意到,它們看起來非常類似於卷積方程(1)。因此,與其計算不同矩陣的乘法(每層一個),我們可以使用快速卷積演算法。這使我們能夠用 CNN 實現取代全連接的神經網絡實現。
類似於全連接神經網絡,CNN 就是一連續的層。下圖強調了一個典型的 CNN 結構(其他結構在文獻中有被提出):

每個 CNN 層是由兩個操作組成:一個卷積後跟一個池。下圖突出了一個 CNN 的第一個卷積層:

在 iOS 10 和 macOS 10.12 中,Metal Performance Shaders 框架(Accelerate 框架也有)提供了一個新的類來配置 CNN 特定的卷積操作。
正如你在前面的圖中所看到的,輸入圖像被分解成 3 個通道(紅、綠、藍)。每個通道與不同的、訓練得到的核進行卷積。這 3 個結果再組成特征圖。在前面的圖中,我展示的只是 4 個特征圖。在一個真正的 CNN 裡,通常有 16、32 或更多特征圖,所以你需要 16x3 或 32x3 個核。
下面的程式碼展示了如何建立 CNN 層的卷積操作。
let convDesc = MPSCNNConvolutionDescriptor(kernelWidth: 3, kernelHeight: 3, inputFeatureChannels: 3, outputFeatureChannels: 4, neuronFilter: nil) var conv0 = MPSCNNConvolution(device: device, convolutionDescriptor: convDesc, kernelWeights: featureFilters, biasTerms: convBias, flags: .none)
類似於其他 Metal 物件,我們需要使用描述符來建立卷積。在這個特殊的例子裡,我們使用 MPSCNNConvolutionDescriptor 類。之後,我們可以建立 MPSCNNConvolution 類的一個實例。
讓我們看看池操作。
池
CNN 層中的另一個操作是池。它基本上是一個壓縮操作,目的是縮減圖像大小,它貫穿圖像處理的輸入和輸出。
池有雙重功能。首先,它降低了圖像解析度,減少了傳遞到下一 CNN 層的圖像的詳細資訊。第二,它降低了下一層的計算量。
有不同的技術來減少圖像大小。蘋果提供了兩種類型的池:Max 池和 Average 池。下圖展示了 Max 池和 Average 池是如何工作的。

Max 池取圖像在一個區域內的最大像素值,Average 池則取平均值。例如,前例中的圖像在 Average 池裡產生一個值為 (90 + 96 + 75 + 96)/ 4 = 84.75 的像素。
使用 MPSCNNPoolingMax 類,我們可以用下面的程式碼轉化之前的圖:
var pool = MPSCNNPoolingMax(device: device, kernelWidth: 2, kernelHeight: 2, strideInPixelsX: 2, strideInPixelsY: 2)
類似地,你可以使用 MPSCNNPoolingAverage 得到 Average 池:
var pool = MPSCNNPoolingAverage(device: device, kernelWidth: 2, kernelHeight: 2, strideInPixelsX: 2, strideInPixelsY: 2)
全連接層
鏈接不同的卷積層後,CNN 的最後一層是全連接層。因為它可以被認為是一個特殊的卷積層,Metal Performance Shaders 框架給全連接層提供了一個非常類似的 API:
let fcDesc = MPSCNNConvolutionDescriptor(kernelWidth: kWidth, kernelHeight: kHeight, inputFeatureChannels: 128, outputFeatureChannels: 1) var fc = MPSCNNFullyConnected(device: device, convolutionDescriptor: fcDesc, kernelWeights: fcFeatureFilters, biasTerms: fcBias, flags: .none)
MPSImage 和 MPSTemporaryImage
我們如何處理 Metal CNN 中的資料?Metal Performance Shaders 框架提供了兩個新類:MPSImage 和 MPSTemporaryImage。
正如先前所展示的,卷積層的輸出生成多個特征圖(16 或 32)。MPSImage 用通道來組成這些特征圖。因為 MTLTexture 只有 4 個通道(RGBA),蘋果推出了兩個新類來處理多於 4 通道的情況。所以,MPSImage 實際是 Metal 的一個二維紋理陣列的多個片。由於圖像是組成的,所以 MPSImage 的每個像素包含 4 個通道,也因此,32 個特征圖是由 8(=32/4)片組成的 MPSImage 表示的。
這是你用 MPSImage 所需要的 API:
let imgDesc = MPSImageDescriptor(channelFormat: .float16, width: width, height: height, featureChannels: 32) var img = MPSImage(device: device, imageDescriptor: imgDesc)
你使用 MPSImage 來作 CNN 的輸入和輸出圖像。對於中間結果,你應該使用 MPSTemporaryImage 類。使用這個臨時圖像的好處是,一旦命令被提交到緩衝區它就會被丟棄,這減少了記憶體分配和 CPU 耗費。
建立一個 MPSTemporaryImage 和 MPSImage 非常相似:
let img1Desc = MPSImageDescriptor(channelFormat: float16, width: 40, height: 40, featureChannels: 16) img1 = MPSTemporaryImage(device: device, imageDescriptor: img1Desc)
CNN 訓練
為了用 CNN,你需要先訓練。訓練生成一組權重,然後在推理階段使用它們。Metal Performance Shaders 的 API 只允許你實現 CNN 推理,訓練階段不可以用這些 API,蘋果建議使用第三方工具。
神經網絡的結構、層數和每層的神經元數量,需要在這個領域一定的經驗。除了知道它背後的數學,你需要大量的 CNN 實踐經驗。
總結
在這篇文章中,我為你們概述了 iOS 10 和 macOS 10.12 中 Metal Performance Shaders 框架的新 API。在之前的文章中,我也為你們介紹了 iOS 上的機器學習(ML)和人工神經網絡(ANN)。