您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

實戰分享:基於 GPUImage 的實時美顏濾鏡是怎麼煉成的

編輯:iOS 開發基礎

1. 背景

前段時間因為專案需要,做了一個基於 GPUImage 的實時美顏濾鏡。現在直播、短視頻類 App 層出不窮,美顏幾乎成了標配。為了回饋開源,我把它放到了 GitHub 上,有興趣可以下載來玩。下面重點講原理與思路。

2. 從 GPUImage 說起

GPUImage 是一個開源的、基於 GPU 的圖片與視頻處理框架,內建了一百二十多種常見濾鏡。有了它,加一個實時濾鏡往往只要幾行程式碼。下面這個例子以攝像頭為資料源,即時做反色(類似相片的底片效果):

self.videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPreset640x480
                                                       cameraPosition:AVCaptureDevicePositionFront];
self.videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
self.videoCamera.horizontallyMirrorFrontFacingCamera = YES;

GPUImageColorInvertFilter *invert = [[GPUImageColorInvertFilter alloc] init];
[self.videoCamera addTarget:invert];

self.filterView = [[GPUImageView alloc] initWithFrame:self.view.frame];
self.filterView.center = self.view.center;
[self.view addSubview:self.filterView];
[invert addTarget:self.filterView];

[self.videoCamera startCameraCapture];

美顏同理。假如手上有這麼一個 GPUImageBeautifyFilter,只要把上面那行程式碼換掉就行。所以問題只剩一個:什麼才叫美顏?

我對需求的理解是:最常見的訴求就是磨皮與美白,至於提高飽和度、提亮之類則看具體場景。本文聚焦磨皮(實際的 GPUImageBeautifyFilter 也順帶做了美白與提亮)。

3. 磨皮的技術選擇

磨皮的本質是模糊。而在圖像處理領域,模糊的定義就是讓一個像素的取值與周邊像素相關聯。

最典型的高斯模糊,是取周邊像素的加權平均,權重由距離決定,係數取自高斯函數——距離越近,權重越大。

高斯模糊效果圖 3.1

但只用高斯模糊來磨皮,效果並不理想。原因很簡單:它只看距離,不看像素值本身的差異。以頭髮與臉的交界為例,兩側顏色差異極大(黑色 vs 膚色),高斯模糊會毫不留情地把這條邊緣一起糊掉,這顯然不是我們要的。

雙邊濾波(Bilateral Filter)正好補上了這一塊。它同樣取周邊像素的加權平均,權重同樣是高斯函數,但這個權重同時取決於兩件事:像素間的空間距離,以及像素值本身的差異——差值越小,權重越大。正是這個特性賦予了它保邊的能力,讓它成為稱職的磨皮工具。

雙邊濾波效果圖 3.2

對比 3.1 與 3.2 可以看到,雙邊濾波在臉部細節的保留上明顯更好。所以我把它定為磨皮的基礎演算法。GPUImage 裡也有現成實作:GPUImageBilateralFilter。

不過看 3.2 仍會發現兩個不足:一是部分臉部細節保護得還不夠;二是頭髮被一起模糊了,而我們只希望處理皮膚。由此延伸出的改進思路是:雙邊濾波 + 邊緣檢測 + 膚色檢測。整體結構如下:

其中 Combination Filter 是我們自訂的三輸入濾波器,三路輸入分別是原圖 A(x, y)、雙邊濾波後的圖 B(x, y)、邊緣圖 C(x, y)。這裡 A、B、C 都可視為圖像矩陣,(x, y) 是其中某個像素的座標。它的處理邏輯如下圖:

核心 shader 程式碼:

NSString *const kGPUImageBeautifyFragmentShaderString = SHADER_STRING
(
 varying highp vec2 textureCoordinate;
 varying highp vec2 textureCoordinate2;
 varying highp vec2 textureCoordinate3;

 uniform sampler2D inputImageTexture;
 uniform sampler2D inputImageTexture2;
 uniform sampler2D inputImageTexture3;
 uniform mediump float smoothDegree;

 void main()
 {
     highp vec4 bilateral = texture2D(inputImageTexture, textureCoordinate);
     highp vec4 canny     = texture2D(inputImageTexture2, textureCoordinate2);
     highp vec4 origin    = texture2D(inputImageTexture3, textureCoordinate3);

     highp vec4 smooth;
     lowp float r = origin.r;
     lowp float g = origin.g;
     lowp float b = origin.b;

     // 非邊緣 + 落在膚色範圍內,才做磨皮混合
     if (canny.r < 0.2 && r > 0.3725 && g > 0.1568 && b > 0.0784 && r > b
         && (max(max(r, g), b) - min(min(r, g), b)) > 0.0588 && abs(r - g) > 0.0588) {
         smooth = (1.0 - smoothDegree) * (origin - bilateral) + bilateral;
     } else {
         smooth = origin;
     }

     gl_FragColor = smooth;
 }
);

也就是說,Combination Filter 透過膚色檢測與邊緣檢測,只對皮膚且非邊緣的區域做處理。最終磨皮效果:

最終磨皮效果圖 3.3

對比 3.3 與 3.2,3.3 對臉部細節的保護更好,磨皮觀感也更自然真實。

4. 延伸

本文的磨皮基於雙邊濾波,主要是看中它同時融合了空間距離與像素值差異這兩個維度。但這並非唯一選擇——也有人改進高斯模糊(同樣引入像素值差異)來做磨皮,效果甚至可能更好。

另外,GPUImageBeautifyFilter 並不只是磨皮,還實作了 log 曲線調色以及亮度、飽和度的調整,細節可以直接看 demo。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved