1. 背景
前段時間因為專案需要,做了一個基於 GPUImage 的實時美顏濾鏡。現在直播、短視頻類 App 層出不窮,美顏幾乎成了標配。為了回饋開源,我把它放到了 GitHub 上,有興趣可以下載來玩。下面重點講原理與思路。
2. 從 GPUImage 說起
GPUImage 是一個開源的、基於 GPU 的圖片與視頻處理框架,內建了一百二十多種常見濾鏡。有了它,加一個實時濾鏡往往只要幾行程式碼。下面這個例子以攝像頭為資料源,即時做反色(類似相片的底片效果):
self.videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPreset640x480
cameraPosition:AVCaptureDevicePositionFront];
self.videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
self.videoCamera.horizontallyMirrorFrontFacingCamera = YES;
GPUImageColorInvertFilter *invert = [[GPUImageColorInvertFilter alloc] init];
[self.videoCamera addTarget:invert];
self.filterView = [[GPUImageView alloc] initWithFrame:self.view.frame];
self.filterView.center = self.view.center;
[self.view addSubview:self.filterView];
[invert addTarget:self.filterView];
[self.videoCamera startCameraCapture];
美顏同理。假如手上有這麼一個 GPUImageBeautifyFilter,只要把上面那行程式碼換掉就行。所以問題只剩一個:什麼才叫美顏?
我對需求的理解是:最常見的訴求就是磨皮與美白,至於提高飽和度、提亮之類則看具體場景。本文聚焦磨皮(實際的 GPUImageBeautifyFilter 也順帶做了美白與提亮)。
3. 磨皮的技術選擇
磨皮的本質是模糊。而在圖像處理領域,模糊的定義就是讓一個像素的取值與周邊像素相關聯。
最典型的高斯模糊,是取周邊像素的加權平均,權重由距離決定,係數取自高斯函數——距離越近,權重越大。
高斯模糊效果圖 3.1

但只用高斯模糊來磨皮,效果並不理想。原因很簡單:它只看距離,不看像素值本身的差異。以頭髮與臉的交界為例,兩側顏色差異極大(黑色 vs 膚色),高斯模糊會毫不留情地把這條邊緣一起糊掉,這顯然不是我們要的。
雙邊濾波(Bilateral Filter)正好補上了這一塊。它同樣取周邊像素的加權平均,權重同樣是高斯函數,但這個權重同時取決於兩件事:像素間的空間距離,以及像素值本身的差異——差值越小,權重越大。正是這個特性賦予了它保邊的能力,讓它成為稱職的磨皮工具。
雙邊濾波效果圖 3.2

對比 3.1 與 3.2 可以看到,雙邊濾波在臉部細節的保留上明顯更好。所以我把它定為磨皮的基礎演算法。GPUImage 裡也有現成實作:GPUImageBilateralFilter。
不過看 3.2 仍會發現兩個不足:一是部分臉部細節保護得還不夠;二是頭髮被一起模糊了,而我們只希望處理皮膚。由此延伸出的改進思路是:雙邊濾波 + 邊緣檢測 + 膚色檢測。整體結構如下:

其中 Combination Filter 是我們自訂的三輸入濾波器,三路輸入分別是原圖 A(x, y)、雙邊濾波後的圖 B(x, y)、邊緣圖 C(x, y)。這裡 A、B、C 都可視為圖像矩陣,(x, y) 是其中某個像素的座標。它的處理邏輯如下圖:

核心 shader 程式碼:
NSString *const kGPUImageBeautifyFragmentShaderString = SHADER_STRING
(
varying highp vec2 textureCoordinate;
varying highp vec2 textureCoordinate2;
varying highp vec2 textureCoordinate3;
uniform sampler2D inputImageTexture;
uniform sampler2D inputImageTexture2;
uniform sampler2D inputImageTexture3;
uniform mediump float smoothDegree;
void main()
{
highp vec4 bilateral = texture2D(inputImageTexture, textureCoordinate);
highp vec4 canny = texture2D(inputImageTexture2, textureCoordinate2);
highp vec4 origin = texture2D(inputImageTexture3, textureCoordinate3);
highp vec4 smooth;
lowp float r = origin.r;
lowp float g = origin.g;
lowp float b = origin.b;
// 非邊緣 + 落在膚色範圍內,才做磨皮混合
if (canny.r < 0.2 && r > 0.3725 && g > 0.1568 && b > 0.0784 && r > b
&& (max(max(r, g), b) - min(min(r, g), b)) > 0.0588 && abs(r - g) > 0.0588) {
smooth = (1.0 - smoothDegree) * (origin - bilateral) + bilateral;
} else {
smooth = origin;
}
gl_FragColor = smooth;
}
);
也就是說,Combination Filter 透過膚色檢測與邊緣檢測,只對皮膚且非邊緣的區域做處理。最終磨皮效果:
最終磨皮效果圖 3.3

對比 3.3 與 3.2,3.3 對臉部細節的保護更好,磨皮觀感也更自然真實。
4. 延伸
本文的磨皮基於雙邊濾波,主要是看中它同時融合了空間距離與像素值差異這兩個維度。但這並非唯一選擇——也有人改進高斯模糊(同樣引入像素值差異)來做磨皮,效果甚至可能更好。
另外,GPUImageBeautifyFilter 並不只是磨皮,還實作了 log 曲線調色以及亮度、飽和度的調整,細節可以直接看 demo。