閱讀本篇之前,如果你還不了解直播原理,建議先參考《如何快速開發一個完整的 iOS 直播 app(原理篇)》。開發一款直播 App,美顏功能可說是重中之重——少了它,主播恐怕分分钟掉粉。本篇著重講解直播中美顏功能的實作原理,並一步步把它做出來。
採集視頻 => 獲取每一幀圖片 => 濾鏡處理 => GPUImageView 展示

GPU:(Graphic Processor Unit,圖形處理單元)手機或電腦中負責圖像處理與渲染的硬體。
GPU 工作原理:CPU 指揮顯示控制器工作,顯示控制器依 CPU 指示到指定位置取資料與指令。資料一般先從顯存取,顯存放不下就從記憶體取,記憶體也放不下則從硬碟取——這樣安排是為了節省記憶體。
OpenGL ES:(Open Graphics Library for Embedded Systems,開源嵌入式系統圖形處理框架)一套圖形與硬體介面,用於把處理好的圖片顯示到螢幕上。
GPUImage:一個基於 OpenGL ES 2.0 的圖像與視頻處理開源 iOS 框架,提供豐富的濾鏡,支援相機與攝影機的即時濾鏡,內建 120 多種效果,並可自訂濾鏡。
濾鏡處理原理:把靜態圖片或視頻的每一幀進行圖形變換後再顯示出來,本質就是像素點的座標與顏色變化。
GPUImage 以鏈式方式處理畫面:透過 addTarget: 為鏈條加入各環節物件,處理完一個 target 後,會把上一環節處理好的圖像資料傳給下一個 target,這稱為 GPUImage 處理鏈。
比如墨鏡原理:外界光線先經過墨鏡過濾,再傳到我們的眼睛,於是即便大白天也覺得一片烏黑。
一般的 target 可分兩類:
中間環節的 target:通常是各種 filter,即 GPUImageFilter 或其子類。
最終環節的 target:GPUImageView(顯示到螢幕)或 GPUImageMovieWriter(寫成視頻檔案)。
GPUImage 處理主要分三個環節:
source(視頻、圖片源)-> filter(濾鏡)-> final target(處理後的視頻、圖片)
GPUImage 的 Source:都繼承自 GPUImageOutput 子類,作為資料源,就像外界光線之於眼睛。
GPUImageVideoCamera:即時拍攝視頻
GPUImageStillCamera:即時拍攝照片
GPUImagePicture:處理已拍好的圖片,如 png、jpg
GPUImageMovie:處理已拍好的視頻,如 mp4
GPUImage 的 filter:GPUImageFilter 或其子類,繼承自 GPUImageOutput 並遵守 GPUImageInput 協議,既能流入又能流出,就像墨鏡讓光線通過後進入眼睛。
GPUImage 的 final target:GPUImageView、GPUImageMovieWriter,如同最終的輸入目標——眼睛。

磨皮(GPUImageBilateralFilter):本質是讓像素點模糊。可用高斯模糊,但可能導致邊緣不清晰;改用雙邊濾波(Bilateral Filter)則能有針對性地模糊像素點,同時保留邊緣。
美白(GPUImageBrightnessFilter):本質就是提高亮度。


步驟一:使用 Cocoapods 導入 GPUImage
步驟二:建立視頻源 GPUImageVideoCamera
步驟三:建立最終目的源 GPUImageView
步驟四:建立濾鏡組(GPUImageFilterGroup),需組合亮度(GPUImageBrightnessFilter)與雙邊濾波(GPUImageBilateralFilter)兩個濾鏡以達到美顏效果。
步驟五:設定濾鏡組鏈
步驟六:設定 GPUImage 處理鏈,從資料源 => 濾鏡 => 最終介面
步驟七:開始採集視頻
注意事項:
SessionPreset 建議使用 AVCaptureSessionPresetHigh,它會自動適配;若設太高解析度而裝置不支援,會直接報錯。
GPUImageVideoCamera 必須強引用,否則會被銷毀,無法持續採集視頻。
必須呼叫 startCameraCapture,底層才會把採集到的視頻源渲染到 GPUImageView 上顯示出來。
GPUImageBilateralFilter 的 distanceNormalizationFactor 值越小,磨皮效果越好,取值範圍為大於 1。
- (void)viewDidLoad {
[super viewDidLoad];
// 建立視頻源
// SessionPreset:螢幕解析度,AVCaptureSessionPresetHigh 會自適應高分辨率
// cameraPosition:攝像頭方向
GPUImageVideoCamera *videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
_videoCamera = videoCamera;
// 建立最終預覽 View
GPUImageView *captureVideoPreview = [[GPUImageView alloc] initWithFrame:self.view.bounds];
[self.view insertSubview:captureVideoPreview atIndex:0];
// 建立濾鏡:磨皮、美白、組合濾鏡
GPUImageFilterGroup *groupFilter = [[GPUImageFilterGroup alloc] init];
// 磨皮濾鏡
GPUImageBilateralFilter *bilateralFilter = [[GPUImageBilateralFilter alloc] init];
[groupFilter addTarget:bilateralFilter];
_bilateralFilter = bilateralFilter;
// 美白濾鏡
GPUImageBrightnessFilter *brightnessFilter = [[GPUImageBrightnessFilter alloc] init];
[groupFilter addTarget:brightnessFilter];
_brightnessFilter = brightnessFilter;
// 設定濾鏡組鏈
[bilateralFilter addTarget:brightnessFilter];
[groupFilter setInitialFilters:@[bilateralFilter]];
groupFilter.terminalFilter = brightnessFilter;
// 設定 GPUImage 響應鏈,從資料源 => 濾鏡 => 最終介面
[videoCamera addTarget:groupFilter];
[groupFilter addTarget:captureVideoPreview];
// 必須呼叫 startCameraCapture,底層才會把採集到的視頻源渲染到 GPUImageView
[videoCamera startCameraCapture];
}
- (IBAction)brightnessFilter:(UISlider *)sender {
_brightnessFilter.brightness = sender.value;
}
- (IBAction)bilateralFilter:(UISlider *)sender {
// 值越小,磨皮效果越好
CGFloat maxValue = 10;
[_bilateralFilter setDistanceNormalizationFactor:(maxValue - sender.value)];
}步驟一:使用 Cocoapods 導入 GPUImage
步驟二:導入 GPUImageBeautifyFilter 文件夾
步驟三:建立視頻源 GPUImageVideoCamera
步驟四:建立最終目的源 GPUImageView
步驟五:建立最終美顏濾鏡 GPUImageBeautifyFilter
步驟六:設定 GPUImage 處理鏈,從資料源 => 濾鏡 => 最終介面
注意:
切換美顏效果原理:移除之前所有處理鏈,重新設定處理鏈。
- (void)viewDidLoad {
[super viewDidLoad];
// 建立視頻源
GPUImageVideoCamera *videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
_videoCamera = videoCamera;
// 建立最終預覽 View
GPUImageView *captureVideoPreview = [[GPUImageView alloc] initWithFrame:self.view.bounds];
[self.view insertSubview:captureVideoPreview atIndex:0];
_captureVideoPreview = captureVideoPreview;
// 設定處理鏈
[_videoCamera addTarget:_captureVideoPreview];
// 開始採集視頻
[videoCamera startCameraCapture];
}
- (IBAction)openBeautifyFilter:(UISwitch *)sender {
// 切換美顏效果原理:移除之前所有處理鏈,重新設定處理鏈
if (sender.on) {
[_videoCamera removeAllTargets];
GPUImageBeautifyFilter *beautifyFilter = [[GPUImageBeautifyFilter alloc] init];
[_videoCamera addTarget:beautifyFilter];
[beautifyFilter addTarget:_captureVideoPreview];
} else {
[_videoCamera removeAllTargets];
[_videoCamera addTarget:_captureVideoPreview];
}
}GPUImage 所有濾鏡介紹
美顏濾鏡
美圖秀秀濾鏡大彙總
原始碼(注意:第一次打開需要執行 pod install)
後續還會講解 GPUImage 原理、OpenGL ES、視頻編碼、推流、聊天室、禮物系統等更多功能,敬請期待!
文章轉自 袁峥Seemygo的簡書