您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

快速開發完整 iOS 直播 App:美顏功能實作篇

編輯:iOS 開發基礎

前言

閱讀本篇之前,如果你還不了解直播原理,建議先參考《如何快速開發一個完整的 iOS 直播 app(原理篇)》。開發一款直播 App,美顏功能可說是重中之重——少了它,主播恐怕分分钟掉粉。本篇著重講解直播中美顏功能的實作原理,並一步步把它做出來。

利用 GPUImage 處理直播美顏的流程

  • 採集視頻 => 獲取每一幀圖片 => 濾鏡處理 => GPUImageView 展示

美顏基本概念

GPU:(Graphic Processor Unit,圖形處理單元)手機或電腦中負責圖像處理與渲染的硬體。

GPU 工作原理:CPU 指揮顯示控制器工作,顯示控制器依 CPU 指示到指定位置取資料與指令。資料一般先從顯存取,顯存放不下就從記憶體取,記憶體也放不下則從硬碟取——這樣安排是為了節省記憶體。

OpenGL ES:(Open Graphics Library for Embedded Systems,開源嵌入式系統圖形處理框架)一套圖形與硬體介面,用於把處理好的圖片顯示到螢幕上。

GPUImage:一個基於 OpenGL ES 2.0 的圖像與視頻處理開源 iOS 框架,提供豐富的濾鏡,支援相機與攝影機的即時濾鏡,內建 120 多種效果,並可自訂濾鏡。

濾鏡處理原理:把靜態圖片或視頻的每一幀進行圖形變換後再顯示出來,本質就是像素點的座標與顏色變化。

GPUImage 處理畫面原理

  • GPUImage 以鏈式方式處理畫面:透過 addTarget: 為鏈條加入各環節物件,處理完一個 target 後,會把上一環節處理好的圖像資料傳給下一個 target,這稱為 GPUImage 處理鏈。

    • 比如墨鏡原理:外界光線先經過墨鏡過濾,再傳到我們的眼睛,於是即便大白天也覺得一片烏黑。

    • 一般的 target 可分兩類:

      • 中間環節的 target:通常是各種 filter,即 GPUImageFilter 或其子類。

      • 最終環節的 target:GPUImageView(顯示到螢幕)或 GPUImageMovieWriter(寫成視頻檔案)。

  • GPUImage 處理主要分三個環節:

    • source(視頻、圖片源)-> filter(濾鏡)-> final target(處理後的視頻、圖片)

    • GPUImage 的 Source:都繼承自 GPUImageOutput 子類,作為資料源,就像外界光線之於眼睛。

      • GPUImageVideoCamera:即時拍攝視頻

      • GPUImageStillCamera:即時拍攝照片

      • GPUImagePicture:處理已拍好的圖片,如 png、jpg

      • GPUImageMovie:處理已拍好的視頻,如 mp4

    • GPUImage 的 filter:GPUImageFilter 或其子類,繼承自 GPUImageOutput 並遵守 GPUImageInput 協議,既能流入又能流出,就像墨鏡讓光線通過後進入眼睛。

    • GPUImage 的 final target:GPUImageView、GPUImageMovieWriter,如同最終的輸入目標——眼睛。

美顏原理

  • 磨皮(GPUImageBilateralFilter):本質是讓像素點模糊。可用高斯模糊,但可能導致邊緣不清晰;改用雙邊濾波(Bilateral Filter)則能有針對性地模糊像素點,同時保留邊緣。

  • 美白(GPUImageBrightnessFilter):本質就是提高亮度。

美顏效果

GPUImage 原生美顏效果

利用美顏濾鏡實現的效果

GPUImage 實戰

GPUImage 原生美顏

  • 步驟一:使用 Cocoapods 導入 GPUImage

  • 步驟二:建立視頻源 GPUImageVideoCamera

  • 步驟三:建立最終目的源 GPUImageView

  • 步驟四:建立濾鏡組(GPUImageFilterGroup),需組合亮度(GPUImageBrightnessFilter)與雙邊濾波(GPUImageBilateralFilter)兩個濾鏡以達到美顏效果。

  • 步驟五:設定濾鏡組鏈

  • 步驟六:設定 GPUImage 處理鏈,從資料源 => 濾鏡 => 最終介面

  • 步驟七:開始採集視頻

注意事項:

  • SessionPreset 建議使用 AVCaptureSessionPresetHigh,它會自動適配;若設太高解析度而裝置不支援,會直接報錯。

  • GPUImageVideoCamera 必須強引用,否則會被銷毀,無法持續採集視頻。

  • 必須呼叫 startCameraCapture,底層才會把採集到的視頻源渲染到 GPUImageView 上顯示出來。

  • GPUImageBilateralFilter 的 distanceNormalizationFactor 值越小,磨皮效果越好,取值範圍為大於 1。

- (void)viewDidLoad {
    [super viewDidLoad];
    // 建立視頻源
    // SessionPreset:螢幕解析度,AVCaptureSessionPresetHigh 會自適應高分辨率
    // cameraPosition:攝像頭方向
    GPUImageVideoCamera *videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
    videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
    _videoCamera = videoCamera;

    // 建立最終預覽 View
    GPUImageView *captureVideoPreview = [[GPUImageView alloc] initWithFrame:self.view.bounds];
    [self.view insertSubview:captureVideoPreview atIndex:0];

    // 建立濾鏡:磨皮、美白、組合濾鏡
    GPUImageFilterGroup *groupFilter = [[GPUImageFilterGroup alloc] init];
    // 磨皮濾鏡
    GPUImageBilateralFilter *bilateralFilter = [[GPUImageBilateralFilter alloc] init];
    [groupFilter addTarget:bilateralFilter];
    _bilateralFilter = bilateralFilter;
    // 美白濾鏡
    GPUImageBrightnessFilter *brightnessFilter = [[GPUImageBrightnessFilter alloc] init];
    [groupFilter addTarget:brightnessFilter];
    _brightnessFilter = brightnessFilter;

    // 設定濾鏡組鏈
    [bilateralFilter addTarget:brightnessFilter];
    [groupFilter setInitialFilters:@[bilateralFilter]];
    groupFilter.terminalFilter = brightnessFilter;

    // 設定 GPUImage 響應鏈,從資料源 => 濾鏡 => 最終介面
    [videoCamera addTarget:groupFilter];
    [groupFilter addTarget:captureVideoPreview];

    // 必須呼叫 startCameraCapture,底層才會把採集到的視頻源渲染到 GPUImageView
    [videoCamera startCameraCapture];
}

- (IBAction)brightnessFilter:(UISlider *)sender {
    _brightnessFilter.brightness = sender.value;
}

- (IBAction)bilateralFilter:(UISlider *)sender {
    // 值越小,磨皮效果越好
    CGFloat maxValue = 10;
    [_bilateralFilter setDistanceNormalizationFactor:(maxValue - sender.value)];
}

利用美顏濾鏡實現

  • 步驟一:使用 Cocoapods 導入 GPUImage

  • 步驟二:導入 GPUImageBeautifyFilter 文件夾

  • 步驟三:建立視頻源 GPUImageVideoCamera

  • 步驟四:建立最終目的源 GPUImageView

  • 步驟五:建立最終美顏濾鏡 GPUImageBeautifyFilter

  • 步驟六:設定 GPUImage 處理鏈,從資料源 => 濾鏡 => 最終介面

注意:

  • 切換美顏效果原理:移除之前所有處理鏈,重新設定處理鏈。

- (void)viewDidLoad {
    [super viewDidLoad];
    // 建立視頻源
    GPUImageVideoCamera *videoCamera = [[GPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
    videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
    _videoCamera = videoCamera;

    // 建立最終預覽 View
    GPUImageView *captureVideoPreview = [[GPUImageView alloc] initWithFrame:self.view.bounds];
    [self.view insertSubview:captureVideoPreview atIndex:0];
    _captureVideoPreview = captureVideoPreview;

    // 設定處理鏈
    [_videoCamera addTarget:_captureVideoPreview];

    // 開始採集視頻
    [videoCamera startCameraCapture];
}

- (IBAction)openBeautifyFilter:(UISwitch *)sender {
    // 切換美顏效果原理:移除之前所有處理鏈,重新設定處理鏈
    if (sender.on) {
        [_videoCamera removeAllTargets];
        GPUImageBeautifyFilter *beautifyFilter = [[GPUImageBeautifyFilter alloc] init];
        [_videoCamera addTarget:beautifyFilter];
        [beautifyFilter addTarget:_captureVideoPreview];
    } else {
        [_videoCamera removeAllTargets];
        [_videoCamera addTarget:_captureVideoPreview];
    }
}

GPUImage 擴展

  • GPUImage 所有濾鏡介紹

  • 美顏濾鏡

  • 美圖秀秀濾鏡大彙總

原始碼下載

原始碼(注意:第一次打開需要執行 pod install)

結束語

後續還會講解 GPUImage 原理、OpenGL ES、視頻編碼、推流、聊天室、禮物系統等更多功能,敬請期待!

文章轉自 袁峥Seemygo的簡書

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved