您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS 結合 OpenCV 實作人像摳圖的兩種方案

編輯:iOS 開發綜合

最近在開發人像摳圖的功能,上網查了資料後發現主流的實作方式大致有兩種:一種是基於 CoreImage 的色域(ColorCube) approach,另一種則是 OpenCV 的邊緣檢測與圖像分割。前者適合純色背景,摳圖精準;後者適合複雜背景,但預設情況下邊緣可能不夠精準。下面分別說明。

方案一:CoreImage 色域摳圖

先看一下處理前後的對比。處理前的原圖:

處理後的結果:

網路上關於 CoreImage 的實作已經很多,這裡直接貼出可用的程式碼(別忘了引入 CubeMap.c):

// coreImage 摳圖 createCubeMap(值1,值2)值範圍 0~360,扣掉值1到值2範圍內的顏色
CubeMap myCube = createCubeMap(self.slider1.value, self.slider2.value);
NSData *myData = [[NSData alloc] initWithBytesNoCopy:myCube.data length:myCube.length freeWhenDone:true];

CIFilter *colorCubeFilter = [CIFilter filterWithName:@"CIColorCube"];
[colorCubeFilter setValue:[NSNumber numberWithFloat:myCube.dimension] forKey:@"inputCubeDimension"];
[colorCubeFilter setValue:myData forKey:@"inputCubeData"];
[colorCubeFilter setValue:[CIImage imageWithCGImage:_preview.image.CGImage] forKey:kCIInputImageKey];

CIImage *outputImage = colorCubeFilter.outputImage;
CIFilter *sourceOverCompositingFilter = [CIFilter filterWithName:@"CISourceOverCompositing"];
[sourceOverCompositingFilter setValue:outputImage forKey:kCIInputImageKey];
[sourceOverCompositingFilter setValue:[CIImage imageWithCGImage:backgroundImage.CGImage] forKey:kCIInputBackgroundImageKey];

outputImage = sourceOverCompositingFilter.outputImage;
CGImage *cgImage = [[CIContext contextWithOptions:nil] createCGImage:outputImage fromRect:outputImage.extent];

方案二:結合 OpenCV 的 grabCut 摳圖

首先在 iOS 專案中整合 opencv2,相關的環境建置可參考我先前寫的〈iOS 使用 OpenCV 實現物體跟蹤〉一文。

引入所需的標頭檔:

#import 
#import "UIImage+OpenCV.h"

接著建立一個 UIImage 與 cv::Mat 互轉的分類,方便在兩者之間轉換:

//
//  UIImage+OpenCV.h
//
#import 
#import 
@interface UIImage (UIImage_OpenCV)
+(UIImage *)imageWithCVMat:(const cv::Mat&)cvMat;
-(id)initWithCVMat:(const cv::Mat&)cvMat;
@property(nonatomic, readonly) cv::Mat CVMat;
@property(nonatomic, readonly) cv::Mat CVGrayscaleMat;
@end

//
//  UIImage+OpenCV.mm
//
#import "UIImage+OpenCV.h"

static void ProviderReleaseDataNOP(void *info, const void *data, size_t size) {
    // Do not release memory
    return;
}

@implementation UIImage (UIImage_OpenCV)

-(cv::Mat)CVMat {
    CGColorSpaceRef colorSpace = CGImageGetColorSpace(self.CGImage);
    CGFloat cols = self.size.width;
    CGFloat rows = self.size.height;

    cv::Mat cvMat(rows, cols, CV_8UC4); // 8 bits per component, 4 channels

    CGContextRef contextRef = CGBitmapContextCreate(cvMat.data, cols, rows, 8, cvMat.step[0], colorSpace, kCGImageAlphaNoneSkipLast | kCGBitmapByteOrderDefault);
    CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), self.CGImage);
    CGContextRelease(contextRef);
    return cvMat;
}

-(cv::Mat)CVGrayscaleMat {
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceGray();
    CGFloat cols = self.size.width;
    CGFloat rows = self.size.height;

    cv::Mat cvMat = cv::Mat(rows, cols, CV_8UC1); // 8 bits per component, 1 channel

    CGContextRef contextRef = CGBitmapContextCreate(cvMat.data, cols, rows, 8, cvMat.step[0], colorSpace, kCGImageAlphaNone | kCGBitmapByteOrderDefault);
    CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), self.CGImage);
    CGContextRelease(contextRef);
    CGColorSpaceRelease(colorSpace);
    return cvMat;
}

+ (UIImage *)imageWithCVMat:(const cv::Mat&)cvMat {
    return [[[UIImage alloc] initWithCVMat:cvMat] autorelease];
}

- (id)initWithCVMat:(const cv::Mat&)cvMat {
    NSData *data = [NSData dataWithBytes:cvMat.data length:cvMat.elemSize() * cvMat.total()];
    CGColorSpaceRef colorSpace;
    if (cvMat.elemSize() == 1) {
        colorSpace = CGColorSpaceCreateDeviceGray();
    } else {
        colorSpace = CGColorSpaceCreateDeviceRGB();
    }
    CGDataProviderRef provider = CGDataProviderCreateWithCFData((CFDataRef)data);
    CGImageRef imageRef = CGImageCreate(cvMat.cols, cvMat.rows, 8, 8 * cvMat.elemSize(), cvMat.step[0], colorSpace, kCGImageAlphaNone | kCGBitmapByteOrderDefault, provider, NULL, false, kCGRenderingIntentDefault);
    self = [self initWithCGImage:imageRef];
    CGImageRelease(imageRef);
    CGDataProviderRelease(provider);
    CGColorSpaceRelease(colorSpace);
    return self;
}

@end

準備工作完成後,真正的摳圖邏輯其實很簡單,關鍵在於 OpenCV 強大的 grabCut 圖像分割函數:

cv::Mat grayFrame, _lastFrame, mask, bgModel, fgModel;
_lastFrame = [self.preview.image CVMat];
cv::cvtColor(_lastFrame, grayFrame, cv::COLOR_RGBA2BGR); // 轉換成三通道 BGR

cv::Rect rectangle(1, 1, grayFrame.cols - 2, grayFrame.rows - 2); // 檢測範圍
// 分割圖像
cv::grabCut(grayFrame, mask, rectangle, bgModel, fgModel, 3, cv::GC_INIT_WITH_RECT);

int nrow = grayFrame.rows;
int ncol = grayFrame.cols * grayFrame.channels();
for (int j = 0; j < nrow; j++) {
    for (int i = 0; i < ncol; i++) {
        uchar val = mask.at(j, i);
        if (val == cv::GC_PR_BGD) {
            grayFrame.at(j, i)[0] = 0;
            grayFrame.at(j, i)[1] = 0;
            grayFrame.at(j, i)[2] = 0;
        }
    }
}
cv::cvtColor(grayFrame, grayFrame, cv::COLOR_BGR2RGB); // 轉回彩色
_preview.image = [[UIImage alloc] initWithCVMat:grayFrame]; // 顯示結果

grabCut 函數參數說明

void cv::grabCut(InputArray _img, InputOutputArray _mask, Rect rect,
                 InputOutputArray _bgdModel, InputOutputArray _fgdModel,
                 int iterCount, int mode)

/*
參數說明:
img      —— 待分割的來源圖像,必須是 8 位 3 通道(CV_8UC3),處理過程不會被修改;
mask     —— 遮罩圖像,可取四種值:GCD_BGD(0) 背景、GCD_FGD(1) 前景、
            GCD_PR_BGD(2) 可能的背景、GCD_PR_FGD(3) 可能的前景;
rect     —— 限定需要分割的圖像範圍,只有矩形窗口內的部分才會被處理;
bgdModel —— 背景模型,為 null 時內部自動建立,須為單通道浮點型 CV_32FC1,尺寸 1x13x5;
fgdModel —— 前景模型,同上;
iterCount—— 迭代次數,必須大於 0;
mode     —— 指示 grabCut 執行何種操作:
            GC_INIT_WITH_RECT(0) 以矩形窗初始化;
            GC_INIT_WITH_MASK(1) 以遮罩圖像初始化;
            GC_EVAL(2) 執行分割。
*/

實測這段程式碼可用,核心就是 grabCut 這套基於圖模型的分割演算法,能自動把前景人像與背景分離開來。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved