最近在開發人像摳圖的功能,上網查了資料後發現主流的實作方式大致有兩種:一種是基於 CoreImage 的色域(ColorCube) approach,另一種則是 OpenCV 的邊緣檢測與圖像分割。前者適合純色背景,摳圖精準;後者適合複雜背景,但預設情況下邊緣可能不夠精準。下面分別說明。
先看一下處理前後的對比。處理前的原圖:

處理後的結果:

網路上關於 CoreImage 的實作已經很多,這裡直接貼出可用的程式碼(別忘了引入 CubeMap.c):
// coreImage 摳圖 createCubeMap(值1,值2)值範圍 0~360,扣掉值1到值2範圍內的顏色 CubeMap myCube = createCubeMap(self.slider1.value, self.slider2.value); NSData *myData = [[NSData alloc] initWithBytesNoCopy:myCube.data length:myCube.length freeWhenDone:true]; CIFilter *colorCubeFilter = [CIFilter filterWithName:@"CIColorCube"]; [colorCubeFilter setValue:[NSNumber numberWithFloat:myCube.dimension] forKey:@"inputCubeDimension"]; [colorCubeFilter setValue:myData forKey:@"inputCubeData"]; [colorCubeFilter setValue:[CIImage imageWithCGImage:_preview.image.CGImage] forKey:kCIInputImageKey]; CIImage *outputImage = colorCubeFilter.outputImage; CIFilter *sourceOverCompositingFilter = [CIFilter filterWithName:@"CISourceOverCompositing"]; [sourceOverCompositingFilter setValue:outputImage forKey:kCIInputImageKey]; [sourceOverCompositingFilter setValue:[CIImage imageWithCGImage:backgroundImage.CGImage] forKey:kCIInputBackgroundImageKey]; outputImage = sourceOverCompositingFilter.outputImage; CGImage *cgImage = [[CIContext contextWithOptions:nil] createCGImage:outputImage fromRect:outputImage.extent];
首先在 iOS 專案中整合 opencv2,相關的環境建置可參考我先前寫的〈iOS 使用 OpenCV 實現物體跟蹤〉一文。
引入所需的標頭檔:
#import#import "UIImage+OpenCV.h"
接著建立一個 UIImage 與 cv::Mat 互轉的分類,方便在兩者之間轉換:
// // UIImage+OpenCV.h // #import#import @interface UIImage (UIImage_OpenCV) +(UIImage *)imageWithCVMat:(const cv::Mat&)cvMat; -(id)initWithCVMat:(const cv::Mat&)cvMat; @property(nonatomic, readonly) cv::Mat CVMat; @property(nonatomic, readonly) cv::Mat CVGrayscaleMat; @end // // UIImage+OpenCV.mm // #import "UIImage+OpenCV.h" static void ProviderReleaseDataNOP(void *info, const void *data, size_t size) { // Do not release memory return; } @implementation UIImage (UIImage_OpenCV) -(cv::Mat)CVMat { CGColorSpaceRef colorSpace = CGImageGetColorSpace(self.CGImage); CGFloat cols = self.size.width; CGFloat rows = self.size.height; cv::Mat cvMat(rows, cols, CV_8UC4); // 8 bits per component, 4 channels CGContextRef contextRef = CGBitmapContextCreate(cvMat.data, cols, rows, 8, cvMat.step[0], colorSpace, kCGImageAlphaNoneSkipLast | kCGBitmapByteOrderDefault); CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), self.CGImage); CGContextRelease(contextRef); return cvMat; } -(cv::Mat)CVGrayscaleMat { CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceGray(); CGFloat cols = self.size.width; CGFloat rows = self.size.height; cv::Mat cvMat = cv::Mat(rows, cols, CV_8UC1); // 8 bits per component, 1 channel CGContextRef contextRef = CGBitmapContextCreate(cvMat.data, cols, rows, 8, cvMat.step[0], colorSpace, kCGImageAlphaNone | kCGBitmapByteOrderDefault); CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), self.CGImage); CGContextRelease(contextRef); CGColorSpaceRelease(colorSpace); return cvMat; } + (UIImage *)imageWithCVMat:(const cv::Mat&)cvMat { return [[[UIImage alloc] initWithCVMat:cvMat] autorelease]; } - (id)initWithCVMat:(const cv::Mat&)cvMat { NSData *data = [NSData dataWithBytes:cvMat.data length:cvMat.elemSize() * cvMat.total()]; CGColorSpaceRef colorSpace; if (cvMat.elemSize() == 1) { colorSpace = CGColorSpaceCreateDeviceGray(); } else { colorSpace = CGColorSpaceCreateDeviceRGB(); } CGDataProviderRef provider = CGDataProviderCreateWithCFData((CFDataRef)data); CGImageRef imageRef = CGImageCreate(cvMat.cols, cvMat.rows, 8, 8 * cvMat.elemSize(), cvMat.step[0], colorSpace, kCGImageAlphaNone | kCGBitmapByteOrderDefault, provider, NULL, false, kCGRenderingIntentDefault); self = [self initWithCGImage:imageRef]; CGImageRelease(imageRef); CGDataProviderRelease(provider); CGColorSpaceRelease(colorSpace); return self; } @end
準備工作完成後,真正的摳圖邏輯其實很簡單,關鍵在於 OpenCV 強大的 grabCut 圖像分割函數:
cv::Mat grayFrame, _lastFrame, mask, bgModel, fgModel;
_lastFrame = [self.preview.image CVMat];
cv::cvtColor(_lastFrame, grayFrame, cv::COLOR_RGBA2BGR); // 轉換成三通道 BGR
cv::Rect rectangle(1, 1, grayFrame.cols - 2, grayFrame.rows - 2); // 檢測範圍
// 分割圖像
cv::grabCut(grayFrame, mask, rectangle, bgModel, fgModel, 3, cv::GC_INIT_WITH_RECT);
int nrow = grayFrame.rows;
int ncol = grayFrame.cols * grayFrame.channels();
for (int j = 0; j < nrow; j++) {
for (int i = 0; i < ncol; i++) {
uchar val = mask.at(j, i);
if (val == cv::GC_PR_BGD) {
grayFrame.at(j, i)[0] = 0;
grayFrame.at(j, i)[1] = 0;
grayFrame.at(j, i)[2] = 0;
}
}
}
cv::cvtColor(grayFrame, grayFrame, cv::COLOR_BGR2RGB); // 轉回彩色
_preview.image = [[UIImage alloc] initWithCVMat:grayFrame]; // 顯示結果
void cv::grabCut(InputArray _img, InputOutputArray _mask, Rect rect,
InputOutputArray _bgdModel, InputOutputArray _fgdModel,
int iterCount, int mode)
/*
參數說明:
img —— 待分割的來源圖像,必須是 8 位 3 通道(CV_8UC3),處理過程不會被修改;
mask —— 遮罩圖像,可取四種值:GCD_BGD(0) 背景、GCD_FGD(1) 前景、
GCD_PR_BGD(2) 可能的背景、GCD_PR_FGD(3) 可能的前景;
rect —— 限定需要分割的圖像範圍,只有矩形窗口內的部分才會被處理;
bgdModel —— 背景模型,為 null 時內部自動建立,須為單通道浮點型 CV_32FC1,尺寸 1x13x5;
fgdModel —— 前景模型,同上;
iterCount—— 迭代次數,必須大於 0;
mode —— 指示 grabCut 執行何種操作:
GC_INIT_WITH_RECT(0) 以矩形窗初始化;
GC_INIT_WITH_MASK(1) 以遮罩圖像初始化;
GC_EVAL(2) 執行分割。
*/
實測這段程式碼可用,核心就是 grabCut 這套基於圖模型的分割演算法,能自動把前景人像與背景分離開來。