您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS 相機取像與像素擷取:CGImage 座標系與 CTM 轉換實錄

編輯:iOS 開發綜合

最近接到一個需求:要能從相機預覽的畫面中,抓取特定位置的像素區塊做簡單計算, conceptually 類似二維碼掃描,但不需要解碼,只要取一塊區域算平均色或判斷形狀即可。聽起來不難,實作卻踩了不少坑。這篇把整個過程記錄下來。

小提示:Xcode 裡按 command + 可以放大字型。

一、問題的根源:兩套座標系

相機取得的影像資料是以 Core Graphics(CG)框架繪製與儲存的,而 CG 的座標系原點在左下角、Y 軸向上;UIKit 的座標系原點在左上角、Y 軸向下。這兩套系統不一致,是後續所有麻煩的起點。

二、先確認資料本身是對的

第一步先把相機資料直接取出來,用 imageView 顯示看看。(程式碼略。)

結論:所見即所得,資料是正確的。

這裡有個值得記錄的現象:當你橫向拍攝時,系統會自動將影像旋轉 90 度,讓它符合你正常的觀看方向。也就是說,Apple 已經幫你處理了方向問題,只是這個處理發生在某一層,而不是底層。

因為 imageView 可能有自己的內部處理邏輯,為了排除它的干擾,我們改用 CGImageRef 再驗證一次:

CGImageRef oldImageRef = image.CGImage;
UIImage *newImage = [UIImage imageWithCGImage:oldImageRef];

這裡只是把 UIImage 轉成 CGImage,再用 UIImage 的方法還原成新的 image 物件,理論上應該等價。

結果:得到的影像果然是旋轉 90 度的,不再是原圖。

於是加上 orientation 參數把它轉回來:

UIImage *newImage = [UIImage imageWithCGImage:oldImageRef
                                       scale:0.1
                                 orientation:UIImageOrientationRight];

視覺上確實變成了我們要的方向。

三、進一步思考:資料有沒有被改動?

這樣一轉,影像會不會掉資料?先量一下:

NSData *data = UIImageJPEGRepresentation(image, 0);
NSLog(@"%lu", (unsigned long)data.length);

還好,資料量沒有明顯變化,沒有丟失。既然資料完整,理論上應該可以取出其中一塊再顯示出來。

四、真正的難題:rect 怎麼傳

問題來了:要擷取某一塊區域,我們該怎麼傳 rect?由於 UIKit 的 rect 與 CG 的座標系不同,是否需要先做轉換?

先試最直觀的做法——把影像轉過來,再從中取一部分:

CGImageRef imageRef = image.CGImage;
CGImageRef newImage  = CGImageCreateWithImageInRect(imageRef, rect);

結果:拿到的資料依然是傾斜 90 度。也就是說,上面這種轉換根本沒起到作用——資料在底層就是以 CG 座標系儲存的。

接著又發現一件關鍵的事:前面那句 imageWithCGImage:scale:orientation: 中,改動 orientation 完全不影響實驗結果。這說明該方法並沒有操作底層像素矩陣,它只是在初始化新 UIImage 時,告訴系統「讀取底層像素時要用哪個方向來解讀」。本質上是取用視角的不同,而非資料本身的旋轉。

五、兩個可行的解法

釐清這一點之後,路徑就清楚了:既然沒動到底層像素矩陣,要解決問題只有兩條路。

解法一:對底層矩陣做 CTM 轉換

用 Core Graphics 的 CTM(Current Transformation Matrix)把影像真正轉到我們要的座標系,之後再擷取區域。

- (UIImage *)image:(UIImage *)image rotation:(UIImageOrientation)orientation {
    long double rotate = 0.0;
    CGRect rect;
    float translateX = 0;
    float translateY = 0;
    float scaleX = 1.0;
    float scaleY = 1.0;

    switch (orientation) {
        case UIImageOrientationLeft:
            rotate = M_PI_2;
            rect = CGRectMake(0, 0, image.size.height, image.size.width);
            translateX = 0;
            translateY = -rect.size.width;
            scaleY = rect.size.width  / rect.size.height;
            scaleX = rect.size.height / rect.size.width;
            break;

        case UIImageOrientationRight:
            rotate = 3 * M_PI_2;
            rect = CGRectMake(0, 0, image.size.height, image.size.width);
            translateX = -rect.size.height;
            translateY = 0;
            scaleY = rect.size.width  / rect.size.height;
            scaleX = rect.size.height / rect.size.width;
            break;

        case UIImageOrientationDown:
            rotate = M_PI;
            rect = CGRectMake(0, 0, image.size.width, image.size.height);
            translateX = -rect.size.width;
            translateY = -rect.size.height;
            break;

        default:
            rotate = 0.0;
            rect = CGRectMake(0, 0, image.size.width, image.size.height);
            translateX = 0;
            translateY = 0;
            break;
    }

    UIGraphicsBeginImageContext(rect.size);
    CGContextRef context = UIGraphicsGetCurrentContext();

    // 建立 CTM 變換
    CGContextTranslateCTM(context, 0.0, rect.size.height);
    CGContextScaleCTM(context, 1.0, -1.0);   // 翻轉 Y 軸,對齊 UIKit 座標系
    CGContextRotateCTM(context, rotate);
    CGContextTranslateCTM(context, translateX, translateY);
    CGContextScaleCTM(context, scaleX, scaleY);

    // 依變換後的坐标系繪製
    CGContextDrawImage(context, CGRectMake(0, 0, rect.size.width, rect.size.height), image.CGImage);

    UIImage *newPic = UIGraphicsGetImageFromCurrentImageContext();
    return newPic;
}

這裡的 CGContextScaleCTM(context, 1.0, -1.0) 是關鍵:它先把 Y 軸翻正,讓後續的座標計算能用我們熟悉的 UIKit 習慣。少了這步,所有 Y 座標都會是反的。

結論:這個方案先對底層像素矩陣做完整轉換,之後再擷取局部,可以正確解決截取問題。代價是需要多一次完整的繪製與重新配置,影像大時有明顯的效能成本。

解法二:轉換 rect 本身

另一條路不動影像,而是把你要擷取的 rect 依底層座標系做換算——把 UIKit 座標下的矩形,映射成 CG 座標下對應的矩形,再直接對原始 CGImageRef 呼叫 CGImageCreateWithImageInRect。

這個做法只處理一小塊區域,效能遠優於解法一,是實務上的首選。代價是座標換算的推導需要仔細驗證,尤其橫屏時寬高要互換。

六、這次排查留下的經驗

第一,不要相信「看起來對了」。imageView 顯示正確不代表底層資料方向正確,中間可能還有好幾層轉換。要驗證底層,就得直接操作 CGImageRef。

第二,分清「解讀方向」與「資料方向」。orientation 參數改變的是解讀方式,不是像素排列。混淆這兩者會讓人誤判問題所在,白繞一大圈。

第三,先做小規模驗證再設計架構。這次如果在一開始就用 CGImageRef 驗證一次,後面關於 rect 的糾結都能省下來。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved