「以圖搜圖」是相當實用的一個功能。之前實作的時候記了不少筆記,今天整理成文分享出來,並附上可運行的概念驗證。
這個 demo 主要涵蓋三件事:
1. 自定義拍照界面
2. 圖像識別與以圖搜圖請求
3. 依識別結果取得對應的詳細資訊

自己從零實作圖像識別顯然不現實。最早研究的是 Google 的 API,但很遺憾在大陸地區無法直接使用。接著嘗試百度,效果意外地不錯,而且百度本身就有對應的「以圖搜圖」App。
需要說明的是,本文使用的這組 API 並非對外開放的公開服務,而是從「百度輕拍」App 擷取後分析而來。以下內容僅作為技術學習與功能理解之用,正式專案請改用官方開放平台提供的服務。
這個介面採用 POST 方式,請求主體裡要放的是 Base64 編碼後的圖片資訊。
UIImage *pic = [UIImage imageNamed:@"test_1.png"]; NSData *pictureData = UIImagePNGRepresentation(pic); NSString *pictureDataString = [pictureData base64Encoding];
擷取到的 URL 形如:
https://qingpai.baidu.com/api/irs/rex?reqid=196423494211296782&ak=eyJjdCI6IjIwIn0%3D&encoding=base64
拆解一下各參數的含義:qingpai.baidu.com/api/ 顯示這是給「百度輕拍」使用的介面;reqid 與 ak 屬於裝置綁定資訊;encoding=base64 則宣告傳輸資料的編碼格式。真正需要更動的,是 POST body 中的圖片資料。
UIImage *pic = [UIImage imageNamed:@"test_1.png"];
NSData *pictureData = UIImagePNGRepresentation(pic);
NSString *pictureDataString = [pictureData base64Encoding];
// Post 請求
NSString *post = [NSString stringWithFormat:@"%@", pictureDataString];
NSData *bodyData = [[post stringByAddingPercentEscapesUsingEncoding:NSUTF8StringEncoding]
dataUsingEncoding:NSUTF8StringEncoding];
NSURL *serverUrl = [NSURL URLWithString:@"https://qingpai.baidu.com/api/irs/rex?reqid=196423494211296782&ak=eyJjdCI6IjIwIn0%3D&encoding=base64"];
NSMutableURLRequest *request = [NSMutableURLRequest requestWithURL:serverUrl
cachePolicy:NSURLRequestReloadIgnoringCacheData
timeoutInterval:10];
[request setHTTPMethod:@"POST"];
[request setHTTPBody:bodyData];
[request setValue:@"application/x-www-form-urlencoded" forHTTPHeaderField:@"content-type"];
NSData *returnData = [NSURLConnection sendSynchronousRequest:request returningResponse:nil error:nil];
NSString *result = [[NSString alloc] initWithData:returnData encoding:NSUTF8StringEncoding];
NSMutableDictionary *addressDic = [result objectFromJSONString];
NSLog(@"%@", addressDic);
實務上請把這段改成非同步(NSURLSession),同步請求會直接卡住主線程。另外回傳編碼依系統而異,Windows 可能是 GBK、Ubuntu 多半是 UTF-8,記得確認後再解碼。

回傳的資料量相當可觀,其中 facesatar 欄位代表識別出的相似明星人臉,單筆資料的樣貌如下:
name: 邬靖靖, nameid: 1931, simi: 0.904725, pid: 1932/64.jpg, width: 440, height: 440, face_left: 143, face_top: 107, face_width: 193, face_height: 193
我們真正關心的是 name(明星姓名)與 simi(相似度);圖片尺寸與人臉座標若要做框選效果也能派上用場。要留意的是 name 在原始輸出中可能是 Unicode 編碼,直接印出來不易閱讀,但取到之後指定給 UILabel 顯示仍會正常呈現中文。另外 similar 列表則列出相似圖片與其來源,可依需求自行解析。
從 JSON 中挑出相似度最高的人物姓名(同樣的邏輯也適用於景點),再呼叫另一組介面即可拿到詳細內容,百度已經幫「輕拍」把結果頁封裝好了。以「邬靖靖」為例:
https://qingpai.baidu.com/api/proxy/search?word=邬靖靖&pn=1

這是一個現成的 WAP 頁面,直接塞進 UIWebView 用 URL 開啟,呈現效果就很不錯,省下大量自建詳情頁的功夫。
圖像搜尋這條線還能延伸出很多有意思的題目,例如人臉識別、光學字符識別(OCR)、圖中文字擷取等。這幾塊過去都各自寫過 demo,等有時間再逐一整理分享。