接上一篇。開工之前有兩件事要先處理。
第一件事:修正爬蟲的欄位型別。打開 spiders 目錄下的 dbmeizi_scrapy.py,原本的 parse 是這樣寫的:
def parse(self, response):
liResults = Selector(response).xpath('//li[@class="span3"]')
for li in liResults:
for img in li.xpath('.//img'):
item = MeiziItem()
item['title'] = img.xpath('@data-title').extract()
item['dataid'] = img.xpath('@data-id').extract()
item['datasrc'] = img.xpath('@data-src').extract()
item['startcount'] = 0
yield item需要改成這樣:
def parse(self, response):
liResults = Selector(response).xpath('//li[@class="span3"]')
for li in liResults:
for img in li.xpath('.//img'):
item = MeiziItem()
item['title'] = img.xpath('@data-title').extract()[0]
item['dataid'] = img.xpath('@data-id').extract()[0]
item['datasrc'] = img.xpath('@data-src').extract()[0]
item['startcount'] = 0
yield item為什麼?因為 extract() 回傳的是陣列,而我們每個欄位在語意上是字串而非清單。不取第 0 項,存進 MongoDB 之後 title 對應的 value 會是一個陣列,客戶端把資料轉成 JSON 後還得再做一層剝離,徒增麻煩。
第二件事:刪掉上一輪爬到的髒資料。

清空後重新執行 scrapy crawl dbmeiziSpider,再檢查資料庫,可以確認每個欄位已從陣列變成字串。

激動人心的時刻到了:我們要從 iOS 開發者臨時轉型成菜鳥後端工程師。不過能用自己寫的客戶端去讀自己寫的服務端的資料,這份成就感還是很實在的。
先確認已用 pip 安裝 pymongo 與 Flask。服務端程式碼如下:
from flask import Flask, request
import json
from bson import json_util
from bson.objectid import ObjectId
import pymongo
app = Flask(__name__)
mongoClient = pymongo.MongoClient('localhost', 27017)
db = mongoClient['dbmeizi']
def toJson(data):
return json.dumps(data, default=json_util.default)
@app.route('/meizi/', methods=['GET'])
def findmeizi():
if request.method == 'GET':
lim = int(request.args.get('limit', 10))
off = int(request.args.get('offset'), 0)
results = db['meizi'].find().skip(off).limit(lim)
json_results = []
for result in results:
json_results.append(result)
return toJson(json_results)
if __name__ == '__main__':
app.run(debug=True)短短二十幾行,這就是 Python 在原型開發上的爽快感。逐段說明:
前五行是引入相依套件。若之後用 python server.py 啟動時報錯,多半是缺了其中某個庫。
app = Flask(__name__) 用 Flask 的建構方法產生一個實例。這裡的 __name__ 是 Python 檔案的內建屬性:直接以命令列執行 python xxx.py 時它等於 __main__,被其他檔案 import 時則等於該檔案的名稱。因此它常用來判斷當前檔案是被引入還是被直接執行。
mongoClient = pymongo.MongoClient('localhost', 27017)
db = mongoClient['dbmeizi']這兩行透過 pymongo 連上本地 MongoDB,並取得 dbmeizi 這個 database。
def toJson(data):
return json.dumps(data, default=json_util.default)定義一個把 MongoDB 查詢結果序列化為 JSON 的函數,用來回傳給 iOS 客戶端。
@app.route('/meizi/', methods=['GET'])這是 Flask 的路由宣告:當收到 method 為 GET、路徑為 localhost:5000/meizi/ 的請求時,就執行下面的 findmeizi()。
def findmeizi():
if request.method == 'GET':
lim = int(request.args.get('limit', 10))
off = int(request.args.get('offset'), 0)
results = db['meizi'].find().skip(off).limit(lim)
json_results = []
for result in results:
json_results.append(result)
return toJson(json_results)這個方法處理形如 https://127.0.0.1:5000/meizi/?offset=0&limit=3 的請求:取出 limit 賦給 lim,取出 offset 賦給 off,然後用前面拿到的 db 實例打開 meizi 這個 collection,skip(off) 表示跳過前若干筆,limit(lim) 表示取幾筆。整句話就是「跳過前 off 筆,取接下來的 lim 筆」。結果放進 list,序列化後回傳。
執行 python server.py 試試。

資料已經能從瀏覽器拿到了。
建立一個 Swift 專案,用 CocoaPods 安裝相依庫:
platform :ios, '8.0'
use_frameworks!
target 'HotGirls' do
pod 'Alamofire'
pod 'Kingfisher'
end
target 'HotGirlsTests' do
end提醒:CocoaPods 請升到最新版,否則安裝 Swift 系的第三方庫容易出問題。
class ViewController: UIViewController {
@IBOutlet weak var mTableView: UITableView!
var imageURLStringArray: NSMutableArray = NSMutableArray()
override func viewDidLoad() {
super.viewDidLoad()
Alamofire.request(.GET, "https://localhost:5000/meizi/?offset=0&limit=10")
.responseJSON { (_, _, JSON, _) in
let resultArray: NSArray = JSON as! NSArray
for dict in resultArray {
self.imageURLStringArray.addObject(dict["datasrc"] as! String)
}
print(self.imageURLStringArray)
self.mTableView.reloadData()
}
}
override func didReceiveMemoryWarning() {
super.didReceiveMemoryWarning()
}
}extension ViewController: UITableViewDelegate, UITableViewDataSource {
func tableView(tableView: UITableView, cellForRowAtIndexPath indexPath: NSIndexPath) -> UITableViewCell {
var cell: ImageTableViewCell = tableView.dequeueReusableCellWithIdentifier("ImageViewCellID") as! ImageTableViewCell
var imageURL: NSString = imageURLStringArray[indexPath.row] as! NSString
cell.meiziImageView.kf_setImageWithURL(NSURL(string: imageURL as String)!)
return cell
}
func tableView(tableView: UITableView, numberOfRowsInSection section: Int) -> Int {
return imageURLStringArray.count
}
func tableView(tableView: UITableView, heightForRowAtIndexPath indexPath: NSIndexPath) -> CGFloat {
return 250.0
}
}跑起來,資料正確回來,大功告成。
GitHub:https://github.com/zangqilong198812/MeiziServer
但這樣就結束了嗎?遠遠沒有。爬蟲只是半成品,服務端簡直像玩笑,客戶端沒有任何值得一提的互動。萬里長征才剛邁出第一步:
1. 爬蟲如何定時自動執行?
2. MongoDB 如何避免插入重複資料?
3. 服務端如何提供多個介面?
4. 如何實作 Put / Delete / Post / Get?
5. POP、AsyncDisplayKit、collectionViewLayout、自訂轉場、Bézier 曲線、私有 CocoaPods、持續集成、單元測試。

目前為止我們已經掌握了:用 scrapy 抓資料、把資料寫進 MongoDB、用 Flask 做出一個可用介面。接下來把注意力放回 iOS。

App 大致長這樣。這個畫面裡最複雜的部分應該是卡片翻轉效果,飯要一口一口吃,今天先講畫面中間那個顯示 PASSES 的圓形視圖。
它的動畫順序是:
1. 先畫出圓環;
2. 數字隨之滾動;
3. 仔看得話會發現十位數滾得比個位數慢。這意味著不能用單一 label 呈現,得把十位與個位拆成兩個 label 各自做動畫。
新建一個繼承自 UIView 的類別,命名 StartView。

加上一個 CAShapeLayer 屬性:
var progressLayer: CAShapeLayer = CAShapeLayer()
在初始化方法中設定線寬、填色、筆觸色與路徑:
progressLayer.lineWidth = 2 progressLayer.fillColor = UIColor.clearColor().CGColor progressLayer.strokeColor = UIColor.whiteColor().CGColor progressLayer.path = UIBezierPath(ovalInRect: self.bounds).CGPath self.layer.addSublayer(progressLayer)
此時 StartView 的樣子:

在 ViewController 裡放一個 StartView,跑模擬器看結果。

圓環已經出現。要做出「畫出來」的過程動畫,靠的是 strokeEnd 這個屬性。CABasicAnimation 的 keyPath 本質上來自 CALayer 的所有屬性,而 CAShapeLayer 的 strokeEnd 用來表示 path 被描繪的比例,因此拿它做繪畫類動畫剛好合適。
func startDrawCircleAnimation() {
var pathAnimation: CABasicAnimation = CABasicAnimation(keyPath: "strokeEnd")
pathAnimation.fromValue = 0
pathAnimation.toValue = 1
pathAnimation.duration = 0.5
progressLayer.addAnimation(pathAnimation, forKey: "pathAnimation")
}跑一下。

確實執行了畫圓環的動作,但起點落在三點鐘方向,而我們需要它從十二點鐘方向開始。
問題出在 progressLayer.path = UIBezierPath(ovalInRect: self.bounds).CGPath 這一行——這個便利建構子產生的圓形,起點固定在三點鐘方向,無法指定。
理論上有兩個解法。第一個是把 layer 逆時針旋轉 90 度,讓子 layer 一起轉過去。但這會留下後遺症:之後往 CAShapeLayer 上加任何子 layer,都會跟著被旋轉。所以更好的做法是改變 path 的產生方式,改用畫弧線的介面,因為它能指定起始角與結束角:
var radius: CGFloat = CGRectGetWidth(self.bounds) / 2.0
var center = CGPointMake(radius, radius)
var startAngle = -M_PI_2
var endAngle = M_PI_2 * 3.0
var circlePath = UIBezierPath(arcCenter: center, radius: radius,
startAngle: CGFloat(startAngle),
endAngle: CGFloat(endAngle),
clockwise: true)
progressLayer.path = circlePath.CGPath再跑一次。

起點正確了。
要做上下滾動的數字,最直接的方案是放一個 scrollView,裡頭縱向排入 0 到 9 共十個 label。
新建一個類別並寫入如下程式碼:

這裡定義 enum 的原因是:十位數與個位數的滾動速率不同,因此初始化時要傳入一個 type 來區分建立的是哪一種。
接著建立 scrollView,縱向加入十個 label,並設定字型、顏色等屬性,然後寫一個啟動動畫的方法:

執行結果:

數字可以滾動了,但兩個 scroll 的速度一致,而需求是十位數要慢一些。
scrollView 有個 decelerationRate 可以調整滑動速率,但它有兩個限制:一是必須開啟 paging,二是無法做細粒度控制。所以改用 UIView 動畫直接改 contentOffset:
if scrollType == .SingleDigitType {
UIView.animateWithDuration(0.85, animations: { () -> Void in
self.singleDigitsScroll.contentOffset = CGPointMake(0, CGRectGetHeight(self.bounds) * CGFloat(num))
})
} else {
UIView.animateWithDuration(1, animations: { () -> Void in
self.singleDigitsScroll.contentOffset = CGPointMake(0, CGRectGetHeight(self.bounds) * CGFloat(num))
})
}個位數 0.85 秒、十位數 1 秒,速度差就出來了。
核心元件完成,把它們組裝起來。
最終效果:

專案地址:https://github.com/zangqilong198812/HotGirls