
作者:葉孤城___
先把這四個主角逐一介紹清楚。
Scrapy 是用 Python 寫的爬蟲框架,結構化程度高,適合做規模稍大的抓取任務。
Flask 是 Python 最有名的 Web 開發框架之一(另一個是 Django)。之所以選 Flask 而不是 Django:Django 太龐大了,而我們的服務端並不需要渲染 HTML 的 view 層,只要提供 RESTful 接口;Django 內置了大量用不上的功能,Flask 則足夠精簡,缺什麼裝對應擴展即可。
MongoDB 是非關系型數據庫,以 key-value 形式存取數據,整體風格接近 JSON,與 MySQL 各有優劣。本系列用它作為數據庫。
Swift 不用多說,iOS 開發者都懂。
那麼這個系列到底想做什麼?簡單講,就是一個人完成:獲取資源 → 編寫服務端 → 開發 iOS 客戶端 → 服務端部署上線 → 客戶端提交 App Store。這是個漫長的過程,我自己也在邊學邊做。整個流程裡唯一相對輕鬆的大概是 iOS 客戶端部分,所以我把它放到最後——先啃硬骨頭。
坦誠說,我以前沒寫過服務端,只有大四時折騰過一個月左右的 JSP,用的還是 servlet 那套老古董。所以這也是我人生第一次用 Python 寫後端,代碼一定醜、漏洞一定多,歡迎各位在文中指出問題,共同進步。
廢話不多說,第一步:寫一個爬蟲,把需要的資源抓回來。
說起來,我年前曾用 BeautifulSoup 和 urllib 寫過一個爬蟲,抓 www.dbmeizi.com 的圖片。這次改用 Scrapy 重寫一個功能更完整的版本,目標如下:
先確保 Mac 上裝好了 Xcode 的 Command Line Tools、Python 的包管理器 pip,以及 MongoDB(可到官網下載)。
安裝 Scrapy:
sudo pip install scrapy
由於需要把數據寫進 MongoDB,還要裝一個連接驅動 pymongo:
sudo pip install pymongo
然後用命令生成爬蟲工程骨架(startproject 是一個完整命令):
scrapy startproject dbmeizi
Scrapy 會生成如下目錄結構:

重點關注這幾個文件:
先想清楚:dbmeizi.com 上每張圖片包含哪些信息?看一張頁面截圖:

於是我們規定 model 包含四個字段:
打開 items.py,修改後如下:
from scrapy.item import Item, Field
class MeiziItem(Item):
# define the fields for your item here like:
# name = scrapy.Field()
datasrc = Field()
title = Field()
dataid = Field()
startcount = Field()
我們定義了繼承自 Scrapy Item 的 MeiziItem,並為它聲明四個屬性:datasrc 保存待下載的圖片 URL,title 保存標題,dataid 記錄圖片 ID 用於去重,startcount 記錄喜歡次數——後續做 iOS 端時可以設計一個點讚功能,每點一次就 +1。
在 spiders 文件夾下新建 dbmeizi_scrapy.py:
from scrapy import Spider
from scrapy.selector import Selector
from dbmeizi.items import MeiziItem
class dbmeiziSpider(Spider):
name = "dbmeiziSpider"
allowed_domin = ["dbmeizi.com"]
start_urls = [
"https://www.dbmeizi.com",
]
def parse(self, response):
liResults = Selector(response).xpath('//li[@class="span3"]')
for li in liResults:
for img in li.xpath('.//img'):
item = MeiziItem()
item['title'] = img.xpath('@data-title').extract()
item['dataid'] = img.xpath('@data-id').extract()
item['datasrc'] = img.xpath('@data-src').extract()
item['startcount'] = 0
yield item
逐段拆解:
我們定義了繼承自 Spider 的 dbmeiziSpider 類,並聲明三個基礎屬性。name 是爬蟲的名字,之後在命令行啟動時用的就是它;allowed_domin 限定只在 dbmeizi.com 域名下抓取;start_urls 是起始頁面數組,目前只抓首頁,所以只有一個地址。
parse 方法負責解析(它顯然是覆寫父類的同名方法),參數 response 可以理解為:Scrapy 已經把 start_urls 中的頁面下載完畢,response 裡裝的就是返回的 HTML 內容。
接著看這行:
liResults = Selector(response).xpath('//li[@class="span3"]')
含義是從 HTML 文檔的開頭到結尾,搜索所有 class="span3" 的 li 標籤。拿到 li 集合後,再用 for img in li.xpath('.//img') 遍歷其中的 img 標籤,在循環體內建立 MeiziItem 並逐個賦值,最後 yield 出去交給管道處理。
如果這段看不太懂,建議補兩個知識點:一是 XPath 語法,二是我之前寫的《iOS 程序員寫爬蟲》。
打開 settings.py,修改如下:
BOT_NAME = 'dbmeizi' SPIDER_MODULES = ['dbmeizi.spiders'] NEWSPIDER_MODULE = 'dbmeizi.spiders' ITEM_PIPELINES = ['dbmeizi.pipelines.MongoDBPipeline', ] MONGODB_SERVER = "localhost" MONGODB_PORT = 27017 MONGODB_DB = "dbmeizi" MONGODB_COLLECTION = "meizi" # Crawl responsibly by identifying yourself (and your website) on the user-agent # USER_AGENT = 'stack (+https://www.yourdomain.com)'
請特別注意 ITEM_PIPELINES 這個常量:它規定了爬到的數據轉為 model 之後該做什麼。這裡我們告訴 Scrapy 去 pipelines.py 裡找 MongoDBPipeline 這個類,後續工作全部由它承接。幾個以 MONGODB 開頭的常量則用來描述數據庫的基本連接信息。
強烈建議先花一點時間學會 MongoDB 的基礎增刪改查,在 shell 裡多練幾遍,否則後面會看得一頭霧水。
配置完成後打開 pipelines.py:
import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log
class MongoDBPipeline(object):
def __init__(self):
connection = pymongo.MongoClient(
settings['MONGODB_SERVER'],
settings['MONGODB_PORT']
)
db = connection[settings['MONGODB_DB']]
self.collection = db[settings['MONGODB_COLLECTION']]
def process_item(self, item, spider):
valid = True
for data in item:
if not data:
valid = False
raise DropItem("Missing {0}!".format(data))
if valid:
self.collection.insert(dict(item))
log.msg("Meizi added to MongoDB database!",
level=log.DEBUG, spider=spider)
return item
這裡定義了 MongoDBPipeline 類,注意名字必須與 settings 中 ITEM_PIPELINES 配置保持完全一致,拼錯就會失效。
__init__ 是 Python 的構造方法,我們在其中借助 pymongo 建立與 MongoDB 的連接,並把一個 collection 存為類屬性——在 MongoDB 裡,collection 的角色相當於 MySQL 中的 table。
process_item 負責把 item 落庫。這裡先做一次簡單的完整性校驗,任何字段為空就丟棄該條記錄;校驗通過後執行 self.collection.insert(dict(item)),我們的 MeiziItem 就寫進數據庫了。
1. 啟動 MongoDB

2. 運行爬蟲

3. 檢查數據庫是否有數據寫入

大功告成。
如果爬蟲跑不起來,按順序排查:是否用 pip 裝齊了所需框架,配置項名稱是否拼寫正確,路徑與 target 是否匹配。
GitHub 地址:https://github.com/zangqilong198812/DbMeiziScrapy