您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

一個人做完一款 App:Scrapy + Flask + MongoDB + Swift 全棧實戰(一)

編輯:iOS 開發基礎

作者:葉孤城___

先把這四個主角逐一介紹清楚。

Scrapy 是用 Python 寫的爬蟲框架,結構化程度高,適合做規模稍大的抓取任務。

Flask 是 Python 最有名的 Web 開發框架之一(另一個是 Django)。之所以選 Flask 而不是 Django:Django 太龐大了,而我們的服務端並不需要渲染 HTML 的 view 層,只要提供 RESTful 接口;Django 內置了大量用不上的功能,Flask 則足夠精簡,缺什麼裝對應擴展即可。

MongoDB 是非關系型數據庫,以 key-value 形式存取數據,整體風格接近 JSON,與 MySQL 各有優劣。本系列用它作為數據庫。

Swift 不用多說,iOS 開發者都懂。

那麼這個系列到底想做什麼?簡單講,就是一個人完成:獲取資源 → 編寫服務端 → 開發 iOS 客戶端 → 服務端部署上線 → 客戶端提交 App Store。這是個漫長的過程,我自己也在邊學邊做。整個流程裡唯一相對輕鬆的大概是 iOS 客戶端部分,所以我把它放到最後——先啃硬骨頭。

坦誠說,我以前沒寫過服務端,只有大四時折騰過一個月左右的 JSP,用的還是 servlet 那套老古董。所以這也是我人生第一次用 Python 寫後端,代碼一定醜、漏洞一定多,歡迎各位在文中指出問題,共同進步。

廢話不多說,第一步:寫一個爬蟲,把需要的資源抓回來。

說起來,我年前曾用 BeautifulSoup 和 urllib 寫過一個爬蟲,抓 www.dbmeizi.com 的圖片。這次改用 Scrapy 重寫一個功能更完整的版本,目標如下:

  1. 抓取 dbmeizi.com 上每張圖片的 URL 與 title
  2. 把 URL、title 以及若干自定義字段寫入 MongoDB

環境準備

先確保 Mac 上裝好了 Xcode 的 Command Line Tools、Python 的包管理器 pip,以及 MongoDB(可到官網下載)。

安裝 Scrapy:

sudo pip install scrapy

由於需要把數據寫進 MongoDB,還要裝一個連接驅動 pymongo:

sudo pip install pymongo

然後用命令生成爬蟲工程骨架(startproject 是一個完整命令):

scrapy startproject dbmeizi

Scrapy 會生成如下目錄結構:

重點關注這幾個文件:

  1. items.py:可以把它看作 MVC 中的 Model,我們在這裡定義數據結構。
  2. pipelines.py:俗稱「管道」,負責把抓取到的 item 寫入 MongoDB。
  3. spiders 文件夾:存放爬蟲本體。
  4. settings.py:配置各項常量,例如數據庫名、地址、端口等。

第一步:定義 Model 層

先想清楚:dbmeizi.com 上每張圖片包含哪些信息?看一張頁面截圖:

於是我們規定 model 包含四個字段:

  1. 圖片的 URL
  2. 圖片的 title
  3. 一個 star 計數,用於後續排序與「人氣」展示
  4. 一個 id,避免插入數據庫時產生重複記錄

打開 items.py,修改後如下:

from scrapy.item import Item, Field

class MeiziItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()

    datasrc = Field()
    title = Field()
    dataid = Field()
    startcount = Field()

我們定義了繼承自 Scrapy Item 的 MeiziItem,並為它聲明四個屬性:datasrc 保存待下載的圖片 URL,title 保存標題,dataid 記錄圖片 ID 用於去重,startcount 記錄喜歡次數——後續做 iOS 端時可以設計一個點讚功能,每點一次就 +1。

第二步:編寫爬蟲

在 spiders 文件夾下新建 dbmeizi_scrapy.py:

from scrapy import Spider
from scrapy.selector import Selector
from dbmeizi.items import MeiziItem

class dbmeiziSpider(Spider):
    name = "dbmeiziSpider"
    allowed_domin = ["dbmeizi.com"]
    start_urls = [
        "https://www.dbmeizi.com",
    ]

    def parse(self, response):
        liResults = Selector(response).xpath('//li[@class="span3"]')

        for li in liResults:
            for img in li.xpath('.//img'):
                item = MeiziItem()
                item['title'] = img.xpath('@data-title').extract()
                item['dataid'] = img.xpath('@data-id').extract()
                item['datasrc'] = img.xpath('@data-src').extract()
                item['startcount'] = 0
                yield item

逐段拆解:

我們定義了繼承自 Spider 的 dbmeiziSpider 類,並聲明三個基礎屬性。name 是爬蟲的名字,之後在命令行啟動時用的就是它;allowed_domin 限定只在 dbmeizi.com 域名下抓取;start_urls 是起始頁面數組,目前只抓首頁,所以只有一個地址。

parse 方法負責解析(它顯然是覆寫父類的同名方法),參數 response 可以理解為:Scrapy 已經把 start_urls 中的頁面下載完畢,response 裡裝的就是返回的 HTML 內容。

接著看這行:

liResults = Selector(response).xpath('//li[@class="span3"]')

含義是從 HTML 文檔的開頭到結尾,搜索所有 class="span3" 的 li 標籤。拿到 li 集合後,再用 for img in li.xpath('.//img') 遍歷其中的 img 標籤,在循環體內建立 MeiziItem 並逐個賦值,最後 yield 出去交給管道處理。

如果這段看不太懂,建議補兩個知識點:一是 XPath 語法,二是我之前寫的《iOS 程序員寫爬蟲》。

第三步:把 MeiziItem 寫入數據庫

打開 settings.py,修改如下:

BOT_NAME = 'dbmeizi'

SPIDER_MODULES = ['dbmeizi.spiders']
NEWSPIDER_MODULE = 'dbmeizi.spiders'

ITEM_PIPELINES = ['dbmeizi.pipelines.MongoDBPipeline', ]

MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "dbmeizi"
MONGODB_COLLECTION = "meizi"

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'stack (+https://www.yourdomain.com)'

請特別注意 ITEM_PIPELINES 這個常量:它規定了爬到的數據轉為 model 之後該做什麼。這裡我們告訴 Scrapy 去 pipelines.py 裡找 MongoDBPipeline 這個類,後續工作全部由它承接。幾個以 MONGODB 開頭的常量則用來描述數據庫的基本連接信息。

強烈建議先花一點時間學會 MongoDB 的基礎增刪改查,在 shell 裡多練幾遍,否則後面會看得一頭霧水。

配置完成後打開 pipelines.py:

import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log

class MongoDBPipeline(object):

    def __init__(self):
        connection = pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db = connection[settings['MONGODB_DB']]
        self.collection = db[settings['MONGODB_COLLECTION']]

    def process_item(self, item, spider):
        valid = True
        for data in item:
            if not data:
                valid = False
                raise DropItem("Missing {0}!".format(data))
        if valid:
            self.collection.insert(dict(item))
            log.msg("Meizi added to MongoDB database!",
                    level=log.DEBUG, spider=spider)
        return item

這裡定義了 MongoDBPipeline 類,注意名字必須與 settings 中 ITEM_PIPELINES 配置保持完全一致,拼錯就會失效。

__init__ 是 Python 的構造方法,我們在其中借助 pymongo 建立與 MongoDB 的連接,並把一個 collection 存為類屬性——在 MongoDB 裡,collection 的角色相當於 MySQL 中的 table。

process_item 負責把 item 落庫。這裡先做一次簡單的完整性校驗,任何字段為空就丟棄該條記錄;校驗通過後執行 self.collection.insert(dict(item)),我們的 MeiziItem 就寫進數據庫了。

跑起來看看

1. 啟動 MongoDB

2. 運行爬蟲

3. 檢查數據庫是否有數據寫入

大功告成。

如果爬蟲跑不起來,按順序排查:是否用 pip 裝齊了所需框架,配置項名稱是否拼寫正確,路徑與 target 是否匹配。

GitHub 地址:https://github.com/zangqilong198812/DbMeiziScrapy

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved