pg福运象财神中大奖图片

書名：精通Scrapy網絡爬蟲
作者名：劉碩
本章字數： 317字
更新時間： 2020-11-28 14:59:37

1.2 Scrapy簡介及安裝

Scrapy是一個使用Python語言（基于Twisted框架）編寫的開源網絡爬蟲框架，目前由Scrapinghub Ltd維護。Scrapy簡單易用、靈活易拓展、開發社區活躍，并且是跨平臺的。在Linux、 MaxOS以及Windows平臺都可以使用。Scrapy應用程序也使用Python進行開發，目前可以支持Python 2.7以及Python 3.4+版本。

在任意操作系統下，可以使用pip安裝Scrapy，例如：

        $ pip install scrapy

為確認Scrapy已安裝成功，首先在Python中測試能否導入Scrapy模塊：

        >>> import scrapy
        >>> scrapy.version_info
        (1, 3, 3)

然后，在shell中測試能否執行Scrapy這條命令：

        $ scrapy
        Scrapy 1.3.3- no active project

        Usage:
          scrapy  [options] [args]

        Available commands:
          bench        Run quick benchmark test
          commands
          fetch        Fetch a URL using the Scrapy downloader
          genspider    Generate new spider using pre-defined templates
          runspider    Run a self-contained spider (without creating a project)
          settings     Get settings values
          shell        Interactive scraping console
          startproject  Create new project
          version      Print Scrapy version
          view         Open URL in browser, as seen by Scrapy

          [ more ]     More commands available when run from project directory

        Use "scrapy  -h" to see more info about a command

通過了以上兩項檢測，說明Scrapy安裝成功了。如上所示，我們安裝的是當前最新版本1.3.3。

官术网_书友最值得收藏!

精通Scrapy網絡爬蟲

1.2 Scrapy簡介及安裝