本書(shū)內(nèi)容

本書(shū)全面系統(tǒng)地講解Python網(wǎng)絡(luò)爬蟲(chóng)的體系應(yīng)用，由淺入深地介紹網(wǎng)絡(luò)爬蟲(chóng)方面的技術(shù)知識(shí)，對(duì)基于Python網(wǎng)絡(luò)爬蟲(chóng)領(lǐng)域的技術(shù)做全面的介紹。原理部分，主要突出網(wǎng)絡(luò)爬蟲(chóng)的理論基礎(chǔ)，原生態(tài)網(wǎng)絡(luò)爬蟲(chóng)中正則表達(dá)式與requests庫(kù)的使用，HTML內(nèi)容解析模擬瀏覽器模擬登錄模擬驗(yàn)證的應(yīng)用，Python與數(shù)據(jù)庫(kù)的連接與使用，網(wǎng)絡(luò)爬蟲(chóng)框架的介紹與實(shí)際應(yīng)用等。系統(tǒng)開(kāi)發(fā)環(huán)境配置與搭建部分，通過(guò)實(shí)例系統(tǒng)講解Python環(huán)境的安裝、部署、環(huán)境搭建、配置、應(yīng)用程序部署等一系列過(guò)程，幫助學(xué)生搭建Python開(kāi)發(fā)環(huán)境。

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的重點(diǎn)之一是網(wǎng)絡(luò)爬蟲(chóng)框架，因此本書(shū)首先重點(diǎn)介紹網(wǎng)絡(luò)爬蟲(chóng)的常見(jiàn)框架，再結(jié)合網(wǎng)絡(luò)爬蟲(chóng)框架的相關(guān)案例介紹PySpider網(wǎng)絡(luò)爬蟲(chóng)框架的安裝和使用，Scrapy網(wǎng)絡(luò)爬蟲(chóng)框架的安裝和使用，以及Scrapy網(wǎng)絡(luò)爬蟲(chóng)管理與部署。另外，因?yàn)镻ython網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)需要reguests庫(kù)、Scrapy解析庫(kù)、存儲(chǔ)庫(kù)、XPath的配合，本書(shū)還介紹了requests庫(kù)、正則表達(dá)式、XPath等的使用方法，重點(diǎn)講解這些庫(kù)的實(shí)際應(yīng)用。

本書(shū)共分為7章，鄧維負(fù)責(zé)全書(shū)的統(tǒng)稿工作，第1～4章由李貝編寫(xiě)，第5章到第6章由湯小洋編寫(xiě)，第7章由康毅斌、林海玉、劉燕秋、林建雄、劉慶勝、鐘曉穎統(tǒng)一編寫(xiě)。

在Python網(wǎng)絡(luò)爬蟲(chóng)的體系應(yīng)用中，Scrapy與PySpide是非常重要的Python網(wǎng)絡(luò)爬蟲(chóng)框架，讀者通過(guò)學(xué)習(xí)，可以掌握Scrapy和PySpider的安裝、配置和使用，以及實(shí)現(xiàn)基本的案例。

本書(shū)以Python網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)為主線，兼顧理論與實(shí)戰(zhàn)，全面介紹可操作的Python環(huán)境與系統(tǒng)開(kāi)發(fā)相關(guān)知識(shí)，以及大數(shù)據(jù)算法、大數(shù)據(jù)分析、大數(shù)據(jù)系統(tǒng)互補(bǔ)的作用，可以互相參考。