第2章 爬蟲基礎(chǔ)

2.1 認識HTTP請求

2.1.1 HTTP請求的含義

1.2.1節(jié)中講到下載網(wǎng)頁需要實現(xiàn)HTTP請求，那么如何實現(xiàn)HTTP請求呢？在Python中實現(xiàn)HTTP請求比較常用的是兩個庫——Urllib庫和Requests庫。

可以簡單地把HTTP請求理解為從客戶端到服務(wù)器端的請求消息。也就是說，無論是真正的一個人在操作瀏覽器還是一個爬蟲，當希望從服務(wù)器請求服務(wù)或信息時，就需要首先向服務(wù)器端發(fā)出一個請求，然后服務(wù)器返回響應(yīng)，最后連接關(guān)閉，這就是Web服務(wù)的流程。

對編寫爬蟲來說，認識和理解HTTP請求是非常重要的，因為這關(guān)系構(gòu)造爬蟲請求的方法。