1.1 爬蟲

存在即合理，為什么爬蟲程序會有其存在的土壤呢？這是由于傳統低效率的數據收集手段越來越不能滿足當今日益增長的數據需求所導致的。

這是一個數據爆炸的時代，沒有了獲取數據信息的壁壘，只要你肯，只要你想，那么就有機會利用數據讓夢想走進現實。但是面對互聯網這樣一個由數據構建而成的海洋，如何有效獲取數據，如何獲取有效數據都是極其勞神費力、浪費成本、制約效率的事情。很多時候，按照傳統手段完成一個項目可能80%～90%的時間用于獲取和處理數據。這樣的矛盾沖突，擱在以往，擱在普通的人和普通的公司身上，除了用金錢去填補（直接購買數據）之外，似乎只有默默認命了。

回想一下編者還是學生的時候，心里向往著詩和遠方，但口袋空空。如果要去旅游，只能一遍一遍地去各個旅游網站上尋找最便宜的酒店、最便宜的機票和最便宜的餐館。往往旅游只有三四天，可旅游之前竟然要花上十幾天甚至幾十天來搜索攻略、搶票和訂酒店。

如果看這本書的讀者，你曾經也有過這樣的經歷，那么請問你，酒店提前幾天訂最便宜？機票什么時候訂最實惠？你知道酒店的價格一周都怎樣變化嗎？刷了那么久的票，你總結出了什么規律嗎？那如果有人告訴你，他每15min就可以監控這個城市所有酒店的價格，你相信嗎？你會疑惑吧，誰會有閑心每15min把某個城市所有酒店所有房間的價格全部看一遍呢？就算有這個閑心，可有這個速度嗎？

然而現在，終于有了扭轉之機，那就是駕馭爬蟲，監控酒店的房價變化只是基本技能。