網絡爬蟲也叫做網絡機器人，可以代替人們自動地在互聯網中進行數據信息的采集與整理。在大數據時代，信息的采集是一項重要的工作，如果單純靠人力進行信息采集，不僅低效繁瑣，搜集的成本也會提高。此時，我們可以使用網絡爬蟲對數據信息進行自動采集，比如應用于搜索引擎中對站點進行爬取收錄，應用于數據分析與挖掘中對數據進行采集，應用于金融分析中對金融數據進行采集，除此之外，還可以將網絡爬蟲應用于輿情監測與分析、目標客戶數據的收集等各個領域。當然，要學習網絡爬蟲開發，首先需要認識網絡爬蟲，在本篇中，我們將帶領大家一起認識幾種典型的網絡爬蟲，并了解網絡爬蟲的各項常見功能。