網絡爬蟲(Web crawler，也稱為web spider，web robot，在FOAF社區中，更常被稱為web chaser)是壹種按照壹定規則自動抓取萬維網上信息的程序或腳本。其他不常用的名字是螞蟻、自動索引、模擬器或蠕蟲。
爬行動物能做什麽？
模擬壹個瀏覽器打開壹個網頁，在網頁中獲取我們想要的數據。
從技術上來說，就是通過程序模擬瀏覽器請求站點的行為，將站點返回的HTML代碼/JSON數據/二進制數據(圖片和視頻)爬至本地，然後提取出妳需要的數據並存儲起來使用。
如果仔細觀察，不難發現了解和學習爬行動物的人越來越多。壹方面，互聯網上的可用數據越來越多。另壹方面，像Python這樣的編程語言提供了越來越多優秀的工具，讓爬蟲變得簡單易用。
利用爬蟲，我們可以獲得大量有價值的數據，從而獲得感性認識中無法獲得的信息，比如:
知乎:抓取優質答案，為妳篩選出每個話題下最好的內容。
淘寶和京東。COM:抓取商品、評論、銷售的數據，分析各種商品和用戶的消費場景。
安居客，鏈家:抓取房產買賣出租信息，分析房價變化趨勢，分析不同區域房價。
拉勾。com和智聯:抓取各類職位信息，分析各行業人才需求和薪酬水平。
雪球網:把握高收益雪球用戶行為，分析預測股市等。
爬行動物的原理是什麽？
發送請求>獲取響應內容>解析內容>保存數據
如上圖，這是爬取數據時的流程。是不是很簡單？所以用戶看到的瀏覽器結果都是由html代碼組成的，我們的爬蟲就是獲取這些內容，通過對HTML代碼的分析和過濾，獲取我們想要的資源。