網絡爬蟲(又被稱為網頁蜘蛛，網絡機器人)就是模擬瀏覽器發送網絡請求，接收請求響應，壹種按照壹定的規則，自動地抓取互聯網信息的程序。
原則上,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做。
為什麽我們要使用爬蟲？
互聯網大數據時代，給予我們的是生活的便利以及海量數據爆炸式地出現在網絡中。
過去，我們通過書籍、報紙、電視、廣播或許信息，這些信息數量有限，且是經過壹定的篩選，信息相對而言比較有效，但是缺點則是信息面太過於狹窄了。不對稱的信息傳導，以至於我們視野受限，無法了解到更多的信息和知識。
互聯網大數據時代，我們突然間，信息獲取自由了，我們得到了海量的信息，但是大多數都是無效的垃圾信息。
例如新浪微博，壹天產生數億條的狀態更新，而在百度搜索引擎中，隨意搜壹條——減肥100.000.000條信息。
通過某項技術將相關的內容收集起來，在分析刪選才能得到我們真正需要的信息。
這個信息收集分析整合的工作，可應用的範疇非常的廣泛，無論是生活服務、出行旅行、金融投資、各類制造業的產品市場需求等等……都能夠借助這個技術獲取更精準有效的信息加以利用。
網絡爬蟲技術，雖說有個詭異的名字，讓能第壹反應是那種軟軟的蠕動的生物，但它卻是壹個可以在虛擬世界裏，無往不前的利器。