當前位置:吉日网官网 - 盛世收藏 - 刺兒頭爬蟲抓取嗶哩嗶哩視頻標題和鏈接。

刺兒頭爬蟲抓取嗶哩嗶哩視頻標題和鏈接。

學習了壹下午,我才成功爬出了嗶哩嗶哩的視頻資料和超鏈接(雖然方法很蠢)。但還是很有意思。我們在這裏記錄下過程。

程序中使用的scrapy的安裝方法見/p/d2c8b1496949。在這裏,妳可以直接用CMD創建壹個scrapy項目,只需輸入scrapy startproject的名稱,當前目錄下就會新建壹個文件夾。cd在這個文件夾中之後,輸入scrapy genspider的名稱和目標URL來創建您的爬蟲文件(例如,scrapy gen spider sample/v)。

爬蟲創建成功後,可以對其進行編輯,可以看到打開的爬蟲文件(本例中為sample.py)。

接下來,我們需要定義parse()函數,並使用Xpath選擇器提取web頁面中的標簽內容。在這裏使用Xpath helper可以提高/v/digital(數字區域)的效率。

/v/音樂(音樂區)

雖然方法很蠢,但是最後運行成功還是很開心的。我以後會繼續研究爬行動物。愚蠢的方法終究是不可取的。

  • 上一篇:打開谷歌瀏覽器後右下角的廣告怎麽解決?
  • 下一篇:旅行時穿什麽鞋比較好?
  • copyright 2024吉日网官网