㈠ python爬蟲能幹什麼
什麼是爬蟲?
網路爬蟲，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，另外一些不常用的名字還有螞蟻、自動索引、模擬程序或蠕蟲。
通俗的來講，就是通過程序去獲取web網頁上自己想要的數據，也就是自動抓取數據。
爬蟲可以做什麼?
你可以利用爬蟲抓取圖片、視頻等等你想要的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。
爬蟲的本質是什麼?
爬蟲的本質主要是模擬瀏覽器打開網頁，從而獲取網頁中我們想要的那部分數據。
從事Python爬蟲工作需要懂什麼?
學習Python基礎知識並實現基本的爬蟲過程：一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據
這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests
負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
了解非結構化數據的存儲：爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
掌握一些常用的反爬蟲技巧：使用代理IP池、抓包、驗證碼的OCR處理等處理方式可以解決大部分網站的反爬蟲策略。
了解分布式存儲：分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis
這三種工具就可以。
㈡ 請問什麼是網路爬蟲啊是干什麼的呢
網路爬蟲（Web crawler）是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
網路爬蟲被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。
(2)爬蟲工具可以做什麼擴展閱讀：
許多網站針對爬蟲都設置了反爬蟲機制。常見的有：
1、登陸限制：通過模擬登陸可以解決
2、用戶代理檢測：通過設置User-Agent header
3、Referer檢測：通過設置Referer header
4、訪問頻率限制：如果是針對同一賬號的頻率限制，則可以使用多個賬號輪流發請求；如果針對IP，可通過IP代理；還可以為相鄰的兩個請求設置合適的時間間隔來，減小請求頻率，從而避免被服務端認定為爬蟲。
㈢ python網路爬蟲可以幹啥
Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來