Python爬蟲(chóng)基礎知識點(diǎn)分析

　　做數據分析和任何一門(mén)技術(shù)一樣，都應該帶著(zhù)目標去學(xué)習，目標就像一座燈塔，指引你前進(jìn)，很多人學(xué)著(zhù)學(xué)著(zhù)就學(xué)放棄了，很大部分原因是沒(méi)有明確目標，所以，一定要明確學(xué)習目的，在你準備學(xué)爬蟲(chóng)前，先問(wèn)問(wèn)自己為什么要學(xué)習爬蟲(chóng)。有些人是為了一份工作，有些人是為了好玩，也有些人是為了實(shí)現某個(gè)黑科技功能。不過(guò)可以肯定的是，學(xué)會(huì )了爬蟲(chóng)能給你的工作提供很多便利。

　　小白入門(mén)必讀

　　作為零基礎小白，大體上可分為三個(gè)階段去實(shí)現。

　　第一階段是入門(mén)，掌握必備基礎知識，比如Python基礎、網(wǎng)絡(luò )請求的基本原理等；

　　第二階段是模仿，跟著(zhù)別人的爬蟲(chóng)代碼學(xué)，弄懂每一行代碼，熟悉主流的爬蟲(chóng)工具，

　　第三階段是自己動(dòng)手，到了這個(gè)階段你開(kāi)始有自己的解題思路了，可以獨立設計爬蟲(chóng)系統。

　　爬蟲(chóng)涉及的技術(shù)包括但不限于熟練一門(mén)編程語(yǔ)言（這里以Python為例）HTML知識、HTTP協(xié)議的基本知識、正則表達式、數據庫知識，常用抓包工具的使用、爬蟲(chóng)框架的使用、涉及到大規模爬蟲(chóng)，還需要了解分布式的概念、消息隊列、常用的數據結構和算法、緩存，甚至還包括機器學(xué)習的應用，大規模的系統背后都是靠很多技術(shù)來(lái)支撐的。數據分析、挖掘、甚至是機器學(xué)習都離不開(kāi)數據，而數據很多時(shí)候需要通過(guò)爬蟲(chóng)來(lái)獲取，因此，即使把爬蟲(chóng)作為一門(mén)專(zhuān)業(yè)來(lái)學(xué)也是有很大前途的。

　　那么是不是一定要把上面的知識全學(xué)完了才可以開(kāi)始寫(xiě)爬蟲(chóng)嗎？當然不是，學(xué)習是一輩子的事，只要你會(huì )寫(xiě)Python代碼了，就直接上手爬蟲(chóng)，好比學(xué)車(chē)，只要能開(kāi)動(dòng)了就上路吧，寫(xiě)代碼可比開(kāi)車(chē)安全多了。

　　用Python寫(xiě)爬蟲(chóng)

　　首先需要會(huì )Python，把基礎語(yǔ)法搞懂，知道怎么使用函數、類(lèi)、list、dict中的常用方法就算基本入門(mén)。接著(zhù)你需要了解HTML，HTML就是一個(gè)文檔樹(shù)結構，網(wǎng)上有個(gè)HTML30分鐘入門(mén)教程https://deerchao.net/tutorials/html/html.htm夠用了。

　　關(guān)于HTTP的知識

　　爬蟲(chóng)基本原理就是通過(guò)網(wǎng)絡(luò )請求從遠程服務(wù)器下載數據的過(guò)程，而這個(gè)網(wǎng)絡(luò )請求背后的技術(shù)就是基于HTTP協(xié)議。作為入門(mén)爬蟲(chóng)來(lái)說(shuō)，你需要了解HTTP協(xié)議的基本原理，雖然HTTP規范用一本書(shū)都寫(xiě)不完，但深入的內容可以放以后慢慢去看，理論與實(shí)踐相結合。

　　網(wǎng)絡(luò )請求框架都是對HTTP協(xié)議的實(shí)現，比如著(zhù)名的網(wǎng)絡(luò )請求庫Requests就是一個(gè)模擬瀏覽器發(fā)送HTTP請求的網(wǎng)絡(luò )庫。了解HTTP協(xié)議之后，你就可以專(zhuān)門(mén)有針對性的學(xué)習和網(wǎng)絡(luò )相關(guān)的模塊了，比如Python自帶有urllib、urllib2（Python3中的urllib），httplib，Cookie等內容，當然你可以直接跳過(guò)這些，直接學(xué)習Requests怎么用，前提是你熟悉了HTTP協(xié)議的基本內容，數據爬下來(lái)，大部分情況是HTML文本，也有少數是基于XML格式或者Json格式的數據，要想正確處理這些數據，你要熟悉每種數據類(lèi)型的解決方案，比如JSON數據可以直接使用Python自帶的模塊json，對于HTML數據，可以使用BeautifulSoup、lxml等庫去處理，對于xml數據，除了可以使用untangle、xmltodict等第三方庫。

　　爬蟲(chóng)工具

　　爬蟲(chóng)工具里面，學(xué)會(huì )使用Chrome或者FireFox瀏覽器去審查元素，跟蹤請求信息等等，現在大部分網(wǎng)站有配有APP和手機瀏覽器訪(fǎng)問(wèn)的地址，優(yōu)先使用這些接口，相對更容易。還有Fiddler等代理工具的使用。

　　入門(mén)爬蟲(chóng)，學(xué)習正則表達式并不是必須的，你可以在你真正需要的時(shí)候再去學(xué)，比如你把數據爬取回來(lái)后，需要對數據進(jìn)行清洗，當你發(fā)現使用常規的字符串操作方法根本沒(méi)法處理時(shí)，這時(shí)你可以嘗試了解一下正則表達式，往往它能起到事半功倍的效果。Python的re模塊可用來(lái)處理正則表達式。

　　數據清洗

　　數據清洗完最終要進(jìn)行持久化存儲，你可以用文件存儲，比如CSV文件，也可以用數據庫存儲，簡(jiǎn)單的用SQLite，專(zhuān)業(yè)點(diǎn)用MySQL，或者是分布式的文檔數據庫MongoDB，這些數據庫對Python都非常友好，有現成的庫支持，你要做的就是熟悉這些API怎么使用。

　　進(jìn)階之路

　　從數據的抓取到清洗再到存儲的基本流程都走完了，也算是基本入門(mén)了，接下來(lái)就是考驗內功的時(shí)候了，很多網(wǎng)站都設有反爬蟲(chóng)策略，他們想方設法阻止你用非正常手段獲取數據，比如會(huì )有各種奇奇怪怪的驗證碼限制你的請求操作、對請求速度做限制，對IP做限制、甚至對數據進(jìn)行加密操作，總之，就是為了提高獲取數據的成本。這時(shí)你需要掌握的知識就要更多了，你需要深入理解HTTP協(xié)議，你需要理解常見(jiàn)的加解密算法，你要理解HTTP中的cookie，HTTP代理，HTTP中的各種HEADER。爬蟲(chóng)與反爬蟲(chóng)就是相愛(ài)相殺的一對，道高一次魔高一丈。

　　如何應對反爬蟲(chóng)沒(méi)有既定的統一的解決方案，靠的是你的經(jīng)驗以及你所掌握的知識體系。這不是僅憑21天入門(mén)教程就能達到的高度。

　　進(jìn)行大規模爬蟲(chóng)，通常都是從一個(gè)URL開(kāi)始爬，然后把頁(yè)面中解析的URL鏈接加入待爬的URL集合中，我們需要用到隊列或者優(yōu)先隊列來(lái)區別對待有些網(wǎng)站優(yōu)先爬，有些網(wǎng)站后面爬。每爬去一個(gè)頁(yè)面，是使用深度優(yōu)先還是廣度優(yōu)先算法爬取下一個(gè)鏈接。每次發(fā)起網(wǎng)絡(luò )請求的時(shí)候，會(huì )涉及到一個(gè)DNS的解析過(guò)程（將****轉換成IP）為了避免重復地DNS解析，我們需要把解析好的IP緩存下來(lái)。URL那么多，如何判斷哪些****已經(jīng)爬過(guò)，哪些沒(méi)有爬過(guò)，簡(jiǎn)單點(diǎn)就是是使用字典結構來(lái)存儲已經(jīng)爬過(guò)的的URL，但是如果碰過(guò)海量的URL時(shí)，字典占用的內存空間非常大，此時(shí)你需要考慮使用BloomFilter（布隆過(guò)濾器），用一個(gè)線(xiàn)程逐個(gè)地爬取數據，效率低得可憐，如果提高爬蟲(chóng)效率，是使用多線(xiàn)程，多進(jìn)程還是協(xié)程，還是分布式操作，都需要反復實(shí)踐。

　　通過(guò)詳細的了解扣丁學(xué)堂關(guān)于Python爬蟲(chóng)知識點(diǎn)的詳細梳理，是否對扣丁學(xué)堂的了解想要更進(jìn)一步啊，我們扣丁學(xué)堂不僅僅有師資雄厚的教學(xué)團對以及配套的Python學(xué)習視頻等線(xiàn)上教學(xué)，還有額外的推薦就業(yè)等福利，因此，有想法的學(xué)生還在等什么啊，趕快行動(dòng)起來(lái)吧！扣丁學(xué)堂Python技術(shù)交流群：816572891。