python爬蟲技術(shù)的選擇:爬蟲又是另外一個(gè)領(lǐng)域，涉及的知識點(diǎn)比較多，不僅要熟悉web開發(fā)，有時(shí)候還涉及機(jī)器學(xué)習(xí)等知識，不過在python里一切變的簡單，有許多第三方庫來幫助我們實(shí)現(xiàn)。使用python編寫爬蟲首先要選擇合適的抓取模塊，最簡單的功能就是能發(fā)送和處理請求， 下面就介紹幾個(gè)常用的抓取的方式。一、python 自帶的urlib2和urlib或者第三方模塊requests:這種方案適合簡單的頁面爬蟲，比如爬取博客園推薦文章。urllib2和urllib是python自帶模塊可用來發(fā)送處理請求，雖然比較靈活但API易用性較差，所以一般都要進(jìn)行二次封裝，我曾經(jīng)也進(jìn)行過封裝，發(fā)現(xiàn)自己封裝出來的模塊無限趨近于非常成熟的requests庫，所以還是直接使用requests吧，當(dāng)然requests只發(fā)送和接受請求，對于頁面分析還要配合lxml或beautifulsoup等第三方庫進(jìn)行。高級點(diǎn)的爬蟲不僅僅是發(fā)送和處理請求，還需要處理異常，請求速度控制等問題，這就需要我們寫額外的代碼去控制，當(dāng)然我們可以自己寫只是時(shí)間問題，但完全沒有必要，接下來我會介紹第二種方案。二、scrapy框架:scrapy是爬蟲領(lǐng)取的佼佼者，目前我做的項(xiàng)目無論復(fù)雜與否，都采用scrapy進(jìn)行，對于請求調(diào)度，異常處理都已經(jīng)封裝好了，而且有第三方的scrapy-redis還可以支持分布式，我們把關(guān)注點(diǎn)放在更重要的頁面分析和規(guī)則編寫上，代碼可以參考我github上的例子。三、python selenium:這種方式我稱為終極必殺器，一般是實(shí)在沒辦法的時(shí)候才用，以前我在利用某家搜索引擎抓取文章時(shí)，該搜索引擎采用的比較高難度的反爬蟲機(jī)制而且不斷變化讓人找不到規(guī)律，最典型的特點(diǎn)就是cookie會隨機(jī)隱藏到某個(gè)頁面js和圖片中，解決方案就是模擬瀏覽器的行為加載所有js等靜態(tài)資源文件，如果自己寫個(gè)瀏覽器取解析太扯蛋了，如果chrome瀏覽器能開放接口，通過chrome的加載方式獲取頁面的內(nèi)容就好了，這就是selenium了，selenium加上隨機(jī)等待時(shí)間可以模擬出和人非常類似的操作行為，缺點(diǎn)就是速度較慢，但是一般爬蟲對抓取速度要求不高，重要的是穩(wěn)定性，這種方式對于抓取反爬蟲機(jī)制做的好的大型網(wǎng)站比較適用?？偨Y(jié)，對于大部分爬蟲需求直接用scrapy解決，如果解決不了再采用第一種或第三種方案，就這么簡單。

python爬蟲技術(shù)的選擇:爬蟲又是另外一個(gè)領(lǐng)域，涉及的知識點(diǎn)比較多，不僅要熟悉web開發(fā)，有時(shí)候還涉及機(jī)器學(xué)習(xí)等知識，不過在python里一切變的簡單，有許多第三方庫來幫助我們實(shí)現(xiàn)。使用python編寫爬蟲首先要選擇合適的抓取模塊，最簡單的功能就是能發(fā)送和處理請求， 下面就介紹幾個(gè)常用的抓取的方式。一、python 自帶的urlib2和urlib或者第三方模塊requests:這種方案適合簡單的頁面爬蟲，比如爬取博客園推薦文章。urllib2和urllib是python自帶模塊可用來發(fā)送處理請求，雖然比較靈活但API易用性較差，所以一般都要進(jìn)行二次封裝，我曾經(jīng)也進(jìn)行過封裝，發(fā)現(xiàn)自己封裝出來的模塊無限趨近于非常成熟的requests庫，所以還是直接使用requests吧，當(dāng)然requests只發(fā)送和接受請求，對于頁面分析還要配合lxml或beautifulsoup等第三方庫進(jìn)行。高級點(diǎn)的爬蟲不僅僅是發(fā)送和處理請求，還需要處理異常，請求速度控制等問題，這就需要我們寫額外的代碼去控制，當(dāng)然我們可以自己寫只是時(shí)間問題，但完全沒有必要，接下來我會介紹第二種方案。二、scrapy框架:scrapy是爬蟲領(lǐng)取的佼佼者，目前我做的項(xiàng)目無論復(fù)雜與否，都采用scrapy進(jìn)行，對于請求調(diào)度，異常處理都已經(jīng)封裝好了，而且有第三方的scrapy-redis還可以支持分布式，我們把關(guān)注點(diǎn)放在更重要的頁面分析和規(guī)則編寫上，代碼可以參考我github上的例子。三、python selenium:這種方式我稱為終極必殺器，一般是實(shí)在沒辦法的時(shí)候才用，以前我在利用某家搜索引擎抓取文章時(shí)，該搜索引擎采用的比較高難度的反爬蟲機(jī)制而且不斷變化讓人找不到規(guī)律，最典型的特點(diǎn)就是cookie會隨機(jī)隱藏到某個(gè)頁面js和圖片中，解決方案就是模擬瀏覽器的行為加載所有js等靜態(tài)資源文件，如果自己寫個(gè)瀏覽器取解析太扯蛋了，如果chrome瀏覽器能開放接口，通過chrome的加載方式獲取頁面的內(nèi)容就好了，這就是selenium了，selenium加上隨機(jī)等待時(shí)間可以模擬出和人非常類似的操作行為，缺點(diǎn)就是速度較慢，但是一般爬蟲對抓取速度要求不高，重要的是穩(wěn)定性，這種方式對于抓取反爬蟲機(jī)制做的好的大型網(wǎng)站比較適用?？偨Y(jié)，對于大部分爬蟲需求直接用scrapy解決，如果解決不了再采用第一種或第三種方案，就這么簡單。

學(xué)Python需要分幾步學(xué)習(xí):學(xué)Python可以分這些步驟、階段學(xué)習(xí)：第一階段：了解 Python 編程基礎(chǔ);第二階段：學(xué)習(xí)Python函數(shù)及流程控制;第三階段：利用Python進(jìn)行實(shí)戰(zhàn);第四階段：深入學(xué)習(xí) Python 編程。以下是關(guān)于學(xué)Python需要分幾步學(xué)習(xí)的具體介紹。第一階段：了解 Python 編程基礎(chǔ)首先要了解的就是變量、編程規(guī)范、基礎(chǔ)語法等等，這是能夠保證你上手編寫 Python 代碼的前提。其次就是數(shù)據(jù)結(jié)構(gòu)，字符串、列表、字典、元組，這些也需要非常熟練，因?yàn)閿?shù)據(jù)類型將貫穿你學(xué)習(xí)Python并且使用Python的始終。第二階段：學(xué)習(xí)Python函數(shù)及流程控制:當(dāng)你學(xué)到了Python 函數(shù)和控制語句的時(shí)候，就可以嘗試去真正的解決問題了，學(xué)會如何實(shí)現(xiàn)判斷和循壞，怎樣把固定的功能模塊封裝成函數(shù)，這些都是保證寫出代碼的必要條件。函數(shù)主要學(xué)習(xí)定義，調(diào)用以及參數(shù)傳遞的方法，能夠熟練地寫出函數(shù)實(shí)現(xiàn)對應(yīng)的不同功能，這個(gè)過程中比較注重細(xì)節(jié)，所以需要反復(fù)的練習(xí)。流程控制則則是需要掌握條件語句和循壞語句，能在不同的場景下使用，知道判斷和循環(huán)實(shí)現(xiàn)的過程，學(xué)完這些基本就差不多了。第三階段：利用Python進(jìn)行實(shí)戰(zhàn):說到實(shí)戰(zhàn)，這就關(guān)系到第三方庫的了解，因?yàn)檫@樣才能利用Python完成更多的事情，比如用pandas作數(shù)據(jù)處理、用BeautifulSoup寫爬蟲、用Flask搭建網(wǎng)站、用matplotlib做數(shù)據(jù)可視化分析......熟練的使用第三方庫能給你節(jié)省不少時(shí)間，因?yàn)檫@些都是大家使用過的，所以更加穩(wěn)定，不容易出現(xiàn)bug，根本不需要去自己編代碼，能刪改別人的代碼拿來自己使用就可以了，如果想要學(xué)爬蟲或者搭建網(wǎng)站的話，還需要了解其他的知識，學(xué)得越多會得越多嘛。第四階段：深入學(xué)習(xí) Python 編程:如果你只是想利用Python完成一些簡單的工作任務(wù)，那前三個(gè)階段學(xué)習(xí)差不多就夠用了，因?yàn)槟阋呀?jīng)能進(jìn)行基本的數(shù)據(jù)分析、網(wǎng)絡(luò)爬蟲、寫工具腳本，用來提升工作效率綽綽有余。但如果想要往跟更深領(lǐng)域發(fā)展，以就業(yè)轉(zhuǎn)行為目的的話，那就得選擇一個(gè)自己看好的方向深入學(xué)習(xí)了，要了解Python的高級特性，如迭代器、生成器、裝飾器，了解類和面向?qū)ο蟮睦砟?。繼續(xù)深入下去，可以探索Python的實(shí)現(xiàn)原理，性能優(yōu)化方式，跳出語言本身，了解計(jì)算機(jī)的交互原理，還有很長的路要走，這不是短時(shí)間能實(shí)現(xiàn)的過程，也需要做好心理準(zhǔn)備。