★ 課程名稱

Python人工智能

★ 課程內(nèi)容

1.Python語言核心教程   2、系統(tǒng)高級編程  3、互聯(lián)網(wǎng)全棧開發(fā)  4、人工智能

★ Python介紹

Python由于簡單易用，是人工智能領(lǐng)域中使用最廣泛的編程語言之一，它可以無縫的與數(shù)據(jù)結(jié)構(gòu)和其他常用的AI算法一起使用。Python雖然是腳本語言，但是因為容易學(xué)，迅速成為科學(xué)家的工具，從而積累了大量的工具庫、架構(gòu)，人工智能涉及大量的數(shù)據(jù)計算，用Python是很自然的，簡單高效。

(1)爬蟲框架或模塊

Python自帶爬蟲模塊：urllib、urllib2；

第三方爬蟲模塊：requests，aiohttp；

爬蟲框架：Scrapy、pyspider。

(2)爬蟲框架或模塊的優(yōu)缺點

urllib和urllib2模塊都用于請求URL相關(guān)的操作，但他們提供了不同的功能。urllib2模塊中urllib2.urlopen可以接受一個Request對象或者url，(在接受Request對象時候，并以此可以來設(shè)置一個URL的headers)，且只接收一個url；urllib中有urlencode，而urllib2中沒有。因此，開發(fā)人員在實際開發(fā)中經(jīng)常會將urllib與urllib2一起使用。

requests是一個HTTP庫，它僅僅用于發(fā)送請求。對于HTTP請求而言，request是一個強大的庫，可以自己處理下載、解析，靈活性更高，高并發(fā)與分布式部署也非常靈活，對于功能可以更好實現(xiàn)。

aiohttp是一個基于python3的asyncio攜程機制實現(xiàn)的一個http庫。相比requests，aiohttp自身就具備了異步功能。但只能在python3環(huán)境中使用。

Scrapy是封裝起來的框架，它包含了下載器、解析器、日志及異常處理，是基于多線程的，采用twisted的方式處理。對于固定單個網(wǎng)站的爬取開發(fā)，Scrapy具有優(yōu)勢；對于多網(wǎng)站爬取，并發(fā)及分布式處理方面，Scrapy不夠靈活，不便調(diào)整與擴展。

Scrapy具有以下優(yōu)點：

1：Scrapy是異步的；2：采取可讀性更強的XPath代替正則表達式；3：強大的統(tǒng)計和log系統(tǒng)；4：可同時在不同的URL上爬行；5：支持shell方式，方便獨立調(diào)試；6：方便寫一些統(tǒng)一的過濾器；7：通過管道的方式存入數(shù)據(jù)庫。

Scrapy是基于python實現(xiàn)的爬蟲框架，擴展性比較差。

Pyspider是一個重量級的爬蟲框架。我們知道Scrapy沒有數(shù)據(jù)庫集成、分布式、斷點續(xù)爬的支持、UI控制界面等等，若Scrapy想要實現(xiàn)這些功能，需要自行開發(fā)。Pyspider已經(jīng)集成了前面這些功能，也正因如此，Pyspider的擴展性太差，學(xué)習(xí)難度較大。