Python數(shù)據(jù)分析，你需要這些工具

數(shù)據(jù)分析主要流行的入門語(yǔ)言主要是Python、R，作者更加青睞于前者，主要是因?yàn)槠渫ㄓ眯浴⒖缙脚_(tái)的優(yōu)點(diǎn)。而做數(shù)據(jù)分析單純依賴Python本身自帶的庫(kù)是遠(yuǎn)不能滿足的，需要安裝第三方擴(kuò)展庫(kù)來(lái)增強(qiáng)分析、挖掘能力。

我們會(huì)用到哪些工具?

主要介紹以下幾個(gè)庫(kù)：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy。當(dāng)然如果安裝的是Anaconda發(fā)行版，那么它本身已經(jīng)自帶了一些庫(kù)，如：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn。

擴(kuò)展庫(kù)簡(jiǎn)介

Numpy

Python并沒有提供數(shù)組功能。雖然列表可以完成基本的數(shù)據(jù)功能，但并不是真正的數(shù)組，而且在數(shù)據(jù)量較大時(shí)，使用列表的速度和效率就會(huì)大大折扣。為此，Numpy提供了真正的數(shù)組功能，以及快速處理數(shù)據(jù)的函數(shù)，而且Scipy、Matplotlib、Pandas等庫(kù)都依賴于它，值得強(qiáng)調(diào)的是Numpy內(nèi)置函數(shù)處理數(shù)據(jù)的效率是C語(yǔ)言級(jí)別的。

Scipy

Scipy包含的功能有最優(yōu)化、線性代數(shù)、積分、插值、擬合、特殊函數(shù)、快速傅里葉變換、信號(hào)處理和圖像處理、常微分方程求解和其他科學(xué)與工程中常用的計(jì)算，顯然，這些功能都是挖掘和建模必備的。

Matplotlib

Matplotlib是最著名的繪圖庫(kù)，它主要用于二維繪圖。當(dāng)然還有其他的更好用的庫(kù)，Seaborn就是在Matplotlib的基礎(chǔ)上進(jìn)行了更高級(jí)的API封裝，從而使得作圖更加容易。Wordcloud提供詞云構(gòu)建，還提供自定義圖片。國(guó)內(nèi)著名的可視化工具Echarts也提供了Pyecharts包，幾行代碼就能實(shí)現(xiàn)Echarts風(fēng)格的圖標(biāo)。雖然這么多工具，其實(shí)只需要掌握好一個(gè)工具即可。

Pandas

Pandas是Python下最強(qiáng)大的數(shù)據(jù)分析和探索工具，他包含高級(jí)的數(shù)據(jù)結(jié)構(gòu)(Series和DataFrame)和工具。使得在Python中處理數(shù)據(jù)非?？焖俸秃?jiǎn)單。而且Pandas構(gòu)建在Numpy智商，使得以Numpy為中心的應(yīng)用很容易使用。

StatsModels

Pandas用于數(shù)據(jù)的讀取、處理和探索。而StatsModels則更加注重?cái)?shù)據(jù)的統(tǒng)計(jì)模型分析，這兩者進(jìn)行數(shù)據(jù)交互，因此成為了Python下強(qiáng)大的數(shù)據(jù)挖掘組合。同時(shí)StatsModels依賴于Pandas。

Scikit-Learn

Scikit-Learn依賴于Numpy、Scipy和Matplotlib，是Python常用的機(jī)器學(xué)習(xí)工具包，提供了完善的機(jī)器學(xué)習(xí)工具箱，包括數(shù)據(jù)預(yù)處理、分類、回歸、聚類、預(yù)測(cè)和模型分析等。

Keras

Keras依賴于Numpy、Scipy，雖然Scikit-Learn已經(jīng)足夠強(qiáng)大，但是他沒有包含人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于語(yǔ)言處理、圖像識(shí)別等領(lǐng)域。利用它可以搭建普通的神經(jīng)網(wǎng)絡(luò)，還可以搭建各種深度學(xué)習(xí)模型，如自編碼器、循環(huán)神經(jīng)網(wǎng)絡(luò)、遞歸審計(jì)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。由于它是基于Theano之上，因此速度也相當(dāng)?shù)目臁?/span>

Gensim

Gensim是用來(lái)處理語(yǔ)言方面的任務(wù)，如文本相似度計(jì)算、LDA、Word2Vec等。Gensim作者已經(jīng)對(duì)Word2Vec進(jìn)行優(yōu)化，執(zhí)行效率比原生的Word2Vec效率更快。

Scrapy

Scrapy是專為爬蟲而生的工具，提供了URL讀取、HTML解析、存儲(chǔ)數(shù)據(jù)等功能，Scrapy 使用 Twisted這個(gè)異步網(wǎng)絡(luò)庫(kù)來(lái)處理網(wǎng)絡(luò)通訊，架構(gòu)清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。。

當(dāng)然現(xiàn)在已經(jīng)開始流行第二代深度學(xué)習(xí)模型TensorFlow，TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)。這是目前在Image，Speech和NLP最流行的深度神經(jīng)網(wǎng)絡(luò)模型。