Python數(shù)據(jù)分析，你需要這些工具

數(shù)據(jù)分析主要流行的入門語言主要是Python、R，作者更加青睞于前者，主要是因為其通用性、跨平臺的優(yōu)點。而做數(shù)據(jù)分析單純依賴Python本身自帶的庫是遠(yuǎn)不能滿足的，需要安裝第三方擴展庫來增強分析、挖掘能力。

我們會用到哪些工具?

主要介紹以下幾個庫：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy。當(dāng)然如果安裝的是Anaconda發(fā)行版，那么它本身已經(jīng)自帶了一些庫，如：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn。

擴展庫簡介

Numpy

Python并沒有提供數(shù)組功能。雖然列表可以完成基本的數(shù)據(jù)功能，但并不是真正的數(shù)組，而且在數(shù)據(jù)量較大時，使用列表的速度和效率就會大大折扣。為此，Numpy提供了真正的數(shù)組功能，以及快速處理數(shù)據(jù)的函數(shù)，而且Scipy、Matplotlib、Pandas等庫都依賴于它，值得強調(diào)的是Numpy內(nèi)置函數(shù)處理數(shù)據(jù)的效率是C語言級別的。

Scipy

Scipy包含的功能有最優(yōu)化、線性代數(shù)、積分、插值、擬合、特殊函數(shù)、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學(xué)與工程中常用的計算，顯然，這些功能都是挖掘和建模必備的。

Matplotlib

Matplotlib是最著名的繪圖庫，它主要用于二維繪圖。當(dāng)然還有其他的更好用的庫，Seaborn就是在Matplotlib的基礎(chǔ)上進(jìn)行了更高級的API封裝，從而使得作圖更加容易。Wordcloud提供詞云構(gòu)建，還提供自定義圖片。國內(nèi)著名的可視化工具Echarts也提供了Pyecharts包，幾行代碼就能實現(xiàn)Echarts風(fēng)格的圖標(biāo)。雖然這么多工具，其實只需要掌握好一個工具即可。

Pandas

Pandas是Python下最強大的數(shù)據(jù)分析和探索工具，他包含高級的數(shù)據(jù)結(jié)構(gòu)(Series和DataFrame)和工具。使得在Python中處理數(shù)據(jù)非?？焖俸秃唵巍６襊andas構(gòu)建在Numpy智商，使得以Numpy為中心的應(yīng)用很容易使用。

StatsModels

Pandas用于數(shù)據(jù)的讀取、處理和探索。而StatsModels則更加注重數(shù)據(jù)的統(tǒng)計模型分析，這兩者進(jìn)行數(shù)據(jù)交互，因此成為了Python下強大的數(shù)據(jù)挖掘組合。同時StatsModels依賴于Pandas。

Scikit-Learn

Scikit-Learn依賴于Numpy、Scipy和Matplotlib，是Python常用的機器學(xué)習(xí)工具包，提供了完善的機器學(xué)習(xí)工具箱，包括數(shù)據(jù)預(yù)處理、分類、回歸、聚類、預(yù)測和模型分析等。

Keras

Keras依賴于Numpy、Scipy，雖然Scikit-Learn已經(jīng)足夠強大，但是他沒有包含人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于語言處理、圖像識別等領(lǐng)域。利用它可以搭建普通的神經(jīng)網(wǎng)絡(luò)，還可以搭建各種深度學(xué)習(xí)模型，如自編碼器、循環(huán)神經(jīng)網(wǎng)絡(luò)、遞歸審計網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。由于它是基于Theano之上，因此速度也相當(dāng)?shù)目臁?/span>

Gensim

Gensim是用來處理語言方面的任務(wù)，如文本相似度計算、LDA、Word2Vec等。Gensim作者已經(jīng)對Word2Vec進(jìn)行優(yōu)化，執(zhí)行效率比原生的Word2Vec效率更快。

Scrapy

Scrapy是專為爬蟲而生的工具，提供了URL讀取、HTML解析、存儲數(shù)據(jù)等功能，Scrapy 使用 Twisted這個異步網(wǎng)絡(luò)庫來處理網(wǎng)絡(luò)通訊，架構(gòu)清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。。

當(dāng)然現(xiàn)在已經(jīng)開始流行第二代深度學(xué)習(xí)模型TensorFlow，TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)。這是目前在Image，Speech和NLP最流行的深度神經(jīng)網(wǎng)絡(luò)模型。