Python數據分析，你需要這些工具

數據分析主要流行的入門語言主要是Python、R，作者更加青睞于前者，主要是因為其通用性、跨平臺的優(yōu)點。而做數據分析單純依賴Python本身自帶的庫是遠不能滿足的，需要安裝第三方擴展庫來增強分析、挖掘能力。

我們會用到哪些工具?

主要介紹以下幾個庫：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy。當然如果安裝的是Anaconda發(fā)行版，那么它本身已經自帶了一些庫，如：Numpy、Pandas、Scipy、Matplotlib、Scikit-Learn。

擴展庫簡介

Numpy

Python并沒有提供數組功能。雖然列表可以完成基本的數據功能，但并不是真正的數組，而且在數據量較大時，使用列表的速度和效率就會大大折扣。為此，Numpy提供了真正的數組功能，以及快速處理數據的函數，而且Scipy、Matplotlib、Pandas等庫都依賴于它，值得強調的是Numpy內置函數處理數據的效率是C語言級別的。

Scipy

Scipy包含的功能有最優(yōu)化、線性代數、積分、插值、擬合、特殊函數、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學與工程中常用的計算，顯然，這些功能都是挖掘和建模必備的。

Matplotlib

Matplotlib是最著名的繪圖庫，它主要用于二維繪圖。當然還有其他的更好用的庫，Seaborn就是在Matplotlib的基礎上進行了更高級的API封裝，從而使得作圖更加容易。Wordcloud提供詞云構建，還提供自定義圖片。國內著名的可視化工具Echarts也提供了Pyecharts包，幾行代碼就能實現Echarts風格的圖標。雖然這么多工具，其實只需要掌握好一個工具即可。

Pandas

Pandas是Python下最強大的數據分析和探索工具，他包含高級的數據結構(Series和DataFrame)和工具。使得在Python中處理數據非?？焖俸秃唵巍６襊andas構建在Numpy智商，使得以Numpy為中心的應用很容易使用。

StatsModels

Pandas用于數據的讀取、處理和探索。而StatsModels則更加注重數據的統計模型分析，這兩者進行數據交互，因此成為了Python下強大的數據挖掘組合。同時StatsModels依賴于Pandas。

Scikit-Learn

Scikit-Learn依賴于Numpy、Scipy和Matplotlib，是Python常用的機器學習工具包，提供了完善的機器學習工具箱，包括數據預處理、分類、回歸、聚類、預測和模型分析等。

Keras

Keras依賴于Numpy、Scipy，雖然Scikit-Learn已經足夠強大，但是他沒有包含人工神經網絡。人工神經網絡主要應用于語言處理、圖像識別等領域。利用它可以搭建普通的神經網絡，還可以搭建各種深度學習模型，如自編碼器、循環(huán)神經網絡、遞歸審計網絡、卷積神經網絡等。由于它是基于Theano之上，因此速度也相當的快。

Gensim

Gensim是用來處理語言方面的任務，如文本相似度計算、LDA、Word2Vec等。Gensim作者已經對Word2Vec進行優(yōu)化，執(zhí)行效率比原生的Word2Vec效率更快。

Scrapy

Scrapy是專為爬蟲而生的工具，提供了URL讀取、HTML解析、存儲數據等功能，Scrapy 使用 Twisted這個異步網絡庫來處理網絡通訊，架構清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。。

當然現在已經開始流行第二代深度學習模型TensorFlow，TensorFlow是谷歌基于DistBelief進行研發(fā)的第二代人工智能學習系統。這是目前在Image，Speech和NLP最流行的深度神經網絡模型。