全國(guó)高校大數(shù)據(jù)（Hadoop、spark、Python）師資培訓(xùn)班（杭州，7月21-29日）

【舉辦單位】北京曼頓培訓(xùn)網(wǎng) www.mdpxb.com    

【培訓(xùn)日期】杭州，2020年7月21-29日；成都，2020年8月19-27日

【培訓(xùn)地點(diǎn)】杭州、成都

【培訓(xùn)對(duì)象】各地高校大數(shù)據(jù)產(chǎn)業(yè)相關(guān)講師，信息中心相關(guān)人員、系主任、院長(zhǎng)或?qū)Υ髷?shù)據(jù)感興趣的相關(guān)人員。

【課程背景】

Hadoop板塊

1.需求理解

Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性，正是這些設(shè)計(jì)上與生俱來(lái)的優(yōu)點(diǎn)，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時(shí)也引起了研究界的普遍關(guān)注。

對(duì)電信運(yùn)營(yíng)商而言,用戶上網(wǎng)日志包含了大量用戶個(gè)性化需求、喜好信息,對(duì)其進(jìn)行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)小型機(jī)加關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)無(wú)法滿足對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺(tái),引入大數(shù)據(jù)處理技術(shù)的方式,實(shí)現(xiàn)高效率、低成本、易擴(kuò)展的經(jīng)營(yíng)分析系統(tǒng)混搭架構(gòu)成為電信運(yùn)營(yíng)商最為傾向的選擇。本課程將全面介紹Hadoop平臺(tái)開發(fā)和運(yùn)維的各項(xiàng)技術(shù)，對(duì)學(xué)員使用該項(xiàng)技術(shù)具有很高的應(yīng)用價(jià)值。

2.培訓(xùn)課程架構(gòu)與設(shè)計(jì)思路

（1）培訓(xùn)架構(gòu)：

本課程分為三個(gè)主要部分：

第一部分：重點(diǎn)講述大數(shù)據(jù)技術(shù)在的應(yīng)用，使學(xué)員對(duì)大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識(shí)，在這環(huán)節(jié)當(dāng)中會(huì)重點(diǎn)介紹Hadoop技術(shù)在整個(gè)大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。

第二部分：具體對(duì)hadoop技術(shù)進(jìn)行模塊化分拆，從大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用談起，介紹Hadoop技術(shù)各主要應(yīng)用工具和方法，以及在運(yùn)維維護(hù)當(dāng)中的主流做法，使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。

第三部分：重點(diǎn)剖析大數(shù)據(jù)的應(yīng)用案例，使學(xué)員在案例當(dāng)中對(duì)該項(xiàng)技術(shù)有更深入的感觀印象

（2）設(shè)計(jì)思路：

本課程采用模塊化教學(xué)方法，以案例分析為主線，由淺入深、循序漸進(jìn)、由理論到實(shí)踐操作進(jìn)行設(shè)計(jì)。

（3）與企業(yè)的貼合點(diǎn)：

本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場(chǎng)拓展發(fā)展目標(biāo)，重點(diǎn)講授Hadoop的應(yīng)用技術(shù)，提升企業(yè)IT技術(shù)人員的開發(fā)和運(yùn)維能力，有很強(qiáng)的貼合度。

大數(shù)據(jù)建模與挖掘板塊

 本次課程面向有一定的數(shù)據(jù)分析挖掘算法基礎(chǔ)的工程師，帶大家實(shí)踐大數(shù)據(jù)分析挖掘平臺(tái)的項(xiàng)目訓(xùn)練，系統(tǒng)地講解數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、挖掘模型建立、大數(shù)據(jù)分析與挖掘算法應(yīng)用在業(yè)務(wù)模型中，結(jié)合主流的Hadoop與Spark大數(shù)據(jù)分析平臺(tái)架構(gòu)，實(shí)現(xiàn)項(xiàng)目訓(xùn)練。

■結(jié)合業(yè)界使用最廣泛的主流大數(shù)據(jù)平臺(tái)技術(shù)，重點(diǎn)剖析基于大數(shù)據(jù)分析算法與BI技術(shù)應(yīng)用，包括分類算法、聚類算法、預(yù)測(cè)分析算法、推薦分析模型等在業(yè)務(wù)中的實(shí)踐應(yīng)用，并根據(jù)講師給定的數(shù)據(jù)集，實(shí)現(xiàn)兩個(gè)基本的日志數(shù)據(jù)分析挖掘系統(tǒng)，以及電商（或內(nèi)容）推薦系統(tǒng)引擎。

■本課程基本的實(shí)踐環(huán)境是Linux集群，JDK1.8， Hadoop 2.7.*，Spark 2.1.*。

■學(xué)員需要準(zhǔn)備的電腦最好是i5及以上CPU，4GB及以上內(nèi)存，硬盤空間預(yù)留50GB（可用移動(dòng)硬盤），基本的大數(shù)據(jù)分析平臺(tái)所依賴的軟件包和依賴庫(kù)等，講師已經(jīng)提前部署在虛擬機(jī)鏡像（VMware鏡像），學(xué)員根據(jù)講師的操作任務(wù)進(jìn)行實(shí)踐。

■本課程采用技術(shù)原理與項(xiàng)目實(shí)戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué)，在講授原理的過(guò)程中，穿插實(shí)際的系統(tǒng)操作，本課程講師也精心準(zhǔn)備的實(shí)際的應(yīng)用案例供學(xué)員動(dòng)手訓(xùn)練。

Python機(jī)器學(xué)習(xí)板塊

1.每個(gè)算法模塊按照“原理講解→分析數(shù)據(jù)→自己動(dòng)手實(shí)現(xiàn)→特征與調(diào)參”的順序。

2.“Python數(shù)據(jù)清洗和特征提取”，提升學(xué)習(xí)深度、降低學(xué)習(xí)坡度。

3.增加網(wǎng)絡(luò)爬蟲的原理和編寫，從獲取數(shù)據(jù)開始，重視將實(shí)踐問(wèn)題轉(zhuǎn)換成實(shí)際模型的能力，分享工作中的實(shí)際案例或Kaggle案例：廣告銷量分析、環(huán)境數(shù)據(jù)異常檢測(cè)和分析、數(shù)字圖像手寫體識(shí)別、Titanic乘客存活率預(yù)測(cè)、用戶-電影推薦、真實(shí)新聞組數(shù)據(jù)主題分析、中文分詞、股票數(shù)據(jù)特征分析等。

4.強(qiáng)化矩陣運(yùn)算、概率論、數(shù)理統(tǒng)計(jì)的知識(shí)運(yùn)用，掌握機(jī)器學(xué)習(xí)根本。

5.闡述機(jī)器學(xué)習(xí)原理，提供配套源碼和數(shù)據(jù)。

6.以直觀解釋，增強(qiáng)感性理解。

7.對(duì)比不同的特征選擇帶來(lái)的預(yù)測(cè)效果差異。

8.重視項(xiàng)目實(shí)踐，重視落地。思考不同算法之間的區(qū)別和聯(lián)系，提高在實(shí)際工作中選擇算法的能力。

9.涉及和講解的部分Python庫(kù)有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。

【課程目標(biāo)】

掌握大數(shù)據(jù)處理平臺(tái)（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用；利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)

讓學(xué)員充分掌握大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、大數(shù)據(jù)分析的基本理論、機(jī)器學(xué)習(xí)的常用算法、國(guó)內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案、以及大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶分析方面的應(yīng)用案例。

強(qiáng)調(diào)主流的大數(shù)據(jù)分析挖掘算法技術(shù)的應(yīng)用和分析平臺(tái)的實(shí)施，讓學(xué)員掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺(tái)架構(gòu)和實(shí)際應(yīng)用，并用結(jié)合實(shí)際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué)，掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)分布式系統(tǒng)平臺(tái)應(yīng)用，以及商業(yè)和開源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺(tái)形成大數(shù)據(jù)分析平臺(tái)的應(yīng)用剖析。

讓學(xué)員掌握常見的機(jī)器學(xué)習(xí)算法，深入講解業(yè)界成熟的大數(shù)據(jù)分析挖掘與BI平臺(tái)的實(shí)踐應(yīng)用，并以客戶分析系統(tǒng)、日志分析和電商推薦系統(tǒng)為案例，串聯(lián)常用的數(shù)據(jù)挖掘技術(shù)進(jìn)行應(yīng)用教學(xué)。

從數(shù)學(xué)層面推導(dǎo)最經(jīng)典的機(jī)器學(xué)習(xí)算法，以及每種算法的示例和代碼實(shí)現(xiàn)（Python）、如何做算法的參數(shù)調(diào)試、以實(shí)際應(yīng)用案例分析各種算法的選擇等。

【講師介紹】

   張老師,曼頓培訓(xùn)網(wǎng)(www.mdpxb.com)資深講師。阿里大數(shù)據(jù)高級(jí)專家，國(guó)內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。

【費(fèi)用及報(bào)名】

1、費(fèi)用：培訓(xùn)費(fèi)9800元（含培訓(xùn)費(fèi)、講義費(fèi)）；如需食宿，會(huì)務(wù)組可統(tǒng)一安排,費(fèi)用自理。

2、報(bào)名咨詢：鮑老師

3、報(bào)名流程：電話登記-->填寫報(bào)名表-->發(fā)出培訓(xùn)確認(rèn)函

4、備注：如課程已過(guò)期，請(qǐng)?jiān)L問(wèn)我們的網(wǎng)站，查詢最新課程

5、詳細(xì)資料請(qǐng)?jiān)L問(wèn)北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com (每月在全國(guó)開設(shè)四百多門公開課，歡迎報(bào)名學(xué)習(xí))