Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)（杭州，7月21-24日）

【舉辦單位】北京曼頓培訓(xùn)網(wǎng) www.mdpxb.com    

【培訓(xùn)日期】

杭州，2020年7月21-24日；成都，2020年8月19-22日

深圳，2020年11月20-23日；北京，2020年12月20-23日

【培訓(xùn)地點】杭州、成都、深圳、北京

【培訓(xùn)對象】各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運營商 IT信息化和運維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)感興趣的相關(guān)人員。

【課程背景】

1.需求理解

Hadoop 設(shè)計之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設(shè)計上與生俱來的優(yōu)點，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時也引起了研究界的普遍關(guān)注。

對電信運營商而言,用戶上網(wǎng)日志包含了大量用戶個性化需求、喜好信息,對其進(jìn)行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營分析系統(tǒng)小型機加關(guān)系型數(shù)據(jù)庫的架構(gòu)無法滿足對海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺,引入大數(shù)據(jù)處理技術(shù)的方式,實現(xiàn)高效率、低成本、易擴展的經(jīng)營分析系統(tǒng)混搭架構(gòu)成為電信運營商最為傾向的選擇。本課程將全面介紹Hadoop平臺開發(fā)和運維的各項技術(shù)，對學(xué)員使用該項技術(shù)具有很高的應(yīng)用價值。

【課程架構(gòu)與設(shè)計思路】

（1）培訓(xùn)架構(gòu)：

本課程分為三個主要部分：

第一部分：重點講述大數(shù)據(jù)技術(shù)在的應(yīng)用，使學(xué)員對大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識，在這環(huán)節(jié)當(dāng)中會重點介紹Hadoop技術(shù)在整個大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。

第二部分：具體對hadoop技術(shù)進(jìn)行模塊化分拆，從大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用談起，介紹Hadoop技術(shù)各主要應(yīng)用工具和方法，以及在運維維護(hù)當(dāng)中的主流做法，使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。

第三部分：重點剖析大數(shù)據(jù)的應(yīng)用案例，使學(xué)員在案例當(dāng)中對該項技術(shù)有更深入的感觀印象

（2）設(shè)計思路：

本課程采用模塊化教學(xué)方法，以案例分析為主線，由淺入深、循序漸進(jìn)、由理論到實踐操作進(jìn)行設(shè)計。

（3）與企業(yè)的貼合點：

本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場拓展發(fā)展目標(biāo)，重點講授Hadoop的應(yīng)用技術(shù)，提升企業(yè)IT技術(shù)人員的開發(fā)和運維能力，有很強的貼合度。

【培訓(xùn)目標(biāo)】

掌握大數(shù)據(jù)處理平臺（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺的安裝部署、運維配置、應(yīng)用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術(shù)架構(gòu)和實際應(yīng)用；利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進(jìn)行存儲管理和分析挖掘的技術(shù)應(yīng)用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)

【課程大綱】

第一天 上午

第一部分：移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹

第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

理論講授+案例分析

下午

第三部分：大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用

第四部分：Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)

理論講授+案例分析+小組討論

第二天

上午

第五部分：Hadoop運維管理與性能調(diào)優(yōu)

第六部分：NOSQL數(shù)據(jù)庫Hbase與Redis

理論講授+案例分析+實戰(zhàn)演練

下午

第七部分：類SQL語句工具——Hive

第八部分：數(shù)據(jù)挖掘SPARK建?；A(chǔ)介紹

理論講授+案例分析+實戰(zhàn)演練

第三天

上午

第九部分：Kafka基礎(chǔ)介紹

第十部分：大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運營 理論講授+案例分析

下午

第十一部分：當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例

第十二部分：課程總結(jié)與問題答疑

評估培訓(xùn)

理論講授+案例分析+小組討論

模塊一 移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹

1、數(shù)據(jù)中心與云計算技術(shù)應(yīng)用

2、智慧城市與云計算技術(shù)應(yīng)用

3、移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算關(guān)聯(lián)技術(shù)

4、移動云計算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈

5、大數(shù)據(jù)技術(shù)在運營商、金融業(yè)、銀行業(yè)、電子商務(wù)行業(yè)、零售業(yè)、制造業(yè)、政務(wù)信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實踐

6、國內(nèi)外主流的大數(shù)據(jù)解決方案介紹

7、當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較

8、Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析

9、開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

模塊二 大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

1、大數(shù)據(jù)時代的挑戰(zhàn)

■戰(zhàn)略決策能力

■技術(shù)開發(fā)和數(shù)據(jù)處理能力

■組織和運營能力

2、大數(shù)據(jù)時代的發(fā)展方向

■云計算是基礎(chǔ)設(shè)施架構(gòu)

■大數(shù)據(jù)是靈魂資產(chǎn)

■分析、挖掘是手段

■發(fā)現(xiàn)和預(yù)測是最終目標(biāo)

3、大數(shù)據(jù)挖掘在各行業(yè)應(yīng)用情況

■電信行業(yè)應(yīng)用及案例分析

■互聯(lián)網(wǎng)行業(yè)應(yīng)用及案例分析

■金融行業(yè)應(yīng)用及案例研究

■銷售行業(yè)應(yīng)用案例分析

課程模塊 課程主題 主要內(nèi)容及案例和演示

模塊一 移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹 1、數(shù)據(jù)中心與云計算技術(shù)應(yīng)用

2、智慧城市與云計算技術(shù)應(yīng)用

3、移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算關(guān)聯(lián)技術(shù)

4、移動云計算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈

5、大數(shù)據(jù)技術(shù)在運營商、金融業(yè)、銀行業(yè)、電子商務(wù)行業(yè)、零售業(yè)、制造業(yè)、政務(wù)信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實踐

6、國內(nèi)外主流的大數(shù)據(jù)解決方案介紹

7、當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較

8、Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析

9、開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

模塊二 大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向 1、大數(shù)據(jù)時代的挑戰(zhàn)

■戰(zhàn)略決策能力

■技術(shù)開發(fā)和數(shù)據(jù)處理能力

■組織和運營能力

2、大數(shù)據(jù)時代的發(fā)展方向

■云計算是基礎(chǔ)設(shè)施架構(gòu)

■大數(shù)據(jù)是靈魂資產(chǎn)

■分析、挖掘是手段

■發(fā)現(xiàn)和預(yù)測是最終目標(biāo)

3、大數(shù)據(jù)挖掘在各行業(yè)應(yīng)用情況

■電信行業(yè)應(yīng)用及案例分析

■互聯(lián)網(wǎng)行業(yè)應(yīng)用及案例分析

■金融行業(yè)應(yīng)用及案例研究

■銷售行業(yè)應(yīng)用案例分析

模塊三 大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用 1、Hadoop的發(fā)展歷程

■Hadoop大數(shù)據(jù)平臺架構(gòu)

■基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機制

■Hadoop 的核心組件剖析

2、分布式文件系統(tǒng)HDFS

■概述、功能、作用、優(yōu)勢

■應(yīng)用范疇、應(yīng)用現(xiàn)狀

■發(fā)展趨勢

3、分布式文件系統(tǒng)HDFS架構(gòu)及原理

■核心關(guān)鍵技術(shù)

■設(shè)計精髓

■基本工作原理

■系統(tǒng)架構(gòu)

■文件存儲模式

■工作機制

■存儲擴容與吞吐性能擴展

4、分布式文件系統(tǒng)HDFS操作

■SHELL命令操作

■I/O流式操作

■文件數(shù)據(jù)讀取、寫入、追加、刪除

■文件狀態(tài)查詢

■數(shù)據(jù)塊分布機制

■數(shù)據(jù)同步與一致性

■元數(shù)據(jù)管理技術(shù)

■主節(jié)點與從節(jié)點工作機制

■大數(shù)據(jù)負(fù)載均衡技術(shù)

■HDFS大數(shù)據(jù)存儲集群管理技術(shù)

5、Hadoop生態(tài)系統(tǒng)組件

■Storm

■HDFS

■MapReduce

■HIVE

■HBase

■Spark

■GraphX

■MLib

■Shark

模塊四 Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)

1、HDFS的設(shè)計

2、HDFS的概念

■數(shù)據(jù)塊

■namenode和datanode

■聯(lián)邦HDFS

■HDFS的高可用性

3、命令行接口

4、Hadoop文件系統(tǒng)

5、Java接口

■從Hadoop URL讀取數(shù)據(jù)

■通過FileSystem API讀取數(shù)據(jù)

■寫入數(shù)據(jù)

■目錄

■查詢文件系統(tǒng)

■刪除數(shù)據(jù)

6、數(shù)據(jù)流

■剖析文件讀取

■剖析文件寫入

■一致模型

7、通過Flume和Sqoop導(dǎo)入數(shù)據(jù)

8、通過distcp并行復(fù)制

9、Hadoop存檔

■使用Hadoop存檔工具

■不足

模塊五 Hadoop運維管理與性能調(diào)優(yōu)

1、第二代大數(shù)據(jù)處理框架

■Yarn的工作原理及

■DAG并行執(zhí)行機制

■Yarn大數(shù)據(jù)分析處理案例分析

■Yarn 框架并行應(yīng)用程序?qū)嵺`

2、集群配置管理

■Hadoop集群配置

■Hadoop性能調(diào)優(yōu)與參數(shù)配置

■Hadoop機架感知策略與配置

■Hadoop壓縮機制

■Hadoop任務(wù)負(fù)載均衡

■Hadoop 集群維護(hù)

■Hadoop監(jiān)控管理

3、HDFS的靜態(tài)調(diào)優(yōu)技巧

■HDFS 的高吞吐量I/O性能調(diào)優(yōu)技巧

■MapReduce/Yarn的并行處理性能調(diào)優(yōu)技巧

■Hadoop集群的運行故障剖析，以及解決方案

■基于Hadoop大數(shù)據(jù)應(yīng)用程序的性能瓶頸剖析與提

■Hadoop 大數(shù)據(jù)運維監(jiān)控管理系統(tǒng) HUE 平臺的安裝部署與應(yīng)用配置

■Hadoop運維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部配置

■Hadoop 集群運維系統(tǒng) Ganglia, Nagios的安裝部署與應(yīng)用配置

模塊六 NOSQL數(shù)據(jù)庫Hbase與Redis

1、NOSQL基礎(chǔ)

■CAP理論

■Base與ACID

■NOSQL數(shù)據(jù)庫存儲類型

鍵值存儲

列存儲

文檔存儲

圖形存儲

2、HBase分布式數(shù)據(jù)基礎(chǔ)

3、安裝Hbase

4、Hbase應(yīng)用

■HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序

■HBase的物理模型，命名空間（表空間）、表模式（Schema）的設(shè)計法則

■HBase 主節(jié)點HMaster的工作原理，HMaster的高可用配置，以及性能調(diào)優(yōu)

■HBase 從節(jié)點RegionServer（分區(qū)服務(wù)節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調(diào)優(yōu)

■HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu)，以及HFile存儲結(jié)構(gòu)剖析

■HBase表設(shè)計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作

■HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化

5、HBase分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應(yīng)用場景、工作原理、以及應(yīng)用優(yōu)勢與不足之處

■HBase分布式數(shù)據(jù)庫集群的主從式平臺架構(gòu)和關(guān)鍵技術(shù)剖析

■HBase偽分布式和物理集群分布式的控制與運行配置

■HBase從節(jié)點RegionServer（分區(qū)服務(wù)節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調(diào)優(yōu)

■HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu)，以及HFile存儲結(jié)構(gòu)剖析

■HBase表設(shè)計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作

■HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化

■ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺架構(gòu)、集群部署應(yīng)用實戰(zhàn)

■ZooKeeper集群的原理架構(gòu)，以及應(yīng)用配置

6、Redis內(nèi)存數(shù)據(jù)庫介紹，以及業(yè)界應(yīng)用案例

■Redis內(nèi)存數(shù)據(jù)庫集群架構(gòu)以及核心技術(shù)剖析

■Redis 集群的安裝部署與應(yīng)用開發(fā)實戰(zhàn)

模塊七 類SQL語句工具——Hive

1、安裝Hive

2、示例

3、運行Hive

■配置Hive

■Hive服務(wù)

■Metastore

4、Hive與傳統(tǒng)數(shù)據(jù)庫相比

■讀時模式vs.寫時模式

■更新、事務(wù)和索引

5、HiveQL

■數(shù)據(jù)類型

■操作與函數(shù)

6、表

■托管表和外部表

■分區(qū)和桶

■存儲格式

■導(dǎo)入數(shù)據(jù)

■表的修改

■表的丟棄

7、查詢數(shù)據(jù)

■排序和聚集

■MapReduce腳本

■連接

■子查詢

■視圖

8、用戶定義函數(shù)

■寫UDF

■寫UDAF

模塊八 數(shù)據(jù)挖掘SPARK建?；A(chǔ)介紹

 1、Spark簡介

■Spark是什么

■Spark生態(tài)系統(tǒng)BDAS

2、Spark架構(gòu)

■Spark分布式架構(gòu)與單機多核架構(gòu)的異同

3、Spark集群的安裝與部署

■Spark的安裝與部署

■Spark集群初試

4、Spark硬件配置

■Spark硬件

■Spark硬件配置流程

模塊九 Kafka基礎(chǔ)介紹

1、Kafka介紹

2、kafka體系結(jié)構(gòu)

3、kafka設(shè)計理念簡介

4、kafka通信協(xié)議

5、kafka的偽分布安裝、集群安裝

6、kafka的shell操作、java操作

7、kafka設(shè)計理念*

8、kafka producer和consumer開發(fā)

9、Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)

10、Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)

11、Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應(yīng)用實踐，

12、Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)以及Sqoop集群部署與配置

13、Kettle 集群的平臺架構(gòu)、核心技術(shù)、部署配置和應(yīng)用實戰(zhàn)

14、利用Sqoop實現(xiàn) MySQL 與 Hadoop 集群之間

模塊十 大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運營

1、案例1：貴州數(shù)據(jù)交易中心

■交易所交易形式：電子交易

■交易所服務(wù)：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購、大數(shù)據(jù)平臺技術(shù)開發(fā)

■大數(shù)據(jù)交易安全性探討分析

■數(shù)據(jù)交易中心商業(yè)模式探討分析

2、案例2：大數(shù)據(jù)應(yīng)用案例：公共交通線路的智能規(guī)劃

■UrbanInsights：為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務(wù)

■Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉庫、數(shù)據(jù)分析——設(shè)計運營線路

■Urban Insights通過互聯(lián)網(wǎng)數(shù)據(jù)的運營

3、討論：浙江移動大數(shù)據(jù)應(yīng)用與開發(fā)方向

模塊十一 當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例 

1、流商業(yè)大數(shù)據(jù)解決方案比較

2、主流開源云計算系統(tǒng)比較?

3、國內(nèi)外代表性大數(shù)據(jù)平臺比較?

4、各廠商最新的大數(shù)據(jù)產(chǎn)品介紹

5、案例分析

■Facebook的SNS平臺應(yīng)用

■Google的搜索引擎應(yīng)用

■Rackspace的日志處理

■Verizon成立精準(zhǔn)市場營銷部

■TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務(wù)

■中國聯(lián)通的“移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”

【講師介紹】

  張老師,曼頓培訓(xùn)網(wǎng)(www.mdpxb.com )資深講師。 阿里大數(shù)據(jù)高級專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等?！?/span>

【費用及報名】

1、費用：培訓(xùn)費6800元（含培訓(xùn)費、講義費）；如需食宿，會務(wù)組可統(tǒng)一安排,費用自理。

2、報名咨詢：鮑老師

3、報名流程：電話登記-->填寫報名表-->發(fā)出培訓(xùn)確認(rèn)函

4、備注：如課程已過期，請訪問我們的網(wǎng)站，查詢最新課程

5、詳細(xì)資料請訪問北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com (每月在全國開設(shè)四百多門公開課，歡迎報名學(xué)習(xí))