 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上?！浚和瑵?jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
一、課程目標(biāo)
1. 全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景；
2. 全程項(xiàng)目實(shí)戰(zhàn)訓(xùn)練；
3. 徹底掌握使用Hadoop進(jìn)行MapReduce程序開發(fā)；
4. 熟悉分布式計(jì)算領(lǐng)域的常用算法；
二、學(xué)習(xí)對(duì)象
軟件工程師、數(shù)據(jù)庫(kù)開發(fā)人員、網(wǎng)絡(luò)后臺(tái)開發(fā)人員、運(yùn)維人員等。學(xué)員要求有一定的Java編程基礎(chǔ)。
三、授課師資
王老師 國(guó)內(nèi)最早從事于Hadoop框架應(yīng)用程序軟件開發(fā)以及Hadoop解決方案專家。業(yè)界知名資深I(lǐng)T技術(shù)培訓(xùn)講師、多家著名公司的技術(shù)顧問(wèn)。
四、具體課程安排
模塊單元 模塊單元
第1個(gè)主題：Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務(wù)提交流程剖析
第2個(gè)主題： Hadoop MapReduce Streaming編程
1. Hadoop Streaming 和 Java MapReduce Api 差異
2. 使用 MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能
第3個(gè)主題：MapReduce分布式程序
1. MapReduce流程
2.剖析一個(gè)MapReduce程序
3.基本MapReduceAPI 概念
4.驅(qū)動(dòng)代碼 5.Mapper
6.Reducer
7.API 使用Eclipse進(jìn)行快速開發(fā)
8.新MapReduce API
第4個(gè)主題：Hadoop 核心代碼剖析
1. Hadoop Mapper 類核心代碼剖析
2. Hadoop Reducer 類核心代碼剖析
第5個(gè)主題：HDFS分布式文件系統(tǒng)編程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API對(duì)HDFS編程
第1個(gè)主題：Hadoop Mapreduce高級(jí)編程
1.ToolRunner介紹
2.使用MRUnit進(jìn)行測(cè)試
3.利用Combiners來(lái)減少中間數(shù)據(jù)
4.使用Configure和Close方法來(lái)進(jìn)行Map/Reduce設(shè)置和關(guān)閉
5.編寫Partitioner來(lái)優(yōu)化負(fù)載平衡
6.直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）
7.使用分布式緩存（Distributed Cache）
第2個(gè)主題：MapReduce的優(yōu)化
1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化 第3個(gè)主題：MapReduce的任務(wù)調(diào)度
1. Queue調(diào)度的使用
2. 公平調(diào)度的使用
3. 能力調(diào)度的使用
第4個(gè)主題：MapReduce編程實(shí)戰(zhàn)
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5個(gè)主題：flume+hadoop日志收集實(shí)戰(zhàn)
1. flume介紹
2. flume核心組件講解
3. flume自帶的組件分析
4. flume二次開發(fā)實(shí)戰(zhàn)
第1個(gè)主題：Hadoop的來(lái)源和動(dòng)機(jī)
1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題
2.對(duì)一種新的解決方案的需求
第2個(gè)主題：Hadoop安裝和部署準(zhǔn)備
1. Hadoop系統(tǒng)模塊組件概述
2. Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
3. Hadoop 安裝依賴關(guān)系
4. Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)
第3個(gè)主題：Hadoop集群安裝和部署
1. Red hat Linux基礎(chǔ)環(huán)境搭建 上機(jī)實(shí)驗(yàn)
2. Hadoop 單機(jī)系統(tǒng)版本 安裝配置 上機(jī)實(shí)驗(yàn)
3. Hadoop 集群系統(tǒng)版本 安裝和啟動(dòng)配置 上機(jī)實(shí)驗(yàn)
4. Hadoop 集群異常Debug 方法
5. Hadoop 集群簡(jiǎn)單測(cè)試方法
6. 使用 Hadoop MapReduce Streaming 快速測(cè)試系統(tǒng)
第4個(gè)主題：Hadoop組件詳解
1. Hadoop HDFS 基本結(jié)構(gòu)
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解
6. Hadoop JobTracker 詳解
7. Hadoop TaskTracker 詳解
第5個(gè)主題：Hadoop集群配置詳解
1. Hadoop core-site,hdfs-site,mapred-site 配置詳解
2. Hadoop 高可用配置方法 第1個(gè)主題：Hadoop集群配置:機(jī)架感知,開啟壓縮和任務(wù)均衡
Hadoop 集群安裝和開啟LZO壓縮
Hadoop 配置集群具備機(jī)架感知
Hadoop 集群開啟公平任務(wù)調(diào)度器
Hadoop 集群開啟能力任務(wù)調(diào)度器
第2個(gè)主題：Hadoop 集群維護(hù)與管理
查看集群狀態(tài)
HDFS數(shù)據(jù)管理
Mapreduce 任務(wù)管理
HDFS安全模式
模擬集群Namenode,jobtrack失效
添加刪除節(jié)點(diǎn)
數(shù)據(jù)平衡
文件數(shù)據(jù)跨集群拷貝
集群升級(jí)
第3個(gè)主題：Hadoop 集群規(guī)劃和測(cè)試
集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))
集群性能測(cè)試
第4個(gè)主題：Hadoop 集群監(jiān)控和運(yùn)維
1. 使用Ganglia 監(jiān)控Hadoop集群
2. 使用Cacti 監(jiān)控操作系統(tǒng)
第5個(gè)主題：Hadoop HDFS高可用
Hadoop 元數(shù)據(jù)NFS備份方案
Hadoop SecondaryNameNode備份方案
Hadoop CheckpointNode備份方案
Hadoop BackupNode備份方案
Hadoop Cloudera HA Namenode 方案 |
|
|
|
|
首頁(yè) 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
