 班級規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
day01- spark綜述 spark簡介
spark應(yīng)用場景介紹
spark軟件棧和生態(tài)體系
spark架構(gòu)設(shè)計(jì)解析
RDD計(jì)算流程解析
spark出色的容錯(cuò)機(jī)制
spark和hadoop、storm等分布式框架之間的比較
spark運(yùn)行模式及其原理 spark運(yùn)行模式概述
local模式
standalone模式
local cluster模式
yarn-client/yarn-cluster模式
mesos模式
day01- spark最佳編程語言scala scala介紹
scala基本語法
scala高級函數(shù)
scala集合操作
scala的RPC框架AKKA
day02- spark核心編程模型 RDD基礎(chǔ)，RDD分區(qū)，RDD數(shù)據(jù)本地性...
RDD操作，action，transformation，lazy特性
RDD簡單編程示例
RDD常見的transformation操作示例
RDD常見的action操作示例
spark編程案例——手機(jī)用戶日常活動(dòng)地點(diǎn)分析
spark集群及運(yùn)行時(shí)系統(tǒng)中各角色詳解
day02- spark內(nèi)核深入 spark的任務(wù)調(diào)度基本概念
RDD的Lineage
Cache和checkpoint
寬依賴和窄依賴及Stage的劃分
DAGScheduler，TaskScheduler，task核心機(jī)制詳解
spark shuffle機(jī)制
shuffle機(jī)制性能分析
廣播變量的機(jī)制和應(yīng)用
累加器的機(jī)制和應(yīng)用
spark作業(yè)提交和接收過程
day03- sparksql sparksql基本概念，架構(gòu)介紹
sparksql與hive等的性能對比
sparksql的使用方式，sql-shell，thriftserver，jdbc
sparksql中核心數(shù)據(jù)結(jié)構(gòu)DataFrame
sparksql應(yīng)用示例，各種查詢例子
sparksql支持的外部數(shù)據(jù)源，hive，parquet，json等
sparksql查詢hbase數(shù)據(jù)，自定義數(shù)據(jù)源，華為工具Astro
day03- spark streaming spark streaming基本概念，架構(gòu)介紹
spark streaming核心數(shù)據(jù)結(jié)構(gòu)Dstream
transformation轉(zhuǎn)換操作，無狀態(tài)轉(zhuǎn)換，有狀態(tài)轉(zhuǎn)換
spark streaming支持的各類輸入源，比如文件，socket，kafka
spark streaming的容錯(cuò)機(jī)制
checkpoint
spark streaming編程案例
spark streaming的性能考量，比如批次和窗口大小，并行度
day04- spark機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)概念介紹
機(jī)器學(xué)習(xí)的應(yīng)用場景
應(yīng)用機(jī)器學(xué)習(xí)的完整流程介紹
spark mllib介紹
spark mllib架構(gòu)解析
MLlib經(jīng)典算法解析和案例：K-Means解析和實(shí)戰(zhàn)
day04- spark性能優(yōu)化 spark性能調(diào)優(yōu)總數(shù)
spark調(diào)優(yōu)：內(nèi)存配置相關(guān)
spark調(diào)優(yōu)：GC相關(guān)
spark重要調(diào)優(yōu)參數(shù)總結(jié)
spark在實(shí)戰(zhàn)中的遇到過的那些“坑”
spark graphx 圖計(jì)算概念介紹
spark graphx架構(gòu)解析
spark graphx編程模型
spark graphx應(yīng)用示例 |
|
|
|
|
首頁 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
