一、Linux基礎
?? ?
1、Linux的實驗環境和安裝配置
? ?
2、使用VI編輯器
?? ?
3、Linux的目錄結構
?? ?
4、文件目錄操作和壓縮命令
? ?
5、Linux的權限管理?
?? ?
6、安裝JDK常用軟件
?? ?
7、案例分析：Java的死鎖
二、Hadoop的背景知識與起源
??? 8、實驗環境簡介
? ?
9、本門課程各章概述
?
10、大數據的起源和基本概念
? 11、Google的基本思想之一：GFS
? 12、Google的基本思想之二：MapReduce
? 13、Google的基本思想之三：BigTable
三、搭建Hadoop環境
? 14、Hadoop的目錄結構和本地模式的搭建
? 15、搭建Hadoop的偽分布模式
? 16、免密碼登錄的原理和配置
? 17、搭建Hadoop的全分布模式
四、Apache Hadoop的體系結構
? 18、HDFS體系結構之一：NameNode
? 19、HDFS體系結構之一：DataNode
? 20、HDFS體系結構之三：Secondary NameNode
? 21、Yarn的體系結構和資源分配方式
? 22、HBase的體系結構
? 23、主從結構的單點故障問題
五、HDFS
? 24、HDFS的操作方式之一：Web Console
?
25、HDFS的操作方式之二：命令行
?
26、HDFS的操作方式之三：使用Java創建目錄和HDFS的權限
?
27、使用JavaAPI上傳數據
?
28、使用JavaAPI下載數據
?
29、使用JavaAPI查看數據文件的元信息
?
30、HDFS上傳文件的原理和過程
?
31、HDFS下載文件的原理和過程
?
32、什么是Java的動態代理
?
33、Java動態代理的應用案例：數據庫連接池
?
34、什么是RPC和RPC的實現
?
35、HDFS的回收站
?
36、HDFS的快照
?
37、HDFS的配額
?
38、HDFS的安全模式和權限管理
?
39、HDFS集群簡介
六、MapReduce
? 40、知識點回顧：MapReduce的編程模型和Demo演示
?
41、分析WordCount單詞計數的數據流動過程
?
42、開發自己的WordCount程序
?
43、案例分析：求每個部門的工資總額數據處理的流程
?
44、編程實現求每個部門的工資總額
?
45、MapReduce的序列化和案例分析
?
46、序列化編程案例：求每個部門的工資總額
?
47、基本數據類型的排序
?
48、對象進行排序
?
49、分區的基本概念
?
50、編程案例：自定義分區
?
51、什么是Combiner？
?
52、什么是Shuffle？
?
53、搭建Hadoop的Eclipse開發環境
??
七、MapReduce編程案例
? 54、案例一：去掉重復數據
?
55、知識復習：數據庫中的多表查詢
?
56、案例二：多表查詢之等值連接的分析過程
?
57、案例二：多表查詢之等值連接的MapReduce實現
?
58、案例三：多表查詢之自連接的分析過程
?
59、案例三：多表查詢之自連接的實現
?
60、案例四：分析倒排索引的實現過程
?
61、案例四：編程實現倒排索引
?
62、案例五：使用MRUnit進行單元測試
?
63、第一階段課程小結
八、NoSQL數據庫之：HBase
? 64、NoSQL簡介和常見的NoSQL數據庫
?
65、HBase體系結構和表結構
?
66、搭建HBase環境和實現HA
?
67、HBase在ZK中保存的數據和HA
?
68、使用HBase Shell操作HBase
?
69、使用JavaAPI操作HBase
?
70、HBase中數據保存的過程和Region的分裂
?
71、HBase的過濾器
?
72、HBase上的MapReduce數據的分析過程
?
73、開發HBase上的MapReduce程序
九、數據分析引擎之：Hive
? 74、Hive簡介和Hive的體系結構
?
75、Hive的安裝和配置
?
76、Hive數據模型之：內部表
?
77、Hive數據模型之：分區表
?
78、Hive數據模型之：外部表
?
79、Hive數據模型之：桶表
?
80、Hive數據模型之：視圖
?
81、Hive的Java客戶端
?
82、Hive的自定義函數
十、數據分析引擎之：Pig
? 83、Pig簡介和安裝配置
?
84、Pig的常用命令
?
85、Pig的數據模型
?
86、使用PigLatin語句分析數據
?
87、Pig的自定義函數一：自定義過濾函數和自定義運算函數
?
88、Pig的自定義函數二：自定義加載函數
十一、數據采集引擎：Sqoop和Flume
? 89、準備數據采集的實驗環境
?
90、使用Sqoop采集關系型數據庫的數據
?
91、使用Flume采集日志
十二、集成管理工具：HUE
? 92、安裝和配置使用HUE
十三、Hadoop序列化框架：Avro
? 93、Avro課程概述
?
94、Java的序列化
?
95、Hadoop的序列化
?
96、Avro的數據類型和Schema
?
97、使用Schema實現Java的序列化
?
98、使用Schema實現Java的反序列化
?
99、使用Avro Tools生成Schema生成類實現Java的序列化
?
100、使用Avro Tools生成Schema生成類實現Java的反序列化
?
101、知識點回顧：Hadoop中的RPC通信
?
102、在RPC使用Avro實現消息的通信之一：定義消息格式Schema
?
103、在RPC使用Avro實現消息的通信之二：開發服務器端程序
?
104、在RPC使用Avro實現消息的通信之三：開發客戶端端程序
?
105、知識點回顧：Hadoop中的MapReduce
?
106、在MapReduce中使用Avro之一：定義數據格式Schema
?
107、在MapReduce中使用Avro之二：開發Mapper端程序
?
108、在MapReduce中使用Avro之三：開發Reducer端程序
?
109、在MapReduce中使用Avro之四：開發Job主程序端程序
?
110、在MapReduce中使用Avro之五：運行測試
?
111、在MapReduce任務中使用Schema的生成類
十四、工作流引擎：Oozie
? 112、Oozie課程概述與基本概念
?
113、安裝和配置Oozie
?
114、演示Oozie自帶的Example
?
115、Oozie控制節點
?
116、Oozie的動作節點之一：Fs
?
117、Oozie的動作節點之二：Java-Main
?
118、Oozie的動作節點之三：MapReduce
?
119、Oozie的動作節點之四：Sqoop
?
110、Oozie的動作節點之五：Hive
?
111、Oozie的動作節點之六：Pig
?
112、綜合案例：處理商品訂單
?
113、什么是OOzie的Coordinator
?
114、什么是OOzie的Bundle
十五、Hadoop HA的實現和HDFS的聯盟
? 115、上次課程復習
?
116、ZooKeeper簡介和安裝配置
?
117、HadoopHA的實現原理
?
118、利用ZooKeeper實現Hadoop的HA
?
119、上次課程復習
?
120、HDFS聯盟的體系結構
?
121、搭建HDFS聯盟的環境
?
122、第二階段課程總結
十六、NoSQL數據庫之：Redis
? 123、Redis簡介與安裝配置
?
124、Redis的操作和適用場景
?
125、Redis的事務
?
126、Redis的消息機制
?
127、Redis的持久化
?
128、Redis集群的主從復制
?
129、Redis的HA實現
?
130、Redis的代理分片
十七、實時處理框架：Apache Storm
? 131、大數據實時計算簡介
?
132、Apache Storm的體系結構
?
133、搭建Storm的偽分布模式
?
134、搭建Storm的全分布和HA
?
135、執行Storm的Demo程序
?
136、Storm在ZK上保存的信息
?
137、WordCount數據處理的過程
?
138、開發自己的WordCount程序
?
139、Storm的Worker間通信機制
?
140、集成Redis
?
141、集成HDFS
?
142、集成HBase
-
合作伙伴與授權機構
總部李老師
