Hadoop管理及开发培训

 Hadoop管理及开发培训

课程目标：
1、 深入理解Hadoop实现原理和架构
2、 Hadoop系统安装、配置、运维
3、 大型Hadoop项目的开发、运行、调试、优化
4、 HBase、Hive、Pig、Oozie、ZooKeeper等相关项目使用和开发

课程大纲：

1、 Hadoop简介
a) 什么是大数据
b) 传统的并行计算和分布式计算
c) Hadoop的诞生
d) Hadoop的特点
2、 HDFS分布式文件系统管理
a) HDFS设计目标
b) HDFS工作原理
c) HDFS命令行工具介绍
d) HDFS系统及硬件推荐配置
e) HDFS安装
f) HDFS参数设置推荐
g) HDFS配置参数具体介绍
3、 HDFS分布式文件系统开发
a) Eclipse 开发环境
b) Java API 详解
c) 练习
4、 Map/Reduce分布式运算框架管理
a) 为什么需要M/R
b) M/R的工作机制
c) M/R相关的系统服务
d) M/R参数配置
e) M/R启动、停止、查看日志
f) M/R任务调度策略
5、 Map/Reduce分布式运算框架开发
a) M/R程序的框架及接口详解
b) M/R的输入输出
c) 运行M/R程序
d) 练习
6、 HBase分布式数据库管理及开发
a) NoSQL介绍
b) 什么是HBase、为什么使用HBase
c) HBase与关系型数据库的对比
d) HBase架构、服务、存储结构
e) 表、列簇、分区
f) HBase安装、配置、启动、日志
g) HBase的Java API：CRUD、M/R、Filter
h) 练习
i) HBase高级特性：Coprocessor、性能优化
j) 练习
k) Schema设计要点
7、 Hive数据仓库使用与开发
a) Hive的使用场景
b) Hive的安装与配置
c) Hive QL详解
d) UDF与UDAF的编写
e) 练习
8、 Pig脚本的使用与开发
a) Pig的使用场景
b) Pig的安装与配置
c) Pig Latin语言详解
d) 用户函数以及运行模式
9、 Oozie工作流引擎
a) Oozie的使用场景
b) 工作流的定义
c) 流程XML原语
d) 练习
10、 Hadoop系统监控与运维：Ganglia集成
11、 Storm流计算框架简介
12、 ZooKeeper分布式调度系统的原理、架构、特性、配置、API
13、 Sqoop数据库集成框架简介
14、 Flume数据流采集系统简介
15、 Mahout、Redis、Lucene/Solr简介