Spark深入浅出企业级最佳实践培训课程

课程介绍

 

其他精品热门课程班:

c++高级培训培训课程

c网络安全编程培训培训课程

网络安全产品开发与C语言编程培训培训课程

QT培训培训课程

基于CHI代码健康指数的设计模式与重构培训培训课程

硬件MCU外围电路设计培训培训课程

MCU开发入门技术培训培训课程

linux服务器实战培训培训课程

电力传感器以及应用培训培训课程

UE4地编培训课程培训课程

UE4 C++培训培训课程

VxWorks系统培训培训课程

电机控制器EMC测试技术及原理培训培训课程

Concept HDL培训培训课程

TI DSP 编程培训培训课程

FPGA编程培训培训课程

汽车EE架构培训培训课程

赛灵思新的Vitis统一软件开发平台培训培训课程

Xilinx-FPGA人工智能设计与实现技术高级培训培训课程

裸芯片应用+Petalinux系统培训培训课程

Xilinx统一软件异构加速平台Vitis培训培训课程

PCB焊接培训课程培训课程

Xilinx软件异构加速平台培训培训课程

Xilinx ZYNQ SOC设计技术高级培训培训课程

Xilinx-FPGA人工智能设计与实现技术高级培训培训课程

Vitis软件开发平台培训培训课程

TMS320C6678 八核DSP开发培训培训课程

linuxGCC与GDB基础培训培训课程

 

 

曙海教学优势

　 本课程以项目实现为导向,面向企事业项目实际需要,秉承二十一年积累的教学品质，老师将会与您分享设计的全流程以及工具的综合使用经验、技巧。线上/线下/上门皆可,课程可定制,热线:4008699035。

　 曙海培训的课程培养了大批受企业欢迎的工程师。曙海培训的课程在业内有着响亮的知名度。大批企业和曙海
建立了良好的合作关系,合作企业30万+。

 

精品课程班级列表

•  　　以下就是本次Spark培训内容

  　　第一部分

  　　1、Spark的架构设计

  　　1.1 Spark生态系统剖析

  　　1.2 Spark的架构设计剖析

  　　1.3 RDD计算流程解析

  　　1.4 Spark的出色容错机制

  　　2、Spark编程模型

  　　2.1 RDD

  　　2.2 transformation

  　　2.3 action

  　　2.4 lineage

  　　2.5宽依赖与窄依赖

  　　3、深入Spark内核

  　　3.1 Spark集群

  　　3.2 任务调度

  　　3.3 DAGScheduler

  　　3.4 TaskScheduler

  　　3.5 Task内部揭秘

  　　4、Spark的广播变量与累加器

  　　4.1 广播变量的机制

  　　4.2 广播变量使用最佳实践

  　　4.3 累加器的机制

  　　4.4 累加器使用的最佳实践

  　　5、编写Spark程序

  　　5.1 程序数据的来源：File、HDFS、HBase、S3等

  　　5.2 IDE环境构建

  　　5.3 Maven

  　　5.4 sbt.

  　　5.5 编写并部署Spark程序的实例

  　　6、SparkContext解析和数据加载以及存储

  　　6.1 源码剖析SparkContext

  　　6.2 Scala、Java、Python使用SparkContext

  　　6.4 加载数据成为RDD

  　　6.5 把数据物化

  　　第二部分

  　　7、深入实战RDD

  　　7.1 DAG

  　　7.2 深入实战各种Scala RDD Function

  　　7.3 Spark Java RDD Function

  　　7.4 RDD的优化问题

  　　8、Shark的原理和使用

  　　8.1 Shark与Hive

  　　8.2 安装和配置Shark

  　　8.3 使用Shark处理数据

  　　8.4 在Spark程序中使用Shark Queries

  　　8.5 SharkServer

  　　8.6 思考Shark架构

  　　9、Spark的机器学习

  　　9.1 LinearRegression

  　　9.2 K-Means

  　　9.3 Collaborative Filtering

  　　10、Spark的图计算GraphX

  　　10.1 Table Operators

  　　10.2 Graph Operators

  　　10.3 GraphX

  　　11、Spark SQL

  　　11.1 Parquet支持

  　　11.2 DSL

  　　11.3 SQL on RDD

  　　第三部分

  　　12、Spark实时流处理

  　　12.1 DStream

  　　12.2 transformation

  　　12.3 checkpoint

  　　12.4 性能优化

  　　13、Spark程序的测试

  　　13.1 编写可测试的Spark程序

  　　13.2 Spark测试框架解析

  　　13.3 Spark测试代码实战

  　　14、Spark的优化

  　　14.1 Logs

  　　14.2 并发

  　　14.3 内存

  　　14.4 垃圾回收

  　　14.5 序列化

  　　14.6 安全

  　　15、Spark on Yarn

  　　15.1 Spark on Yarn的架构原理

  　　15.2 Spark on Yarn的最佳实践

  　　16、JobServer

  　　16.1 JobServer的架构设计

  　　16.2 JobServer提供的接口

  　　16.3 JobServer最佳实践

  
  
  

  ---
• 垂询曙海客服