文档库 最新最全的文档下载
当前位置:文档库 › Spark项目实战培训大纲

Spark项目实战培训大纲

Spark项目实战培训大纲
Spark项目实战培训大纲

Spark项目实战培训大纲

第1 章Spark 的设计与运行原理

1、概述

2、Spark 生态系统

3、Spark 运行架构

基本概念

架构设计

Spark 运行基本流程

RDD 的设计与运行原理

4、Spark 的部署方式

5、Spark 和Hadoop 的交互

6、在spark-shell 中运行代码

spark-shell 命令

启动spark-shell

7、开发Spark 独立应用程序

安装编译打包工具

编写Spark 应用程序代码

编译打包

通过spark-submit 运行程序

8、Spark 集群环境搭建

集群部署方案

9、在集群上运行Spark 应用程序

启动Spark 集群

采用独立集群管理器

采用Hadoop YARN 管理器

第2 章RDD 编程实战

1、RDD 编程基础

RDD 创建

RDD 操作

持久化

分区

一个综合实例

2、键值对RDD

键值对RDD 的创建

常用的键值对转换操作

3、数据读写

文件数据读写

读写HBase 数据

4、综合实例

求TOP 值

二次排序

第3 章Spark SQL 实战

1、Spark SQL 简介

Shark功能

Spark SQL 架构

为什么推出Spark SQL

2、DataFrame 概述

3、DataFrame 的创建

4、DataFrame 的保存

5、DataFrame 的常用操作

6、从RDD 转换得到DataFrame

利用反射机制推断RDD 模式

使用编程方式定义RDD 模式

7、使用Spark SQL 读写数据库

通过JDBC 连接数据库

连接Hive 读写数据

第4章Spark Streaming实战1、流计算概述

静态数据和流数据

批量计算和实时计算

流计算概念

流计算框架

流计算处理流程

2、Spark Streaming

Spark Streaming 设计

Spark Streaming 与Storm 的对比

Hadoop+Storm”架构转向Spark 架构

3、DStream 操作概述

Spark Streaming 工作机制

编写Spark Streaming 程序的基本步骤

创建StreamingContext 对象

4、基本输入源

文件流

RDD 队列流

5、高级数据源

Kafka 简介

Kafka 准备工作

Spark 准备工作

编写Spark Streaming 程序使用Kafka 数据源

第6章Spark Mllib 实战

1、基于大数据的机器学习

2、Spark机器学习库MLlib 概述

3、机器学习流水线

流水线的概念

流水线工作过程

4、特征提取、转换和选择

特征提取

特征转换

特征选择

局部敏感哈希

5、分类算法

逻辑回归分类器

决策树分类器

6、聚类算法

K-Means 聚类算法

GMM 聚类算法

8、协同过滤算法

第7章Spark监控和优化

1、Spark UI

监控界面

标签类型

各个界面用途、界面各个元素含义

执行计划图

异常分析

2、常见优化分析

框架配置优化

应用配置优化

Rdd初始分区数

spark sql的调优

spark stream的调优

shuffle的关注

3、问题关注点

多表关联

多数据集处理

Spark可选可视化方案

Spark内存调度

Spark垃圾回收

相关文档