Spark生态介绍

Mapreduce、storm和spark模型的比较和使用场景介绍;Spark产生背景;Spark（内存计算框架）;SparkSteaming（流ξ　式计算框架）;Spark SQL（ad-hoc）;Mllib（MachineLearning）;GraphX（bagel将被代）;DlinkDB介绍;SparkR介绍

Spark安装部署

Spark安装简介;Spark的源码编译;Spark Standalone安装;Spark应用程序部署工具spark-submit;Spark的高可用性部署

Spark运行架构和解析

Spark的运行架构;基本术语;运行架构;Spark on Standalone运行过程;Spark on YARN 运行过程;Spark运行实例↘解析;Spark on Standalone实例解析;Spark on YARN实例解析;比较 Standalone与YARN模式下的优缺点

Spark scala编程

Scala基本语法与高阶语法;Scala基本语法;Scala开发环境搭建;Scala开发Spark应用程序;使用java编程;使用python编程

Spark编程模型和解析

Spark的♀编程模型;Spark编程模型解析;RDD的特点、操作、依赖关系;Spark应用程▅序的配置;Spark的架构;spark的容⊙错机制;数据的本地性;缓存策略介绍;宽依赖与窄依赖∞

Spark 数据挖掘

Mllib的介绍;graphX核心原理;table operator和graph operator区别;vertices、edges和triplets介绍;构建一个graph;SparkR原理;SparkR实战

Spark Streaming原理和实践

Spark Streaming与Strom的区别;Kafka的部署;Kafka与Spark Streaming的整合;Spark Streaming原理;Spark流式处理架构;DStream的特点;Dstream的操作和RDD的区别;带状态的transformation与无状态transformation;Spark Streaming的优化;Spark Streaming实例;Streaming的容错机制;streaming在yarn模式下的注意事项;对于需结合第三方存储机制的与流式处理方案;文本实例;网络数据处理;Kafka+Spark Streaming实现日志的实时分析案例

Spark的优化

序列︽化优化——Kryo;Spark参数优化实战;Spark 任务的均匀分布策略;Partition key倾斜的解∩决方案;Spark任务的监控;GC的优化;Spark Streaming吞吐量优化;Spark RDD使用内存的优化策略;Spark在使用中的感想分▆享

Spark的数据源

Spark与HDFS的整合;HDFS RDD原理和实现;Spark与Hbase的整合;Spark与Cassendera整合;Hbase RDD的分区读取;Hbase RDD的原理和实现;Spark parallelism RDD的工作〓机制

Spark Streaming应用及案例分析

Spark Streaming产生动机;Spark Streaming程序设计:（1）创建DStream;（2）基于DStream进行流式处理;Spark Streaming容错与性能优化:（1）Spark Streaming容错机制;（2）如何对spark Streaming进行优化;Spark Streaming案例分析;基于Spark Streaming的用户标签系统，内容包括项目背景，项目架构以及实施方法

典型项目案例实战

基于spark日志分析;个性化推荐系统：带你揭开其神秘面纱;在线投放引擎;揭开淘宝点击推荐系统的神秘面纱;淘宝数据服务架构—实时计算平台.