博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark学习体系
阅读量:6708 次
发布时间:2019-06-25

本文共 1543 字,大约阅读时间需要 5 分钟。

底理解Spark,能够分为以下几个层次。
1 Spark基础篇	1.1 Spark生态和安装部署		在安装过程中,理解其基本操作步骤。		安装部署		  Spark安装简单介绍		  Spark的源代码编译		  Spark Standalone安装		  Spark Standalone HA安装		  Spark应用程序部署工具spark-submit		Spark生态		  Spark(内存计算框架)		  SparkSteaming(流式计算框架)		  Spark SQL(ad-hoc)		  Mllib(Machine Learning)		  GraphX(bagel将被代替)	1.2 Spark执行架构和解析		Spark的执行架构		  基本术语		  执行架构		  Spark on Standalone执行过程		  Spark on YARN 执行过程		Spark执行实例解析		  Spark on Standalone实例解析		  Spark on YARN实例解析    1.3 Spark的监控和调优		Spark的监控		  Spark UI监控,默认port是4040		  Ganglia 监控,大数据监控开源框架		Spark调优		  基础性调优方式	1.4 Spark编程模型	  	    Spark的编程模型		  Spark编程模型解析		  RDD的特点、操作、依赖关系		  Spark应用程序的配置	    Spark编程实例解析		  日志的处理	1.5 Spark Streaming原理	  		  Spark流式处理架构		  DStream的特点		  Dstream的操作和RDD的差别		  Spark Streaming的优化		Spark Streaming实例分析		  经常使用的实例程序:				  文本实例				  Window操作				  网络数据处理	1.6 Spark SQL原理		  Spark SQL的Catalyst优化器		  Spark SQL内核		  Spark SQL和Hive	        Spark SQL的实例		  Spark SQL的实例操作demo		  Spark SQL的编程,须要网络上查找一些资源		  2 中级篇	2.1 Spark的多语言编程	        Spark的scala编程        Spark的Python编程(Java一定熟悉啦,不用多说了)           相应的应用程序实例,理解主要的处理模式。			2.2 Spark 机器学习入门		机器学习的原理		Mllib简单介绍,实例分析    2.3 GraphX 入门		图论基础		GraphX的简单介绍		GraphX例程分析    2.4 理解Spark与其他项目的差别和联系	    Spark和MapReduce、Tez		Spark的衍生项目BlinkDB,RSpark    2.5 关注Spark的作者的blog和权威站点的文档3 高级篇   3.1 深入理解Spark的架构和处理模式      3.2 Spark源代码剖析与研读        Spark Core核心模块,		掌握以下核心功能的处理逻辑:			SparkContext 			Executor			Deploy			RDD和Storage			Scheduler和Task		Spark Examples	3.3 思考怎样优化和提升,掌握其优缺点,	    深入思考能不能衍生出有意思的课题。

      以上就是学习Spark的有关内容和步骤,详细怎样学习,仁者见仁智者见智。

转载地址:http://ognlo.baihongyu.com/

你可能感兴趣的文章
from disk cache 与 from memory cache
查看>>
应用图片加载服务与第三方实现库的解耦
查看>>
高并发的核心技术-幂等的实现方案
查看>>
微波炉炖蛋
查看>>
C#调用C/C++ DLL 参数传递和回调函数的总结
查看>>
非spring组件servlet、filter、interceptor中注入spring bean
查看>>
SQL Server中SELECT会真的阻塞SELECT吗?
查看>>
class path and classloader
查看>>
文字检测与识别 资源
查看>>
外包筛选心得
查看>>
Warning: skipping non-radio button in group
查看>>
Android 悬浮窗权限校验
查看>>
mysql 创建数据库 并设置utf8格式
查看>>
IDA 逆向工程 反汇编使用
查看>>
CentOS7单独安装Apache Bench压力测试工具
查看>>
python植入后门backdoor程序的方法?
查看>>
WPF 使用 Direct2D1 画图 绘制基本图形
查看>>
导入其他python文件或者python文件的函数
查看>>
80端口被NT kernel & System 占用pid 4
查看>>
Multiverse in Doctor Strange // Multiverse在《神秘博士》
查看>>