当前位置: 首页 > 数据分析师 > 大数据分析师LEVEL ll 复习大纲篇 | 第五章 大数据分析之 Spark 工具及实战(二)

大数据分析师LEVEL ll 复习大纲篇 | 第五章 大数据分析之 Spark 工具及实战(二)

发布时间:2019年09月25日 09:33:35 来源:环球网校 点击量:

【摘要】对于数据分析师这一职位,很多人都希望在考试前了解他的考试形式和要求,今天环球网校小编就带大家了解大数据分析师 level 2 证书考试的相关内容,希望对大家有所帮助。

第三节、Spark 流式计算框架 Spark Streaming、Structured Streaming

【领会】

Kafka 分布式消息分发机制

SparkStreaming 应用场景

SparkStreaming 基本概念

SparkDStream 的存储级别

StructuredStreaming 计算框架

【熟知】

批处理间隔、离散数据流 SparkDStream、窗口、滑动间隔、窗口间隔等重要概念

熟练使用 SparkDStream 的相关操作

SparkStreaming 的三种应用模式,以及实现三种模式的相关操作

【应用】

搭建 Kafka 环境,能够将 Kafka 作为高级数据源时使用 Spark Streaming,基于 HDFS 上

文本数据创建 Spark DStream,并利用相关操作进行数据分析,基于网络中实时数据创建

Spark DStream,并结合窗口等概念和相关操作进行数据分析,基于无状态模式处理 HDFS

上的文本数据,基于 stateful 与 window 模式处理网络实时数据。

第四节、Spark 交互式数据查询框架 Spark SQL

【领会】

SparkSQL 的发展历程

SparkSQL 的性能

SparkSQL、Hive、Shark 之间的联系

SparkSQL 的应用场景

hive/console 的安装过程与基本原理

【熟知】

基于 Hadoop 搭建 SparkSQL 的测试环境

掌握 LogicalPlan、SqlParser、Analyzer、Optimizer 等组件

SchemaRDD 的基本概念与相关操作

不同数据源的运行计划

不同查询的运行计划

查询优化策略

【应用】

HiveContext 与 SQLContext 的基础应用,利用 SparkSQL 对 JSON 文件、Parquet 文件以

及 Hive 上的数据进行交互式查询。

这就是大纲第五章的内容,希望对大家能有所帮助。

分享到: 编辑:吴晨辉

数据分析师相关文章推荐

|

数据分析师最新文章推荐

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球网校移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球小过-环球网校官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

返回顶部