数据分析师课|新公布的3个分布式数据分析方法，这些内容是你一定要知道的

1、分布式数据分析方法——分布式计算

什么是分布式计算?分布式计算研究的是如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多服务器进行处理，最后把这些计算结果综合起来得到最终的结果。

举个栗子，就像是组长把一个大项目拆分，让组员每个人开发一部分，最后将所有人代码merge，大项目完成。听起来好像很简单，但是真正参与过大项目开发的人一定知道中间涉及的内容可不少。

分布式计算目前流行的工具有：

离线工具Spark，MapReduce等

实时工具Spark Streaming，Storm，Flink等

这几个东西的区别和各自的应用场景我们之后再聊。

2、分布式数据分析方法——分布式存储

传统的网络存储系统采用的是集中的存储服务器存放所有数据，单台存储服务器的io能力是有限的，这成为了系统性能的瓶颈，同时服务器的可靠性和安全性也不能满足需求，尤其是大规模的存储应用。

分布式存储系统，是将数据分散存储在多台独立的设备上。采用的是可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

主流的分布式数据库有很多hbase，mongoDB，GreenPlum，redis等等等等，没有孰好孰坏之分，只有合不合适，每个数据库的应用场景都不同，其实直接比较是没有意义的，后续我也会有文章一个个讲解它们的应用场景原理架构等。

3、分布式数据分析方法——分布式调度与管理

现在人们好像都很热衷于谈"去中心化"，也许是区块链带起的这个潮流。但是"中心化"在大数据领域还是很重要的，至少目前来说是的。

分布式的集群管理需要有个组件去分配调度资源给各个节点，这个东西叫yarn;

需要有个组件来解决在分布式环境下"锁"的问题，这个东西叫zookeeper;

需要有个组件来记录任务的依赖关系并定时调度任务，这个东西叫azkaban。

当然这些“东西”并不是唯一的，其实都是有很多替代品的，本文只举了几个比较常用的例子。

以上就是有关于分布式数据分析方法的相关内容，以及相应的解析，不论你是已经入职数据分析师岗位的新人，还是打算进入数据分析岗位的小白，以上的内容都或多或少会对大家有所帮助，环球网校的小编在这里祝大家的数据分析师职业道路顺利。