数据分析改变世界的时刻，不能离开数据分析师的这几个基本能力

2019年的数据世界发生了什么，将如何影响市场?例如，这些头条新闻：人工智能无处不在，将改变一切;企业继续将其基础设施和数据转移到云端;gdpr将使数据保护成为每个公司的头等大事。你知道，但你可能对这种夸张有点怀疑。

那么真正的变化是什么呢?当您制定架构和采购策略并在这些领域做出决策时，您需要注意什么?接下来，我们将讨论分析领域的七个深远变化，并逐一介绍。

1、数据分析改变世界的时刻——Hadoop始终是基础

是的，这些大数据项目的失败率非常高，spark在一定程度上取代了Hadoop，越来越多的客户独立运行，所以业界开始责怪Hadoop，不提它的名字。所以你认为Hadoop一定过时了，对吧?

错了!现在大家都在谈论数据湖。大多数时候，这只是Hadoop代码。此外，尽管许多公司正在云存储中实现他们的数据湖，但他们经常使用Hadoop生态系统技术来分析这些数据。另外，当你开始使用云存储来模拟HDFS和Hadoop的文件系统时，你会发现云数据湖和Hadoop数据湖没有本质的区别。

是，今年Hadoop将一如既往地做自己该做的事情：低调地被许多企业接受，成为众多发挥其战略作用的数据工具之一。正是这些数据技术的结合，包括Hadoop、spark、商业智能(business intelligence，BI)和数据仓库，使得当前的分析市场如此激动人心。

2、数据分析改变世界的时刻——再见!企业商业智能堆栈

今年早些时候，企业商业智能公司microstategy宣布向其前端竞争对手让步，推出其产品。MicroStrategy相信它可以通过利用后端OLAP平台和相关的数据处理来赚钱。该公司似乎意识到，在数据可视化和仪表板方面的竞争是困难的，即使它成功了，也会带来越来越小的回报。

那么，后端是否足以维持业务收入并继续增长?我们拭目以待。但有一点是肯定的，单一的企业商业智能堆栈已经开始瓦解，新的挑战即将开始。

3、数据分析改变世界的时刻——数据分层

也许您熟悉数据分层的概念，例如数据存储与其访问频率之间的相关性。”“热”数据，即最常用的数据，有时访问请求会被路由到非常快的存储器，例如固态驱动器，甚至CPU缓存;而“冷”数据通常存储在旧的、但更便宜的旋转硬盘驱动器中。

随着存储层次结构的改进，今年我们将看到其他层次结构逐渐得到认可。例如，分析范围从与特定团队或业务单位相关的实验数据集到在整个企业中有用的高度结构化、审计和共识驱动的数据。中间是结构化数据集，由于尺寸或清洁度的原因，这些数据集可能被认为略低于生产。

实验数据集最好存储在数据池中;逻辑上，高度审查的数据集最好存储在数据仓库中。中间数据集可能适用于Hadoop或云存储，但它们通常是使用IBM big SQL、Microsoft POLYBASE和Oracle big data SQL等Hadoop工具上的SQL从关系数据库中查询出来的。

还有一个层次结构，它可以根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层。其他层次结构可以由数据源的可信度定义。

层次结构之所以重要，是因为相应的工具和技术也是层次结构的，包括查询端的业务智能和大数据分析工具，以及存储库端的事务数据库、NoSQL数据库、数据仓库和数据湖。不过，到最后，层次结构可能会简化，技术可能会趋于集成，现在有了这么多技术选项，我们需要数据中的层次结构来定义我们在工具链部署中的最佳实践。

以上就是《数据分析改变世界的时刻，不能离开数据分析师的这几个基本能力》的全部内容，从文字中我们可以看到，大数据已经成为一种强大的资源。如果你盲目地瞄准潜在客户，公司就不会成功，您需要一个清晰的愿景、战略方法和用例来推动您的大数据发现。如果你想学习更多数据分析知识，可以点击下方资料下载链接。