数据分析的平台架构有哪些？原来数据分析师要会这些

通用数据分析平台，至少包括数据存储、处理和分析三部分。

1、数据分析的平台架构有哪些——数据存储

数据存储不需要解释，这是必要的。但是如何备份是一个非常重要的问题。

假设：一家公司每年产生数千兆字节的数据。按照每年1美元/GB的单一数据存储成本计算，每年1 TB为1000美元，1 Pb为100万美元，1000 Pb为10亿美元。如果简单地使用Hadoop的默认配置并保存每个数据的3个副本，那么实际生成的数据x 3的体积会有多大，成本会有多高?

这是一个存储层挑战。为了解决这个问题，一方面，我们试图从硬件层面降低存储介质的价格。比如，近几年提出的冷库是针对运营维护成本的。二是寻找备份算法。例如，雅虎开发了一种特殊的图像存储算法，逻辑上是11个备份，但大小只有1个。原来尺寸的X倍。

2、数据分析的平台架构有哪些——数据处理

数据处理，传统上称为ETL和EDW，主要指数据清理、迁移和格式化。大数据平台，由于应用领域的不同，自然是多样化的。源数据包括结构化数据和非结构化数据。然而，如果数据是真正的“大数据”(符合4V特性)，即使是自己收集的数据是结构化的，通常也需要对其进行两次处理才能转换格式或模式。

数据处理层技术相对简单，但挑战在于对数据的理解。如果不知道要从收集的日志文件中提取多少字段以及每个字段对应于数据源的哪个部分，则根本无法执行数据提取。这要求处理数据的人员必须同时了解业务。

3、数据分析的平台架构有哪些——数据分析

数据分析是发现数据价值的关键步骤。数据分析本身还处于初级阶段。除了一些简单的统计计算外，大部分数据只能交给分析师，没有具体的探索，效果难以保证。

针对这些挑战，具有早期数据业务的公司，相应的平台和技术都是在自己的业务过程中逐步发展起来的，一些公司选择将平台外包或为自己的业务开发定制功能。与前两种方法相比，数据分析是一种更有针对性的业务步骤，因此更难采用通用的方法或手段来解决，更依赖于企业自身的积累。

以上就是《数据分析的平台架构有哪些？原来数据分析师要会这些》的全部内容，从文字中我们可以看到，通用数据分析平台，至少包括数据存储、处理和分析三部分，您需要一个清晰的愿景、战略方法和用例来推动您的大数据发现。如果你想学习更多数据分析知识，可以点击下方资料下载链接。