当前位置: 首页 > 数据分析师 > 数据分析师行业动态 > 资讯|阿里下一代云分析型数据库AnalyticDB的核心能力盘点

资讯|阿里下一代云分析型数据库AnalyticDB的核心能力盘点

更新时间:2019-10-16 14:02:58 来源:环球网校 浏览116收藏23
摘要 回首数据分析的发展史,数据科学技术飞速发展,各种新工具,新语言层出不穷,人们处理数据、获取信息的能力可以说是爆炸性增长。不论你是略有小成的数据科学家,还是刚入门的数据分析新手,都要了解云分析型数据库AnalyticDB。今天我们来讲讲云分析型数据库AnalyticDB!

核心能力一:快和实时

云分析型数据库在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。云分析型数据库对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,云分析型数据库还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

智能SQL优化器:针对复杂的SQL查询,云分析型数据库的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。

曦和计算引擎:云分析型数据库在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。

玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模

AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。

AnalyticDB 基于阿里云飞天系统构筑,云分析型数据库采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。

核心能力三:高并发实时写入和更新

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,云分析型数据库数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。云分析型数据库同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

云分析型数据库作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(DataV & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。云分析型数据库旨在帮助企业降低实时数据化运营的建设门槛。

以上就是有关于云分析型数据库AnalyticDB的全部内容,还有我所理解的互联网BI数据分析师,注重广度而非深度,也谈到了该岗位定位的问题和存在的困境。实际工作中确实会遇到各种各样的问题和挑战,只有迎难而上,多多总结,保持思考,才能从容应对。祝大家金九银十,升职加薪!

分享到: 编辑:环球网校

资料下载 精选课程 老师直播 真题练习

数据分析师资格查询

数据分析师历年真题下载 更多

数据分析师每日一练 打卡日历

0
累计打卡
0
打卡人数
去打卡

预计用时3分钟

数据分析师各地入口
环球网校移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载

返回顶部