阿里云数据库大表添加索引：以升舱之名
阿里云数据库大表添加索引：以升舱之名ADB与阿里云生态系统高度集成，支持以OSS为备份存储介质的分布式一致性备份恢复（包括全量和增量备份），同时支持通过DBS备份到NAS，HDFS等第三方存储介质。对于存储在OSS上的ORC，Parquet，JSON，CSV格式用户数据，和MaxCompute上的用户表和分区，支持并行高速并行导入加载到本地，或者通过列过滤、谓词下推直接对OSS上的数据进行数据湖分析。在云原生架构形态下，云原生表则在计算节点本地则只有缓存数据（计算节点无状态化），全量数据存储在低成本的OSS上。ADB由协调节点和计算节点两大组件构成，协调节点负责全局事务管理，全局元数据存储，SQL解析，重写，优化，执行计划生成与调度，计算节点主要包含执行引擎和存储引擎，其中执行引擎既支持Greenplum/PostgreSQL功能强大的原生引擎，又支持数据分析场景性能优化的自研向量化引擎，多态化存储引擎则支持本地行存堆表、列
简介：企业级云原生数据仓库AnalyticDB提出了升舱计划，旨在承担和帮助金融、运营商、政务等行业构建下一代数据管理和分析系统，以应对不断增长的数据规模，业务数字化转型，和传统数仓替换升级需求。7月19日，“千仓万库，轻云直上——阿里云数据库升舱计划实战峰会”即将在线上召开。
作者 | 恒义
来源 | 阿里开发者公众号
背景
说到升舱，我们首先想到的是飞机经济舱升级到商务舱、头等舱。阿里云企业级云原生数据仓库AnalyticDB（以下简称ADB）[1]在帮助以金融机构为主的行业数字化转型和传统数仓升级项目中，也引用了“升舱（仓）”这个概念。
长期以来，企业级数据仓库构建主要以Teradata、Oracle、DB2、Vertica、Greenplum等为主，这些系统一方面功能完备，稳定可靠，另一方面成本高，部分有专用硬件限制，同时需要应对业务几何级数据量规模增长。以Hadoop生态为代表的的大数据系统主要解决了数据分析的大规模数据量问题，在功能完备性，易用性和维护性上与这些传统数仓相比，还是有差距。所以大部分金融机构都是在保留已有MPP数仓核心业务的基础上，尝试部署Hadoop系统用于创新业务探索，同时解决数据增长带来的成本问题。
近年来，一方面国外涌现出了以AWS Redshift，Snowflake，Google BigQuery，Azure Synapse为代表的云原生数仓（公共云形态），有对传统数仓和Hadoop系统线下形态的替代和革命之势。另一方面随着上述传统数仓大厂在国内技术市场投入的减少，叠加政策等因素，同时金融、运营商等行业面临数据规模增长，数字化转型，和传统数仓升级需求，需要选型下一代数据管理和分析系统，另外由于国内外市场和政策的区别，我国金融、运营商、政务等行业的数仓构建，主要以混合云为主。
在此背景下，企业级云原生数据仓库AnalyticDB提出了升舱计划，旨在承担和帮助金融、运营商、政务等行业构建下一代数据管理和分析系统，以应对不断增长的数据规模，业务数字化转型，和传统数仓替换升级需求。7月19日，“千仓万库，轻云直上——阿里云数据库升舱计划实战峰会”即将在线上召开。
产品介绍
整体架构
AnalyticDB PostgreSQL版（简称ADB）在开源Greenplum[2]和PostgreSQL[3]基础上进行自主研发，语法层面对两者保持兼容，功能层面为开源Greenplum超集，同时兼容大部分Oracle、Teradata语法与功能，支持业务应用以尽可能少的改造工作量对已有数仓业务进行迁移升级。其整体架构如下图：
图1 整体架构
ADB由协调节点和计算节点两大组件构成，协调节点负责全局事务管理，全局元数据存储，SQL解析，重写，优化，执行计划生成与调度，计算节点主要包含执行引擎和存储引擎，其中执行引擎既支持Greenplum/PostgreSQL功能强大的原生引擎，又支持数据分析场景性能优化的自研向量化引擎，多态化存储引擎则支持本地行存堆表、列存压缩表，和外部表，以及基于存储计算分离架构下的云原生表。协调节点和计算节点通过双副本保障高可用，同时通过水平和垂直扩展提供计算和存储资源的线性扩容。
ADB与阿里云生态系统高度集成，支持以OSS为备份存储介质的分布式一致性备份恢复（包括全量和增量备份），同时支持通过DBS备份到NAS，HDFS等第三方存储介质。对于存储在OSS上的ORC，Parquet，JSON，CSV格式用户数据，和MaxCompute上的用户表和分区，支持并行高速并行导入加载到本地，或者通过列过滤、谓词下推直接对OSS上的数据进行数据湖分析。在云原生架构形态下，云原生表则在计算节点本地则只有缓存数据（计算节点无状态化），全量数据存储在低成本的OSS上。
使用场景与生态集成
上面描述了ADB的整体架构和内部组件，传统数仓迁移替换，或者构建下一代数据管理分析系统，除了要具备高可用易扩展的分布式系统架构和功能完备性能出众的内核引擎外，还需要有开放的生态集成和管理工具配套。下图从数据同步，到数据加工，再到数据查询分析，端到端描述了ADB在数据处理各个阶段的生态集成，配套工具和场景支持能力。
图2 使用场景与生态集成
点击链接查看原文，关注公众号【阿里开发者】获取更多福利！https://mp.weixin.qq.com/s/dUPOJlSVPKf-p6mWjkmM2A
