云原生数据库：原理与实践

李飞飞

阿里巴巴集团副总裁，阿里云智能事业群数据库产品事业部与达摩院数据库与存储实验室负责人，ACM杰出科学家。曾获ACM与IEEE多项大奖，世界互联网大会2019全球领先科技成果奖，浙江省科技进步一等奖，中国电子学会科技进步一等奖等。带领团队研发了阿里云企业级云原生数据库系统。担任多个国际及国内一流学术期刊和学术会议的编委、主席。中国计算机学会CCF大数据专家委员会副主任，数据库专业委员会常委。担任多个国际一流学术期刊和学术会议的编委、主席（VLDB 2021与IEEE ICDE 2021工业界主席）。

周烜

华东师范大学数据科学与工程学院教授、副院长。2001年本科毕业于复旦大学，2005年在新加坡国立大学取得博士学位，2005年至2010年期间先后在德国 L3S 研究中心和澳大利亚联邦科工组织从事科研工作，随后在中国人民大学任教，于2017年加...

(展开全部)

李飞飞

阿里巴巴集团副总裁，阿里云智能事业群数据库产品事业部与达摩院数据库与存储实验室负责人，ACM杰出科学家。曾获ACM与IEEE多项大奖，世界互联网大会2019全球领先科技成果奖，浙江省科技进步一等奖，中国电子学会科技进步一等奖等。带领团队研发了阿里云企业级云原生数据库系统。担任多个国际及国内一流学术期刊和学术会议的编委、主席。中国计算机学会CCF大数据专家委员会副主任，数据库专业委员会常委。担任多个国际一流学术期刊和学术会议的编委、主席（VLDB 2021与IEEE ICDE 2021工业界主席）。

周烜

华东师范大学数据科学与工程学院教授、副院长。2001年本科毕业于复旦大学，2005年在新加坡国立大学取得博士学位，2005年至2010年期间先后在德国 L3S 研究中心和澳大利亚联邦科工组织从事科研工作，随后在中国人民大学任教，于2017年加入华东师范大学。他的研究兴趣包括数据库系统和信息检索技术。他曾参与和负责多个国内外的科研项目和工业合作项目，开发各种数据管理系统，在分布式数据库上的研究成果获2019年国家科技进步二等奖。

蔡鹏

华东师范大学数据科学与工程学院教授，博士生导师。2015年6月加入华东师范大学数据科学与工程学院，在此之前先后就职于IBM中国研究院和百度（中国）有限公司。在VLDB、ICDE、SIGIR、ACL等国际顶级会议上发表多篇学术论文。目前的研究方向为内存事务处理、于机器学习技术的自适应数据管理系统。曾获国家科技进步二等奖、教育部科技进步一等奖。

张蓉

华东师范大学数据科学与工程学院教授，博士生导师。自2001年起从事分布式系统、数据库相关研究与开发工作，曾作为负责人或者主要参与人员参加国家自然科学基金课题、国家863计划项目及多项企业合作项目的研究。工作成果获得上海市科技进步一等奖（排名第四）以及国家科学技术进步二等奖（排名第七）。研究兴趣包括分布式数据管理、数据流管理和大数据基准评测。

黄贵

阿里巴巴资深技术专家，阿里云数据库总架构师，在阿里巴巴一直从事分布式系统、分布式数据库内核的研发工作，曾参与自研数据库PolarDB系统的研发工作。技术专长和研究兴趣为分布式系统设计、分布式一致性协议、数据库内核实现等领域，曾在SIGMOD、FAST、VLDB等国际顶级会议上发表多篇学术论文，获得中国电子学会科技进步一等奖。

刘湘雯

阿里云副总裁、阿里巴巴达摩院秘书长、中国计算机学会常务理事。加入阿里巴巴十多年来，先后带领团队搭建了阿里巴巴集团技术大中台战略的三层治理体系，完成了阿里巴巴达摩院从0到1的建设落地。当前任阿里云市场营销与公共事务部总经理，代表阿里云对外构建了由高校、政府、开发者、创新创业者组成的合作网络，推动数字经济时代阿里云2.0品牌的升级。

第1章 数据库发展历程 1
1.1 数据库发展概述 2
1.1.1 萌芽 2
1.1.2 商业化起步 3
1.1.3 发展成熟 3
1.1.4 云原生与分布式时代 4
· · · · · · (更多)

第1章 数据库发展历程 1
1.1 数据库发展概述 2
1.1.1 萌芽 2
1.1.2 商业化起步 3
1.1.3 发展成熟 3
1.1.4 云原生与分布式时代 4
1.2 数据库技术发展趋势 6
1.2.1 云原生与分布式 6
1.2.2 大数据与数据库一体化 6
1.2.3 软硬件一体化 7
1.2.4 多模 7
1.2.5 智能化运维 8
1.2.6 安全可信 8
1.3 关系数据库主要技术原理 8
1.3.1 接入管理 9
1.3.2 查询引擎 10
1.3.3 事务处理 14
1.3.4 存储引擎 17
参考文献 19
第2章 数据库与云原生 20
2.1 数据库在云时代的发展 21
2.1.1 云计算时代的兴起 21
2.1.2 数据库作为一种服务 22
2.2 数据库在云原生时代面临的挑战 23
2.3 云原生数据库的主要特点 24
2.3.1 分层架构 24
2.3.2 资源解耦与池化 24
2.3.3 弹性伸缩能力 24
2.3.4 高可用与数据一致性 25
2.3.5 多租户与资源隔离 26
2.3.6 智能化运维 26
参考文献 26
第3章 云原生数据库架构 27
3.1 设计理念 28
3.1.1 云原生数据库的本质 28
3.1.2 计算与存储分离 29
3.2 架构设计 30
3.3 典型的云原生数据库 31
3.3.1 AWS Aurora 31
3.3.2 PolarDB 37
3.3.3 Microsoft Socrates 40
参考文献 44
第4章 存储引擎 45
4.1 数据组织 46
4.1.1 B+树 47
4.1.2 InnoDB引擎中的B+树 49
4.1.3 LSM-tree 52
4.2 并发控制 56
4.2.1 基本概念 56
4.2.2 锁方法 56
4.2.3 时间戳方法 58
4.2.4 MVCC 61
4.2.5 InnoDB MVCC的实现 63
4.3 日志与恢复 65
4.3.1 基本概念 65
4.3.2 逻辑日志 66
4.3.3 物理日志 66
4.3.4 恢复原理 67
4.3.5 MySQL的Binlog 68
4.3.6 InnoDB的物理日志 68
4.4 新型LSM存储引擎 70
4.4.1 PolarDB X-Engine 70
4.4.2 高性能事务处理 72
4.4.3 软硬结合优化 75
4.4.4 低成本分层存储 78
4.4.5 双存储引擎技术 84
4.4.6 实验评估 85
参考文献 88
第5章 高可用共享存储系统 89
5.1 高可用基础 90
5.1.1 Primary-Backup 90
5.1.2 Quorum 92
5.1.3 Paxos 93
5.1.4 Raft 95
5.1.5 Parallel Raft 98
5.2 集群高可用 100
5.2.1 MySQL集群高可用 100
5.2.2 PolarDB高可用 103
5.3 共享存储架构 116
5.3.1 Aurora存储系统 117
5.3.2 PolarFS 119
5.4 文件系统优化 121
5.4.1 用户态I/O计算 121
5.4.2 近存储计算 124
参考文献 130
第6章 数据库缓存 131
6.1 数据库缓存简介 132
6.1.1 数据库缓冲作用 132
6.1.2 缓冲池 132
6.2 缓存恢复 133
6.2.1 云环境对缓存的挑战 133
6.2.2 基于CPU与内存分离的缓存恢复 133
6.3 PolarDB的实践 135
6.3.1 缓冲池的优化 135
6.3.2 数据字典缓存和文件系统缓存的优化 140
6.3.3 基于RDMA的共享内存池 141
参考文献 146
第7章 计算引擎 147
7.1 查询处理概述 148
7.1.1 数据库查询处理概述 148
7.1.2 并行查询概述 149
7.2 查询执行模型 151
7.2.1 火山模型 151
7.2.2 编译执行模型 152
7.2.3 向量化执行模型 152
7.3 查询优化概述 153
7.3.1 查询优化整体介绍 153
7.3.2 逻辑查询优化 153
7.3.3 物理查询优化 154
7.3.4 其他优化方法 154
7.4 PolarDB查询引擎实践 155
7.4.1 PolarDB的并行查询技术 155
7.4.2 PolarDB的执行计划管理 168
7.4.3 PolarDB的向量化执行 175
参考文献 178
第8章 云原生与分布式融合 179
8.1 分布式数据库的基本原理 180
8.1.1 分布式数据库架构 180
8.1.2 数据分区 181
8.1.3 分布式事务 183
8.1.4 MPP并行查询处理 187
8.2 分布式与云原生 188
8.2.1 共享存储架构 189
8.2.2 无共享存储架构 189
8.3 云原生分布式数据库 PolarDB-X 190
8.3.1 架构设计 190
8.3.2 拆分方式 191
8.3.3 全局二级索引 192
8.3.4 分布式事务 193
8.3.5 HTAP 193
参考文献 194
第9章 云原生数据库PolarDB 应用实践 195
9.1 创建云上实例 196
9.2 数据库接入 198
9.2.1 相关账号的创建 198
9.2.2 图形化访问 198
9.2.3 连接方式访问 199
9.3 基本操作 202
9.3.1 数据库与表创建 202
9.3.2 创建测试数据 203
9.3.3 账号与权限管理 204
9.3.4 数据查询 205
9.4 云上数据迁移 208
9.4.1 云上数据的迁入 208
9.4.2 云上数据的导出 211
第10章 PolarDB运维管理 212
10.1 数据库运维概述 213
10.2 扩展资源 213
10.2.1 系统扩展 213
10.2.2 手动升降配 213
10.2.3 手动增减节点 214
10.2.4 自动升降配和增减节点 214
10.3 备份与恢复 215
10.3.1 备份 215
10.3.2 恢复 217
10.4 监控与诊断 218
10.4.1 监控与报警 218
10.4.2 诊断与优化 218
参考文献 220
· · · · · · (收起)