豆瓣
扫码直接下载
只有3章
很好的介绍了数据仓库到数据湖再到湖仓一体的演进,delta lake本质上是把对象存储包起来提供支持ACID的数据分析框架,值得注意的是对于增量数据的合并,是delta lake虽然支持但是并不擅长,delta lake虽然能搞定该场景的ACID,但由于要重写所有相关的parquet文件,数据合并带来的复杂度将是灾难性的,对于数据天然划分好的场景来说,或者只有新增没有修改的场景则较为适用。而针对频繁数据修改的场景,有更好的增量式的架构方案。
> Delta Lake: The Definitive Guide
0 有用 面筋仔仔 2021-12-15 17:15:14
只有3章
0 有用 郑浩晖 2023-04-14 02:20:08 北京
很好的介绍了数据仓库到数据湖再到湖仓一体的演进,delta lake本质上是把对象存储包起来提供支持ACID的数据分析框架,值得注意的是对于增量数据的合并,是delta lake虽然支持但是并不擅长,delta lake虽然能搞定该场景的ACID,但由于要重写所有相关的parquet文件,数据合并带来的复杂度将是灾难性的,对于数据天然划分好的场景来说,或者只有新增没有修改的场景则较为适用。而针对频繁数据修改的场景,有更好的增量式的架构方案。