From a code readability perspective, this solution is ugly. It requires dozens of lines of code and four passes through the data. However, we expect that it will avoid memory errors on the executors and complete faster than the `groupByKey` or secondary sort solutions. This is because the data on each column should be mostly distinct doubles, and thus the shuffle should be fairly efficient. The final two `mapPartitions` routines involve reducing the data and can be achieved through iterator-to-iterator transformations, so we expect them to scale well. Indeed, on randomly distributed test data with many records, this solution outperforms the other implementations of the Goldilocks problem by orders of magnitude. (查看原文)
0 有用 不会飞的超人 2019-10-12 00:18:05
简略
0 有用 darcy27149 2020-04-15 22:59:12
觉得比Spark权威指南稍差一点，第六章的goldilocks的例子不错。
0 有用 我霸天君不服 2023-05-17 00:42:08 四川
翻译垃圾，纯机器翻译。内容也一般，没讲什么东西
2 有用 WeiLu 2017-10-15 16:41:38
spark开发进阶书。讲述了常用的transform action函数优化方法，针对大数据下数据倾斜，导致oom的场景，讲述了优化方法。高效的算法往往不是最简洁的。
0 有用 冰镇绿豆汤 2019-06-14 21:39:38
进阶提升，查漏补缺
0 有用 我霸天君不服 2023-05-17 00:42:08 四川
翻译垃圾，纯机器翻译。内容也一般，没讲什么东西
0 有用 3点一直线 2023-03-24 10:14:55 美国
前面4章认真看了一下， 感觉比较浅的。 不知道是不是时代的原因， 这个书里面的内容已经过时了？ 5-8章 简略看了一下。 5 主要说了transform的一些东西，6 是说 kv 数据处理。 7章说了用别的语言是怎么和spark交互然后还有一些优缺点之类的。 第八章是测试， 第九章讲得ml啥的， 跳过。 这个主要的问题我感觉是工作主要是用sql的api， 这个RDD 是不是很少用呢？
0 有用 阿凡达弟弟 2022-05-31 11:34:33
吃透那几个例子对spark理解算是非常深入了。
0 有用 darcy27149 2020-04-15 22:59:12
觉得比Spark权威指南稍差一点，第六章的goldilocks的例子不错。
0 有用 不会飞的超人 2019-10-12 00:18:05
简略