Hadoop硬实战

前言 ...............................................................................................................XV
致谢 ............................................................................................................XVII
关于本书 ..................................................................................................... XIX
第1 部分　背景和基本原理...............................................1
1　跳跃中的Hadoop....................................................................................... 3
1.1　什么是Hadoop ................................................................................................. 4
· · · · · · (更多)

前言 ...............................................................................................................XV
致谢 ............................................................................................................XVII
关于本书 ..................................................................................................... XIX
第1 部分　背景和基本原理...............................................1
1　跳跃中的Hadoop....................................................................................... 3
1.1　什么是Hadoop ................................................................................................. 4
1.1.1　Hadoop 的核心组件 ............................................................................ 5
1.1.2　Hadoop 生态圈 .................................................................................... 9
1.1.3　物理架构 ............................................................................................ 10
1.1.4　谁在使用Hadoop .............................................................................. 12
1.1.5　Hadoop 的局限性 .............................................................................. 13
1.2　运行Hadoop ................................................................................................... 14
1.2.1　下载并安装Hadoop .......................................................................... 14
1.2.2　Hadoop 的配置 .................................................................................. 15
1.2.3　CLI 基本命令 ..................................................................................... 17
1.2.4　运行MapReduce 作业 ....................................................................... 18
1.3　本章小结 ........................................................................................................ 24
第2 部分　数据逻辑....................................................... 25
2　将数据导入导出Hadoop.........................................................27
2.1　导入导出的关键要素 .................................................................................... 29
2.2　将数据导入Hadoop ....................................................................................... 30
2.2.1　将日志文件导入Hadoop .................................................................. 31
技术点1　使用Flume 将系统日志文件导入HDFS ............................. 33
2.2.2　导入导出半结构化和二进制文件 .................................................... 42
技术点2　自动复制文件到HDFS 的机制 ............................................ 43
技术点3　使用Oozie 定期执行数据导入活动 ..................................... 48
2.2.3　从数据库中拉数据 ............................................................................ 52
技术点4　使用MapReduce 将数据导入数据库 ................................... 53
技术点5　使用Sqoop 从MySQL 导入数据 ......................................... 58
2.2.4　HBase ................................................................................................. 68
技术点6　HBase 导入HDFS ................................................................. 68
技术点7　将HBase 作为MapReduce 的数据源 .................................. 70
2.3　将数据导出Hadoop ....................................................................................... 73
2.3.1　将数据导入本地文件系统 ................................................................ 73
技术点8　自动复制HDFS 中的文件 .................................................... 73
2.3.2　数据库 ................................................................................................ 74
技术点9　使用Sqoop 将数据导入MySQL .......................................... 75
2.3.3　Hbase .................................................................................................. 78
技术点10　将数据从HDFS 导入HBase .............................................. 78
技术点11　使用HBase 作为MapReduce 的数据接收器 .................... 79
2.4　本章小结 ........................................................................................................ 81
3　数据序列化——处理文本文件及其他格式的文件........................83
3.1　了解MapReduce 中的输入和输出 ............................................................... 84
3.1.1　数据输入 ............................................................................................ 85
3.1.2　数据输出 ............................................................................................ 89
3.2　处理常见的序列化格式 ................................................................................ 91
3.2.1　XML ................................................................................................... 91
技术点12　MapReduce 和XML ............................................................ 91
3.2.2　JSON ................................................................................................... 95
技术点13　MapReduce 和JSON ........................................................... 95
3.3　大数据的序列化格式 .................................................................................... 99
3.3.1　比较SequenceFiles、Protocol Buffers、Thrift 和 Avro .................. 99
3.3.2　Sequence File .................................................................................... 101
技术点14　处理SequenceFile .............................................................. 103
3.3.3　Protocol Buffers ................................................................................ 109
技术点15　整合Protocol Buffers 和MapReduce ............................... 110
3.3.4　Thrift ................................................................................................. 117
技术点16　使用Thrift .......................................................................... 117
3.3.5　Avro .................................................................................................. 119
技术点17　MapReduce 的下一代数据序列化技术 ............................ 120
3.4　自定义文件格式 .......................................................................................... 127
3.4.1　输入输出格式 .................................................................................. 127
技术点18　输入和输出格式为CSV 的文件 ...................................... 128
3.4.2　output committing 的重要性 ........................................................... 136
3.5　本章小结 ...................................................................................................... 136
第3 部分　大数据模式..................................................137
4　处理大数据的MapReduce 模式............................................. 139
4.1　Join ................................................................................................................ 140
4.1.1　Repartition Join ................................................................................ 141
技术点19　优化repartition join ........................................................... 142
4.1.2　Replicated Join ................................................................................. 146
4.1.3　Semi-join .......................................................................................... 147
技术点20　实现semi-join .................................................................... 148
4.1.4　为你的数据挑选最优的合并策略 .................................................. 154
4.2　排序 .............................................................................................................. 155
4.2.1　二次排序 .......................................................................................... 156
技术点21　二次排序的实现 ................................................................ 157
4.2.2　整体并行排序 .................................................................................. 162
技术点22　通过多个reducer 对key 进行排序 .................................. 162
4.3　抽样 .............................................................................................................. 165
技术点23　蓄水池抽样（reservoir 抽样） ........................................... 165
4.4　本章小结 ...................................................................................................... 168
5　优化HDFS 处理大数据的技术............................................... 169
5.1　处理小文件 .................................................................................................. 170
技术点24　使用Avro 存储大量小文件 .............................................. 170
5.2　通过压缩提高数据存储效率 ...................................................................... 178
技术点25　选择合适的压缩解码器 .................................................... 178
技术点26　在HDFS、MapReduce、Pig 和Hive 中使用数据压缩 .. 182
技术点27　在MapReduce、Hive 和Pig 中处理可分割的LZOP ..... 187
5.3　本章小结 ...................................................................................................... 193
6　诊断和优化性能问题............................................................. 194
6.1　衡量MapReduce 和你的环境 ..................................................................... 195
6.1.1　提取作业统计信息的工具 .............................................................. 195
6.1.2　监控 .................................................................................................. 196
6.2　确定性能问题的原因 .................................................................................. 198
6.2.1　了解哪些因素会影响MapReduce 作业的性能 ............................. 198
6.2.2　map 端异常 ...................................................................................... 200
技术点28　发现输入数据中的坑 ........................................................ 200
技术点29　确定map 端数据倾斜问题 ............................................... 201
技术点30　判定map 任务吞吐量 ....................................................... 203
技术点31　小文件 ................................................................................ 204
技术点32　不可切割的文件 ................................................................ 206
6.2.3　reduce 端问题 .................................................................................. 207
技术点33　reducer 任务数过大或过小 ............................................... 208
技术点34　定位reduce 端数据倾斜问题 ............................................ 209
技术点35　确定reduce 任务是否存在整体吞吐量过低 .................... 211
技术点36　缓慢的洗牌（shuffle）和排序 ......................................... 213
6.2.4　任务的一般性能问题 ...................................................................... 213
技术点37　作业竞争和调度器限制 .................................................... 215
技术点38　使用堆转储来查找未优化的用户代码 ............................ 216
6.2.5　硬件性能问题 .................................................................................. 218
技术点39　查找硬件的失效 ................................................................ 218
技术点40　CPU 竞争 ........................................................................... 219
技术点41　内存交换 ............................................................................ 220
技术点42　磁盘健康 ............................................................................ 222
技术点43　网络 .................................................................................... 224
6.3　可视化 .......................................................................................................... 226
技术点44　提取并可视化任务执行时间 ............................................ 227
6.4　优化 ............................................................................................................. 229
6.4.1　剖析MapReduce 的用户代码 ......................................................... 230
技术点45　剖析map 和reduce 任务 ................................................... 230
6.4.2　参数配置 .......................................................................................... 232
6.4.3　优化 shuffle 和 sort 阶段 ................................................................. 234
技术点46　避免reducer ....................................................................... 234
技术点47　过滤和投影 ........................................................................ 235
技术点48　使用 combiner .................................................................... 236
技术点49　超炫的使用比较器的快速排序 ........................................ 237
6.4.4　减轻倾斜 .......................................................................................... 241
技术点50　收集倾斜数据 .................................................................... 242
技术点51　减轻reducer 阶段倾斜 ...................................................... 243
6.4.5　在MapReduce 中优化用户的Java 代码 ........................................ 244
6.4.6　数据序列化 ...................................................................................... 248
6.5　本章小结 ...................................................................................................... 249
第4 部分 数据科学.......................................................251
7　数据结构和算法的运用.......................................................... 253
7.1　使用图进行数据建模和解决问题 .............................................................. 254
7.1.1　模拟图 .............................................................................................. 255
7.1.2　最短路径算法 .................................................................................. 255
技术点52　找出两个用户间的最短距离 ............................................ 256
7.1.3　friends-of-friends（FoF） ................................................................. 263
技术点53　计算FoF ............................................................................. 263
7.1.4　PageRank .......................................................................................... 269
技术点54　通过Web 图计算PageRank .............................................. 269
7.2　Bloom filter ................................................................................................... 275
技术点55　在MapReduce 中并行创建Bloom filter ......................... 277
技术点56　通过MapReduce 对Bloom filter 进行semi-join ............. 281
7.3　本章小结 ...................................................................................................... 284
8　结合R 和Hadoop 进行数据统计............................................ 285
8.1　比较R 和MapReduce 集成的几种方法 .................................................... 286
8.2　R 基础知识 ................................................................................................... 288
8.3　R 和Streaming ............................................................................................. 290
8.3.1　Streaming 和map-only R ................................................................. 290
技术点57　计算股票日平均值 ............................................................ 290
8.3.2　Streaming、R 和完整的MapReduce .............................................. 293
技术点58　计算股票的累积均值 ........................................................ 293
8.4　Rhipe——将客户端R 和Hadoop 进行集成 ............................................. 297
技术点59　使用Rhipe 计算CMA ....................................................... 297
8.5　 RHadoop——更简单地在客户端集成R 和Hadoop 的技术 .................... 301
技术点60　使用RHadoop 计算CMA ................................................. 302
8.6　本章小结 ...................................................................................................... 304
9　使用Mahout 进行预测分析................................................... 305
9.1　使用recommender 提供产品建议 .............................................................. 306
9.1.1　相似性度量的可视化 ...................................................................... 307
9.1.2　GroupLens 数据集 ........................................................................... 308
9.1.3　基于用户的recommender ............................................................... 310
9.1.4　基于物品的recommender ............................................................... 310
技术点61　使用基于物品的recommender 进行电影评级 ................ 311
9.2　classification ................................................................................................. 314
9.2.1　编写一个手动naïve Bayesian 分类器 ............................................ 315
9.2.2　可扩展的垃圾邮件侦测分类系统 .................................................. 321
技术点62　使用Mahout 训练和测试垃圾邮件分类器 ...................... 321
9.2.3　其他分类算法 .................................................................................. 325
9.3　K-means clustering ....................................................................................... 325
9.3.1　简单介绍 .......................................................................................... 326
9.3.2　并行执行K-means ........................................................................... 327
技术点63　K-means 处理合成的二维数据集 ..................................... 327
9.3.3　K-means 和文本 ............................................................................... 331
9.3.4　其他Mahout clustering 算法 ........................................................... 332
9.4　本章小结 ...................................................................................................... 332
第5 部分　驯服大象......................................................333
10　深入解析 Hive.................................................................. 335
10.1　Hive 基础 ................................................................................................ 336
10.1.1　安装 .......................................................................................... 336
10.1.2　元存储 ...................................................................................... 336
10.1.3　数据库、表、分区和存储 ...................................................... 336
10.1.4　数据模型 .................................................................................. 337
10.1.5　查询语言 .................................................................................. 337
10.1.6　交互式和非交互式Hive ......................................................... 337
10.2　使用Hive 进行数据分析 ....................................................................... 338
10.2.1　序列化和反序列化 .................................................................. 338
技术点64　载入日志文件 .............................................................. 338
10.2.2　UDF、分区、分桶和压缩 ...................................................... 344
技术点65　编写UDF 和压缩分区表 ............................................ 344
10.2.3　数据合并 .................................................................................. 350
技术点66　优化Hive 合并 ............................................................ 350
10.2.4　分组、排序和explain ............................................................. 355
10.3　本章小结 ................................................................................................ 358
11　Pig 流管道......................................................................... 359
11.1　Pig 基础 .................................................................................................. 360
11.1.1　安装 .......................................................................................... 360
11.1.2　架构 .......................................................................................... 360
11.1.3　PigLatin..................................................................................... 360
11.1.4　数据类型 .................................................................................. 361
11.1.5　操作符和函数 .......................................................................... 361
11.1.6　交互式和非交互式的Pig ........................................................ 362
11.2　使用Pig 在日志数据中发现恶意行为者 ............................................. 362
11.2.1　加载数据 .................................................................................. 363
技术点67　加载Apache 日志文件 ................................................ 363
11.2.2　过滤和投影 .............................................................................. 368
技术点68　通过过滤和投影减少数据处理量 .............................. 368
11.2.3　分组和聚合UDF ..................................................................... 370
技术点69　IP 地址的分组和计数 ................................................. 370
11.2.4　使用UDF 进行定位 ................................................................ 374
技术点70　使用分布式缓存进行IP 地理定位 ............................ 375
11.2.5　流 .............................................................................................. 378
技术点71　使用你的脚本合并Pig ............................................... 378
11.2.6　合并 .......................................................................................... 379
技术点72　在Pig 中合并数据 ...................................................... 380
11.2.7　排序 .......................................................................................... 381
技术点73　元组排序 ...................................................................... 381
11.2.8　存储数据 .................................................................................. 382
技术点74　在SequenceFiles 中存储数据 ..................................... 382
11.3　使用Pig 优化用户的工作流程 ............................................................. 385
技术点75　通过4 步快速处理大数据 .......................................... 385
11.4　性能 ......................................................................................................... 390
技术点76　Pig 优化 ....................................................................... 390
11.5　本章小结 ................................................................................................. 393
12　Crunch 及相关技术............................................................ 394
12.1　什么是Crunch ........................................................................................ 395
12.1.1　背景和概念 .............................................................................. 395
12.1.2　基本原理 .................................................................................. 395
12.1.3　简单示例 .................................................................................. 398
12.2　发现日志中最热门的URL .................................................................... 401
技术点77　使用Crunch 进行日志解析和基本分析 .................... 402
12.3　合并 ........................................................................................................ 405
技术点78　Crunch 的repartition join ............................................ 405
12.4　Cascading ................................................................................................ 407
12.5　本章小结 ................................................................................................ 409
13　测试和调试....................................................................... 410
13.1　测试 ........................................................................................................ 410
13.1.1　有效的单元测试的基本要素 .................................................. 411
13.1.2　MRUnit ..................................................................................... 413
技术点79　MapReduce 函数、作业和管道的单元测试 ............. 413
13.1.3　LocalJobRunner ........................................................................ 420
技术点80　用LocalJobRunner 进行重量级的作业测试 ............. 421
13.1.4　集成和QA 测试 ...................................................................... 423
13.2　调试用户空间的问题 ............................................................................ 424
13.2.1　访问任务日志 .......................................................................... 424
技术点81　检查任务日志 .............................................................. 424
13.2.2　调试不可预期的输入 .............................................................. 429
技术点82　定位input split 问题 .................................................... 429
13.2.3　调试JVM 配置 ........................................................................ 432
技术点83　解决任务的JVM 启动参数 ........................................ 433
13.2.4　高效调试的编码准则 .............................................................. 433
技术点84　调试和错误处理 .......................................................... 433
13.3　MapReduce 陷阱 .................................................................................... 437
技术点85　MapReduce 反模式 ..................................................... 438
13.4　本章小结 ................................................................................................ 441
附录A　相关技术..................................................................... 443
附录B　Hadoop 内置的数据导入导出工具.................................. 471
附录C　HDFS 解剖................................................................. 486
附录D　优化MapReduce 合并框架............................................ 493
索引.......................................................................................... 503
· · · · · · (收起)