Hadoop安全

Ben Spivey

目前是Cloudera的一名解决方案架构师，负责为客户在Hadoop部署方面提供咨询。Ben曾在多家世界500强企业工作，涉及金融服务、零售、医疗保健等多个行业。他的专长在于对客户的Hadoop集群进行规划、安装、配置以及安全保护。

在Cloudera之前，Ben与某个国防承包商一起为美国国家安全局（NSA）工作。在此期间，Ben的工作之一就是建立一系列应用，这些应用被集成到企业安全基础设施中以保护敏感信息。

Joey Echeverria

是Rocana的一位软件工程师，其工作是在Apache Hadoop平台建立下一代IT运行分析系统。Joey还是一位Kite SDK贡献者，Kite SDK是一个Apache许可的Hadoop生态系统数据API。Joey之前是Cloudera的软件工程师，在Cloudera期间，他为Apac...

(展开全部)

Ben Spivey

目前是Cloudera的一名解决方案架构师，负责为客户在Hadoop部署方面提供咨询。Ben曾在多家世界500强企业工作，涉及金融服务、零售、医疗保健等多个行业。他的专长在于对客户的Hadoop集群进行规划、安装、配置以及安全保护。

在Cloudera之前，Ben与某个国防承包商一起为美国国家安全局（NSA）工作。在此期间，Ben的工作之一就是建立一系列应用，这些应用被集成到企业安全基础设施中以保护敏感信息。

Joey Echeverria

是Rocana的一位软件工程师，其工作是在Apache Hadoop平台建立下一代IT运行分析系统。Joey还是一位Kite SDK贡献者，Kite SDK是一个Apache许可的Hadoop生态系统数据API。Joey之前是Cloudera的软件工程师，在Cloudera期间，他为Apache Flume、Apache Sqoop、Apache Hadoop、Apache HBase等众多ASF项目做出了贡献。

序　　xi
前言　　xii
第1章　引言　　1
1.1　安全概览　　1
1.1.1　机密性　　2
1.1.2　完整性　　2
· · · · · · (更多)

序　　xi
前言　　xii
第1章　引言　　1
1.1　安全概览　　1
1.1.1　机密性　　2
1.1.2　完整性　　2
1.1.3　可用性　　2
1.1.4　验证、授权和审计　　3
1.2　Hadoop 安全：简史　　5
1.3　Hadoop 组件和生态系统　　5
1.3.1　Apache HDFS　　6
1.3.2　Apache YARN　　7
1.3.3　Apache MapReduce　　8
1.3.4　Apache Hive　　9
1.3.5　Cloudera Impala　　9
1.3.6　Apache Sentry　　10
1.3.7　Apache　HBase　　11
1.3.8　Apache Accumulo　　11
1.3.9　Apache Solr　　13
1.3.10　Apache Oozie　　13
1.3.11　Apache ZooKeeper　　13
1.3.12　Apache Flume　　13
1.3.13　Apache Sqoop　　14
1.3.14　Cloudera　Hue　　14
1.4　小结　　14
第一部分　安全架构
第2章　保护分布式系统　　16
2.1　威胁种类　　17
2.1.1　非授权访问／伪装　　17
2.1.2　内在威胁　　17
2.1.3　拒绝服务　　18
2.1.4　数据威胁　　18
2.2　威胁和风险评估　　18
2.2.1　用户评估　　19
2.2.2　环境评估　　19
2.3　漏洞　　19
2.4　深度防御　　20
2.5　小结　　21
第3章　系统架构　　22
3.1　运行环境　　22
3.2　网络安全　　23
3.2.1　网络划分　　23
3.2.2　网络防火墙　　24
3.2.3　入侵检测和防御　　25
3.3　Hadoop 角色和隔离策略　　27
3.3.1　主节点　　28
3.3.2　工作节点　　29
3.3.3　管理节点　　29
3.3.4　边界节点　　30
3.4　操作系统安全　　31
3.4.1　远程访问控制　　31
3.4.2　主机防火墙　　31
3.4.3　SELinux　　33
3.5　小结　　34
第4章　Kerberos　　35
4.1　为什么是Kerberos　　35
4.2　Kerberos 概览　　36
4.3　Kerberos 工作流：一个简单示例　　37
4.4　Kerberos 信任　　38
4.5　MIT Kerberos　　39
4.5.1　服务端配置　　41
4.5.2　客户端配置　　44
4.6　小结　　46
第二部分　验证、授权和审计
第5章　身份和验证　　48
5.1　身份　　48
5.1.1　将Kerberos 主体映射为用户名　　49
5.1.2　Hadoop 用户到组的映射　　50
5.1.3　Hadoop 用户配置　　54
5.2　身份验证　　54
5.2.1　Kerberos　　55
5.2.2　用户名和密码验证　　56
5.2.3　令牌　　56
5.2.4　用户模拟　　59
5.2.5　配置　　60
5.3　小结　　70
第6章　授权　　71
6.1　HDFS 授权　　71
HDFS 扩展ACL　　72
6.2　服务级授权　　74
6.3　MapReduce 和YARN 的授权　　85
6.3.1　MapReduce（MR1）　　86
6.3.2　YARN　(MR2)　　87
6.6　HBase 和Accumulo 的授权　　95
6.6.1　系统、命名空间和表级授权　　95
6.6.2　列级别和单元级别授权　　99
6.7　小结　　99
第7章　Apache Sentry（孵化中）　　100
7.1　Sentry 概念　　100
7.2　Sentry 服务　　102
7.3　Hive 授权　　105
7.4　Impala 授权　　110
7.5　Solr 授权　　112
7.6　Sentry 特权模型　　113
7.6.1　SQL 特权模型　　114
7.6.2　Solr 特权模型　　116
7.7　Sentry 策略管理　　118
7.7.1　SQL 命令　　118
7.7.2　SQL 策略文件　　121
7.7.3　Solr 策略文件　　123
7.7.4　策略文件的验证和校验　　124
7.7.5　从策略文件迁移　　126
7.8　小结　　127
第8章　审计　　128
8.1　HDFS 审计日志　　129
8.2　MapReduce 审计日志　　130
8.3　YARN 审计日志　　132
8.4　Hive 审计日志　　134
8.5　Cloudera　Impala 审计日志　　134
8.6　HBase 审计日志　　135
8.7　Accumulo 审计日志　　137
8.8　Sentry 审计日志　　139
8.9　日志聚合　　140
8.10　小结　　141
第三部分　数据安全
第9章　数据保护　　144
9.1　加密算法　　144
9.2　静态数据加密　　145
9.2.1　加密和密钥管理　　146
9.2.2　HDFS 静态数据加密　　146
9.2.3　MapReduce2 中间数据加密　　151
9.2.4　Impala 磁盘溢出加密　　152
9.2.5　全盘加密　　152
9.2.6　文件系统加密　　154
9.2.7　Hadoop 中重要数据的安全考虑　　155
9.3　动态数据加密　　156
9.3.1　传输层安全　　156
9.3.2　Hadoop 动态数据加密　　157
9.4　数据销毁和删除　　162
9.5　小结　　163
第10章　数据导入安全　　164
10.1　导入数据的完整性　　165
10.2　数据导入的机密性　　166
10.2.1　Flume 加密　　167
10.2.2　Sqoop 加密　　173
10.3　导入工作流　　178
10.4　企业架构　　179
10.5　小结　　180
第11章　数据提取和客户端访问安全　　181
11.1　Hadoop 命令行接口　　182
11.2　保护应用安全　　183
11.3　HBase　　184
11.3.1　HBase shell　　184
11.3.2　HBase REST 网关　　186
11.3.3　HBase Thrift 网关　　189
11.4　Accumulo　　190
11.4.1　Accumulo shell　　190
11.4.2　Accumulo 代理服务　　192
11.5　Oozie　　192
11.6　Sqoop　　194
11.7　SQL 访问　　195
11.7.1　Impala　　195
11.7.2　Hive　　200
11.8　WebHDFS/HttpFS　　208
11.9　小结　　209
第12章　Cloudera Hue　　210
12.1　Hue HTTPS　　211
12.2　Hue 身份验证　　212
12.2.1　SPNEGO 后端　　212
12.2.2　SAML 后端　　213
12.2.3　LDAP 后端　　215
12.3　Hue 授权　　218
12.4　Hue SSL 客户端配置　　219
12.5　小结　　219
第四部分　综合应用
第13章　案例分析　　222
13.1　案例分析：Hadoop 数据仓库　　222
13.1.1　环境搭建　　223
13.1.2　用户体验　　226
13.1.3　小结　　229
13.2　案例分析：交互式HBase　Web 应用　　230
13.2.1　设计与架构　　230
13.2.2　安全需求　　231
13.2.3　集群配置　　232
13.2.4　实现中的注意事项　　236
13.2.5　小结　　237
后记　　238
关于作者　　240
关于封面　　240
· · · · · · (收起)

近来，“Hadoop 安全”成为了一个充满矛盾的名词。雅虎和Facebook 等公司创建和使用的这个大数据平台的早期版本，在保护其存储的数据方面并没有花费太多精力。实际上也没有必要这么做，因为Hadoop 里几乎没有什么敏感数据，只有对黑客毫无吸引力的状态更新和新闻报道。而且，找到它们也不需要花费很多精力。 然而，当这种平台被更多传统企业使用时，便开始涉及更多传统企业数据。..

• 序
• 前言
• 第1 章　引言