第39页 第3章 序列化与压缩

Hadoop序列化机制的特征
对于处理大规模数据的Hadoop平台，其序列化机制需要具有如下特征：
1、紧凑，由于带宽是Hadoop集群中最稀缺的资源，一个紧凑的序列化机制可以充分利用数据中心的带宽。
2、快速：在进程间通信（包括MapReduce过程中涉及的数据交互）时会大量使用序列化机制，因此，必须尽量减少序列化和反序列化的开销。
3、可扩展：随着系统的发展，系统间通信的协议会升级，类的定义会发生变化，序列化机制需要支持这些升级和变化。
4、互操作：可以支持不同开放语言间的通信，如C++和Java间通信。这样的通信，可以通过文件或IPC机制实现。