Hadoop使用哪种序列化框架？-Hadoop-@大数据资讯

什么是序列化？ 序列化（serialization），是指将结构化对象转化为字节流，以便在网络上传输或写入磁盘进行永久存储。反序列化（deserialization），是指将字节流重新转换为结构化对象。

hadoop使用哪种序列化框架？ Hadoop使用自己的序列化格式Writable，除开Writable，Hadoop也支持Avro序列化框架。 Writable格式紧凑，速度快。，但很难使用除开Java之外的语言对它进行扩展。 Avro支持跨语言使用，意思是，可以用Python写入文件，而用C语言来读取文件。

Hadoop提供的Writable类型

Writable接口

view sourceprint?
package org.apache.hadoop.io;
 
import java.io.DataOutput;
import java.io.DataInput;
import java.io.IOException;
 
public interface Writable {
/**
* * Serialize the fields of this object to <code>out</code>. * @param out
* <code>DataOuput</code> to serialize this object into.
* 
* @throws IOException
*/
void write(DataOutput out) throws IOException;
 
/**
* * Deserialize the fields of this object from <code>in</code>. * *
* <p>
* For efficiency, implementations should attempt to re-use storage in the *
* existing object where possible.
* </p>
* * * @param in <code>DataInput</code> to deseriablize this object from.
* 
* @throws IOException
*/
void readFields(DataInput in) throws IOException;
}

如何定制writable虽然Hadoop内建了多种Writable供用户选择，但当我们需要使用更加复杂的对象的时候，内建的Writable有可能不能满足我们的需求，这就需要我们定制自己的Writable了。一个定制的Writable类首先必须实现Writable或者WritableComparable接口，然后为定制的Writable类编写 write(DataOutput out)和readFields(DataInput in)方法，来控制定制的Writable类如何转化为字节流（write方法）和如何从字节流转回为Writable对象。