你好,游客 登录
背景:
阅读新闻

【期刊】基于Hadoop的海量数据TCP报文重组技

[日期:2016-10-25] 来源:计算机工程  作者:刘贤熜 宋斌 [字体: ]

  当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求。为此,提出一种基于hadoop的海量数据TCP报文重组系统。利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理。采用MapReduce辅助排序技术实现海量TCP数据流的分类。测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84%。

 

  
基于Hadoop的海量数据TCP报文重组技





收藏 推荐 打印 | 录入:elainebo | 阅读: