NoSQL：开发人员如何应对大数据 - 产品和技术

目前大数据是高性能计算领域最热门的趋势。大数据处理的特点是：我们需要实时采集、分析、传递海量的信息，数据集以PB甚至ZB(1百万PB)为单位，大数据为开发人员带来了新挑战，谈到了大数据，就不能不说hadoop和NoSQL。

NoSQL是当今非关系型数据库的宠儿

NoSQL是一个分布式的、面向海量数据管理的数据库系统，在互连网的海量数据管理上，有很好的表现。现如今，企业对互连网的海量数据的要求越来越高，高可用、大吞吐、低延迟、数据安全性高等，并且业务的低峰时段越来越短，对存储的扩容、停机调整时间很难接受，对平滑扩容、故障自动切换的要求也随着而来。企业IT开发人员通过深度开发NoSQL系统，可以应对并解决这些矛盾。

NoSQL(NoSQL = Not Only SQL )，意即反SQL运动，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于目前铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。

现今的计算机体系结构在数据存储方面要求具备庞大的水平扩展性，而NoSQL致力于改变这一现状。目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型数据库。

NoSQL项目的名字上看不出什么相同之处，但是，它们通常在某些方面相同：它们可以处理超大量的数据。

这场革命目前仍然需要等待。的确，NoSQL对大型企业来说还不是主流，但是，一两年之后很可能就会变个样子。在NoSQL运动的最新一次聚会中，来自世界各地的150人挤满了CBS Interactive的一间会议室。分享他们如何推翻缓慢而昂贵的关系数据库的暴政，怎样使用更有效和更便宜的方法来管理数据。

“关系型数据库给你强加了太多东西。它们要你强行修改对象数据，以满足RDBMS (relational database management system，关系型数据库管理系统)的需要，”在NoSQL拥护者们看来，基于NoSQL的替代方案“只是给你所需要的”。

NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。

Hadoop是海量数据分析的最佳解决方案

Hadoop的发展基本上经历了这样一个过程：从一个开源的Apache基金会项目，随着越来越多的用户的加入，不断地使用、贡献和完善，形成一个强大的生态系统，从2009年开始，随着云计算和大数据的发展，Hadoop作为海量数据分析的最佳解决方案，开始受到许多IT厂商的关注，从而出现了许多Hadoop的商业版以及支持Hadoop的产品，包括软件和硬件。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用，从而应用到各种行业中。