你好,游客 登录
背景:
阅读新闻

一周热点:详解Instagram价值7.5亿美元的简洁技术

[日期:2013-03-29] 来源:CSDN  作者:CSDN [字体: ]

摘要:本周内容:Instagram 5位传奇工程师背后的"极简"技术最珍贵;巧用MapReduce与HDFS,对海量数据进行去重的五大策略无疑最实用;圆桌会议上,顶尖工程师“兜售”了哪些顶尖技术是大家都想知道的;还有那些云计算领域初期就存在的大牛们,和获得ACM Infosys基金会大奖的两位谷歌专家。

本周内容囊括了技术、人物、工具/语言等多方面内容。首先我们看技术方面:1. 小团队的巨额盈利:Instagram在仅有5位工程师,团队共有13人的情况下,成功将自己以7.5亿美元出售给Facebook;2. 老将巧用,使用MapReduce+HDFS对海量数据进行去重。其次是编程工具方面:在Structure Data Guru的圆桌会议上,备受顶尖技术人员推崇的语言工具等。最后我们看一下人物:1. 网络计算时代,早些年就对云领域有卓越贡献的大牛们;2. ACM将今年云计算领域的杰出贡献奖颁发给了MapReduce和BigTable等软件的设计者Jeff Dean与Sanjay Ghemawat。现在一起来看更多更详细的内容:

1. Instagram价值7.5亿美元的背后:顶尖小团队的极简技术

Facebook以7.5亿美元收购了Instagram,不管是这个社交巨头企图“扼杀”竞争对手,还是贪图Instagram成功的技术,Instagram在仅有5位工程师,13人团队的情况下,将自己卖了7.5亿美元。

与高速增长相背离的是,从成立之初仅有凯文·希斯特罗姆(Kevin Systrom)和迈克·克里格(Mike Krieger)两位创始人,到2011年获得A轮风投700万美元的4位员工,再到被收购时的13人团队,Instagram人员组织一直极为精简

如此小规模的团队居然可以如此自如地应对飞速增长的用户数并提供创新服务,这不能不说是硅谷的又一个财富传奇。以至于Instagram技术团队撰写的《 Instagram:数百的实例 大量的技术》一经发布,就获得了创业企业CTO们的热烈回应。彼时,Instagram的团队还在寻找一个“可以驯服EC2 实例群的DevOps”。

没有想到,收购如此来势汹汹。2012年4月10日,Facebook宣布收购Instagram。两天之后,Instagram的联合创始人Mike Krieger公开发表《 如何成为十亿美元公司》演讲,第一次向外界全面地展现了Instagram创业历程以及其中不得不说的技术“秘密.”。本文为演讲PPT全文翻译,有助于创新技术团队更好认识和了解Instagram13人团队创造奇迹所依赖的技术。

2. “老将巧用”:使用MapReduce+HDFS,对海量数据去重的五大策略

随着收集到数据体积的激增,去重无疑成为众多大数据玩家面对的问题之一。重复数据删除在减少存储、降低网络带宽方面有着显著的优势,并对扩展性有所帮助。在存储架构中,删除重复数据的常用方法包括哈希、二进制比较和增量差分;然而大数据时代我们更需要海量的数据去重策略。

 

  • 只使用HDFS和MapReduce
  • 使用HDFS和Hbase
  • 使用HDFS,MapReduce和存储控制器
  • 使用Streaming,HDFS,MapReduce
  • 结合块技术使用MapReduce

 

五大策略中每条分别运用了以上技术,更多具体实现请见原文。

3. 圆桌会议上,备受顶尖技术人员推崇的顶尖编程语言、扩展工具等

开发者总是乐此不疲的寻求更新、更高效的语言及工具,因为编程语言和工具对开发者来说无异于剑客手中的宝剑。在Structure Data Guru的圆桌会议上,技术大牛们介绍了一些比较优秀的技术,它们分别是:

 

  • 解释性语言Sawzall
  • 新的网络扩展计算工具集YARN、Weave、Helix和Big Flow
  • 实时框架Kafka和Storm

 

当然统计是并不完全的,JVM的继续普及让许多基于它的语言都变的热门起来,比如:Clojure 和Scala。鉴于JVM几乎无处不在,支持它的语言在竞争中将持有巨大的优势;因为如果你是开发者,你肯定希望你的程序可以为更多人使用。

4. 那些年云计算领域的大牛们

Enomaly是一家2003年成立的云计算公司,在2012年被企业云提供商Virtustream所收购。日前,Enomaly创始人Reuven Cohen在Forbes上发表了一篇文章,细数了一些早期的云计算大牛。

Reuven Cohen被InfomationWeek的Charles Babcock列为 早期的云先锋之一。这个排名囊括了一些早期的云开拓者(包括 James Urquhart、 David Linthicum、 Michael Crandell、 John Keagy等)。然而还有一些早期的大牛被遗忘,比如: Moshe Bar、Kate Keahey、Khazret Sapenov、Fabrice Bellard、Vladimir Miloushev,限于篇幅问题,请点击链接查看这些大牛的光辉事迹,以及更多未被提名的大牛们。

5. 因SaaS与NoSQL,Oracle雄风不在?

DB-Engines排行榜上,甲骨文是当之无愧的数据库人气王。然而近日却有一则消息称,数据库巨头对市场的掌控力在显著降低,更有雄风不再的说法。

       

众多NoSQL、内存数据库等新型数据库的围攻下,甲骨文显然在流血。数据库收入曾一度是甲骨文的取款机,如今这种情况变了。本周,甲骨文的报告显示软件销售量下降了两个百分点;难道这个巨擘真如传闻一样失去了对市场的完全掌控,雄风已然不再?

6. DARPA慷慨解囊的背后:Python与大数据的火花

近日DARPA宣布给Continuum Analytics公司投资300万美元,用于开发Python的数据分析和处理库。Python作为解释性语言,高编码效率的优势下伴随着“杯具”的运行效率,那么又究竟是什么让Python受如此多大数据玩家喜爱?

文章从Python自身的优势,并对其与大数据的融合情况进行了分析。最后更介绍了近期得到DARPA慷慨解囊的一些项目。

7-8 分别是关于性能和服务器的文章: 究竟是什么让Redshift比Hive快10倍?!云计算大战升温 服务器OEM押注OpenStack

前者讲述了在Hapqrus上一个Hive与Redshift的基准测试中,Redshift以十倍的速度完胜Hive。Reynold Xin用三个可互换术语“并行数据库”、“关系型数据库”和“分析型数据库”解释了这个悬殊。比起并行数据库,Hive在可扩展性、灵活度方面遥遥领先;然而这些优势,同样阻碍了查询引擎的性能。

后者则是随着云计算的大战越来越激烈,近年来大的云厂商已经使用他们的影响力来挤压利润,威胁到了商用服务器。云计算已经改变了服务器世界的经济,并且一些著名的服务器厂商也推出了自己的云服务。目前,惠普、戴尔和IBM都进入了基于OpenStack的公共云领域,以保持自身的竞争力。

 





收藏 推荐 打印 | 录入: | 阅读:
相关新闻