你好,游客 登录
背景:
阅读新闻

Hadoop周刊—第 173 期

[日期:2016-06-21] 来源:BlogJava-专家区  作者: [字体: ]

2016 年 6 月 5 日

本周, Spark 、 NiFi 、 Netflix Meson 、 Storm 方面只有少量内容。 Spark 峰会本周在旧金山召开,所以呢,下周肯定有不少内容。

Hadoop

技术新闻 

Databricks 博客介绍了 Apache Spark 2.0 的新特性 —— 跨语言支持存储和加载机器学习模型。模型通过简单的 API 被存储和加载,模型的元数据与参数保存为 JSON风格,模型的数据保存为 Parquet 风格。

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

Meson 是 Netflix 用于执行机器学习工作流的框架。它是 Apache Hive 、 Spark 、Mesos 这些大数据技术之间的粘合剂。工作流使用 DSL 进行编写, Meson 还提供了更加先进的流水线可视化 UI 。 Netflix 目前没开源 Meson ,但他们有这方面的计划。

http://techblog.netflix.com/2016/05/meson_31.html

IBM hadoop Dev 博客简要介绍和示范了 HDFS 归档存储能力。

https://developer.ibm.com/hadoop/2016/06/01/use-hdfs-archival-storage/

Apache Storm 1.0 有了令人惊讶的新特性。本文关注了几个调试能力方面的增强:动态日志级别、统一日志搜索、 事件抽样、集成 jstack/heap dumps/java 飞行记录器分析 worker 。

http://hortonworks.com/blog/whats-new-apache-storm-1-0-part-1-enhanced-debugging/

Cloudera 博客撰文介绍了如何使用 Apache Spark 来探索性分析存储在 CSV 文件中的 NBA 历史统计数据。分析过程混合使用了 Scala 和 SQL 。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-using-apache-spark-and-sql/

Apache NiFi 作为一种通用工具受到了很多的关注。它为 “ 基于流程的处理 ” 而生,可能对很多人并不意味着什么,但 NiFi 支持标准的 ETL ,流式处理等。许多 NiFi 例子都示范了如何从 Twitter firehose 把数据移动到 HDFS 中,但本文聚焦在 NiFi 另外的特性上 —— 示范了一些简单的从 HTTP 拉数据的过程。

http://hortonworks.com/blog/apache-nifi-not-scratch/

Amazon Redshift 构建于 PostgreSQL 引擎上,所以你可以利用 PostgreSQL 的扩展功能让 Redshift 集群连接 PostgresSQL 实例。这样一来,诸如跨数据库连接、将Redshift 的结果转换为 JSON 、在 Postgres 中创建 Redshift 数据视图、

数据库之间复制数据等有趣的应用都能实现。

http://blogs.aws.amazon.com/bigdata/post/Tx1GQ6WLEWVJ1OX/JOIN-Amazon-Redshift-AND-Amazon-RDS-PostgreSQL-WITH-dblink

其他发布 

FeatherCast 发布了超过 100 个 ApacheCon 北美峰会的相关录音。

http://feathercast.apache.org/tag/apacheconna2016/

InfoWorld 介绍了 Heron , Twitter 才开源的 Apache Storm 兼容项目。本文介绍了两个项目在架构上的不同。主要指出了 Heron 起步于几个月前( Storm 已发布),就是说 Storm 在特性上比 Heron 更有优势。

http://www.infoworld.com/article/3078134/analytics/had-it-with-apache-storm-heron-swoops-to-the-rescue.html

Databricks 在 edX 上开了一门新课程, “Apache Spark 入门 ” 。课程从 6 月 15 日开始,一直持续两周。

launch-first-of-five-free-big-data-courses-on-apache-spark.html

产品发布 

Amazon EMR 发布了 4.7.0 版。本次发布支持了 Apache Tez 和 Apache Phoenix ,并内置了新版本的 Apache HBase 、 Apache Mahout 、 Presto 。另外, AWS 大数据博客还指导了 Phoenix 如何上手。

http://aws.amazon.com/blogs/aws/amazon-emr-4-7-0-apache-tez-phoenix-updates-to-existing-apps/

http://blogs.aws.amazon.com/bigdata/post/Tx2ZF1NDQYDJFGT/Supercharge-SQL-on-Your-Data-in-Apache-HBase-with-Apache-Phoenix

Apache Hive 本周发布了 2.0.1 版。从二月发布 2.0.0 以来,首次小版本发布。本次修复了 60 个 bug 。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%[email protected]%3E

活动 

中国





收藏 推荐 打印 | 录入:elainebo | 阅读:
相关新闻       Hadoop 
本文评论    (0)
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款