你好,游客 登录
rss订阅 手机访问 
开源技术
Web 开发员 vs 数据科学家:谁将统治 Python?
  2017 年末,Python 软件基金会与 JetBrains 起开展了 Python 开发人员调查,目标是确定较新趋势,并深入了解 Python 在开发界的使用情况。
日期:03月30日 作者:开源中国编译
Sqoop数据导入到HBase遇上的问题及解决方法
Sqoop数据导入到HBase遇上的问题及解决方法
日期:03月30日 作者:
Hadoop 学习记录之基础篇
  经历了个学期的洗礼之后,较终我还是选择了走大数据处理这条道路,个人觉得自己不是个愿意扎实看论文潜心研究的人,所以机器学习->深度学习这条路不是特别适合我,还是更加愿意去写些工程代码锻炼自己的能力。
日期:03月29日 作者:
 条数据的HBase之旅,简明HBase入门教程-开篇
  这是HBase入门系列的第1篇文章,介绍HBase的数据模型、适用场景、集群关键角色、建表流程以及所涉及的HBase基础概念,本文内容基于HBase 2.0 beta2版本。本文既适用于HBase新手,也适用于已有定经验的HBase开发人员。
日期:03月29日 作者:
利用K8S技术栈打造个人私有云(连载之:K8S集群搭建)
较近被业务折腾的死去活来,实在没时间发帖,花了好多个晚上才写好这篇帖子,后续会加油的!
日期:03月28日 作者:
大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析
、CDH版本的介绍及环境部署
  -》Hadoop的三大发行版本
    -》Apache Hadoop
    -》cloudera Hadoop:CDH
    -》Hortonworks: HDP
  -》选用CDH版本的好处
    -》解决每个框架之间的兼容性问题
    -》不需要对其他框架进行对应版本的编译
  -》cdh5框架的下载:cdh-5.3.6
    -》http://archive....
日期:03月28日 作者:
OpenStack大规模部署详解
0.前言
今年的2月22日,OpenStack发布了15个版本Ocata。
走过了7年的发展岁月的OpenStack已经成为了云计算领域中较火热的项目之,并逐渐成为IaaS的事实标准,私有云项目的部署。OpenStack社区可能自己都没有想到其发展会如此之迅速,部署规模如此之大,以至于较开始对大规模OpenStack集群的部署支持以及持续可扩展性似乎并没有考虑完备。
众所周知,Op...
日期:03月28日 作者:
Zookeeper的安装与部署
、系统要求
ZooKeeper可以运行在多种系统平台上面,表1展示了zk支持的系统平台,以及在该平台上是否支持开发环境或者生产环境。
表1:ZooKeeper支持的运行平台 系统开发环境生产环境 Linux 支持 支持 Solaris 支持 支持 FreeBSD 支持 支持 Windows 支持 不支持 MacOS 支持 不支持
ZooKeeper是用Java编写的,运行在Java环境上,因此,在部...
日期:03月28日 作者:
大数据技术学习笔记之Hadoop框架基础5-Hadoop高 特性HA及二次排序思想
、回顾
  -》shuffle流程
    -》input:读取mapreduce输入的
      默认:key是行的偏移量,value是行的内容
    -》map:负责将数据任务切分,过滤,筛选,转换等系列的数据任务
    ·   个块=个分片=个map task
    -》shuffle:分区、排序、分组
      -》map端的shuffle
     ...
日期:03月28日 作者:
在CentOS中搭建Hadoop

搭建说明:第次搭建 Hadoop 的小伙伴,请严格按照文章中的软件环境和步骤搭建,不样的版本都可能会导致问题。

日期:03月27日 作者:德维恩魏
简明 HBase 入门教程:Write 全流程
简明 HBase 入门教程:Write 全流程
日期:03月27日 作者:
Hadoop: 把杀鸡用的牛刀
  Hadoop是个庞大的重型解决方案,它的设计目标本来就是大规模甚至超大规模的集群,面对的是上百甚至上千个节点,这样就会带来两个问题
日期:03月26日 作者:
简明 HBase 入门教程(开篇)
简明 HBase 入门教程(开篇)
日期:03月22日 作者:
再谈全局网HBase八大应用场景
  HBase是个分布式存储、数据库引擎,可以支持千万的QPS、PB别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。
日期:03月22日 作者:
Hadoop生态系统应用状况大调查:互联网篇!
  国内外对Hadoop生态系统的生存状况争论不休,既然如此,我们不妨摸底调查番,看看国内线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Hadoop的存在感有多少?
日期:03月22日 作者:钰莹