你好,游客 登录
rss订阅 手机访问 
技术方案
在Python中利用Pandas库处理大数据的简单介绍
在数据分析领域,较热门的莫过于Python和R语言,此前有篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是个合理的技术选择。这次拿到近亿条日志数据,千万数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:
日期:04/09/2015 11:46:21 作者:
斯坦福机器学习实现与分析之线性回归
回归问题提出
  首先需要明确回归问题的根本目的在于预测。对于某个问题,般我们不可能测量出每种情况(工作量太大),故多是测量组数据,基于此数据去预测其他未测量数据。
  比如课程给出的房屋面积、房间数与价格的对应关系,如下表:
若要测量出所有情况,不知得测到猴年马月了。有了上面这组测量数据,我们要估计出套房子(如2800平方英...
日期:04/09/2015 11:44:14 作者:过客冲冲
纯技术:谷歌PageRank算法原理及实现
PageRank算法原理介绍   PageRank算法是google的网页排序算法,在《The Top Ten Algorithms in Data Mining》书中第6章有介绍。大致原理是用户搜索出的多个网页需要按照定的重要程度(即后面讲的权重)排序,每个网页的权重由所有链接到它的其他 网页的权重的加权和,加权系数为每个网页链出的网页数的倒数,也就是说每个网页的权重会平均分配到其链向的所有网页。 ...
日期:04/09/2015 11:35:38 作者:过客冲冲
手术房与加护病房无线Wifi大数据收集系统简介
以医学的大数据而言,从过去纸张病历记录,到纸本数据的数位化与医学纪录远距储存,再到现今许多的资讯整合。数据量的累积非常快速,也引导许多医疗技术的发展。
日期:04/09/2015 10:32:53 作者:
建构物联网的无线大数据解决方案
大数据分析的重要性,与物联网带来庞大的数据量有着密切的关联,而建构物联网的重要关键,莫过于无线网络技术的成熟。无线网络是物联网的基础建,连带也让无线大数据的解决方案变得更加重要。
日期:04/08/2015 11:20:51 作者:
Yahoo的大数据分析的个人化应用
大数据(Big Data)近年来已成为市场关注焦点,为了能够发掘大数据的商业价值,在基础建设已经渐渐完备,数据搜集及储存能力已然成熟的环境下,大数据应用的探索焦点,已逐渐从数据技术与系统的讨论,逐渐转移到数据的分析与各领域的深化应用。
日期:04/08/2015 11:01:34 作者:
数据不沉海 爬虫程式赋予数据新生命
在「云端」科技之后,近年「大数据(Big Data)」发展成个震天价响的口号,各行各业对于投入大数据应用的研究开发是跃跃欲试,不愿意放弃任何条可能开挖到金矿的山路,即便只是条溪径,各产业也愿意卷起衣裤放手搏,只为了发现有黄金比喻的数据数据。
日期:04/08/2015 10:50:01 作者:
连载:(深度学习)学习笔记整理系列之(八)
十、总结与展望
1)Deep learning总结
   深度学习是关于自动学习要建模的数据的潜在(隐含)分布的多层(复杂)表达的算法。换句话来说,深度学习算法自动的提取分类需要的低层次或者高层次特征。高层次特征,是指该特征可以分(层次)地依赖其他特征,例如:对于机器视觉,深度学习算法从原始图像去学习得到它的个低层次表达,例如边缘检测器,小波滤...
日期:02/06/2015 11:05:21 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(七)
卷积神经网络是人工神经网络的种,已成为当前语音分析和图像识别领域的研究热点。它的 权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接 作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的个多层感知器,这种网络结构对平移、比例缩 放、倾斜或者共他形式的变形具有高度不变性。
日期:02/06/2015 11:04:15 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(六)
Deep Learning(深度学习)学习笔记整理系列
zouxy09@qq.com
http://blog.csdn.net/zouxy09
作者:Zouxy
version 1.0 2013-04-08
声明:
1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2)本文仅供学术交流,非商用。所以每部分具体的...
日期:02/06/2015 11:03:34 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(五)
Deep Learning(深度学习)学习笔记整理系列
zouxy09@qq.com
http://blog.csdn.net/zouxy09
作者:Zouxy
version 1.0 2013-04-08
声明:
1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2)本文仅供学术交流,非商用。所以每部分具体的...
日期:02/06/2015 11:02:48 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(四)
Deep Learning(深度学习)学习笔记整理系列
zouxy09@qq.com
http://blog.csdn.net/zouxy09
作者:Zouxy
version 1.0 2013-04-08
声明:
1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2)本文仅供学术交流,非商用。所以每部分具体的...
日期:02/06/2015 11:01:53 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(三)
认知过程,通过外界的特征和向上的权重(认知权重)产生每层的抽象表示(结点状态),并且使用梯度下降修改层间的下行权重(生成权重)。也就是“如果现实跟我想象的不样,改变我的权重使得我想象的东西就是这样的”。
日期:02/06/2015 10:52:59 作者:Zouxy
连载:(深度学习)学习笔记整理系列之(二)
终于可以聊到Deep learning了。上面我们聊到为什么会有Deep learning(让机器自动学习良好的特征,而免去人工选取过程。还有参考人的分层视觉处理系统),我们得到个结论就是Deep learning需要多层来获得更抽象的特征表达。那么多少层才合适呢?用什么架构来建模呢?怎么进行非监督训练呢?
日期:02/06/2015 10:51:59 作者:Zouxy
连载:(深度学习)学习笔记整理系列之( )
也就是人工智能,就像长生不老和星际漫游样,是人类较美好的梦想之。虽然计算机技术 已经取得了长足的进步,但是到目前为止,还没有台电脑能产生“自我”的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了 这两者,它甚至都不能分辨个喵星人和个汪星人。
日期:02/06/2015 10:50:03 作者:Zouxy