核心技术：
- Java for Storm
纯java语言实现，更好的可维护性
功能扩充：解决nimbus单点、度量（Metrics）、安全/权限增加、动态升级
- Storm on Gaia
任务间资源隔离
灵活的权限控制策略
更优异的容灾能力
自动扩缩容
- PigLatin/SQL on Storm
过程化类SQL编程接口
降低实时计算业务技术门槛
提升业务开发效率
应用场景：
•精准推荐
•广点通广告推荐
•新闻推荐
•视频推荐
•游戏道具推荐
•实时分析
•微信运营数据门户
•效果统计
•订单画像分析
•实时监控
•实时监控平台
•游戏内接口调用
TPR
以人为核心的数据挖掘，提供“海量、精准、实时”的个性化推荐服务。
实现从天到分钟的转变
计算模式演进
应用场景：
- 用户画像的建立是精准推荐的基础
虚拟用户现实化，人口属性的建立
长期兴趣+短期兴趣
定制化定向人群
- 以效果广告为代表的精准营销
推荐周期短，实时性要求高
用户短期兴趣和即时行为影响力大
投放场景上下文和访问人群特性
- 以视频推荐为代表的内容推荐
长期兴趣的累积影响力大
时段和热点事件
多维度内容相关性很重要
- 以电商推荐为代表的购物推荐
长期+短期兴趣+即时行为综合
最贴近现实，季节与用户生活信息很关键
追求下单与成交，支付相关
CSDN： 以上都是腾讯大数据平台的架构，能不能和我们分享一下具体的产品？
蒋杰：简单说说TOD和MTA吧。TOD，Tencent Open Data，基于腾讯在业界领先的大规模计算集群，提供数据采集、自助加工、任务调度等能力的云端大数据解决方案。它的优势是：
- 不用采购任何物理设备，即开即用。
- 不用担心数据量膨胀的时候无法扩展。
- 只需要开发业务逻辑，其他部署、运行、监控都交给TOD
MTA是腾讯云分析是专业的移动应用数据运营平台，支持iOS和Android。开发者可以方便地通过嵌入统计SDK，实现对移动应用的全面监测，实时掌握产品表现，准确洞察用户行为。腾讯云分析的优势：
- 实时多维：多维度交叉分析，运营有的放矢
- 用户画像：用户的兴趣，年龄，性别，职业尽在掌握
- 云发布：一键发布数十个Android应用市场
- 秒级实时：秒级实时，即时捕捉瞬息万变
- 运维监控：实时监控耗时，错误，放心运维
- 游戏模型：针对手游玩家的生命周期分析
CSDN：开发中遇到了那些坑，你是怎么迈过去的？使用什么样的硬件资源支撑了这个平台？
蒋杰：坑确实有不少，影响最大的主要有三个：
1、 腾讯数据量“大”的坑：腾讯的用户和产品数量都比较多，数据量大，数据分析的复杂度高，对底层技术平台的要求自然很高。如此大量的数据和复杂分析，每天要 高效、稳定的在我们的数据平台上运行，对我们的平台技术提出了很大挑战。我们在系统的容灾、监控、问题处理与恢复方面做了大量工作，以确保系统不会出现问 题，或者是在做重大变更时，对业务的影响要尽可能的少。为了达到这个目标，在设计系统时，我们要做到无单点故障，所有的模块都是分布式的，我们现在基本上 都做到了。
2、开源软件的坑：为了构建多样化的平台，我们也积极吸收开源软件进行快速原型搭建，但是真正在用的时候，会发现很多问题，有的问题可能只有腾讯这样的数 据规模才能遇到。我们过去几年，花费了大量的人力物力，修复开源软件中的bug，优化它的性能，并基于腾讯的业务特点进行定制。
3、成本的坑：当我们的大数据系统逐渐成熟好用时，业务的数据存储和计算需求也开始暴增，随之而来的平台的成本压力也非常大。平台在过去几年做了大量优化 成本的工作，包括差异化压缩、使数据相对文本有20倍的压缩比、引入hadoop Raid技术、使用估值算法代替精确计算节省计算资源等，使整个平台的单位成本大幅度下降。
我们的硬件采用公司定制的PC Server，规模超过8000台。每台配备2T*12 STAT硬盘、64GB内存和双路32核CPU。需要提到的是，我们硬件资源是通过GAIA调度系统管理的，TDW、TRC等系统不直接申请硬件机器资源，而是向GIAI申请需要的CPU、内存等资源。
CSDN：对你们来说，目前面对的最大挑战是什么？
蒋杰：对我们来说最大的挑战更多的是在技术层面，我们必须快速跟上，还要力争引领技术的更新和换代，以应对互联网业务的飞速变化，还有对于大数据日渐深入的应用带来的更高要求，未来相信大数据的技术能力对于业务发展的影响会越来越大。
我 们的定位始终是以支持公司内部的业务为主，但逐步把我们的大数据能力开放给社会服务于更多的人也是我们的责任，所以在市场方面我们的挑战其实不是来自于商 业层面，而是如何能让开放的覆盖面更广，让更多人分享我们提供的大数据服务，所以如何找到更多用户的痛点，如何让我们的服务更好地适配更多的用户需求，这 是我们持续面对的一项挑战！
另外随着大数据在社会各行各业的影响越来越广泛深入，国家也开始对于大数据的相关政策给予更多的关注，我们一方 面会在这些政策制定的过程中贡献自己的经验和建议，同时也会积极响应和配合国家一些相关政策进行落地执行。目前来看政策的制定只是让大数据发展的步伐走得 更稳健更安全，短期来看也许会让我们在应用大数据的产品模式上放慢一些探索的步伐，长期来说相信不会对大数据的发展带来太大的挑战。
原文链接：http://www.csdn.net/article/2014-09-01/2821448
