温馨提示

1、交易前请仔细核实商家真实资质,勿信夸张宣传和承诺。如发现非法商家,欢迎广大网民举报,举报电话:4000-999-800。

2、该信息由列表网网友发布,其真实性及合法性由发布人负责,列表网仅引用以供用户参考,详情请阅读列表网免责条款。

3、在签订合同或相关协议之前,任何要求预付定金、汇款等方式均存在风险,谨防上当受骗!

详情描述

大数据,这个词越来越热,很多人都在谈大数据,其实很多张口闭口大数据的人,或许都不知道数据是如何产生、传递、存储、运算到应用的。其实我一直感觉大数据这个东西有时候真的不是一般企业可以玩的溜的,特别是随着传统业务增长放缓,以及移动互联网时代的精细化运营,对于大数据分析和挖掘的重视程度高于以往任何时候,如何从大数据中获取高价值,已经成为大家关心的焦点问题。

腾讯业务产品线众多,拥有海量的活跃用户,每天线上产生的数据超乎想象,必然会成为数据大户,为了保证公司各业务产品能够使用更丰富优质的数据服务,腾讯的大数据平台做了哪些工作?具备哪些能力?记者采访到了腾讯数据平台总经理蒋杰,他将给大家揭秘腾讯的大数据平台!建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值蒋杰(腾讯大数据团队使命)

CSDN: 首先还是请蒋总介绍一下自己和你的职业生涯。

蒋杰:我是蒋杰,目前是腾讯数据平台部的负责人。我的第一份工作其实并非在互联网行业,而是在传统IT行业工作了五年。随着互联网在中国的爆发,我也从传统IT行业转移到了阿里巴巴,在那里的五年也是我在互联网行业起步和成长的五年。之后有机会与腾讯结缘,对我来说也是进一步提升和发挥的机会,于是就举家由杭州南迁到深圳工作至今了!


Gaia的目标是实现更高效的资源调度, 基于Yarn的通用资源调度平台,提供高并发任务调度和资源管理,实现集群资源共享、可伸缩性和可靠性,不仅可以为MR等离线业务提供服务,还可以支持实时计算,甚至在线service业务。Gaia 技术特点:

强扩展性:支持单cluster万台规模 (已达到6000节点,14w+核,1250个pool)

高调度吞吐:毫秒级的下发效率(App并发3.5k,Container匹配时间0.2ms)弹性内存管理相结合充分利用整机资源多维度资源管理:新增Network IO、Disk IO等资源管理维度,提升了隔离性丰富的用户api:为业务提供更便捷的容灾、扩容、缩容和升级等方式建立“on Gaia”生态圈:支持storm、spark、MR等各种应用 开户