您现在的位置是:主页 > 品牌 > 阿里巴巴 >
飞天大数据计算平台:十年前开始的技术革命之路
发布时间:2019年07月25日 22:40:49 阿里巴巴 人已围观
简介7月25日,阿里云在上海峰会上正式推出飞天大数据平台。这一平台是中国唯一自主研发的计算引擎,并且是全球规模最大的集群计算平台。目前,飞天大数据平台的扩展能力已达到10万台...
7月25日,阿里云峰会在上海举行,阿里云的飞天大数据平台正式亮相。据悉,这是中国唯一自主研发的计算引擎,并且是全球集群规模最大的计算平台。
根据数据显示,飞天大数据平台现已扩展至10万台计算集群,在全球范围内居于首位。同时,数据处理量从2015年的100PB、2016年的180PB、2017年的320PB,直至2018年超过600PB,在短短三年内实现了五倍的增长。
在民生服务方面,阿里云的飞天大数据平台正在默默提供便捷的电子服务,通过“最多跑一次”和城市大脑等应用,帮助政府优化服务模式,实现更智能、便捷的服务能力,并确保信息的安全。
例如,过去申请新生儿出生证需要跑5个窗口,花费2天的时间,而今只需在手机上简单填写9项信息便可办理;而看病时曾需排队支付多次费用,现在则可看完病后再付款……这样的便利场景越来越多地在各城市中实现,背后正是飞天大数据平台的支持。
以浙江为例,飞天大数据平台与“最多跑一次”综合了与市民日常事务紧密相关的100个事项和超过70亿条数据,让有些政务服务甚至能让市民一次都不需到场。
特别是在杭州,城市大脑已经能够实时调度1300个红绿灯路口和200多名交警。自2016年以来,杭州在全国拥堵城市榜单中的排名提升了52名。
据了解,阿里云飞天大数据平台的研发源于阿里自身的实践经历。
十年前,互联网行业蓬勃发展,中小企业在阿里电商平台上迅速成长,产生了海量数据,直接导致传统IT架构的崩溃。
面对这种情况,多数企业选择使用国际开源的数据计算框架Hadoop,而当时全球的数据库几乎都为Oracle,阿里也有亚洲最大的Oracle集群,计算规模达数百TB。但是经过激烈讨论后,阿里决定开发自主的平台。
在此期间,Google、亚马逊AWS和微软等硅谷巨头也积极投身于大数据技术的研发。
早在2012年初,阿里巴巴技术委员会主席王坚就指出:“从战略上讲,阿里云追求的目标实际上可以看作是超越Amazon和Google的愿望。将单一集群扩展到数千乃至更多,这是国家和企业竞争力的体现。阿里巴巴必须攻克这一技术难关。”
过去十年,飞天大数据平台已经创下了多个世界纪录:
2013年,首次突破单集群内5000台服务器同时计算的限制,目前单集群规模已超过1万台;
2015年,成功打破计算界的SortBenchmark四项世界纪录,用时不到7分钟完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的历史纪录。
Forrester发布的《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告显示,阿里云的MaxCompute、DataWorks、ADB等三款产品成功入选,并在产品功能(Current Offering)方面超越微软。