您现在的位置是:主页 > 品牌 > 百度 >
阿里云以377秒的速度高效整理100TB数据,超越三星和百度!
发布时间:2015年10月28日 17:50:10 百度 人已围观
简介Sort Benchmark在官方网站上发布了2015年排序竞赛的最终成绩。阿里云以仅377秒的成绩完成了100TB的数据排序,创下了新纪录,超越了Apache Spark的23.4分钟。这一成绩展示了阿里云在数据处理...
今天,新标360快讯在其官网上发布了2015年排序竞赛的最终结果。其中,阿里云以仅377秒的时间成功完成了100TB的数据排序,创造了比Apache Spark的23.4分钟更快的纪录。Sort Benchmark被誉为全球科技公司的“计算奥林匹克”,而之前Hadoop的最快纪录则是72分钟。
据悉,Sort Benchmark的排序竞赛包括四个项目,其中GraySort和MinuteSort主要衡量计算系统的规模和效率,因而被视为最具权威性的两个项目。每项比赛又分为日常排序(Daytona)和专用排序(Indy)两大类。阿里云的飞天分布式计算系统在这两项关键比赛中刷新了所有四项世界纪录。
GraySort主要评估超大规模数据排序的效率,而飞天以377秒处理100TB数据,意味着其每分钟可排序15.9TB数据,而去年Apache Spark的成绩仅为4.35TB/分钟。在MinuteSort中,飞天在1分钟内完成了7.7TB数据的排序,去年的冠军三星为3.7TB。
阿里云首席架构师唐洪指出,排序是基础计算问题中的一个核心挑战。100TB排序涉及将1万亿条随机的100字节记录,严格按照从小到大的顺序排列,这考验着分布式系统中存储、调度和通信等各个子系统的性能,能够真实反映平台的整体计算能力。GraySort和MinuteSort这两项赛事充分展示了阿里云在计算能力上的核心实力。
据了解,Sort Benchmark是一家专注于排序基准评估的非盈利组织,每年举办国际级排名评估比赛,被视为计算领域的奥林匹克赛事。全球顶尖科技公司及学术机构都会带上最新研究成果参赛,以检验其研究成果的水平。
排序大赛官方网站公布的结果:http://sortbenchmark.org/