腾讯打破2016 Sort Benchmark 4项纪录,98.8秒完善100TB数据排序

作者:admin   发布时间:2021-08-30 18:36   浏览:
正文

11月10日,具有计算奥运会之称的Sort Benchmark全球排序竞赛公布2016年最后收获,腾讯云大数据说相符团队用时不到99秒(98.8秒)就完善100TB的数据排序,打破阿里云往年创造的329秒的纪录。在更早前,百度创造的纪录是716秒,Hadoop的纪录是4222秒。

在这次竞赛中,腾讯云数智分布式计算平台,夺得Sort Benchmark大赛GraySort和MinuteSort的冠军,统统创造四项世界纪录,将往年阿里云的纪录团体挑高2倍到5倍。腾讯名列全球大数据***梯队领军企业,这也是全球大数据性能进化史的主要里程碑。

每年全球***公司和学术机构都会来参添该赛事,以评估柔硬件体系架构能力及***钻研收获。这项赛事包括四项比赛,腾讯云大数据说相符团队参添的是含金量***的GraySort和MinuteSort两项排序竞赛,重点评测大周围分布式体系的柔硬件架构能力及平台的计算效果,以上两项比赛均包括Indy(专用主意排序)和Daytona(通用主意排序)两个子项。数智一举夺得上述四个子项的冠军,总体将往年的纪录挑高2倍到5倍。

GraySort竞赛比拼的是如何在最短的时间内,将统统100TB,统统1万亿条无序的100字节纪录,顺遵命幼到大的挨次进走排序。数智用时98.8秒完善100TB的数据排序,即每分钟完善60.7TB的数据排序,往年冠军的纪录为18.2TB/分钟。MinuteSort竞赛,比拼的是在1分钟之内能够完善众幼批据量的排序。数智的收获为1分钟完善55TB的排序,往年冠军的纪录是11TB,数智将这一数据量升迁5倍。Sort Benchmark经过排序竞赛考量一家公司或机构大周围计算能力的综相符实力,经过排序这个最基本的计算题目,不光周详评测分布式体系柔件架构能力(如海量数据分布式存储、计算义务切片调度、节点通信调和同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。在这次排序竞赛中,腾讯云大数据说相符团队在基础架构上采用了512台IBM的OpenPOWER服务器和迈络思公司的100Gb互联技术,这也让腾讯云大数据产品的性能取得进一步升迁。

腾讯云副总裁、腾讯数据平台部总经理蒋杰外示,全球企业正在进入企业数据和社会数据的全融相符时代,从众多的大数据中追求新营业航向,甚至竖立崭新的商业模式,正在成为这个时代企业的生存和发展***,腾讯云周详盛开腾讯18年海量大数据处理经验,为企业在最短的时间内,用最少的资源挑供精准的计算,竖立中央商业竞争上风。

此次参赛的腾讯云大数据说相符团队由腾讯云存储产品中央、腾讯数据平台部构成,这个团队在大数据技术和行使管理上有专门雄厚的实践经验,尤其是腾讯数据平台部不息在管理的腾讯大数据集群,是世界上***的大数据集群之一。此前,这个团队不息苦练内功,众年技术积累让他们在全球计算奥运会上取得专门瞩主意收获。

在对微信每天160亿级别的众维分析场景中,数智能够做到6秒返回效果;数智是腾讯云在互联网海量数据处理经验之上,结相符开源Hadoop生态和自研组件服务,对外挑供的一站式数据分析与发掘平台,已在当局、传统企业和互联网企业中被深度行使。

业妻子士评价,今年评测的效果表现,腾讯在大数据的技术积累超出了业界想象,异日腾讯不息向中国企业输出大数据和云计算能力,将会让中国更大周围的参与全球的商业竞争,升迁中国经济在全球经济的市场占据率。

Sort Benchmark排序竞赛官网公布的效果:http://sortbenchmark.org/

热点文章
近期更新
友情链接

Powered by 国色天香社区视频高清 @2018 RSS地图 HTML地图