大数据平台性能测试启动,顶级厂商即将亮剑

习近平总书记在网络安全和信息化工作座谈会上说,互联网核心技术是我们最大“命门”。数据中心联盟致力于搭建平台,精准对接技术需求和供给,以标准和评测为抓手,持续推动我国大数据核心技术和关键产品不断成熟。

性能测试,业内顶级厂商即将亮剑

从2016年7月20日开始,包括华三、腾讯云、东方金信、星环信息科技、百分点在内的5家厂商的大数据产品将在中国信息通信研究院提供的32台服务器集群进行性能专项测试。在未来的一个多月时间里,他们将在统一的环境中进行产品性能的PK,高难度的任务,TB级别以上的数据规模,严格限定的测试周期,代表了国内大数据产品测试的巅峰之战。

本次性能专项测试是对数据和负载进行多个维度的全面分析后,抽象出的领域内典型算法及频繁出现的基本操作单元,并基于此构建的评测规范。测试规范结合了数据的类型,选取多样的真实数据集,提取真实数据的特性,用数据生成工具进行扩展。在负载选择方面,全面考虑了各种复杂的负载类型,权衡各类型负载所占据的比例,包括离线分析、交互式分析、机器学习和NoSQL这四种类型,同时对于每个负载支持Hadoop和Spark两种实现方式。数据中心联盟计划在今年9月1日召开的可信云大会发布此次性能测试结果。

权威认证,为大数据产品制定标准和规范

大数据产品能力认证是由工业和信息化部指导、数据中心联盟组织实施,包括大数据产品基础能力和性能两项。联盟经过近两年的努力,组织业界专家,制定了一套大数据产品能力标准,从功能完备性和性能来全面评估大数据平台产品。在标准的制定过程中不断深挖行业需求,快速迭代,通过测试活动帮助厂商不断提高技术水平,促进全行业技术进步。认证体现出权威、客观、严谨的特点。从权威性来讲,数据中心联盟中的大数据发展促进委员会联合了业内顶级大数据企业一起来制定产品的评测标准,从需求、功能到具体的测试用例均由用户、行业专家和企业方共同提出。从先进性和全面性来看,该项认证是国内第一次从基础能力和性能两个方面考察大数据商业化软件产品平台综合能力的活动。从严谨性来说,认证包括完整的现场测试流程和评审流程,测试需要在现场检查组件、环境、过程、结果。评审引入企业互评、客户专家和学术专家的评审等环节,更严格,更客观。通过认证将优秀的产品筛选出来,以指标的方式暴露给用户来方便用户选型,为大数据平台设定技术基准。


早在2014年6月,数据中心联盟就开始联合业内20多家企业启动了大数据平台基准测试标准的制定,力图以标准化与测试为纽带,将应用与技术,用户与厂商有机联系起来,牵引我国大数据技术水平不断提升,帮助企业解决大数据技术和产品评估、选型、使用等难题。联盟于2015年1月底发布了《大数据平台基准测试》的技术要求和测试方法,这是国内第一个面向商用大数据产品的评测标准。同年5月至7月,受到数据中心联盟委托,中国信息通信研究院组织相关领域专家开展了大数据商业产品的第一批测试。测试吸引了中移(苏州)软件技术有限公司的BC-Hadoop、华为技术有限公司的FusionInsight、星环信息科技(上海)有限公司的Transwarp Hadoop、上海UCloud信息科技有限公司的UDDP、中兴通讯股份有限公司的GoldenData等厂商的参加。软件产品在中国信息通信研究院提供的16台服务器进行测评,云服务则在UCloud提供的公有云环境中进行评测。

这次测试是业界第一次商用大数据软件平台测试活动,也是第一次多任务负载的大数据测试。测试是在统一环境要求、统一数据规模、统一任务负载和统一测试周期的条件下进行的。在2015年可信云大会上,数据中心联盟正式发布了测试结果,披露了部分测试数据。测试内容包含性能、容错性、安全与运维等方面,考验参测企业在限定时间内完成环境安装、平台部署和性能调优的综合能力。此外中国信息通信研究院还与华为在200台服务器单集群上进行了预测试,这是国内第一次在大规模节点上进行的测试,为正式开展大规模集群测试工作积累了宝贵经验。

留下评论

您的电子邮箱地址不会被公开。

16 − 6 =