最近几年,全球的数据量出现爆炸式增长,大数据存储需求发生了很大变化。数据量的大小由TB级增长至PB级,并仍在不断增长,企业日益将数据的深度分析作为利润增长的支撑点。随着社会的发展,各行业、各领域的数据量都会不断地增长,数据量的急剧增长不断对存储系统提出挑战,云平台下的大数据存储成为未来数据存储的发展趋势。
东方金信是一家专注于大数据平台和大数据解决方案的国内领先企业,公司潜心研发云平台技术,目前已经初见成效,东方金信自主研发的海盒大数据平台已经可以部署在云平台之上。东方金信研发的云海盒大数据平台可以为客户组织数据整合、组织数据与互联网数据融合创新提供平台支撑,平台具有强大的大数据处理能力,部署完毕的海盒大数据云平台数据中心包括底层物理资源、虚拟资源以及云管理平台,具备强大的计算能力、存储能力和数据吞吐能力,可按照用户的特定需求和应用场景提供不同应用所需的定制化资源,并自动管理和动态分配、部署、配置及回收资源,可与用户已有软硬件进行整合,从而有效解决过去资源利用率低、响应效率低、业务连续性低等诸多问题。
云环境下大数据信息安全的现状
云平台下大数据存储属于云计算和大数据的基础支撑设施,发展空间巨大。云环境下的大数据存储作为基础设施需求迫切。随着云存储概念的不断普及与推广和技术的不断突破,国内外越来越多的研究单位和研究人员投入到云存储的研究与开发工作。
但是,大数据安全存储系统目前还几乎没有成熟产品,存储效率低和安全性差是现阶段云环境下大数据存储的主要问题。在涉密信息系统内,存储系统由于保存了大量涉密信息,是保密的重要环节,如果存储系统不能保证安全性,会严重影响云环境的安全保密性。
在互联网环境中,数据的泄露和破坏会对企业造成重大损失,如何实现大数据的安全存储一直是亟待解决的问题。随着大数据存储技术的发展,人们已经开始意识到数据安全的重要性。因此,云环境下大数据存储的研究很有必要也很有意义:
1、建设云环境下的大数据存储系统是国家涉密信息安全的重要保证,面对迅速增长的大数据存储市场,数据安全性也成为用户关注热点,国内市场中包括用户和各大IT企业都开始逐渐重视数据信息的安全,特别是政府、军工行业,对于数据的绝对安全有着极为严格的要求。
2、建设云环境下的大数据存储系统是满足市场存储需求的措施。
3、建设云环境下的大数据存储系统有助于国家信息安全战略的实施。
目前,市场上的存储产品没有统一的安全标准,存在着严重的安全问题,用户管理与身份验证强度较弱,且缺少数据隔离、数据流向控制甚至行为审计等功能,无法适应高安全信息系统对数据安全的趋势要求,因此制定存储性能及安全性标准,实现云环境下大数据存储的规范管理的工作势在必行。
云平台下海盒大数据安全管理技术
海盒大数据云平台在构建初期就非常重视数据安全的重要性,海盒大数据云平台用到了多种安全机制和措施,依靠软件+硬件结合的方式来设计,确保数据安全,主要分为网络安全和数据安全两大类。
信息作为一种资源,对每个公司都有重要的意义,信息安全的实质就是要保护信息系统或信息网络中的信息资源免受各种类型的威胁、干扰和破坏,即保证信息的安全性,随着数据不断的增多,网络安全显得越来越重要,海盒大数据云平台在基础软硬件设施建设、网络攻击监测、防护等方面做了努力之外,还提供多种网络安全机制,防止网络攻击,保障数据访问安全性:,
1. 防火墙的应用
防火墙的组成部分是硬件与软件,是一种介于网络外部与内部之间的保护屏障,可对内部网络的非法入侵进行保护,网关主要是服务访问规则、验证的工具、过滤等,安装后,计算机中的网络信息都需从防火墙中经过。在这个信息传输过程中,网络中所有信息访问均受防火墙监控,防火墙可对非法访问进行阻断,以确保内部网络业务不受侵害,一旦网络数据受到攻击,防火墙可及时将警报发出,并予以相应处置。
2. 入侵检测的应用
入侵检测是近年来对大数据信息安全进行管理时常用的技术,即在网络、主机、服务器中对相关数据进行搜集,随后进行分析与判断,对违背安全协议是否出现进行明确。入侵检测技术可对网络的异常行为进行监视,并以系统策略为依据,对入侵、非入侵行为进行判断,属于防火墙的一种补充,可与防火墙相互协助,共同应用入侵攻击,使信息管理有效性增强。
3. 入侵容忍技术
入侵容忍指的是系统、网络受到攻击后者有错误出现时,仍然可对部分甚至全部功能提供服务,使其继续运行。网络受到入侵,已经有故障发生时,在一段时间内,此技术可使网络或系统任务继续完成。
大数据云平台除保证网络安全之外,平台本身的数据安全也得保证,海盒大数据云平台设计之初就考虑到数据安全的重要性,平台采用多种安全机制来确保数据安全:
1. 身份认证:
海盒大数据云平台支持对用户进行身份认证,它作为一个独立的身份认证服务,可以为平台中的其它服务提供身份认证功能,且支持SSO(即客户端身份认证后,可以访问多个服务如HBase/HDFS等)。从而进行更严格的管理认证用户(组)的访问控制。支持LDAP来管理账号体系,使用Kerberos客户端使用LDAP中的账号信息作为身份信息进行身份认证,对存放在HDFS和HBASE中的数据根据认证用户(组)进行访问控制。
2. 数据加密:
在海盒大数据云平台上,用户可以根据实际需求选择对敏感的字段进行加密。即使数据库文件被非法复制或者存储文件丢失,也不会导致真实敏感数据的泄露。用户可以利用加密机制把存储在HDFS和HBASE中的数据进行加密,并通过图形化界面管理加密秘钥。
3、颗粒化的权限管理:
在海盒大数据云平台中,admin可以通过图形化界面创建和更新策略,对集群数据根据操作类型进行颗粒化的权限控制管理,这些策略存储在策略数据库中,针对数据库进行数据表、数据字段及数据行级别的管控。每个组件内的Plugins会定期轮询这些策略,平台根据策略信息进行用户访问权限的判定用户的权限。
在云平台不断发展的大背景之下,东方金信通过对数据安全框架的研究,从多个方面分析了各领域的研究内容,大大增强了云平台下信息传输的安全。此外海盒大数据云平台还实现自动化和智能化,方便了用户使用;提高了存储效率,通过虚拟化技术解决了存储空间的浪费;实现了规模效应和弹性扩展,降低运营成本,避免资源浪费。随着研究的不断深入,我们相信在这一领域的发展将会越来越好,为云存储的技术做一份贡献,云存储技术在各个领域应用也会不断增强。