e-works数字化企业网  »  文章频道  »  基础信息化  »  存储

闪存阵列:极速响应,激发数据价值

2017/8/4    来源:e-works    作者:e-works吴丽萍      
关键字:存储  闪存阵列  
闪存阵列主要是为了解决高IPOS和低延时的问题,针对海量数据中心业务,应用系统数据访问频度分布均匀,对IO性能要求很高,或者大规模应用整合后带来的高IO性能要求。

 

    六、企业级闪存阵列关键技术
 
    (一)自动精简配置(Thin provisioning)
 
    自动精简配置是一项新的容量分配的技术,不会一次性的划分过大的空间给某项应用,而是根据该项应用实际所需要的容量,多次的少量的分配给应用程序,当该项应用所产生的数据增长,分配的容量空间已不够的时候,系统会再次从后端存储池中补充分配一部分存储空间。自动精简配置可以提供的主要优势在于提高存储空间的整体利用率,自动精简配置,有时也被称为”超额申请“,是一中重要的新兴存储技术。
 
    自动精简配置软件无需提前分配用不到的磁盘容量,所有存储利用率更高。自动精简配置正日益成为目前所有类型的存储系统的一个标准特性,无论它们是全闪存、混合或者基于硬盘驱动器。自动精简配置在应用程序需要的时候动态地分配存储系统的存储容量。在全闪存阵列中,自动精简配置应该被视为一项必需的特性。
 
    自动精简配置的好处主要体现在以下两个方面:
 
    1、第使用自动精简配置可以提高存储的利用率。
 
    2、使用自动精简配置可以更有效地进行容量规划。
 
    值得注意的是自动精简配置并非都相同,厂商使用不同的技术来提供自动精简配置,效果如何在很大程度上取决于它们对底层的存储进行虚拟化的能力。自动精简配置对于基于闪存的系统是一项关键的特性。在选购闪存阵列时,应该寻找内置自动精简配置的存储系统,而不是事后增加。这些系统需要提供精细级别的存储分配,为的是不需要撤销过度分配的容量、浪费容量并导致性能问题。
 
    (二)重复数据删除(De-duplication)
 
    重复数据删除是一种压缩技术,通过识别重复内容,进行去重,并在对应的存储位置留下指针,来最小化数据量。这个指针通过给定大小的数据模式进行哈希创建。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。
   
    重复数据删除技术可以带许多实际的利益,主要包括以下诸多方面:
 
    1、 满足ROI(投资回报率)/TCO(总持有成本)需求;
 
    2、可以有效控制数据的急剧增长;
 
    3、增加有效存储空间,提高存储效率;
 
    4、节省存储总成本和管理成本;
 
    5、节省数据传输的网络带宽;
 
    6、节省空间、电力供应、冷却等运维成本。
 
    重复数据删除的基本方法有三种。
 
    1、基于散列(hash)的方法,将这些进行备份的数据流断成块并且为每个数据块生成一个散列(hash)。基于散列(hash)的方法存在内置的可扩展性问题。
 
    2、基于内容识别的重复删除,这种方法主要是识别记录的数据格式。
 
    3、Diligent Technologies用于其ProtecTier VTL的技术,它像基于散列(hash)的产品那样将数据分成块,并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较,以判断该数据块是否已经被备份。
 
    (三)数据压缩
 
    数据压缩(Compression)是指在不丢失有用信息的前提下,缩减数据量以减少存储空间,提高其传输、存储和处理效率,或按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间的一种技术方法。数据压缩包括有损压缩和无损压缩。
 
    全闪存阵列可通过线内压缩提供数倍于以前的可用容量。集群可高效地提供PB级规模的闪存。通常数据缩减(线内消重加线内压缩)比率为5:1或6:1。进一步降低成本以及占地空间、电源与散热需求。此外,具有硬件加速功能的实时压缩提高数据存储的经济性。
 
    大数据与海量数据已经成为数据中心的主要业务,而重复数据删除与压缩是可以节约大量数据存储的技术,不仅能够更好地利用昂贵的闪存资源,而且也比较容易实现。只有备份还不够。重复数据删除与压缩即将成为主存储的必备功能。
 
    (四)快照
 
    SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。

    随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,在过去十年时间中,快照已经成为存储阵列的标准配置功能。越来越多的设备都开始支持快照功能,各自快照技术的优势并不相同,有的是快照数量多,有的是占用空间小。而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。
 
    快照有三种基本形式:基于文件系统式的、基于子系统式的、基于卷管理器/虚拟化式的。
 
    快照技术的作用:主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。
 
    因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。快照在备份、数据保护过程中发挥着越来越大的作用。
 
    存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。
 
    冷快照拷贝:进行冷快照拷贝是保证系统可以被完全恢复的最安全的方式。
 
    暖快照拷贝:暖快照拷贝利用服务器的挂起功能
 
    热快照拷贝:在这种状态下,发生的所有的写操作都立即应用在一个虚硬盘上,以保持文件系统的高度的一致性。
 
    (五)迁移
 
    数据迁移(Migration)又称分级存储管理,hierarchical storage management,hsm)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的 数据按指定的策略自动迁移到磁带库(简称带库)等二级大容量存储设备上。当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说,上述数据迁移操作完全是透明的,只是在访问磁盘的速度上略有怠慢,而在逻辑磁盘的容量上明显感觉大大提高了。
 
    高效的数据迁移策略是将非活动数据从昂贵的存储层移动到相对便宜的存储层,过去大多数数据迁移的方法都极其繁琐,并且IT专业人员认为管理这些数据的投入和收益不成比例。最近这几年有了改变,在新型的存储阵列上,不同存储层之间的数据迁移已经变得非常容易实现和管理。通常简化数据迁移的关键步骤就是引入混合存储系统。这类存储系统会在系统内部移动数据,典型的操作就是把数据从小容量的闪存层移动到大容量的硬盘层。
 
    数据迁移的实现可以分为3个阶段:
 
    1、数据迁移前的准备:由于数据迁移的特点,大量的工作都需要在准备阶段完成,充分而周到的准备工作是完成数据迁移的主要基础。
 
    2、数据迁移的实施:数据迁移的实施是实现数据迁移的3个阶段中最重要的环节。
 
    3、数据迁移后的校验:数据迁移后的校验是对迁移工作的检查,数据校验的结果是判断新系统能否正式启用的重要依据。
 
    数据迁移可以采取不同的方法进行,归纳起来主要有三种方法:系统切换前通过工具迁移、系统切换前采用手工录入和系统切换后通过新系统生成。
 
    (六)加密
 
    数据加密(encryption)目前仍是计算机系统对信息进行保护的一种最可靠的办法。它利用密码技术对信息进行加密,实现信息隐蔽,从而起到保护信息的安全的作用。
 
    数据存储加密技术的目的是防止在存储环节上的数据失密,数据存储加密技术可分为密文存储和存取控制两种。前者一般是通过加密算法转换、附加密码、加密模块等方法实现;后者则是对用户资格、权限加以审查和限制,防止非法用户存取数据或合法用户越权存取数据。
 
    我们所能常见到的主要就是磁盘加密和驱动级解密技术:
 
    1、全盘加密技术是主要是对磁盘进行全盘加密,并且采用主机监控、防水墙等其他防护手段进行整体防护,磁盘加密主要为用户提供一个安全的运行环境,数据自身未进行加密,操作系统一旦启动完毕,数据自身在硬盘上以明文形式存在,主要靠防水墙的围追堵截等方式进行保护。该加密技术的主要弊端是对磁盘进行加密的时间周期较长,项目的实施周期也较长,用户一般无法忍耐;
 
    2、驱动级技术是信息加密的主流技术,采用进程+后缀的方式进行安全防护,用户可以根据企事业单位的实际情况灵活配置,对重要的数据进行强制加密,大大提高了系统的运行效率。驱动级加密技术与磁盘加密技术的最大区别就是驱动级技术会对用户的数据自身进行保护,驱动级加密采用透明加解密技术,用户感觉不到系统的存在,不改变用户的原有操作,数据一旦脱离安全环境,用户将无法使用,有效提高了数据的安全性;另外驱动级加密技术比磁盘加密技术管理可以更加细粒度,有效实现数据的全生命周期管理,可以控制文件的使用时间、次数、复制、截屏、录像等操作,并且可以对文件的内部进行细粒度的授权管理和数据的外出访问控制,做到数据的全方位管理。驱动级加密采用进程加密技术,对同类文件进行全部加密,无法有效区别个人文件与企业文件数据的分类管理,个人电脑与企业办公的并行运行等问题。

责任编辑:吴丽萍
本文为e-works原创投稿文章,未经e-works书面许可,任何人不得复制、转载、摘编等任何方式进行使用。如已是e-works授权合作伙伴,应在授权范围内使用。e-works内容合作伙伴申请热线:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐