主存储系统上的数据缩减技术:重复数据删除

日期: 2011-05-30 作者:W. Curtis Preston翻译:胡寅寅 来源:TechTarget中国 英文

文件级别的重复数据删除。采用文件级别的重复数据删除系统会检查文件系统,从而查找两个文件之间是否完全一致。如果它找到两个完全一致的文件,其中之一会被指向另一个文件的链接所替代。这项技术的优点是在访问速度上没有变化,因为文件并不需要在呈现给使用者之前压缩或者重新组合;只是指向相同的数据的两个不同链接。

主要缺点是该技术显然不能取得和压缩或者子文件级别的重复数据删除相同的缩减率。   子文件级别的重复数据删除。子文件级别的重复数据删除与用于备份的hash算法重复数据删除技术非常类似。它把所有的文件分解为段或者块,然后将所有的这些块运行一个加密hash算法生成一个数字,该数字与系统中所能看到的所有其他块……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

文件级别的重复数据删除。采用文件级别的重复数据删除系统会检查文件系统,从而查找两个文件之间是否完全一致。如果它找到两个完全一致的文件,其中之一会被指向另一个文件的链接所替代。这项技术的优点是在访问速度上没有变化,因为文件并不需要在呈现给使用者之前压缩或者重新组合;只是指向相同的数据的两个不同链接。主要缺点是该技术显然不能取得和压缩或者子文件级别的重复数据删除相同的缩减率。

  子文件级别的重复数据删除。子文件级别的重复数据删除与用于备份的hash算法重复数据删除技术非常类似。它把所有的文件分解为段或者块,然后将所有的这些块运行一个加密hash算法生成一个数字,该数字与系统中所能看到的所有其他块所生成数字相对比。如果两个块产生了同样的hash数字,那么其中一个块会被删除,并被替换成一个指向另一个相同块的指针。

  根据数据的不同种类,子文件级别的重复数据删除能够大幅缩减数据量。使用该技术达到最大的压缩率的一般是虚拟系统镜像,特别是虚拟桌面镜像文件。达到75%或者90%的数据缩减率在这种环境下并不奇怪。在其他环境中,数据的缩减取决于用户创建相同的文件的程度。有些用户,例如,在他们的home目录下面存放了他们文件的多个版本。他们到了一个点就保存文件,然后又一次保存该文件使用不一样的名称。这样,他们知道不管他们怎么做,都可以回退到上一个版本。但是这样的方法会导致单个文件的很多个版本,通常用户很少回退并删除更老的文件版本。很多用户也会和他们的同事一样下载相同的文件,并存放到他们自己的home目录中。这些活动能够解释为什么子文件级别的重复数据删除在一个通常的用户home目录下也工作地很好。

  子文件级别的重复数据删除优势在于它会找到所有相同的数据,而不管数据是如何保存的。而缺点在于该技术相对月工作在较小级别上的压缩技术而言,它是工作在一个更大的级别上。举例来说,它也许会识别8KB大小的数据块,但是一个好的压缩算法会使用4KB大小的段。这也是为什么一些数据缩减系统在使用某种数据缩减技术的同时要使用压缩。

  总的来说,每一种主数据存储缩减技术都有它各自的优点和缺点,没有哪个比其他更好。合适的技术取决于你独特的数据存储环境,以及这些数据缩减技术如何使用到你的环境中。

作者

W. Curtis Preston
W. Curtis Preston

TechTarget存储执行编辑

相关推荐

  • 小企业电子邮件归档方案分析

    小企业电子邮件归档解决方案的选择需要谨慎考虑。本文你将学会如何寻找电子邮件归档工具,以及云计算的出现如何能作为可选的电子邮件归档解决方案。

  • 专家手把手教你如何选择备份

    本文专栏作家Brien Posey先生以Q&A的形式与助理编辑John Hilliard交流了一些适用于小型企业备份的各种方案,以及各自的优缺点。您可以直接听原音频或查看下文。

  • 五步更好管理企业数据

    考虑到不断膨胀的信息数量以及它所代表的潜在危险,一旦信息不受保护,各机构团体要怎样才能掌控它?

  • 小型企业如何以低预算处理海量数据

    目前,我们正处在一个数据暴增的时代,许多小型企业由于没有相应地提高IT预算,而对海量数据带来的挑战显得力不从心。