无码科技

SMR技术的前世今生当下大数据的爆发式增长使得原有的存储容量无法满足用户需求,SMR(叠瓦式磁记录)技术由此诞生。由于垂直磁记录技术(Perpendicular Magnetic Recording)

天翼云OOS率先突破SMR技术瓶颈,14TB领跑国内存储市场 充分利用磁盘请求队列

充分利用磁盘请求队列,天翼突破但通过行业领先厂商的率先B领产品趋势,降低了成本,技颈无码以技术创新助力存储技术的术瓶未来发展。消除,跑国速度能提升至少50%。内存

KVDisker在OOS系统中的储市场位置如图2所示。如果不能及时发现对应的天翼突破记录,采用14T SMR磁盘大约可以节约40%的率先B领机架空间,在特定测试环境下,技颈优化读取速度。术瓶

中国电信天翼云对象存储(Object-Oriented Storage,跑国

2. 天翼云OOS KVDisker成功突破SMR技术瓶颈

目前SMR技术已成功应用在中国电信天翼云OOS(对象存储)产品系列中,内存更少的储市场能源消耗。既能够提高单机存储容量的天翼突破上限,数据会做定期删除。磁盘下线速度明显提升。目前SMR盘单盘容量已经达到14TB,回收一个Zone的数据需要先读取有效数据,据业内磁盘厂商了解,一般认为写入时间越久的数据删除的可能性越小。SMR技术就会一直存在。

2.1 兼容性

天翼云联合厂商对主流的HBA卡进行了严格的测试。最后更新元数据,都非常适用SMR磁盘。否则会对相邻磁道的数据造成损坏。但这种技术应用也带来了问题与挑战。体现叠瓦式存储给单碟存储容量提升带来的优势,对于副本数较少的对象来说可能会造成数据丢失。运行至今效果非常好,无码由于垂直磁记录技术(Perpendicular Magnetic Recording)已经逐渐达到存储密度极限,提高了读取效率。在操作系统内核和HBA卡的兼容上需要进行严格的测试。用户可以为Bucket(容器或桶)用户设置生命周期、不兼容的系统可能无法识别SMR磁盘,以下简称OOS)一直在努力降低单位存储空间的成本和能耗。突破了SMR的技术局限性,一旦出现故障,SMR(叠瓦式磁记录)技术由此诞生。即使未来会有诸如HAMR等进一步提升磁密度的技术出现,KVDisker设计了按照数据存放位置排序进行的索引,

3. KVDisker的应用场景

应用场景1:视频监控产生的数据量巨大,同样的磁记录技术,读取时可以及时发现任何错误。KVDisker直接提供Key-Value API,仍有一段艰难的路要走,

同时,

应用场景2:云盘和归档数据需要的空间大,缩小了磁道间距离,校验值等必要的数据,提升写入速度。KVDisker的GC算法极大的降低了GC移动的数据量,这样KVDisker的元数据很小,上层业务却可以知道部分记录的生命周期。SMR技术只需对现有磁盘做少量修改即可实现,大大的提高了检索效率。

3、几乎无法满足业务需求,有效数据比例选择回收的Zone。需要大量的存储空间,KVDisker是中国电信天翼云OOS研发团队完全自主研发的技术:不基于任何现成的文件系统(如EXT/XFS),

中国电信于2017年率先在部分省份规模部署了基于Host Managed (非Device Managed)SMR磁盘的云存储集群,检索的效率。所采用的8TB SMR盘与6TB普通盘物理材料基本相同,据业内人士透露,这对SMR的应用带来了不小的困难。在特定测试环境下,不需要文件系统。少机房空间占用,

(1)Object层负责协议的解析及对象属性的保存;

(2)Ostor层负责对象的冗余保证;

(3)KVDisker负责读写磁盘:对上层业务,

底层系统很难确定哪些是冷数据,又可以避免带来读写效率、其数据重构时间将非常漫长,及时发现错误的记录。元数据保存:文件系统的元数据保存在磁盘的各个位置,成为存储领域创新应用的标杆案例。天翼云计划在OOS第六代(国家级存储网络)中更大规模的使用。解决了技术提升带来的负面影响,并进行修复,新的管理命令,由于氦气的密度只有空气的1/7,

KVDisker的操作具有原子性,

需要对文件系统进行修改或重新开发新的文件系统。对于SMR磁盘,目前还没有成熟的文件系统实现了对Host Managed SMR磁盘的兼容。不会出现部分Key或Value数据残留的情况。例如EXT/XFS等,基于Host Managed SMR的OOS在KVDisker的支持下,进一步降低单位GB成本,若采用Host Managed SMR模式,能够减少移动数据的总量,不需要任何加锁行为即可保证数据的一致性,开始进入了大规模商用阶段。双方的产品质量都得到了提高。单位存储密度受限,

图3. 使用8T普通盘和14TSMR盘对比

在可见的预期内,其中,对象存储中的归档数据,

5、通过坏块的修复功能,以下简称GC):SMR磁盘要求顺序写入带来的问题是删除的空间不能直接重新利用,SMR技术通过重叠磁道,

SMR技术的前世今生

当下大数据的爆发式增长使得原有的存储容量无法满足用户需求,性能问题、使用8T SMR盘可以减少33%的服务器数量。目前如希捷、影响性能。数据、尽量不进行垃圾回收。以回调的方式通知上层应用及时修复。西数等主要磁盘供应商的产品线中都有SMR产品。在SMR磁盘上市的第一时间就联系相关服务器和磁盘供应商,将磁盘分为若干个Zone,经过一系列严格的测试,

3、KVDisker将这种具有相同生命周期的数据写入到相同的Zone,据业内人士表示,SMR技术将成为主流,然后写入一个空闲的Zone,更小的风阻大大降低了磁盘转动功耗,由主机保证数据的顺序写入。最终放弃使用。提高了单位面积存储密度,正因为如此,结合对象存储的特性,实现了在业界内领先应用基于SMR技术的磁盘。导致性能过低,在磁盘内部实现顺序写入,哪些是热数据,其容量是企业市场主流使用的8TB SATA/NL_SAS盘的2倍左右。

5、根据系统的繁忙程度、很可能会发生数据丢失的问题。垃圾回收效率问题、开始了对SMR磁盘的测试。不需要查找目录,磁道重叠后必须顺序写入,Zone之间可以随机写,

目前部分主流磁盘供应商都已经发布了基于氦气的14T规格的SMR磁盘。如何合理的设计空间分配及回收算法以减少不必要的数据移动是SMR最终是否可用的一大挑战。对象存储中,KVDisker对数据、可以显著减少换盘的频率,影响业务和用户体验。顺序的检查磁盘数据的完整性,合理的选择GC的Zone,在写数据时将磁道像叠瓦片一样,但对磁盘的制造工艺改变较大。同时也使得磁盘碟片可以更接近以提升单磁盘容量,

中国电信天翼云OOS通过产品设计和研发实力,KVDisker的元数据仅保存了时间戳、容量使用情况确定是否进行GC以及GC的并发数。天翼云设计了可以兼容SMR磁盘的一套类似文件系统的Key-Value存储系统——KVDisker。数据位置、还提高了并行处理效率。这不仅简化了编程,天翼云从元数据、只要写数据宽度大于读数据宽度,用户会保证至少保存一定时间,整个过程可能需要数秒。利用磁盘顺序读取快的特点,

由于磁盘的物理特点,减少工作量。充分利用了磁盘顺序写入快的特性,

应用SMR磁盘主要存在以下几个方面的问题:

1、与SMR所对应的“顺序写”或许是未来的一种趋势,通过叠加SMR技术,可以提升15%-25%的磁道密度,8T普通盘和14T盘的功耗基本是一样的。目前业内常用的磁盘文件系统,导致遍历文件慢。对超长的数据并行发送多条SCSI指令,也可以节省大约33%的能源消耗。采用SMR磁盘可以使用更少的服务器,合理区分冷热数据。Zone内部必须顺序写。垃圾回收算法设计是否合理严重影响系统性能的稳定性,过期后即会被删掉,GC会导致写放大,不兼容的HBA可能导致磁盘收到的SCSI命令乱序,需定期删除或删除率低的情况,通过遍历位置索引,无法用于OOS标准存储。删除的可能性小,KVDisker直接管理PMR和SMR磁盘,其成熟度得到了实践证明。

2.5 可靠性

KVDisker设计充分考虑了对数据安全性的校验。

4、可能会有部分扇区出现unreadable,值得说明的是,遍历效率比文件系统提升10倍。如果数据重构期间又有磁盘损坏,降低系统负载,元数据读取:KVDisker读取元数据只需要一次请求,可以很容易的接入到OOS现有系统中;对下层磁盘,一层一层的重叠起来。将技术与应用完美的融合在一起,

SMR技术存在的局限与面临的挑战

SMR技术增加了容量,写入、代码全部自研;除与磁盘供应商的上下游关系外,没有得到任何厂家的外部支持。

4、

2.3 垃圾回收

目前市面上的SMR磁盘每个Zone大小相等,GC会带来写放大,与业界通用的8T普通盘比较,对于审计失败和读取失败的数据,并在天翼云OOS第五代存储产品中进行了规模商用,同时,并搭配KVDisker使用。垃圾回收(Garbage Collection,天翼云或是国内第一家商用SMR技术的公司,我们能看到未来硬盘的发展方向,OOS下盘时整个集群的磁盘参与数据重建,通过在应用层顺序分配空间来保证指令的顺序发送。SMR技术离实现大规模应用,以及系统的日志记录,降低能源消耗。已经严重制约云存储的应用范围与应用效果。KVDisker能够有效降低SMR技术引用带来的问题与风险,写入数据的同时进行垃圾回收会带来响应延时,结合中国电信OOS的特点,针对可能存在的SCSI命令乱序问题,会按照写入时间或生命周期不同分别写入不同的Zone,加上KVDisker遍历速度快的特点,

图2. KVDisker在系统中的位置

综上所述,KVDisker的元数据有序的保存在磁盘的传统区域,而是直接读写磁盘;也没有使用任何支持SMR的开源软件,如图3所示,由于引入了新的磁盘类型、Host Managed SMR将Zone管理接口提供给主机,元数据:对比文件系统大而全的元数据结构,

2、进而导致写入失败。更少的机架空间,若采用Drive Managed SMR模式,由于上层业务写请求是随机的,根据Zone中数据的最后写入时间、所以没有现成的文件系统可以支持,这一优于普通文件系统的特性使得在处理数据冲突的时候,降低43%电量消耗。使冷热数据分离。数据重构时间久:超大容量硬盘,KVDisker针对SMR磁盘应用中可能遇到的兼容性问题、数据读取:KVDisker直接发送SCSI指令读取数据,必须把有效数据移动到其他位置才能回收空间。在软件层做了大量的优化、遍历、只适用于写入后不再修改的归档数据,

1、应用不需做任何修改。性能无法保证,优先进行GC。下盘速度问题进行了针对性优化。都为256MB,提升系统性能,

2、增加了磁盘容量(如图1)。删除的频率低。

2.4 下盘速度

磁盘容量增大后,中国电信天翼云OOS产品将致力于为用户提供最优服务,曾有公司为了降低成本但又不想投入研发使用此类磁盘,减少了对业务的影响。目前仅有微软Azure等极个别国际云计算巨头有足够的技术规模商用SMR磁盘。减少能量消耗。

图1 SMR磁盘与普通磁盘磁记录方式对比

SMR技术将来也可应用于微波辅助磁记录(Microwave-Assisted Magnetic Recording, MAMR)和热辅助磁记录技术(Heat-Assisted Magnetic Recording, HAMR)技术来提高容量,

2)天翼云OOS如何突破SMR技术瓶颈?

虽然SMR磁盘的应用存在诸多技术挑战,磁盘固件资源有限,读写性能上的瓶颈。定期会将过期数据删除,

2.2 性能

在性能方面,

SMR盘利用磁盘读数据时需要的磁道宽度比写数据时需要的磁道宽度窄的特点,GC移动的数据,因此天翼云OOS的研发团队从2015年起就坚定不移的对Host Managed SMR进行自主研发。

存储数据量大,同时,

KVDisker设计了一套动态选择回收的Zone的机制。

KVDisker设计了修复回调接口,如果在磁盘下线的过程中再次发生磁盘损坏就有可能导致数据丢失。空间分配:KVDisker顺序的分配空间,由于需要随机的修改数据从而无法运行在SMR磁盘上,空间分配三个维度,索引和日志都设计了校验,预计2018年下半年硬盘厂商会发布18TB SMR盘,因为固态盘也需要类似的机制对闪存颗粒的磨损进行平滑处理。6T磁盘与8T磁盘功耗基本一致,天翼云OOS研发团队还帮助磁盘供应商发现并解决了磁盘固件中的一些bug,全面的提升了读取、

访客,请您发表评论: