首页 / 冬装搭配 / 里德所罗门纠错算法,里德-所罗门纠错算法

里德所罗门纠错算法,里德-所罗门纠错算法

“宇宙巨大,粒子微小,火箭的速度,化学工程的独创性,地球的变化,生命的奥秘,日常物体的复杂性。数学无处不在。”

2012年,吴军博士主编的《数学之美》一书成为中国畅销书。本书更清晰地解释了高级数学原理,使非专业读者也能理解数学。吴军博士在书中解释说,著名计算机科学家Randy Katz发明了RAID(独立磁盘冗余阵列)系统,RAID技术为商业存储系统的高性能和可靠性奠定了基础。是。

RAID的核心思想是利用纠错码(EC)灵活配置数据冗余,以保持存储系统的高性能和可靠性,同时提供优于多副本技术的优势在于提供存储利用率。

纠删码和里德所罗门码:随着云计算的发展,云计算能力的快速增长,以及5G和AI应用的兴起,将大量数据移至云端并进行管理已是不可逆转的趋势。变得。传统企业存储通过云存储系统已经从TB级别转移到EB级别(1EB=1,000,000 TB)。在云存储发展初期,由于技术能力有限,各云存储厂商主要采用多副本的方式。云存储系统的空间利用率仅为33%,业界通常采用EC方式来降低成本。

图1:Reed-Solomon码公式

传统的EC(Erasure Code)纠错码采用Reed-Solomon码(简称RS码),在云存储系统中的应用如下:

云存储(主要是公有云对象存储系统)中的每个存储单元(单个硬盘或存储节点)都可以视为一个纠删码存储池,以N+M的格式存储对象,其中N是对象的数据分片。 M是奇偶校验片),将对象分割成N个数据片和M个奇偶校验片。

以6+3 EC为例

N+M比例越高,空间利用率越高,同时系统吞吐量优于3副本(或多副本)。因此,EC技术在云存储领域得到广泛应用。

然而,传统的EC机制在公有云场景中面临以下挑战:

1、在对象大小不确定的云存储场景下,需要进行零填充和填充计算,浪费存储空间,成本高。

2. 如果不进行补零,则需要多次重写以保证EC成员组的原子性。这会增加系统复杂性、降低吞吐量、需要更快的CPU 和更大的网络带宽,并增加存储成本。

3、另外,还有一个办法就是增加缓存层,避免EC时单元不满的问题。首先以三副本的形式写入高性能SSD层,然后计算并移动到HDD层。 EC 单元满后。这种离线EC方法的缺点如下。

a) 额外的SSD层,成本高。

b) 连续写入对SSD可靠性提出挑战。

c) 数据移动消耗大量内部带宽。

4.传统EC中,对于大多数N+M(例如20+3),如果发生节点/介质故障,需要读取大量数据片和检查片进行数据重建,这可能会导致突发;系统性能下降。

综上所述,衡量采用EC的数据存储系统的优缺点,可以从以下几个角度综合考虑:

高效的空间利用率:系统能够稳定提供的空间利用率。对于给定的N+M,空间利用率是恒定的。

高效的写入性能:无论业务层如何变化,或者对象大小如何变化,写入带宽、IOPS等都应该保持恒定。

高效的重建性能:系统重建需要最少的IO带宽,占用最少的跨AZ/DC网络带宽。

华为曾在其官方媒体上发表文章《基础研究与基础教育是产业诞生和振兴的根本》,以官方公告的形式阐述基础研究特别是数学研究对产业发展的贡献,并得出“数学是解锁一切的工具”的结论。 ”

数学是华为不断前进的指导原则,也是华为云真正的“核心”力量。

点击下方“了解更多”,了解华为云对象存储服务OBS。

本文来自网络,不代表服装搭配_服装搭配的技巧_衣服的穿配法_服装搭配网立场,转载请注明出处:https://www.fzdapei.com/335100.html
上一篇
下一篇

为您推荐

返回顶部