大規(guī)模存儲(chǔ)系統(tǒng)可靠性參數(shù)最優(yōu)化分析

　　摘 要：在大規(guī)模的存儲(chǔ)系統(tǒng)中，數(shù)據(jù)的可靠性變得越來(lái)越重要，過(guò)往的研究大多數(shù)都是在已知的系統(tǒng)規(guī)模下，分析基本的系統(tǒng)參數(shù)，但較少考慮它們的最優(yōu)組合。本文將簡(jiǎn)要分析大規(guī)模存儲(chǔ)系統(tǒng)的可靠模型下，各個(gè)系統(tǒng)參數(shù)的最優(yōu)值及它們組合在一起的最優(yōu)值，促進(jìn)更可靠的大規(guī)模存儲(chǔ)系統(tǒng)的發(fā)展。

　　關(guān)鍵詞：大規(guī)模存儲(chǔ)系統(tǒng) 最優(yōu)值 可靠性參數(shù)

　　當(dāng)前，很多依托大規(guī)模存儲(chǔ)技術(shù)的實(shí)際應(yīng)用已經(jīng)出現(xiàn)在互聯(lián)網(wǎng)搜索、電信通訊、科學(xué)實(shí)驗(yàn)等領(lǐng)域之中。在大規(guī)模存儲(chǔ)技術(shù)的實(shí)際運(yùn)用中，許多研究都在關(guān)注數(shù)據(jù)的可靠性問(wèn)題。為了克服應(yīng)用中的局限，就要針對(duì)實(shí)際需求和相關(guān)參數(shù)來(lái)構(gòu)建可靠的存儲(chǔ)系統(tǒng)，這對(duì)于存儲(chǔ)系統(tǒng)的實(shí)際應(yīng)用有重要意義。

　　一、大規(guī)模存儲(chǔ)系統(tǒng)可靠性參數(shù)概況

　　大規(guī)模的存儲(chǔ)系統(tǒng)一般都是由相應(yīng)的存儲(chǔ)節(jié)點(diǎn)的集群構(gòu)成，其中每一個(gè)存儲(chǔ)節(jié)點(diǎn)都相應(yīng)配備有內(nèi)存、CPU及磁盤，其中較為有代表性的系統(tǒng)主要是NASD、FAB及GFS等。大規(guī)模存儲(chǔ)系統(tǒng)應(yīng)用與實(shí)際的一個(gè)主要趨勢(shì)是很多應(yīng)用都需要存儲(chǔ)WORM數(shù)據(jù)，即Write Once Read Many類型數(shù)據(jù)，也被稱作“寫一次讀多次”數(shù)據(jù)。磁盤寬帶自身的增長(zhǎng)速度要遠(yuǎn)遠(yuǎn)低于磁盤本身空間的增長(zhǎng)速度，因此大規(guī)模存儲(chǔ)系統(tǒng)一般具有很高的故障率，需要較長(zhǎng)的時(shí)間才可以恢復(fù)，這就需要為WORM數(shù)據(jù)建構(gòu)可靠的大規(guī)模存儲(chǔ)系統(tǒng)。

　　當(dāng)前關(guān)于數(shù)據(jù)可靠性的研究顯示，復(fù)制冗余機(jī)制是一種被廣泛應(yīng)用的防止數(shù)據(jù)丟失的有效技術(shù)，在實(shí)際操作系統(tǒng)中，操作人員在其中部署了多樣的副本分布策略，比如在RAID中的PTN、在GFS中的RANDOM。操作人員對(duì)這幾種主要策略進(jìn)行分析，研究它們對(duì)系統(tǒng)可靠性的影響，在具體的研究分析中，假設(shè)有n個(gè)不同的對(duì)象，把這些對(duì)象都存儲(chǔ)于N個(gè)節(jié)點(diǎn)上，每一個(gè)對(duì)象都有K個(gè)副本，每一種副本的放置用來(lái)表示存儲(chǔ)節(jié)點(diǎn)和副本之間的關(guān)系。第一種策略是PTN，它將所有的對(duì)象副本進(jìn)行分組，再將每一組放置在K個(gè)節(jié)點(diǎn)上，PTN主要應(yīng)用于Coda及RAID;第二種策略是RANDOM，它將所有副本隨機(jī)分散到各個(gè)節(jié)點(diǎn)上，主要應(yīng)用于GFS、RIO、FARSITE等;還有一種策略是Q-rot，它將所有的存儲(chǔ)節(jié)點(diǎn)分成了K個(gè)站點(diǎn)，每一個(gè)站點(diǎn)都是其他對(duì)應(yīng)站點(diǎn)的副本。存儲(chǔ)系統(tǒng)的設(shè)計(jì)者在根據(jù)需求確定了系統(tǒng)的規(guī)模以后，往往難以確定其他相關(guān)的系統(tǒng)參數(shù)，這樣就會(huì)給構(gòu)建可靠安全的系統(tǒng)帶來(lái)一系列問(wèn)題。因此，將相應(yīng)的可靠性參數(shù)進(jìn)行優(yōu)化分析是必要的。

　　表1：主要系統(tǒng)參數(shù)表

　　參數(shù) 定義 默認(rèn)值

　　N 總節(jié)點(diǎn)數(shù) 變量

　　B 網(wǎng)絡(luò)帶寬 變量

　　m 單個(gè)節(jié)點(diǎn)的存儲(chǔ)評(píng)價(jià)對(duì)象個(gè)數(shù) 變量

　　b 單個(gè)節(jié)點(diǎn)上IO帶寬 變量

　　K 每個(gè)對(duì)象的副本數(shù) 3

　　S 數(shù)據(jù)總量 1PB

　　s 單個(gè)對(duì)象的平均大小 S/(N×m)

　　n 不同對(duì)象的總數(shù) N×m/K

　　ni 獨(dú)立對(duì)象數(shù)目 N/K

　　二、大規(guī)模存儲(chǔ)系統(tǒng)可靠性參數(shù)的最優(yōu)化分析

　　2.1 數(shù)據(jù)可靠性的概念

　　數(shù)據(jù)可靠性一般指丟失的第一個(gè)存儲(chǔ)對(duì)象的前一個(gè)存儲(chǔ)系統(tǒng)可以提供相應(yīng)服務(wù)的時(shí)間。存儲(chǔ)對(duì)象的可靠性是單個(gè)對(duì)象的所有副本集體丟失的平均用時(shí)，一般用MTTDL0來(lái)表示，MTTDL0主要受對(duì)象的恢復(fù)速度和對(duì)象的自身故障率的影響。這里面，對(duì)象恢復(fù)速度受對(duì)象自身的平均大小影響，對(duì)象故障率受磁盤故障率的影響。

　　2.2 Markov可靠性模型

　　Markov可靠性模型也被稱作馬爾可夫模型，可以綜合分析系統(tǒng)的可恢復(fù)性及其脆弱性，在可靠性分析方面具有很強(qiáng)的功效性，這種模型可以很好地描述對(duì)象副本的運(yùn)行故障及具體恢復(fù)過(guò)程。Markov可靠性模型替換掉了以前模型中的故障節(jié)點(diǎn)方面的細(xì)節(jié)，著重研究的是在假設(shè)的平均故障節(jié)點(diǎn)數(shù)的時(shí)候，對(duì)象的相關(guān)恢復(fù)情況。

　　2.3 進(jìn)行可靠性參數(shù)最優(yōu)化分析的相關(guān)工作

　　在大規(guī)模的存儲(chǔ)系統(tǒng)中，數(shù)據(jù)的可靠性是無(wú)法被忽視的一個(gè)重要問(wèn)題。在存儲(chǔ)規(guī)模達(dá)到更大的時(shí)候，系統(tǒng)的故障率就會(huì)增高，相應(yīng)的恢復(fù)速度就成為了一個(gè)關(guān)鍵因素，如何在RAID的基礎(chǔ)上，提高數(shù)據(jù)的可靠性，成為了研究人員的工作重點(diǎn)。下面簡(jiǎn)單介紹幾種參數(shù)最優(yōu)化分析的相關(guān)工作。

　　第一，研究怎樣在RAID之間和RAID內(nèi)部實(shí)現(xiàn)良好的分布式恢復(fù)，但很少關(guān)注分布的策略對(duì)于恢復(fù)速度的具體影響。有的研究分析了在運(yùn)行的副本系統(tǒng)中單個(gè)對(duì)象自身的可靠性，但沒(méi)有考慮到恢復(fù)帶寬的因素。

　　第二，有的研究指出了分布策略，還利用了用于節(jié)點(diǎn)恢復(fù)的馬爾可夫模型，對(duì)影響系統(tǒng)可用性的具體因素進(jìn)行了分析，主要分析的是具體的訪問(wèn)模式和讀寫模式如何對(duì)系統(tǒng)產(chǎn)生影響。

　　第三，還有很多相關(guān)研究是關(guān)于大規(guī)模存儲(chǔ)系統(tǒng)的可用性，而不是可靠性。比如研究廣域網(wǎng)中不同的副本在分布策略方面的多對(duì)象可用性;利用動(dòng)態(tài)副本的分布策略來(lái)提高系統(tǒng)整體可用性;隨機(jī)分布策略對(duì)分布式的存儲(chǔ)系統(tǒng)可用性的影響和作用等。

　　要想系統(tǒng)分析可靠性參數(shù)的最優(yōu)化，要在兩個(gè)方面進(jìn)行突破。第一，提出一個(gè)全新的基于研究對(duì)象本身的馬爾可夫模型，基于馬爾可夫模型量化分析在系統(tǒng)的規(guī)模已知的具體情況下，三個(gè)最常用的副本放置策略當(dāng)中，系統(tǒng)參數(shù)對(duì)于可靠性的影響。這些系統(tǒng)參數(shù)主要有對(duì)象總數(shù)、存儲(chǔ)節(jié)點(diǎn)總數(shù)，磁盤的帶寬等，相比于過(guò)去很復(fù)雜的模型，馬爾可夫模型規(guī)模較小、簡(jiǎn)潔直觀，以自身小規(guī)模的狀態(tài)來(lái)進(jìn)行矩陣轉(zhuǎn)換，易于求解。此外，還便于研究者獲得綜合性很強(qiáng)的結(jié)果。第二，在研究過(guò)程中，提出一個(gè)“兩階段”的分析過(guò)程。其中，第一階段以固定其他相應(yīng)參數(shù)為前提，對(duì)各個(gè)參數(shù)的影響進(jìn)行獨(dú)立分析，找出相對(duì)來(lái)說(shuō)最為精確的最優(yōu)值。第二階段在所有的參數(shù)都可以進(jìn)行變化的前提條件下，通過(guò)對(duì)它們復(fù)雜綜合的影響進(jìn)行分析，進(jìn)而得到參數(shù)的最優(yōu)組合。

　　三、結(jié)語(yǔ)

　　大規(guī)模的存儲(chǔ)系統(tǒng)在運(yùn)行中會(huì)面臨很多的問(wèn)題和挑戰(zhàn)，想要讓數(shù)據(jù)更加的可靠和精確，就要注意分析相應(yīng)的可靠性參數(shù)，對(duì)其進(jìn)行有效的整合和優(yōu)化。這樣，才能讓系統(tǒng)運(yùn)行的更有效率，最大程度的發(fā)揮自身的功效和作用。

　　參考文獻(xiàn)：

　　[1]章宏?duì)N，薛巍.集群RAID5存儲(chǔ)系統(tǒng)可靠性分析[J].計(jì)算機(jī)研究與發(fā)展，2010(04).

　　[2]鄭勝，李通.一種應(yīng)用于大規(guī)模存儲(chǔ)系統(tǒng)的數(shù)據(jù)分布算法[J].計(jì)算機(jī)科學(xué)，2013(S2).