- 相關(guān)推薦
存儲架構(gòu)體系發(fā)展在電信支撐系統(tǒng)中的應(yīng)用
磁盤存儲器經(jīng)過多年發(fā)展，在容量、速度及體系架構(gòu)方面都有很大發(fā)展，從目前電信運營商支撐系統(tǒng)的現(xiàn)狀來看，主流還是SMP/NUMA存儲，但在電信運營商互聯(lián)網(wǎng)化的進(jìn)程中，MPP存儲應(yīng)用可能會越來越廣泛。
一、存儲器發(fā)展簡述
存儲與主機(jī)分離的概念顛覆了傳統(tǒng)的DAS模式，存儲子系統(tǒng)從原來的計算系統(tǒng)中分離出來形成一個獨立的子系統(tǒng)，存儲和主機(jī)間通過高速網(wǎng)絡(luò)互聯(lián)。同時隨著網(wǎng)絡(luò)共享應(yīng)用的持續(xù)增長和網(wǎng)絡(luò)文件共享協(xié)議的成熟，文件服務(wù)器作為一種獨立的NAS存儲器也走向了市場。
二、存儲體系架構(gòu)的發(fā)展
存儲本質(zhì)上也是計算機(jī)，影響計算機(jī)行業(yè)快速發(fā)展、頻繁更新?lián)Q代的最重要的部件是CPU。計算機(jī)體系架構(gòu)中一個很重要的部分就是如何讓多個CPU一起協(xié)同工作，而且性能能夠成倍提高。
結(jié)合到存儲行業(yè)來講，主機(jī)主要負(fù)責(zé)信息的快速處理，而數(shù)據(jù)存儲和數(shù)據(jù)保護(hù)等工作漸漸被轉(zhuǎn)移到存儲器上。歸根到底存儲器的功能還是儲存和保護(hù)被主機(jī)處理過的信息，其主要的設(shè)計思想應(yīng)該是著重于在接收到主機(jī)的信息后做到以下幾點：高性能的IO響應(yīng)能力、高可靠性、可管理性和其他數(shù)據(jù)保護(hù)功能(如容災(zāi)、克隆、快照等)。
存儲器比較學(xué)術(shù)的一種分類方法是根據(jù)其體系架構(gòu)進(jìn)行分類。(1)低端的基于陣列控制卡技術(shù)的存儲器。(2)中端的基于簡單群集技術(shù)的模塊化存儲器。(3)高端存儲器現(xiàn)在有兩種方向，一種是基于統(tǒng)一大緩存scale-up架構(gòu)多處理器(SMP)存儲器;另外一種是分布式緩存多處理器scale-out架構(gòu)的存儲器。
三、scale-up架構(gòu)多處理器存儲介紹
此類存儲通�？梢韵戎慌渖倭康那岸酥鳈C(jī)接口卡、后端磁盤接口卡或者核心控制卡，在升級擴(kuò)容時在通過靈活添加相關(guān)接口卡來提升各個部分的性能從而達(dá)到存儲器整體性能的提升，這種設(shè)計思路稱為scale up縱向擴(kuò)展大存儲器的設(shè)計思路。
存儲器從雙控制器集群發(fā)展到高端陣列，為了滿足性能需求，需要用到多個控制器，把數(shù)量超過兩個以上的多控制器組合起來協(xié)同工作。這種把多路CPU組合在一起工作的設(shè)計方式在計算機(jī)體系結(jié)構(gòu)里稱為共享存儲對稱多處理機(jī)系統(tǒng)(SMP)架構(gòu)。SMP架構(gòu)的特點包括：(1)對稱共享存儲：系統(tǒng)中任何處理器均可直接訪問任何存儲模塊中的存儲單元和I/O模塊聯(lián)接的I/O設(shè)備，所有內(nèi)存地址單元統(tǒng)一編址。(2)單一的操作系統(tǒng)映像：全系統(tǒng)只有一個操作系統(tǒng)駐留在共享存儲器中。(3)局部高速緩存Cache及其數(shù)據(jù)一致性：每個處理器均配備局部Cache，但是這些數(shù)據(jù)必須保持與存儲器中數(shù)據(jù)是一致的。(4)低通信延遲：各個進(jìn)程通過讀/寫操作系統(tǒng)提供的共享數(shù)據(jù)緩存區(qū)來完成處理器間的通信。(5)共享總線帶寬：所有處理器共享總線的帶寬，完成對內(nèi)存模塊和I/O模塊的訪問。
四、分布式緩存多處理器scale-out架構(gòu)的存儲器
Scale out體系架構(gòu)是指基于橫向擴(kuò)展的體系架構(gòu)的思路，即整個系統(tǒng)一開始由一個節(jié)點構(gòu)成，隨著業(yè)務(wù)需求的增加，通過把更多的節(jié)點添加進(jìn)去，把多臺小計算機(jī)(節(jié)點)通過一個快速的通道技術(shù)/或外部網(wǎng)絡(luò)連接起來，這樣就形成一臺可以做到線性擴(kuò)展的超大型計算機(jī)設(shè)備，這種思路在服務(wù)器體系架構(gòu)中叫做scale out，即橫向擴(kuò)展。(1)傳統(tǒng)的存儲陣列相當(dāng)于老式機(jī)頭牽引的火車。存儲控制器：1個或2個火車頭，代表性能與冗余性;每節(jié)車廂只代表容量;對于較短的火車，火車頭會過度配置;添加車廂過載亦會超過功率極限。(2)新架構(gòu)的Scale Out存儲相當(dāng)于高鐵和諧號。每節(jié)車廂同時代表容量和性能;如果一節(jié)車廂的引擎出現(xiàn)故障，其它車廂不會受到影響;添加車廂即同時擴(kuò)展性能;組合功能整體上仍是一列火車。
Scale-Out具體又可再細(xì)分成兩類架構(gòu)，一種是分布式緩存但統(tǒng)一編址的NUMA架構(gòu)，另一類產(chǎn)品線是每個節(jié)點各自管理控制器內(nèi)部緩存的MPP架構(gòu)。
五、Scale-Out架構(gòu)分支一：NUMA架構(gòu)
在前述SMP架構(gòu)中，整個系統(tǒng)相當(dāng)于一臺大型計算機(jī)，所有的處理器P/C訪問內(nèi)存SM的速度和延遲都是一致的。由于總線和交叉開關(guān)工藝終將會碰到難于擴(kuò)展的問題，因此其上端的處理器的數(shù)量以及下端的緩存模塊的數(shù)量和容量也會碰到擴(kuò)展性的問題。這些擴(kuò)展性的問題在早期并不明顯，因為存儲器容量或者處理能力不夠時，用戶可以再新增購買，但在今天整個IT架構(gòu)對于存儲器的容量、處理能力以及擴(kuò)展性都提出了更大的挑戰(zhàn)，因此就出現(xiàn)了另外一種設(shè)計思路，即拋開設(shè)計一臺超級大計算機(jī)的思路，而是把多個存儲節(jié)點(引擎)通過一個快速的通道技術(shù)連接起來，仍然采用統(tǒng)一內(nèi)存編址設(shè)計，這樣就形成一臺可以做到線性擴(kuò)展的架構(gòu)。
具備這種設(shè)計思想稱為分布共享存儲多處理機(jī)系統(tǒng)架構(gòu)DSM，又稱為CC-NUMA架構(gòu)(高速緩存一致性非均勻存儲訪問，ccNUMA，Cache-Coherent Non-Uniform Memory Access)，如圖1所示。
NUMA架構(gòu)的特點：
(1)每個處理器都有自己的內(nèi)存LM，本質(zhì)上就是1臺的計算機(jī);(2)這些處理器之間通過一個快速的定制網(wǎng)絡(luò)互聯(lián)起來;(3)各個處理器之間的內(nèi)存/緩存LM統(tǒng)一編址，即虛擬分布共享內(nèi)存體系DSM;(4)通過在定制網(wǎng)絡(luò)范圍內(nèi)添加更多的處理器芯片和LM緩存等模塊，從而方便的擴(kuò)展整個存儲系統(tǒng)，即scale out橫向擴(kuò)展。
六、Scale-Out架構(gòu)分支一：MPP架構(gòu)
NUMA架構(gòu)可以理解成將多個SMP進(jìn)行松一點的耦合，即多個SMP之間通過快速交換通道互聯(lián)，每個SMP都有各自自己的內(nèi)存，一個SMP內(nèi)部的CPU訪問自己的內(nèi)存時與之前沒什么兩樣，但是要訪問其他SMP處的內(nèi)存，就需要走交換通道。所以，NUMA通過犧牲了內(nèi)存訪問的時延來達(dá)到更高的擴(kuò)展性。SMP和NUMA架構(gòu)同一臺機(jī)器內(nèi)都使用單一操作系統(tǒng)。但是由于NUMA訪問遠(yuǎn)端內(nèi)存時的時延問題，擴(kuò)展到達(dá)一定規(guī)模時，NUMA架構(gòu)下的效率也不能隨著CPU數(shù)量的增加而線性增長，但是要好過SMP。 而MPP實質(zhì)上是將許多獨立的主機(jī)使用外部網(wǎng)絡(luò)來組成一個集群。每個節(jié)點都有各自的CPU、內(nèi)存、IO總線和操作系統(tǒng)。整個系統(tǒng)屬于最松散的耦合，各個節(jié)點運行大范圍并行化的程序。MPP的效率隨節(jié)點數(shù)量的增長表現(xiàn)為線性關(guān)系。MPP相當(dāng)于把內(nèi)存、把操作系統(tǒng)強(qiáng)制分開，把程序架構(gòu)也強(qiáng)制改變以保持海量計算下的效率線性增長。
MPP體系架構(gòu)特點包括：(1)由數(shù)百個乃至數(shù)千個計算結(jié)點和I/O結(jié)點組成，通過高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接。(2)每個結(jié)點相對獨立，并擁有一個或多個微處理器(P/C)。(3)MPP的各個結(jié)點均擁有不同的操作系統(tǒng)映像。(4)各個結(jié)點間的內(nèi)存模塊相互獨立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址。
七、電信支撐系統(tǒng)對于存儲架構(gòu)的選擇
面對同樣的預(yù)算區(qū)間，電信支撐系統(tǒng)是選擇傳統(tǒng)scale up高端陣列，還是新型scale out架構(gòu)的高端陣列，其實這是一個辯證的問題。在服務(wù)器領(lǐng)域，通常會根據(jù)應(yīng)用系統(tǒng)的特點不同，選擇基于scale up架構(gòu)的服務(wù)器(如數(shù)據(jù)庫服務(wù)器)，或者基于scale out架構(gòu)擴(kuò)展的服務(wù)器(如應(yīng)用服務(wù)器)。
特定場景下，由于單路I/O就可能導(dǎo)致整個MPP集群中的磁盤資源全部牽動(每磁盤同一時刻只能執(zhí)行一個I/O)。然后在多路大塊連續(xù)I/O并發(fā)的情況下，反而效率很差(比如多流大塊連續(xù)地址I/O);而某些特定場景下，多路I/O之間牽制很少，則表現(xiàn)出線性增長的性能(比如小塊高隨機(jī)I/O)。這也可以類比為將一個程序并行分解成多個執(zhí)行顆粒(類比為高隨機(jī)I/O)，顆粒間的關(guān)聯(lián)性越少，則并行執(zhí)行的效率越高。所以MPP自身為Share-Nothing架構(gòu)，那么運行在它上面的程序顆粒之間最好也Share-Nothing。因此MPP架構(gòu)可廣泛用于互聯(lián)網(wǎng)運營商的底層Key-Value分布式數(shù)據(jù)庫，在高隨機(jī)小塊讀訪問場景下能獲得巨量的性能以及線性的效率-擴(kuò)展曲線。
【存儲架構(gòu)體系發(fā)展在電信支撐系統(tǒng)中的應(yīng)用】相關(guān)文章：
流媒體系統(tǒng)架構(gòu)的應(yīng)用06-20
高校數(shù)字廣播系統(tǒng)架構(gòu)與應(yīng)用06-17
企業(yè)應(yīng)用系統(tǒng)架構(gòu)優(yōu)化方法06-17
IMS系統(tǒng)中PCC架構(gòu)及引入06-20
數(shù)字化校園應(yīng)用系統(tǒng)架構(gòu)05-10
紅帽認(rèn)證體系架構(gòu)介紹03-29
智慧健康系統(tǒng)架構(gòu)05-15
秒殺系統(tǒng)架構(gòu)分析05-18