1. <pre id="tnv9a"><abbr id="tnv9a"></abbr></pre>

    <bdo id="tnv9a"></bdo>
  2. <bdo id="tnv9a"></bdo>

    碰97精品视频在线观看,日本欧美国产精品第一页久久,狠狠色丁香婷婷综合欧美,公侵犯人妻一区二区三区

    您好,歡迎來(lái)到安徽省安全技術(shù)防范行業(yè)協(xié)會(huì)!
    0551- 62818875 64280445
    網(wǎng)站首頁(yè)>政策法規(guī)>行業(yè)資訊
    行業(yè)動(dòng)態(tài)

    行業(yè)資訊

    云計(jì)算的超高速交換與浪涌緩存

    來(lái)源:互聯(lián)網(wǎng) 發(fā)布時(shí)間:2010/07/30
     

      網(wǎng)絡(luò)帶寬已經(jīng)跨過(guò)了10M/100M/1000M,當(dāng)前的10G、N*10G的高速帶寬正成為網(wǎng)絡(luò)建設(shè)的基本規(guī)格。隨著>8*10G性能的需求日趨強(qiáng)烈,超高速網(wǎng)絡(luò)(40/100G平臺(tái))技術(shù)已經(jīng)開(kāi)始在當(dāng)前的數(shù)據(jù)中心部署使用。

      云計(jì)算網(wǎng)絡(luò)的性能要求超過(guò)常規(guī)應(yīng)用數(shù)據(jù)中心,這樣的要求使得網(wǎng)絡(luò)平臺(tái)構(gòu)建上性能的考慮區(qū)別于傳統(tǒng)的認(rèn)識(shí),深入認(rèn)識(shí)云的底層特質(zhì)。網(wǎng)絡(luò)的交換容量和網(wǎng)絡(luò)浪涌的吸收容量即是云計(jì)算(或大型數(shù)據(jù)中心)網(wǎng)絡(luò)的性能關(guān)注點(diǎn)要同時(shí)關(guān)注的兩方面。

      超高速交換網(wǎng)絡(luò)之前的幾個(gè)概念

      線速

      指的是線路數(shù)據(jù)傳送的實(shí)際速率能夠達(dá)到名義值,比如千兆端口能夠?qū)嶋H吞吐量到千兆,這在交換機(jī)是比較輕松的事,但是早期的高端路由器端口如果能夠達(dá)到千兆實(shí)際轉(zhuǎn)發(fā)速率,那是非常了不起的(不過(guò)現(xiàn)在已經(jīng)稀疏平常了)。

      超線速

      如千兆端口能夠吞吐的流量超過(guò)一千兆(一般也就超出一點(diǎn)點(diǎn)),這種交換機(jī)與標(biāo)準(zhǔn)線速設(shè)備對(duì)接后容易產(chǎn)生丟包甚至將標(biāo)準(zhǔn)交換機(jī)“堵死”。在數(shù)據(jù)中心環(huán)境下極少數(shù)情況也允許滿足超線速的組網(wǎng),只是對(duì)交換機(jī)有特殊要求。

      全線速

      交換機(jī)的所有端口能夠同時(shí)達(dá)到線速轉(zhuǎn)發(fā)。這個(gè)能力也體現(xiàn)了交換機(jī)的性能,對(duì)于某些性能較低的設(shè)備,稱為達(dá)到全線速轉(zhuǎn)發(fā),是指達(dá)到了設(shè)備的最高性能而已,有可能離該交換機(jī)的端口容量總和還遠(yuǎn)著呢。

      “無(wú)阻塞”全線速

      有時(shí)候在全線速前面再定義一個(gè)“無(wú)阻塞”,其實(shí)是強(qiáng)化交換機(jī)的全線速能力,指的是對(duì)交換的任意大小字節(jié)的報(bào)文均能夠達(dá)到全線速的能力,所有端口都以線速接收幀,并能無(wú)延遲地處理被稱為“無(wú)阻塞(Nonblocking)”,之所以這樣叫是因?yàn)樵O(shè)備內(nèi)部沒(méi)有等待處理的報(bào)文(沒(méi)有阻塞)。但是無(wú)阻塞有時(shí)也會(huì)遇到挑戰(zhàn),在很小的概率下(即實(shí)際測(cè)試中極不容易出現(xiàn)),確實(shí)能夠構(gòu)造特定測(cè)試?yán)沟媒粨Q機(jī)產(chǎn)生阻塞,這是因?yàn)閭鹘y(tǒng)交換架構(gòu)下理論上也能分析出阻塞的可能性。

      一、超高速交換網(wǎng)絡(luò)

      傳統(tǒng)交換架構(gòu),非真正意義的“無(wú)阻塞”

      在“數(shù)據(jù)中心級(jí)交換機(jī)”概念出現(xiàn)以前(這個(gè)概念也是隨著云計(jì)算發(fā)展而產(chǎn)生的,此前只有核心交換機(jī)、高端交換機(jī)的概念),盒式交換機(jī)一般是單芯片,機(jī)架式交換機(jī)則主要是“交換網(wǎng)+IO芯片”結(jié)構(gòu),比較先進(jìn)的交換網(wǎng)一般采用crossbar,架構(gòu)如圖1所示。

      傳統(tǒng)高端設(shè)備以交換線卡連接crossbar高性能交換網(wǎng),數(shù)據(jù)在Crossbar內(nèi)部選路基于實(shí)現(xiàn)配置好的規(guī)則,同一數(shù)據(jù)流在內(nèi)部的運(yùn)轉(zhuǎn)路徑是確定的(HASH算法),因此存在特殊情況下在交換不同級(jí)層上會(huì)發(fā)生阻塞的現(xiàn)象,如圖1的數(shù)據(jù)流1和2在第一級(jí)、數(shù)據(jù)流3和4在第二級(jí)的阻塞(情景有點(diǎn)類似于等價(jià)路由或鏈路捆綁的流量不完全均衡性)。這種架構(gòu)的交換網(wǎng)容量并不大,一般以支持10GE為主。這種非真正意義的“無(wú)阻塞”在一般性數(shù)據(jù)中心并不會(huì)遇到挑戰(zhàn),但在大型互聯(lián)網(wǎng)數(shù)據(jù)中心,隨著近年來(lái)ISP業(yè)務(wù)不斷豐富、業(yè)務(wù)規(guī)模不斷擴(kuò)大和實(shí)際帶寬消耗迅猛增長(zhǎng),已經(jīng)出現(xiàn)了傳統(tǒng)交換架構(gòu)在互聯(lián)網(wǎng)數(shù)據(jù)中心難以滿足性能需求的現(xiàn)狀。

      

    圖1傳統(tǒng)Crossbar交換架構(gòu)的阻塞分析模型

      無(wú)阻塞交換,云計(jì)算核心交換平臺(tái)的關(guān)鍵且基本的要求

      到了新一代交換平臺(tái)產(chǎn)生的時(shí)代,數(shù)據(jù)中心級(jí)核心交換平臺(tái)的能力已經(jīng)確定在10Tbps的級(jí)別,交換系統(tǒng)的架構(gòu)產(chǎn)生了本質(zhì)的變化,這種變化是為了應(yīng)對(duì)云計(jì)算超高速100G、以及實(shí)現(xiàn)今后10T環(huán)境下的完全無(wú)阻塞所帶來(lái)的挑戰(zhàn)而變革產(chǎn)生的架構(gòu),也就是CLOS架構(gòu)。

      那么,完全無(wú)阻塞的意義就是對(duì)一個(gè)交換架構(gòu)無(wú)論是理論分析還是實(shí)測(cè),都能夠達(dá)到真正的無(wú)阻塞交換(如果不能全線速,完全無(wú)阻塞也用處不大了)。完全無(wú)阻塞的概念,也是在云計(jì)算環(huán)境下開(kāi)始逐步強(qiáng)調(diào)的,因?yàn)樵朴?jì)算中心應(yīng)用密度比之傳統(tǒng)數(shù)據(jù)中心高得多,流量情況更為復(fù)雜,數(shù)據(jù)性能要求更為嚴(yán)格,如果在交換平臺(tái)核心不能滿足完全無(wú)阻塞的交換條件,瞬時(shí)引起的阻塞必然會(huì)導(dǎo)致網(wǎng)絡(luò)流量異常,即使是理論上小概率的瞬時(shí)阻塞,也可能在云計(jì)算網(wǎng)絡(luò)中反復(fù)出現(xiàn)。這對(duì)大型網(wǎng)絡(luò)來(lái)說(shuō),是存在隱患的,因?yàn)椴粩嘣鲩L(zhǎng)的業(yè)務(wù)和流量可能因?yàn)楹诵钠脚_(tái)的隱患而有所限制(莫名其妙的情況下發(fā)現(xiàn)網(wǎng)絡(luò)偶然不暢),這種潛在問(wèn)題有時(shí)是無(wú)法分析清楚的,特別是已經(jīng)在運(yùn)行的網(wǎng)絡(luò)。因此,完全意義上的無(wú)阻塞交換,是云計(jì)算核心交換平臺(tái)的關(guān)鍵而基本的要求。

      新一代交換架構(gòu)三級(jí)CLOS&CELL交換可支持完全無(wú)阻塞交換,是完全遵循復(fù)雜業(yè)務(wù)流要求的,能夠?qū)⒋笠?guī)模密集流量在交換系統(tǒng)內(nèi)部均勻交換,避免了阻塞帶來(lái)的性能惡化與嚴(yán)重下降。其實(shí)現(xiàn)基本原理如圖2所示,在系統(tǒng)內(nèi)部采用動(dòng)態(tài)選路方式(線卡、交換網(wǎng)保存內(nèi)部數(shù)據(jù)轉(zhuǎn)發(fā)路徑信息,如果出現(xiàn)路徑不可用或網(wǎng)板、線卡故障,選路信息動(dòng)態(tài)改變,這一切操作由硬件系統(tǒng)內(nèi)完成),業(yè)務(wù)線卡接收到的數(shù)據(jù)包文,進(jìn)行等長(zhǎng)切片處理形成定長(zhǎng)信元,每個(gè)信元加載動(dòng)態(tài)選路的標(biāo)記頭(長(zhǎng)度不夠的信元會(huì)進(jìn)行內(nèi)部填充)。

      

    圖2H3C新一代CLOS架構(gòu)&Cell交換實(shí)現(xiàn)模型

      如何構(gòu)造無(wú)阻塞交換網(wǎng)絡(luò)

      云計(jì)算需要超大的計(jì)算能力和網(wǎng)絡(luò)交換能力,通過(guò)網(wǎng)絡(luò)來(lái)組織數(shù)千臺(tái)至上萬(wàn)臺(tái)服務(wù)器的協(xié)同計(jì)算,因此云計(jì)算的支撐網(wǎng)絡(luò)也提出了無(wú)阻塞的方向。

      首先看如何構(gòu)造大規(guī)模的線速網(wǎng)絡(luò),如圖3所示,從兩個(gè)方向來(lái)擴(kuò)展,在層次上,每一層的交換設(shè)備上行所有鏈路帶寬與下行的所有鏈路帶寬相等,在同一層次,按照下一層設(shè)備的上行端口數(shù)擴(kuò)展,如此直到最高層(目前主流構(gòu)造兩層到三層網(wǎng)絡(luò)結(jié)構(gòu))。

      

    圖3大規(guī)模網(wǎng)絡(luò)擴(kuò)展方式

      構(gòu)造線速交換網(wǎng)絡(luò)比較簡(jiǎn)單,但是要達(dá)到無(wú)阻塞,當(dāng)前的技術(shù)實(shí)現(xiàn)還不夠徹底,因?yàn)樵诰W(wǎng)絡(luò)級(jí)別只能使用鏈路負(fù)載均衡技術(shù)實(shí)現(xiàn)對(duì)帶寬的充分利用。如圖4所示,實(shí)現(xiàn)方式主要有兩種。

      

    圖4鏈路負(fù)載均衡

      Roundrobin方式:將數(shù)據(jù)流依次向可用鏈路均勻轉(zhuǎn)發(fā)(可以基于統(tǒng)計(jì)速率、也可以基于逐包方式),一般來(lái)說(shuō),當(dāng)服務(wù)器之間全部使用定長(zhǎng)報(bào)文(如1500字節(jié))交互數(shù)據(jù),基本就構(gòu)成了一個(gè)“完全無(wú)阻塞交換網(wǎng)絡(luò)”(是定長(zhǎng)數(shù)據(jù)交換條件下),但是存在的問(wèn)題是,同一數(shù)據(jù)流的不同報(bào)文可能經(jīng)過(guò)不同網(wǎng)絡(luò)路徑到達(dá)目的地,經(jīng)過(guò)網(wǎng)絡(luò)大規(guī)模流量浪涌后會(huì)存在嚴(yán)重的亂序問(wèn)題。

      HASH方式:使用網(wǎng)絡(luò)設(shè)備的硬件負(fù)載均衡算法,基于數(shù)據(jù)流的二三層地址信息和四層端口號(hào)信息得到不同鏈路的選路信息,能夠保證同一數(shù)據(jù)流經(jīng)過(guò)相同路徑到達(dá)目的地,避免亂序,但是不同數(shù)據(jù)流因?yàn)榱髁看笮∮胁町悾沟镁W(wǎng)絡(luò)不同鏈路難以完全均衡,不過(guò)在當(dāng)前技術(shù)條件下,不均衡度已經(jīng)極小,十分接近完全無(wú)阻塞交換網(wǎng)絡(luò)了。

      二、浪涌,云計(jì)算環(huán)境下的一個(gè)網(wǎng)絡(luò)現(xiàn)象

      在云計(jì)算環(huán)境下,性能無(wú)疑成為最為關(guān)注的核心要素,但是,有了超高速的交換性能,不一定表示網(wǎng)絡(luò)能夠達(dá)到理想的效果,還需要關(guān)注網(wǎng)絡(luò)浪涌的吸收容量,我們從分析端口流量情況和網(wǎng)絡(luò)實(shí)際流量情況入手。

      端口流量

      圖5是我們進(jìn)行毫秒級(jí)網(wǎng)絡(luò)流量研究時(shí)得到的流量圖,不妨稱之為微觀流量視圖(事實(shí)上早在2000年左右,運(yùn)營(yíng)商的研究機(jī)構(gòu)已經(jīng)在622M骨干網(wǎng)發(fā)現(xiàn)了這個(gè)現(xiàn)象)。在秒級(jí)、分鐘級(jí)以上的宏觀時(shí)間尺度下,流量A和B的采樣曲線十分平滑,這是因?yàn)榱髁坑^測(cè)的累積平均效果造成的,當(dāng)采樣尺度縮小到毫秒級(jí),我們發(fā)現(xiàn),從端口得到的流量曲線發(fā)生了變化,最高的流量值可能達(dá)到平均流量的2-3倍

    1 2 3 4 下一頁(yè)
    [!--empirenews.page--](當(dāng)然,也有更低的曲線值)。

      

    圖5微觀的流量視圖

      這個(gè)問(wèn)題的本質(zhì)來(lái)源于交換機(jī)的線速轉(zhuǎn)發(fā)特性(實(shí)際上核心、高端交換機(jī)內(nèi)部還有更大的加速比,即內(nèi)部交換通道速率一般遠(yuǎn)高于對(duì)外的端口速率,但我們不必過(guò)于復(fù)雜化)。線速轉(zhuǎn)發(fā)的機(jī)制,使得交換機(jī)在接收或者發(fā)送任意一個(gè)報(bào)文的時(shí)候,都不同于我們觀察到的結(jié)果(我們看到的都是一段時(shí)間內(nèi)的平均速率),任一個(gè)報(bào)文都是以千兆或萬(wàn)兆速率在轉(zhuǎn)發(fā),而且持續(xù)達(dá)到線速后,報(bào)文之間的轉(zhuǎn)發(fā)時(shí)間間隔(或稱幀間隙)達(dá)到了最小值。我們以圖6為例作一個(gè)不太嚴(yán)格的分析,在千兆端口下,假定轉(zhuǎn)發(fā)的報(bào)文大小為端口MTU級(jí),即報(bào)文為1500字節(jié),計(jì)算出的串行化時(shí)延約為12微秒,由于報(bào)文之間還有幀間隙,為簡(jiǎn)單起見(jiàn),假設(shè)為8微秒(實(shí)際幀間隙非常之小),那么一個(gè)報(bào)文的轉(zhuǎn)發(fā)到鏈路時(shí)間為20微秒。也就是說(shuō),要體現(xiàn)交換機(jī)線速轉(zhuǎn)發(fā),端口上每20微秒就發(fā)送一個(gè)1500字節(jié)報(bào)文。隱含的事實(shí)是,任何一個(gè)1500字節(jié)的報(bào)文都以20微秒的標(biāo)準(zhǔn)在交換端口轉(zhuǎn)發(fā)出來(lái),所用帶寬均為1Gbps。

      

    圖6微觀采樣的理想化分析

      那么如果網(wǎng)絡(luò)中我們觀測(cè)到一個(gè)端口流量是500Mbps,該如何來(lái)理解這個(gè)信息呢?如圖7所示,最理想的情況當(dāng)然是每40微秒轉(zhuǎn)發(fā)一個(gè)報(bào)文,這樣網(wǎng)絡(luò)流量最平穩(wěn),最惡劣的情況是,在觀測(cè)周期內(nèi),前半段時(shí)間流量20微秒的密集(即持續(xù)千兆速率轉(zhuǎn)發(fā)),后半段時(shí)間無(wú)數(shù)據(jù)轉(zhuǎn)發(fā)。當(dāng)然,正常情況下是界于二者之間非常隨機(jī)的。

      

    圖7平均速率的理解模型

      網(wǎng)絡(luò)的實(shí)際流量

      網(wǎng)絡(luò)是由多個(gè)網(wǎng)絡(luò)設(shè)備組成的,網(wǎng)絡(luò)的流量難以有很合適的描述模型,不同的網(wǎng)絡(luò)業(yè)務(wù)模型、性能要求都不一樣,我們只分析網(wǎng)絡(luò)數(shù)據(jù)流的走向情況。

      先看一個(gè)全線速、完全無(wú)阻塞交換機(jī)的數(shù)據(jù)流向,包含兩種情況(如圖8所示)。不論是A還是B,對(duì)單個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)而言,即使是全線速無(wú)阻塞的性能,也面臨著在短時(shí)間的高帶寬向低帶寬的數(shù)據(jù)流向,相對(duì)而言情況A比較容易確定,情況B比較復(fù)雜。因此分析網(wǎng)絡(luò)的實(shí)際流量,其本質(zhì)上網(wǎng)絡(luò)節(jié)點(diǎn)的流量并不是均衡的,也就是說(shuō),網(wǎng)絡(luò)實(shí)際流量并不是完全按照網(wǎng)絡(luò)設(shè)備的無(wú)阻塞架構(gòu)來(lái)轉(zhuǎn)發(fā)的,總是會(huì)造成一個(gè)瞬時(shí)擁塞,即進(jìn)入交換機(jī)的帶寬比出交換的帶寬要高,如數(shù)據(jù)中心內(nèi)部多臺(tái)服務(wù)器向少數(shù)服務(wù)器傳送數(shù)據(jù)的情況,如圖9所示。左邊兩種情況都不會(huì)影響業(yè)務(wù)性能,但是最右邊引起瞬時(shí)擁塞,如果產(chǎn)生丟包,必然對(duì)上層應(yīng)用產(chǎn)生影響,特別是云計(jì)算環(huán)境下,數(shù)據(jù)流量超大,擁塞的數(shù)據(jù)被丟掉后必然使得整個(gè)云平臺(tái)的性能和可用性大為降低。這種惡劣的影響并非網(wǎng)絡(luò)設(shè)備交換性能不夠產(chǎn)生的,實(shí)質(zhì)上是網(wǎng)絡(luò)流量的不可控可變帶寬比產(chǎn)生瞬時(shí)收斂造成的(如多個(gè)萬(wàn)兆到少數(shù)萬(wàn)兆、萬(wàn)兆到千兆等)。

      

    圖8定向與不定向的網(wǎng)絡(luò)流量

      

    圖9網(wǎng)絡(luò)中的可變動(dòng)態(tài)帶寬比

      基于以上兩方面的分析,我們確定云計(jì)算環(huán)境下的一個(gè)網(wǎng)絡(luò)現(xiàn)象---浪涌(在一般網(wǎng)絡(luò)條件下稱為流量突發(fā),burst),密集的高速流量,瞬時(shí)的收斂性數(shù)據(jù)傳輸與同步特點(diǎn)。比之一般網(wǎng)絡(luò)的突發(fā)更為嚴(yán)峻的是云計(jì)算網(wǎng)絡(luò)一旦發(fā)生擁塞丟包,所需要處理的數(shù)據(jù)量比常規(guī)條件下大得多。如圖10所示,網(wǎng)絡(luò)端口的平均流量并不高,但是從兩個(gè)端口向一個(gè)端口的流量由于疏密不均,造成了突發(fā)。在入端口方向,由于交換線速轉(zhuǎn)發(fā)的特點(diǎn),宏觀平緩數(shù)據(jù)流在不同毫秒級(jí)范圍內(nèi)度量結(jié)果也不一樣(340pps~800pps的成倍關(guān)系),當(dāng)這兩個(gè)端口流量要向同一端口輸出時(shí),是不是會(huì)造成更為惡劣的流量突發(fā)---浪涌情況?

      

    圖10突發(fā)的基本形態(tài)

      突發(fā)畢竟是瞬時(shí)的,一般情況下認(rèn)為是毫秒級(jí)的或亞秒級(jí)的(所以叫瞬時(shí)擁塞),而平均流量并沒(méi)有達(dá)到所用的帶寬,如果是持續(xù)的擁塞,則應(yīng)該是帶寬需要擴(kuò)容了。

      對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)的突發(fā)分析也適用于整個(gè)云計(jì)算網(wǎng)絡(luò),即使是無(wú)阻塞的網(wǎng)絡(luò)架構(gòu),其上承載的浪涌突發(fā)數(shù)據(jù)流也是不定向的,整個(gè)網(wǎng)絡(luò)的浪涌吸收能力決定了云計(jì)算的密集數(shù)據(jù)吞吐、交互、處理能力。

      三、云計(jì)算核心交換網(wǎng)絡(luò)的緩存結(jié)構(gòu)

      對(duì)于交換機(jī)而言,緩存方式也有不同的機(jī)制:出端口和入端口緩存。傳統(tǒng)技術(shù)實(shí)現(xiàn)多以出端口緩存為主,這種機(jī)制使得所有數(shù)據(jù)流的突發(fā)在出端口處被緩存,緩存的大小即是網(wǎng)絡(luò)最大可能的突發(fā)值。

      新一代云網(wǎng)絡(luò)的核心交換平臺(tái)一般采用入端口緩存(如圖11所示),一般結(jié)合虛擬輸出隊(duì)列(VoQ)技術(shù),在每個(gè)入端口方向配置大容量緩存,在出端口配置較小緩存,使用專用流量管理器件TM(trafficmanager)進(jìn)行內(nèi)部流量管理,并采用credit來(lái)控制每個(gè)端口入方向的數(shù)據(jù)向出端口的突發(fā),每個(gè)出端口向其它入端口分配credit數(shù)量,當(dāng)出端口在線速向外轉(zhuǎn)發(fā)數(shù)據(jù)時(shí),如果入方向過(guò)來(lái)的數(shù)據(jù)速度較快,在達(dá)到或超過(guò)出端口設(shè)定的突發(fā)門限時(shí),出端口不再為入端口分配credit,從而使得入端口的數(shù)據(jù)緩存在本地的大容量buffer中,當(dāng)出端口(保持線速對(duì)外轉(zhuǎn)發(fā))的排隊(duì)下降到門限以下,繼續(xù)向入端口分配credit,使得緩存的數(shù)據(jù)得以繼續(xù)轉(zhuǎn)發(fā)。

      

    圖11入端口緩存

      因此入端口緩存機(jī)制下,各端口的數(shù)據(jù)在出端口擁塞時(shí)都能在本地緩存,因而緩存容量是與入端口數(shù)成正比的線性關(guān)系。這種線性比例的緩存能力,能夠自適應(yīng)于云計(jì)算的不定向浪涌流量,交換緩存架構(gòu)能夠自動(dòng)調(diào)節(jié)不同方向的瞬時(shí)流量擁塞壓力,是當(dāng)前云計(jì)算網(wǎng)絡(luò)的主要應(yīng)用技術(shù)。

      而對(duì)于時(shí)延與緩存,很多人一談到大緩存設(shè)備,立即聯(lián)想到大的交換時(shí)延,而低時(shí)延必然是小緩存,其實(shí),兩者之間并沒(méi)有必然的聯(lián)系,一切取決于網(wǎng)絡(luò)的應(yīng)用情況。對(duì)于交換而言,一般的存儲(chǔ)轉(zhuǎn)發(fā)時(shí)延是幾個(gè)微秒,與緩存大小并無(wú)絕對(duì)關(guān)系,如圖12所示,對(duì)于無(wú)擁塞的輕載網(wǎng)絡(luò)A,數(shù)據(jù)進(jìn)入交換機(jī)緩存后立即進(jìn)行查表轉(zhuǎn)發(fā),大緩存和小緩存的效果是一樣的,當(dāng)出現(xiàn)瞬時(shí)擁塞后如B,大緩存能夠避免丟包(重傳引起的時(shí)延比緩存的時(shí)延大多了),而小緩存在大規(guī)模突發(fā)流量下如C,必然對(duì)突發(fā)的緩存量少,會(huì)丟棄報(bào)文。

      

    圖12時(shí)延與轉(zhuǎn)發(fā)

      但并不是所有應(yīng)用都需要大緩存(畢竟成本不一樣),因此考慮到時(shí)延的網(wǎng)絡(luò)平臺(tái)需要根據(jù)應(yīng)用的具體情況構(gòu)建,一般情況下建議實(shí)測(cè)來(lái)選擇建網(wǎng)方案。

      四、浪涌緩存模型分析---多大緩存合適

      有不少研究曾經(jīng)著重于網(wǎng)絡(luò)到底需要多大的緩存,最著名莫過(guò)于圖13這個(gè)公式了,該公式更多地被應(yīng)用到路由器作為廣域鏈路連接時(shí)的緩存大小確定,其目的是為了充分利用昂貴的廣域網(wǎng)帶寬。

      

    圖13常見(jiàn)的緩存公式

      其中:Buffer指緩存大小,單位Byte;BW數(shù)據(jù)傳送帶寬;RTT(Round-TripTime)往返時(shí)延,在網(wǎng)絡(luò)中它是一個(gè)重要的性能指標(biāo),它表示從發(fā)送端發(fā)送數(shù)據(jù)開(kāi)始,到發(fā)送端收到來(lái)自接收端的確認(rèn)(接收端收到數(shù)據(jù)后便立即發(fā)送確認(rèn)),總共經(jīng)歷的時(shí)延。

      數(shù)據(jù)中心的緩存如何來(lái)建模呢?數(shù)據(jù)中心與廣域網(wǎng)有顯著區(qū)別,內(nèi)部帶寬可以是足夠的(高速交換),但是突發(fā)浪涌很嚴(yán)重,那么緩存主要不是用來(lái)充分利用帶寬的,而是用來(lái)吸收浪涌的。這里的模型并不具有嚴(yán)格的學(xué)術(shù)意義,但是,用戶如果能夠在日常注意收集數(shù)據(jù)中心的相關(guān)業(yè)務(wù)數(shù)據(jù),對(duì)于自身的緩存需求建模和網(wǎng)絡(luò)性能分析是很有參考意義的,下文描述的模型有助于分析某些應(yīng)用中的問(wèn)題。

      動(dòng)態(tài)收斂比:N

      如圖14所示,在云計(jì)算網(wǎng)絡(luò)中,由于整個(gè)網(wǎng)絡(luò)都可能是無(wú)阻塞的,從表面上是看不

    上一頁(yè) 1 2 3 4 下一頁(yè)
    [!--empirenews.page--]到收斂的,但是計(jì)算的交互并不是我們想象的那樣完全均衡的按照我們想象進(jìn)行無(wú)阻塞交換,而是經(jīng)常發(fā)生諸如數(shù)十個(gè)計(jì)算節(jié)點(diǎn)與幾個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸,或者如同搜索一樣,幾臺(tái)服務(wù)器從數(shù)百臺(tái)服務(wù)器獲取搜索結(jié)果,這都會(huì)在網(wǎng)絡(luò)中造成瞬時(shí)(我們?cè)诤撩爰?jí)考量的尺度)的數(shù)據(jù)通道帶寬不一致,引起短時(shí)的擁塞。因此這種問(wèn)題的分析也就是數(shù)據(jù)的入方向(Ingress)帶寬高于出方向(Egress)帶寬的情況才有意義(其它情況基本不會(huì)影響上層業(yè)務(wù)的品質(zhì))。

      

    圖14動(dòng)態(tài)收斂比定義

      簡(jiǎn)單起見(jiàn),假設(shè)端口的帶寬BW是固定的(千兆或萬(wàn)兆),流量的入端口數(shù)為Mi,出端口數(shù)為Me,要求Mi大于Me,那么:

      -----------------------------公式1

      突發(fā)數(shù)據(jù)量和網(wǎng)絡(luò)傳送時(shí)間:D和T

      我們?cè)賮?lái)定義兩個(gè)指標(biāo),如圖15所示,對(duì)于構(gòu)建云計(jì)算網(wǎng)絡(luò)的用戶來(lái)說(shuō),Tm是由業(yè)務(wù)層面提供的參考數(shù)據(jù),D也應(yīng)由業(yè)務(wù)層面給出,但一般難有具體值,需要經(jīng)過(guò)分析來(lái)獲取,后文將給出兩個(gè)分析案例。

      

    圖15突發(fā)數(shù)據(jù)量和網(wǎng)絡(luò)傳送時(shí)間

      實(shí)際的數(shù)據(jù)傳送時(shí)間為t,t必須小于等于Tm才能滿足業(yè)務(wù)要求,那么:

      ----------------------------------公式2

      臨界緩存值:buffer0

      我們?cè)俣x一個(gè)臨界緩存值buffer0,是指能夠剛好滿足突發(fā)要求的最小緩存值,即在數(shù)據(jù)D的突發(fā)量下,buffer0剛好能夠容納這些數(shù)據(jù)(因?yàn)樵诰彺嫒菁{數(shù)據(jù)的同時(shí),出端口還在往外轉(zhuǎn)發(fā)數(shù)據(jù)),如圖16所示。

      我們借用水池漏水的題目,如圖16所示,蓄水池的大小是buffer0,粗水管以BH的速率往水池里灌水,細(xì)水管以BL的速率往外流水,問(wèn)題:

      1.當(dāng)水池裝滿后,粗水管一共灌了多少水?

      --------------求突發(fā)量D與buffer0、入出帶寬BH和BL的關(guān)系

      2.如果當(dāng)水池滿后就停止灌水,那么從最開(kāi)始灌水,到水池的水流干,一共要多長(zhǎng)時(shí)間?

      --------------求突發(fā)量D下,數(shù)據(jù)傳送時(shí)間t與buffer0和帶寬關(guān)系(是否滿足應(yīng)用的需求)

      

    圖16臨界緩存buffer0

      通過(guò)對(duì)以上問(wèn)題的求解(由于篇幅有限,這里求解過(guò)程略去),我們得出當(dāng)網(wǎng)絡(luò)的出帶寬等于入帶寬時(shí),是不需要buffer的。同樣,根據(jù)公式分析,在發(fā)生瞬時(shí)擁塞的條件下,增加出口帶寬(入帶寬不變)可以減少對(duì)buffer的要求。

      臨界緩存與收斂比的關(guān)系如圖17所示,出帶寬增加,不僅收斂比減小,buffer0的要求降低,同時(shí)根據(jù)t=D/BL得知相同突發(fā)數(shù)據(jù)量的傳送時(shí)間大幅降低。反過(guò)來(lái)也根據(jù)模型得出,收斂比減小出方向帶寬增加時(shí)可突發(fā)的數(shù)據(jù)量比原有收斂比要大。

      

    圖17臨界緩存與收斂比的關(guān)系

      如果網(wǎng)絡(luò)的收斂比不變、緩存也不變,但是隨著業(yè)務(wù)量的突發(fā)嚴(yán)重,要求更大的突發(fā)量,該如何調(diào)整?根據(jù)模型公式分析,需要應(yīng)用層進(jìn)行調(diào)整,即對(duì)數(shù)據(jù)突發(fā)進(jìn)行平緩處理(避免突發(fā)過(guò)于集中超過(guò)buffer0導(dǎo)致大量丟包),同時(shí)增加Tm的值,即允許網(wǎng)絡(luò)傳輸時(shí)間更長(zhǎng)。

      上述公式比較離散,分析問(wèn)題時(shí)需要根據(jù)條件不斷轉(zhuǎn)化,雖然云計(jì)算環(huán)境非常復(fù)雜,但是只要在網(wǎng)絡(luò)規(guī)劃、運(yùn)行過(guò)程中不斷收集參數(shù),對(duì)浪涌的分析與優(yōu)化是可行的

      兩個(gè)傳統(tǒng)數(shù)據(jù)中心實(shí)例說(shuō)明如何利用模型進(jìn)行分析

      實(shí)例分析一:網(wǎng)絡(luò)搜索

      應(yīng)用的基本描述

      查詢服務(wù)器向200臺(tái)響應(yīng)服務(wù)器發(fā)起請(qǐng)求

      每臺(tái)響應(yīng)服務(wù)器發(fā)出60KB的數(shù)據(jù),折合1.5KB報(bào)文約40個(gè),響應(yīng)服務(wù)器在最短時(shí)間向網(wǎng)卡發(fā)送數(shù)據(jù),時(shí)間非常短(1-2毫秒),可認(rèn)為所有服務(wù)器發(fā)生了瞬時(shí)突發(fā)

      查詢服務(wù)器將所有請(qǐng)求收到的時(shí)間規(guī)定在40-60毫秒內(nèi),我們?cè)O(shè)為50毫秒

      當(dāng)時(shí)使用的這個(gè)設(shè)備緩存大,但是緩存分配的個(gè)數(shù)只有4K個(gè)單元,且均分到不同端口,因此隨著應(yīng)用的負(fù)載增加,逐步出現(xiàn)檢索丟包的現(xiàn)象。

      

    圖18搜索模型的簡(jiǎn)單分析

      從上面的一些數(shù)據(jù),可以得到

      突發(fā)數(shù)據(jù)量D=200*60KB=12MB

      業(yè)務(wù)響應(yīng)要求時(shí)間Tm=50毫秒

      網(wǎng)絡(luò)收斂比是200千兆端口數(shù)據(jù)發(fā)向1個(gè)千兆端口,但是最嚴(yán)重的地方在于查詢服務(wù)器所在的交換機(jī)兩個(gè)萬(wàn)兆流量打入A所在的千兆端口,不妨設(shè)定收斂比為N=20G:1G=20

      那么平均要求的傳輸帶寬是12MB/50毫秒=1.9G,說(shuō)明現(xiàn)有的帶寬1G根本不能滿足業(yè)務(wù)需求。

      現(xiàn)在應(yīng)用進(jìn)行調(diào)整,將60KB數(shù)據(jù)降低到30KB,此時(shí)D=200*30KB=6MB,1G帶寬是可以滿足要求的,現(xiàn)在來(lái)看緩存的要求,根據(jù)模型公式,buffer0=(1-1/20)*6MB=5.7MB,按照1.5KB一個(gè)報(bào)文,buffer0至少需要緩存報(bào)文個(gè)數(shù)為5.7MB/1.5KB=3.8K個(gè),因此一個(gè)設(shè)備的緩存不僅要求大小為5.7MB,可緩存的報(bào)文個(gè)數(shù)還要在4千個(gè)左右。

      為了優(yōu)化性能,可以選擇兩種方式來(lái)改進(jìn)。

      第一種是將緩存的所有單元全部分配給查詢服務(wù)器單端口,這樣能夠滿足突發(fā)所需的緩存需求。但是對(duì)于負(fù)載增加,入信息增加到60KB、服務(wù)器群增加的擴(kuò)展性有很大限制。

      第二種,將查詢服務(wù)器改為萬(wàn)兆,此時(shí)收斂比N=2,如果在現(xiàn)有緩存能力(4K個(gè)報(bào)文32MB容量)下,可以突發(fā)的數(shù)據(jù)量D=buffer0×N/(N-1)=4K*1.5KB*2=12MB,比原來(lái)突發(fā)量升了一倍。

      而業(yè)務(wù)響應(yīng)時(shí)間t=D/BL=12MB/10G=9.6毫秒,遠(yuǎn)小于50毫秒的上限,而同步可傳輸?shù)臄?shù)據(jù)量是原來(lái)的10倍(帶寬增加了10倍)。如果應(yīng)用層進(jìn)行調(diào)整,平緩?fù)话l(fā)如分組或分時(shí)(以9.6毫秒為參考),那么在50毫秒的響應(yīng)時(shí)間條件下可獲取更大的突發(fā)能力。

      實(shí)例分析二:校園網(wǎng)數(shù)據(jù)中心應(yīng)用

      20000學(xué)生規(guī)模,300臺(tái)左右服務(wù)器

      兩臺(tái)接入設(shè)備使用VRRP方式運(yùn)行在三層主備模式。

      上行各為一個(gè)千兆,兩臺(tái)設(shè)備之間為兩個(gè)千兆互聯(lián)

      右邊設(shè)備為Master,使用了一塊4:1收斂的交換線卡上行,緩存<500KB,其它線卡緩存

      問(wèn)題是每學(xué)期學(xué)生集中選課時(shí)網(wǎng)絡(luò)異常,但是平均流量很小,不足200Mbps

      當(dāng)人為進(jìn)行A和B鏈路切換(數(shù)據(jù)流從B上),VRRP主備不倒換時(shí),故障消失,平均流量依然為200Mbps左右。

      

    圖19校園網(wǎng)數(shù)據(jù)中心案例

      經(jīng)過(guò)現(xiàn)場(chǎng)診斷和深入分析,解決方法為將右側(cè)Master上行線卡更換為全線速、大緩存的線卡,運(yùn)行至今未見(jiàn)問(wèn)題出現(xiàn)。

      問(wèn)題分析:

      選課一般時(shí)間比較集中,2萬(wàn)個(gè)學(xué)生選課假定10%的同時(shí)在線率,說(shuō)明服務(wù)器要對(duì)外處理8000個(gè)會(huì)話,假定每個(gè)報(bào)文為512B(報(bào)文大小不一,只能假設(shè)一個(gè)),則突發(fā)數(shù)據(jù)量可假定為D=2000*512B=1MB,即D=1MB。

      收斂比,按照數(shù)據(jù)流從A鏈路上行,N=20:1=20(假定只有同時(shí)20臺(tái)服務(wù)器對(duì)外工作,其它服務(wù)器可能還提供別的服務(wù),也對(duì)網(wǎng)絡(luò)突發(fā)是有貢獻(xiàn)的)。

      因此buffer0=(1-1/20)*1MB=0.95MB,說(shuō)明緩存要求顯然高于現(xiàn)有網(wǎng)絡(luò)運(yùn)行產(chǎn)品的要求。

      那么,為什么數(shù)據(jù)流繞行B鏈路上行能夠緩解突發(fā)呢?

      首先是Master向Slave發(fā)送端口的

    上一頁(yè) 1 2 3 4 下一頁(yè)
    [!--empirenews.page--]帶寬增加了一倍,即相同時(shí)間內(nèi)轉(zhuǎn)發(fā)的數(shù)據(jù)流會(huì)更多,超過(guò)帶寬要求的數(shù)據(jù)量會(huì)下降,而且由于收斂比下降了一半,對(duì)緩存的要求也降低。

      根據(jù)模型公式,原來(lái)帶寬是1G,在緩存滿時(shí)已經(jīng)傳輸?shù)臄?shù)據(jù)量是buffer0*1/19

      帶寬到2G后,緩存滿時(shí)已經(jīng)傳輸?shù)臄?shù)據(jù)量是buffer0*1/9

        1/19,說(shuō)明原有緩存滿后,已經(jīng)傳輸?shù)臄?shù)據(jù)量超過(guò)了原來(lái)的兩倍,這樣就極大降低了突發(fā)。從slave的角度,收斂比只有2:1,也能夠緩解緩存的要求,同時(shí)數(shù)據(jù)流經(jīng)過(guò)了Master和slave設(shè)備,經(jīng)過(guò)了兩級(jí)網(wǎng)絡(luò)緩存,進(jìn)一步改善了突發(fā)。

      五、結(jié)束語(yǔ)

      云計(jì)算是前所未有的性能密集型IT業(yè)務(wù)模式已經(jīng)是不爭(zhēng)的事實(shí),云計(jì)算的發(fā)展將直接依托于超高速網(wǎng)絡(luò),并依賴于超高速交換技術(shù)實(shí)現(xiàn)服務(wù)交付。然而超高速交換本身還不足以解決所有問(wèn)題,圍繞超高速網(wǎng)絡(luò)環(huán)境下的多種關(guān)鍵技術(shù)還有待于無(wú)縫集成。

    上一頁(yè) 1 2 3 4
    碰97精品视频在线观看,日本欧美国产精品第一页久久,狠狠色丁香婷婷综合欧美,公侵犯人妻一区二区三区 国产精品二区三区免费播放心| 无码精品久久久久久人妻中字| 美女直播全婐APP免费| 国产CHINESE男男GAYGAY网站| 亚洲中文字幕不卡一区二区三区| 亚洲国产日韩欧美一区二区三区| 国产精品国三级国产AV高清中文网| 波多野结衣一区二区AV| 一级a做片性视频无码鲁鲁网| 久久大香香蕉国产免费网动漫|