作為新一代低延遲儲存傳輸架構標準的NVMe over Fabrics(NVMe-oF),經過了5年的發展後,於近日進入了一個新階段,從早期嫁接在RoCE乙太網路或FC網路的型式,發展到嫁接於TCP網路架構的型式,也大大降低了NVMe-oF的部署門檻,可使用標準的乙太網路來建構NVMe-oF,勢必也將大幅加速這種傳輸應用的普及。

NVMe既能應用在伺服器的內部I/O架構,作為搭配SSD的高效能傳輸介面,也能應用於外接儲存設備的遠端傳輸連接,作為低延遲的高效能儲存網路。

早在2016年5月,NVMe標準組織就發布了NVMe-oF 1.0協定,但由於缺乏一些必要的功能,因而未能獲得儲存廠商的普遍接受。一直到了2018年以後,隨著相關標準逐漸完善,NVMe-oF才陸續為儲存廠商接受,列入前端介面的支援選項中。

NVMe-oF傳輸架構的發展路線選擇

NVMe-oF傳輸架構的部署,可以採取兩種路線:一為使用專門訂製的網路硬體,另一是把NVMe-oF嫁接在既有的網路環境上。

其中的專屬網路硬體路線,必須使用專門的NVMe I/O介面卡與纜線,不僅成本高,應用限制也多,市場最終不接受,例如作為市場上第一款NVMe儲存陣列產品的EMC DSSD D5,便是因此而失利。相較之下,讓NVMe-oF嫁接使用既有網路環境,便相對容易部署。

所以,關鍵的問題,便是選擇將NVMe-oF嫁接到哪一種網路上。

過去幾年的發展,陸續出現了多種NVMe-oF嫁接網路選擇,包括:嫁接在FC的NVMe-over-FC(NVMe/FC),嫁接在RoCE乙太網路的NVMe-over-RoCE(NVMe/RoCE),嫁接在iWARP乙太網路的NVMe-over-iWARP(NVMe/iWARP),嫁接在TCP乙太網路上的NVMe-over-TCP(NVMe/TCP),以及基於InfiniBand的NVMe-over-InfiniBand(NVMe/InfiniBand)等幾種。

不過,其中只有NVMe/FC與NVMe/RoCE等2種,獲得主流廠商與產品的支援,關鍵在於:FC與RoCE兼具效能、技術風險、普及性等方面的優勢——效能表現明顯優於TCP與iWARP,更容易實現NVMe-oF的低延遲要求,在企業環境中又比InfiniBand更普及,便於企業環境導入。

基於TCP的NVMe-oF架構開始興起

過去2年來,多數一線儲存大廠都先後透過NVMe/FC,或NVMe/RoCE等兩種方式,將NVMe-oF傳輸架構引進到主力儲存產品線,然而就整體企業儲存應用來看,這只能算是達成將NVMe-oF導入企業儲存的第一步而已,若要進一步推廣NVMe-oF的部署範圍,無論NVMe/FC還是NVMe/RoCE均力有未逮,只有轉向NVMe/TCP,才能達到普及NVMe-oF的目的。

事實上,過去2、3年來,持續有新創廠商嘗試在儲存產品上使用NVMe/TCP,例如Pavilion Data早在2018年,便為其Pavilion儲存陣列同時支援了NVMe/TCP與NVMe/RoCE,其他支援NVMe/TCP的產品,還有Lightbits Labs的LightOS儲存平臺,Infinidat的Infinibox儲存陣列,Toshiba(現在的Kioxia)的Kumoscale NVMe-oF陣列軟體,以及Solarflare的儲存平臺等。問題在於,NVMe/TCP相關應用一直局限於新創廠商與非主流產品,遲遲未獲大廠採用,以致無法成為主流。

而到了今日,NVMe/TCP的應用終於出現突破性的進展,包括Dell、VMware與NetApp等一線大廠,都宣布將開始支援NVMe/TCP。

首先,是NetApp率先在9月初宣布,將在ONTAP 9.10.x儲存作業系統的下一次重大升級,納入NVMe/TCP的支援,預計今年年底前便會推出。

接下來,VMware也在9月底時宣布,即將於第3季推出的vSphere 7 Update 3與vSAN Update 3中,將支援NVMe/TCP。與此同時, Dell也宣布旗下的PowerStore儲存陣列產品線,將會透過新的SmartFabric Storage Software(SFSS)軟體功能支援NVMe/TCP,並透過SFSS的中介,藉由NVMe/TCP來與VMware vSphere整合。依據Dell的規劃,PowerStore對NVMe/TCP的支援預定於11月正式推出,接下來Dell另外幾條主力產品線,如PowerMax與PowerFlex,也都將陸續支援NVMe/TCP。

在NetApp、VMware與Dell等一線大廠的支持下,NVMe/TCP也將成為部署NVMe-oF傳輸架構的主流形式之一,可望後來居上,取代NVMe/FC或NVMe/RoCE,成為最重要的NVMe-oF部署路線。

普及NVMe-oF的加速器

相較於NVMe/FC或NVMe/RoCE,NVMe/TCP受到較「重型」的TCP協定所拖累,效能表現無法與前兩者相比。

以Pavilion Data的測試為例,同樣的Pavilion陣列,在使用NVMe/RoCE時的存取延遲為107μs,而換成NVMe/TCP,存取延遲增加到183μs,NVMe/TCP要慢了71%。

一般來說,在各種NVMe-oF嫁接架構中,NVMe/RoCE的延遲最少,可以達到100~120μs的程度,NVMe/FC則為150μs,至於NVMe/TCP的延遲則在200μs等級,比NVMe/RoCE慢了一倍左右。因此多數一線大廠,都是選擇先天具有較佳效能的FC或RoCE,來做為部署NVMe-oF的切入點,較容易實現NVMe-oF的低延遲需求,技術風險相對較低。

但NVMe/TCP受到矚目的原因,在於具備適中的效能與成本。

就效能來說,NVMe/TCP固然比不上NVMe/FC與NVMe/RoCE,但比起一般的iSCSI或FC傳輸架構,已有極顯著的改善,延遲只有iSCSI或FC的一半或1/4以下。

而在成本方面,NVMe/FC是架構在價格相對昂貴的FC儲存網路上,也只適用於部分較新款的FC交換器與FC HBA卡,部署成本與門檻相對較高。類似的,NVMe/RoCE也只適用於支援RoCE的乙太網路環境,部署成本與門檻也不低。

相較下,NVMe/TCP只需使用標準的乙太網路就能部署,成本與導入門檻,都遠低於NVMe/FC與NVMe/RoCE。

如VMware便聲稱,NVMe/TCP可以為vSphere虛擬化平臺的用戶,在既有的儲存硬體資產上,提供快速、簡單、經濟高效的升級路線。

因此,比起NVMe/FC與NVMe/RoCE,NVMe/TCP更有利於推動NVMe-oF傳輸應用的普及,讓資源有限的用戶,能以低成本的方式來導入NVMe-oF架構。

 

iSCSI的接班人首選

除了部署成本低的優勢外,NVMe/TCP架構在標準乙太網路上的特性,還可望成為iSCSI的接班人。

iSCSI同樣也是架構在標準的乙太網路上,為用戶提供了低成本的區塊儲存網路建構選擇,因而成為許多入門級區塊儲存應用的首選,也是虛擬化平臺最主要的傳輸架構,應用遠比FC廣泛許多。

而隨著NVMe/TCP的成熟與普及,也為iSCSI的用戶,提供了理所當然的升級選擇。NVMe/TCP與iSCSI同樣都是建構在標準的乙太網路環境上,既有的乙太網路與iSCI環境,可以很容易地升級為NVMe/TCP架構,從而獲得顯著減少存取延遲的效益。

因此,在NetApp與Dell之後,我們可以預期其他大廠也會陸續加入支援NVMe/TCP的行列,最終,讓NVMe/TCP超越NVMe/FC與NVMe/RoCE,成為主流的NVMe-oF部署型式。

NVMe/TCP與iSCSI,同樣是建構在標準乙太網路環境上區塊傳輸協定,但NVMe/TCP上層堆疊更輕量,能提供更多的佇列數量(Queues)與更大的佇列深度(Queues depth),效能遠高於iSCSI,存取延遲不到iSCSI的一半甚至1/4以下。

@圖片來源:NetApp

 


熱門新聞

Advertisement