顯示具有 IT技術分享 標籤的文章。 顯示所有文章
顯示具有 IT技術分享 標籤的文章。 顯示所有文章

2011年8月18日 星期四

以快取為基礎的I/O存取加速技術

以快取為基礎的I/O存取加速技術
傳統上,伺服器的資料存取一般可分為兩層:

(1)伺服器內由DRAM構成的主記憶體,提供少量極關鍵資料盡可能快速的存取。

(2)透過儲存網路連接、集中於一處或分散在多處的傳統硬碟,提供大多數資料的存放。

顯然的,將資料整個搬移到伺服器內由DRAM構成的主記憶體上存放,將能得到最快速的I/O效能,但受DRAM成本所限,即使是高階伺服器的主記憶體配置量,大多也只有上百到數百GB等級,能處理的資料量有限,而且透過這種方式取得的單位效能成本也過高。

因此在實際應用中便只能退而求其次,混合使用主記憶體與傳統硬碟,透過快取機制將一部份存取頻繁的資料放進記憶體,減少對傳統硬碟的存取,至於實際能得到的存取加速效果,則需視快取記憶體容量與快取命中率而定。

當以NAND Flash記憶體為基礎的固態硬碟(SSD)技術普及後,提供了一種單位成本較DRAM低、存取速度又遠高於傳統硬碟的儲存媒體,可作為兩者間的中介,也讓伺服器I/O加速技術有了更豐富的面貌。

由使用的儲存裝置類型來看,目前的I/O存取加速技術使用的儲存媒體主要有DRAM與NAND Flash記憶體兩種;而從部署方式來看,則可分為三種典型類型:

● 伺服器端:利用安裝在伺服器內的DRAM或SSD模組來加速存取,這種類型由於資料存放位置離運算核心最近,有助於降低存取延遲。缺點則是除非整合特別的機制,否則安裝在伺服器內的資源無法與其他伺服器共享。

● 網路端:在前端伺服器與後端儲存設備之間儲存通道中,置入內含大量DRAM或SSD的應用伺服器,利用這種應用伺服器中的DRAM或SSD作為快取,提高整個儲存網路的速度。透過儲存網路,一套這種應用伺服器即可服務多臺前端伺服器與後端儲存設備,管理上亦較為方便。

● 儲存端:利用安裝在磁碟陣列控制器內的DRAM或SSD模組來加速存取。透過儲存網路,一臺儲存設備內的DRAM或SSD即可為多臺前端伺服器提供服務,資源可共享與靈活的調配,亦便於統一管理。缺點是儲存設備內的DRAM或SSD模組,與前端伺服器的運算核心相距較遠,存取時需經過的環節較多,延遲問題相對較為嚴重。


三種典型的I/O加速技術部署方式
I/O加速技術的基礎,是以DRAM或NAND Flash記憶體等高速儲存媒體,來作為資料存取的快取或高速儲存層,依部署方式不同,可分為伺服器端、網路端與儲存設備端等三種類型,各有不同的特性與優缺點。


利用伺服器主記憶體加速I/O
基於「將關鍵資料移到更接近運算資源的儲存裝置,加速資料存取」的原則,利用伺服器DRAM主記憶體來加速I/O是由來已久的作法,如將部份DRAM作為快取記憶體便是一種典型的應用。

當DRAM價格逐漸降低、伺服器DRAM配置量不斷增大後,又出現了RAM Disk的作法,可將部份的主記憶體空間模擬為磁碟空間,以便直接將應用程式與資料搬移到記憶體中加速存取。

不過若要讓這種存取加速機制達到最佳化,必須從作業平臺與應用程式端加以整合,才能讓RAM Disk發揮最大效益。因此一些廠商提出了搭配特定應用程式的「In-Memory」存取技術,藉以因應高I/O負載需求的應用。

這類技術通常是配合大型資料庫使用,典型的產品如SAP的HANA In-Memory Appliance與Business Warehouse Accelerator等。藉由將資料搬移到主機的記憶體中,這類產品可得到相當驚人的I/O效能,資料庫查詢與分析速度數倍於傳統存取技術。

不過前述這類利用主記憶體的存取加速技術成本相對較高,僅能處理相對較小量的資料(一般大約是上百到數百GB等級),而且必須搭配特定的應用程式與環境運作,並非普遍通用於一般環境,只適合特定作業環境下、需要快速存取小量資料的應用。

利用網路加速設備提高存取速度
考慮到企業儲存環境早已進入網路化,因此比起部署在前端伺服器或後端儲存設備上的I/O加速技術,將加速技術部署在儲存網路中,顯然是一種更為便利、有效的作法。

已有一些廠商推出了專門針對加速SAN或NAS環境存取的網路設備,如針對SAN區塊存取環境有Dataram的XcelaSAN應用伺服器,針對NAS檔案存取環境則有Alacritech的ANX 1500應用伺服器、Avere的FXT應用伺服器等。

這類儲存網路加速應用伺服器,可看作是一種內含大量高速儲存媒體的閘道器,如Dataram XcelaSAN Model 100內含256GB的DRAM,Alacritech的ANX 1500含有48GB的DRAM與2~4TB的SSD,Avere的FXT系列則包含64GB或72GB的DRAM、1GB的NVRAM,以及512GB Flash記憶體或1.2TB/3.6TB的SAS硬碟。

將這些設備接上儲存網路,將其設定在前端伺服器與後端儲存設備間的存取通道上,便可利用這些設備內的大量高速儲存媒體作為快取記憶體,為網路上流通的資料提供快取功能,保存那些較活躍的資料,從而加速前、後端的存取。為確保這些中間節點設備故障時不會影響到前後端的資料存取,高可用性叢集架構是這類解決方案的基本配備。

相較於更換內含大量快取記憶體、可因應更高I/O負載應用的高階儲存設備,透過在儲存網路中插入前述這類專用於提供快取加速功能的應用伺服器,亦能有效改善既有儲存環境的效能,以較低的成本達到支撐更高I/O負載應用的目的。

利用SSD加速伺服器I/O

利用SSD加速伺服器I/O
雖然NAND Flash記憶體的速度遠不如DRAM,但單位成本只及後者的1/4~1/10,因此可「以量取勝」,藉由比DRAM大上十倍、數十倍的容量,來協助傳統硬碟改善存取效能。

利用SSD的伺服器I/O加速技術同樣可分為三種類型:

伺服器端的SSD I/O加速:
也就是在伺服器內安裝SSD,構成介於DRAM與傳統硬碟之間的高速儲存層。通常可有兩種典型應用方式,一是當作高速儲存層,將高I/O負載的特定應用程式或資料存放到SSD上,藉以加速存取速度;也可透過某些作業系統或應用軟體提供的功能(如ZFS檔案系統的L2ARC功能),將SSD規畫為輔助DRAM的第二層快取記憶體,藉由單位容量成本較低的SSD,大幅擴充將系統快取記憶體的總量,從而有效提高快取命中率。

在實際應用中,伺服器內的SSD通常採用兩種硬體架構,一種是類似傳統硬碟的磁碟型式,透過SATA或SAS等儲存匯流排連接主機;另一種則是介面卡型式,將SSD介面卡安裝在PCIe匯流排插槽上,透過PCIe匯流排連接主機。

兩種應用形態相較下,採用PCIe介面卡型式的SSD,速度顯然高於硬碟型式的SSD,PCIe匯流排的頻寬高於SATA、SAS等儲存匯流排,而且與處理器之間的「距離」更短、延遲也較少——PCIe匯流排可直接透過北橋晶片連接處理器,甚至直接連接處理器(某些新處理器已整合了記憶體控制器與PCIe控制器,省略了北橋晶片的配置);相對的,採用SAS或SATA介面的SSD,則需依序經過磁碟控制器、南橋、北橋等環節,才能與處理器連接。

幾乎任何伺服器都可透過安裝PCIe介面卡型式或SATA、SAS介面型式的SSD,從而帶來I/O加速的效果。目前企業級SSD產品的選擇亦相當多。

網路端的SSD I/O加速:
在閘道器等網路設備中安裝大容量的SSD,為流經網路上的資料提供快取加速功能。

儲存設備端的SSD I/O加速:
即在外接儲存設備中使用SSD作為儲存媒體,在應用上也分為兩種型態,一是將SSD作為分層儲存中的高速存取層,可搭配自動分層儲存技術,自動將存取頻率高的資料搬移到SSD儲存層上,以便加速這些資料的存取速度;二是將SSD作為磁碟陣列控制器內含DRAM快取記憶體的輔助,構成第二層快取記憶體,藉以提高快取命中率,減少存取緩慢的機械式硬碟機率。

可搭配SSD作為高速存取層、整合在儲存設備中的自動分層儲存技術,目前已有許多選擇,其中較知名的有:Dell用於Compellent Storage Center儲存系統的Data Progression自動分層遷移技術、HDS用於搭配VSP系列儲存設備的HDT自動分層技術、EMC搭配VMAX與VNX系列儲存設備的FAST VP、HP 3PAR Inserv F系列與T系列儲存伺服器的Adaptive Optimization,以及IBM用在DS8700與Storwize V7000上的Easy Tier等等。

至於可提供以SSD作為輔助快取記憶體的儲存設備亦已不少,這類產品又有兩種類型,第一種是將SSD安裝在磁碟陣列控制器內,如搭配NetApp FAS與V系列控制器的Flash Cache模組,便是一種安裝在控制器內、內含Flash記憶體的PCIe介面卡。

第二種則是將SSD安裝在磁碟陣列控制器後端的磁碟櫃內,就和一般的硬碟一樣,磁碟陣列控制器再透過SAS或FC介面,連接磁碟櫃內的SSD,如EMC VNX系列整合儲存設備的FAST Cache,以及FalconStor NSS VS系列的HotZone與SafeCache,都是這種類型。

雖然兩種類型同樣都是把SSD當成快取記憶體使用,不過第一種架構中的SSD位於控制器之中,與控制器核心是直接透過PCIe介面連接,速度明顯快過第二種架購。

另外還有一些廠商推出配合特定應用平臺使用、整合度更高的儲存設備SSD I/O加速方案,如Oracle的Exadata資料庫專用伺服器中,安裝了Sun FlashFire PCIe Flash介面卡作為快取的儲存伺服器,便是典型的產品。

由後端儲存統一管理的前端伺服器快取技術(1)--EMC的Lightning計畫

在今年5月舉行的EMC World 2011大會中,EMC宣布了代稱「Project Lightning」的存取加速技術開發計畫,將發展一種基於伺服器端的PCIe介面Flash記憶體快取技術。整個計畫的重點有三:

(1) 安裝在伺服器端的Flash快取。

(2) FAST自動化功能。

(3) 分散式快取。

也就是在前端伺服器安裝Flash PCIe介面卡,將其作為後端儲存設備的快取與儲存裝置,並可與EMC的FAST VP自動分層軟體整合,從而在前端伺服器到後端儲存設備間建立高速傳輸通道,讓資料傳輸效率達到最佳化。

EMC Lightning計畫概念
簡單的說,Project Lightning的概念就是利用前端伺服器上安裝的PCIe SSD介面卡,作為加速前端伺服器與後端儲存設備之間存取通道的快取,並可透過一致性分散式快取(DCC)技術,與其他伺服器內的PCIe SSD介面卡協同運作。


由後端儲存統一管理的前端伺服器快取技術(2)--NetApp的Mercury計畫


NetApp在2011年2月的FAST'11技術講習會中,發布了該公司正在「Project Mercury」名義下,開發一種用於資料中心的伺服器端Flash記憶體快取技術。

「Project Mercury」的基本概念與EMC的「Project Lightning」有許多相似之處,例如它們都是ㄧ種將Flash記憶體安裝在前端伺服器、並由後端共享儲存設備管理的快取技術,不過相較之下,NetApp目前提供了更多實作的技術細節與原型測試結果說明。

按NetApp說法,「Project Mercury」可提供一種區塊導向、並與後端儲存設備維持一致性的Write-Through快取。目前測試中的原型系統是搭配虛擬化平臺運作,在部署上可構成:

● 在Hypervisor上的filter driver,提供從底層到guest OS間的透通。

● 在guest OS上的filter driver,提供從底層到應用程式間的透通。

● 針對應用程式的快取。

● 針對網路儲存協定的Proxy快取。

目前測試中的原型系統,是在虛擬平臺的QEMU堆疊層中,載入KVM/QEMU區塊(block)驅動程式(用於將儲存資源模擬為區塊儲存裝置),並搭配使用一種稱為hg的新型磁碟格式,為guest OS提供虛擬磁碟機。

所有發送給hg磁碟機的存取需求,都會由SSD快取負責處理,提供讀取快取功能。亦可關閉SSD快取功能,將存取需求直接導給原生磁碟裝置驅動程式。

NetApp提供的原型系統測試結果顯示,Mercury快取技術可減少將近40%的平均I/O服務時間,並能減少近50%的伺服器存取底層磁碟需求(幾乎所有的寫入要求都由Mercury滿足了)。

與伺服器直接連接的iSCSI磁碟區相比,透過Mercury快取可提升70%以上的隨機I/O速度,不過循序I/O只有微幅(5%左右)的改善。

NetApp Mercury計畫的部署架構
Mercury技術的測試原型是使用搭配Linux kernel虛擬機器的驅動程式,可利用後端儲存設備提供給虛擬平臺hypervisor主機的iSCSI磁碟區,向虛擬機器的guest OS提供一種hg格式的磁碟空間,並另外利用hypervisor主機內安裝的SSD磁碟空間,作為hg磁碟機的讀取快取記憶體,從而提高存取速度。