AWS存儲家族大合集,aws存儲技術-ESG跨境

AWS存儲家族大合集,aws存儲技術

AWS存儲家族大合集

大部分希望遷移到云端的公司，都需要在開始遷移時首先評估現(xiàn)有的存儲基礎結構。為了更有效地評估現(xiàn)有存儲基礎結構，有必要了解如何將現(xiàn)有存儲設備映射為不同的Amazon Web Services(AWS)存儲服務。為此必須花費時間明確目前的數(shù)據(jù)是如何存儲，以及存儲在哪里，隨后才能以此為依據(jù)將現(xiàn)有工作負載和存儲基礎結構遷移至AWS存儲服務。

本文將對比AWS存儲和本地存儲的存儲模式，以幫助客戶將現(xiàn)有模式與AWS存儲服務豐富的產(chǎn)品組合相互匹配。此外本文還將提供存儲模式?jīng)Q策矩陣，借此加快多樣化的應用程序和工作負載需求遷移到AWS時的決策過程。

為何遷移到云端？

AWS在幫助企業(yè)遷移上云這方面已經(jīng)積累了超過14年的經(jīng)驗。將存儲工作負載遷移到云端一直是CIO們解決以下優(yōu)先戰(zhàn)略要務的主要方式之一：

·提高業(yè)務敏捷度

·加快創(chuàng)新速度

·增強安全性

·降低成本

遷移上云的企業(yè)可以變得更敏捷，因為他們可以靈活地擴展各類資源，以滿足獨特的業(yè)務需求。借助大規(guī)模分析能力和機器學習技術，我們可以消除數(shù)據(jù)孤島并從數(shù)據(jù)中獲得更多價值，借此加速現(xiàn)代化革新之旅。在消除了數(shù)據(jù)孤島并應用更高級的加密控制能力后，企業(yè)可以在發(fā)現(xiàn)更多的數(shù)據(jù)價值的同時改善數(shù)據(jù)的安全性。

AWS用戶可以直接獲得專為對安全性要求最嚴格的企業(yè)所打造的全部控制、工具以及認證。最后，由于可以獲得更靈活的購買模式，避免存儲設備過度配置，設備升級換代以及維護存儲基礎架構的支出，企業(yè)還可以進一步降低成本。相比本地部署模式，云存儲提供了數(shù)不勝數(shù)的價值，并能有效解決CIO最關注的問題。

圖1：存儲利用率對比

圖1對比了本地存儲系統(tǒng)以及使用AWS存儲服務在資本投入方面的需求，使用AWS服務時，客戶只需要為實際使用的資源付費。在本例中，客戶需要購買1PB原始存儲容量并為此付費。但在組建RAID陣列并格式化后，排除掉文件系統(tǒng)本身的開銷并為未來增長留出余量后，數(shù)據(jù)實際占用的容量僅為400TB。對于大部分AWS存儲服務（例如Amazon EFS和Amazon S3），客戶只需要為自己實際使用的400 TB容量付費；或者（如果使用Amazon EBS和Amazon FSx for Windows File Server，則）只需要為實際分配的600TB容量付費。

典型的本地存儲模式

典型的本地存儲模式包括光纖通道FC SAN存儲、iSCSI SAN存儲、網(wǎng)絡附加存儲（NAS）以及對象存儲。本節(jié)將簡要介紹不同的本地數(shù)據(jù)存儲技術，并分析客戶在滿足應用程序和用戶數(shù)據(jù)的存儲需求時所創(chuàng)建的工作負載模式

·光纖通道（FC）SAN存儲

SAN是一種存儲網(wǎng)絡技術，可通過專用高速光纖通道網(wǎng)絡共享塊存儲資源。此外，光纖通道協(xié)議（FCP）是SCSI協(xié)議在光纖通道網(wǎng)絡上的映射。最重要的是，SCSI命令和數(shù)據(jù)塊會封裝為FC幀，并通過光纖網(wǎng)絡/設施進行傳輸。通常來說，使用FC SAN的應用程序包括ERP、CRM、SAP、SQL、Oracle、DB2、MSSQL等。

·iSCSI SAN存儲

iSCSI則是一種可以通過IP網(wǎng)絡共享存儲資源的存儲網(wǎng)絡技術。通常來說，通過iSCSI SAN共享的存儲資源往往是磁盤資源，不過iSCSI是SCSI協(xié)議在TCP/IP上的映射。

SCSI協(xié)議還可以通過類似的方式映射至其他傳輸機制，例如光纖通道FC，因此理論上，任何SCSI設備都可以通過iSCSI SAN共享。通常來說，使用FC SAN的應用程序也可以使用iSCSI，只不過此時會使用IP網(wǎng)絡基礎結構進行數(shù)據(jù)傳輸（例如ERP、CRM、SAP、SQL、Oracle等）。

·網(wǎng)絡附加存儲（NAS）

NAS文件系統(tǒng)是一種共享的文件存儲資源，通常代表了非結構化數(shù)據(jù)或文件存儲。對于Linux工作負載，這些文件系統(tǒng)通常會使用諸如Network File Storage（NFS）等協(xié)議；對于Windows工作負載的數(shù)據(jù)共享，這些文件系統(tǒng)往往會使用Server Message Block（SMB）或Common Internet File System（CIFS）協(xié)議。NAS存儲通常被用于存儲諸如共享文件夾以及文檔庫等可供用戶和應用程序訪問的文件數(shù)據(jù)。

根據(jù)SNIA.org（存儲網(wǎng)絡行業(yè)聯(lián)盟）的介紹：

“NAS代表連接到網(wǎng)絡，為計算機系統(tǒng)提供文件訪問服務的存儲設備?！贝祟怤AS設備通常會使用元數(shù)據(jù)和用于存儲數(shù)據(jù)的文件/文件夾層次結構來實現(xiàn)文件服務。NAS客戶端可使用標準化的協(xié)議（如NFS或SMB/CIFS）訪問NAS設備所存儲的數(shù)據(jù)。企業(yè)可以將NAS設備作為一種高效、低成本、可擴展的存儲解決方案。NAS存儲主要可用于支撐郵件系統(tǒng)、財務數(shù)據(jù)庫、薪酬系統(tǒng)、視頻錄制和編輯、數(shù)據(jù)日志、業(yè)務分析等應用。

對象存儲

對象存儲可供用戶以原生格式存儲數(shù)據(jù)，因此任何類型的數(shù)據(jù)都可存儲在對象存儲內(nèi)。對象通常可通過一個很長（如64位）的唯一標識符加以區(qū)分，該標識符是由對象內(nèi)容派生并附加某種哈希機制得到的。通常來說，對象會保存到一個單一的大型平面名稱空間中，不具備傳統(tǒng)文件系統(tǒng)那樣的層次結構或樹狀結構。這種單一的大型平面的名稱空間使得對象存儲系統(tǒng)與生俱來地具備了極大的可擴展性。對象存儲設備（OSD）可通過諸如REST、SOAP和XAM等API操作訪問。

根據(jù)SNIA.org的介紹：

“對象存儲是在磁盤上組織數(shù)據(jù)的第三種主要方式。對象可通過對象ID或鍵值進行尋址，而不是按照字節(jié)組織成文件名進行尋址，或組織為塊并通過塊編號尋址。我們可以通過對象ID（也可以使用密鑰）訪問指定的對象，隨后即可獲得返回的數(shù)據(jù)。這些數(shù)據(jù)長度任意，可以是零字節(jié)，或者極大的字節(jié)數(shù)?！?/p>

圖2：本地存儲決策矩陣

圖2展示了本地用戶和應用程序訪問并連接數(shù)據(jù)存儲的不同方式。在上文列舉的例子中，應用程序可通過受支持的協(xié)議使用SAN、NAS或對象存儲。但在性能、安全性和可擴展性方面，應用程序可支持的訪問協(xié)議將成為決定在后端使用哪種存儲類型（SAN、NAS、對象）的關鍵，因為每種存儲訪問協(xié)議都有各自的優(yōu)勢與局限。

AWS存儲服務模式

本節(jié)將簡要介紹主要的AWS存儲服務，以及這些存儲服務如何替代部署在客戶本地數(shù)據(jù)中心的存儲設備。

·Amazon Elastic Block Store（Amazon EBS）

Amazon EBS是一種易于使用的高性能塊存儲服務。Amazon EBS專為Amazon EC2中運行的任意規(guī)模吞吐率密集型和事務密集型工作負載設計。關系和非關系數(shù)據(jù)庫，企業(yè)應用程序，容器化應用程序，大數(shù)據(jù)分析引擎，文件系統(tǒng)和媒體工作流等各種工作負載已廣泛部署在Amazon EBS上。

Amazon EBS適用于原本在本地環(huán)境使用iSCSI或FC SAN存儲陣列的應用程序工作負載。

·Amazon Elastic File System（Amazon EFS）

Amazon EFS提供了一種簡單、可擴展、完全托管的彈性NFS文件系統(tǒng)，可供AWS云服務和本地資源使用。在設計上，該服務可在不影響應用程序運行的前提下按需擴展至PB級規(guī)模，可隨著文件的添加和移除自動擴展或收縮，用戶無需為了適應未來增長而預配并管理容量。Amazon EFS是一種區(qū)域性服務，可提供個位數(shù)毫秒級別的延遲，同時在至少三個可用區(qū)中存儲數(shù)據(jù)，其持久性設計為99.999999999％（11個9）。

Amazon EFS適用于原本在本地環(huán)境使用基于NFS協(xié)議的NAS存儲陣列的應用程序和用戶工作負載。

·Amazon FSx for Windows File Server

重要通知：Amazon FSx for Windows File Server及Amazon FSx for Lustre現(xiàn)已在由光環(huán)新網(wǎng)運營的Amazon Web Services(AWS)中國（北京）區(qū)域和西云數(shù)據(jù)運營的AWS中國（寧夏）區(qū)域推出。

關于Amazon FSx新服務的更多資訊，推薦大家參閱以下內(nèi)容：

·還在煩惱如何部署文件存儲？瞧，您的高性能存儲神器已上線！

Amazon FSx for Windows File Server提供了完全托管的高可靠、可擴展文件存儲，可通過符合行業(yè)標準的SMB協(xié)議訪問。該服務基于Windows Server構建，提供了豐富的管理功能，例如用戶配額、最終用戶文件還原以及與Microsoft Active Directory的集成。該服務提供了單一AZ和多AZ部署選項、完整的托管備份，以及對傳輸中和存儲后的數(shù)據(jù)進行加密的能力。Amazon FSx文件存儲可通過Windows、Linux和macOS計算實例以及運行在AWS或本地的設備訪問。用戶可以使用SSD和HDD存儲選件來優(yōu)化成本和性能，以滿足工作負載需求。

圖3：Amazon FSx for Windows File Server功能

圖3著重展示了FSx for Windows File Server的功能，及其對各種協(xié)議、操作系統(tǒng)、計算、網(wǎng)絡、可用性、持久性、備份、性能、可擴展性、成本優(yōu)化、安全性以及合規(guī)性等方面的支持情況。Amazon FSx for Windows File Server適用于原本在本地環(huán)境使用基于CIFS/SMB協(xié)議的NAS存儲陣列的應用程序和用戶工作負載。

·Amazon Simple Storage Service（Amazon S3）

Amazon S3是一種對象存儲服務，提供了業(yè)內(nèi)領先的可擴展性、數(shù)據(jù)可用性、安全性以及性能。這些能力使得客戶能夠存儲和保護任意數(shù)量的數(shù)據(jù)，并將數(shù)據(jù)用于各種類型的用途，如網(wǎng)站、移動應用程序、備份和還原、歸檔、企業(yè)應用程序、IoT設備，以及大數(shù)據(jù)分析等。Amazon S3提供了易于使用的管理功能，用戶可以借此整理自己的數(shù)據(jù)，并配置可細化調(diào)整的訪問控制機制，以滿足特定的業(yè)務、組織或合規(guī)要求。Amazon S3的設計持久性為99.999999999％（11個9），目前已被全球大量企業(yè)的數(shù)以百萬計企業(yè)應用程序所使用。

Amazon S3針對不同用例提供了豐富的存儲類。例如針對頻繁訪問數(shù)據(jù)的常規(guī)用途存儲所提供的S3 Standard；針對訪問模式未知或頻繁變化的數(shù)據(jù)所提供的S3 IntelligentTiering；為需要長期保存，需要輕松重建但訪問頻率較低的數(shù)據(jù)所提供的S3 StandardInfrequent Access（S3 StandardIA）和S3 One ZoneInfrequent Access（S3 One ZoneIA）；以及為長期歸檔和數(shù)字化保留所提供的Amazon S3 Glacier和Amazon S3 Glacier Deep Archive。Amazon S3還提供了數(shù)據(jù)全生命周期管理功能。在設置S3生命周期策略后，數(shù)據(jù)即可被自動轉移至不同的存儲類，而這一過程中完全不需要對應用程序進行任何改動。

Amazon S3適用于基于本地對象存儲和很多基于文件存儲陣列構建的應用程序和用戶工作負載。

圖4：AWS存儲模式?jīng)Q策矩陣

圖4展示了已經(jīng)遷移至AWS，或云原生應用程序的存儲決策矩陣。在該決策矩陣中，工作負載對存儲訪問協(xié)議、性能以及可擴展性的要求扮演了重要角色。此外，對于本地應用程序，大部分AWS存儲服務都可在本地環(huán)境通過低延遲AWS Direct Connect或VPN連接的方式訪問。

數(shù)據(jù)存儲遷移和混合云存儲訪問

AWS用戶可通過多種選項將本地數(shù)據(jù)存儲遷移至AWS。下文將介紹通過AWS DataSync進行的在線遷移，以及通過AWS Snow Family服務進行的離線存儲遷移。

·適用于在線存儲遷移的AWS DataSync

AWS DataSync可以幫助用戶在本地存儲以及Amazon S3、Amazon EFS或Amazon FSx for Windows File Server之間快速、簡單地在線移動大量數(shù)據(jù)。與數(shù)據(jù)傳輸有關的手工任務可能大幅拖累遷移進度并增加IT負擔，DataSync則能省略或自動處理大部分此類任務，包括腳本復制作業(yè)、調(diào)度、傳輸監(jiān)視、數(shù)據(jù)驗證以及網(wǎng)絡利用率優(yōu)化。DataSync軟件代理可連接到NFS和SMB存儲，因此用戶完全無需更改應用程序。

AWS DataSync能夠借助互聯(lián)網(wǎng)或AWS Direct Connect鏈路，以最多十倍于傳統(tǒng)開源工具的速度順利傳輸數(shù)百TB以及上百萬的文件。用戶可以使用DataSync遷移活躍數(shù)據(jù)集或將其歸檔至AWS，將數(shù)據(jù)傳輸?shù)皆贫艘赃M行及時分析和處理，或將數(shù)據(jù)復制到AWS以保障業(yè)務連續(xù)性。

適用于離線存儲遷移的AWS Snow Family

AWS Snow Family包括AWS Snowcone、AWS Snowball以及AWS Snowmobile。AWS Snowcone和AWS Snowball是一種小巧堅固但非常安全的可移動存儲與邊緣計算設備，可用于數(shù)據(jù)收集、處理和遷移等工作。這些設備在設計上專門面向網(wǎng)絡帶寬受限或不具備網(wǎng)絡連接的邊緣位置，能夠在嚴苛的環(huán)境中提供存儲和計算能力。AWS Snowmobile則是一種EB級規(guī)模的數(shù)據(jù)傳輸服務，可用于將海量數(shù)據(jù)（包括視頻庫、圖片倉庫，甚至完整的數(shù)據(jù)中心內(nèi)容）遷移到云端。借助AWS Snowcone與AWS DataSync的集成，用戶可以從邊緣位置進行在線數(shù)據(jù)遷移。

通過AWS Storage Gateway

實現(xiàn)混合云存儲訪問

除了VPN連接，用戶還可以利用現(xiàn)有的AWS Direct Connect從本地數(shù)據(jù)中心訪問自己在AWS中的數(shù)據(jù)。AWS通過AWS Storage Gateway為不同類型的數(shù)據(jù)訪問模式提供了豐富的選項，以及本地緩存功能，可以更快地讀寫最常訪問的數(shù)據(jù)。

AWS Storage Gateway是一種混合云存儲服務，可供用戶從本地訪問幾乎無限量的云存儲空間。用戶可以使用Storage Gateway簡化存儲管理工作并降低關鍵的混合云存儲用例的相關成本。例如將備份轉移到云端，在本地使用由云存儲支撐的文件共享，為本地應用程序提供AWS中數(shù)據(jù)的低延遲訪問途徑。

下列存儲模式示意圖展示了混合云存儲的訪問模式：

圖5：混合存儲模式?jīng)Q策矩陣

圖5展示了需要繼續(xù)保留在本地的應用程序的存儲模式?jīng)Q策矩陣。這些應用程序在利用本地讀/寫緩存以極低延遲訪問活躍工作集的同時，同樣可以獲得云平臺所提供的各項收益。圖5還展示了應用程序或用戶利用首選存儲協(xié)議訪問本地存儲的工作集數(shù)據(jù)時對應的決策矩陣。這種情況下，可在幾分鐘內(nèi)獲得幾乎不受限制的云存儲空間擴展能力。

在圖5所示的決策矩陣中，工作負載的存儲訪問協(xié)議、性能要求以及可擴展性要求扮演了關鍵角色。該決策矩陣還涉及了其他一些用例，例如借助AWS Storage Gateway的Tape Gateway對長期保存的備份進行分層存儲（用以取代磁帶備份技術），將其存儲到Amazon S3的歸檔層中

結論

無論用戶需要從零開始進行遷移或需要把突發(fā)工作負載遷移至云端，AWS提供了能在這一過程的每個環(huán)節(jié)提供幫助的服務。在從本地存儲環(huán)境遷移至云端解決方案后，組織將變得更敏捷，更具創(chuàng)新性。將本地數(shù)據(jù)存儲遷移至AWS存儲服務還可能幫助組織改善可擴展性與安全性，并降低基礎結構成本。

越來越多的企業(yè)IT管理者開始意識到AWS可以幫助自己以前所未有的方式，更安全地駕馭新的工作流程和服務。例如TransferWise，這家AWS客戶利用AWS Storage Gateway、Amazon EBS和AWS Backup輕松地在AWS平臺上遷移并管理數(shù)據(jù)庫和備份。借助Amazon Relational Database Service（Amazon RDS）和Amazon EC2，TransferWise已經(jīng)將數(shù)百個數(shù)據(jù)庫遷移至AWS。此外，TransferWise還解決了本地環(huán)境的可擴展性問題，通過遷移至AWS更好地觸及遍布全球的客戶。

“通過使用AWS，我們可以在需要的時間和地點快速獲得所需的計算和存儲資源，這樣的速度比以往任何時候更快。AWS可以幫助我們更好地推進全球擴張戰(zhàn)略?！?/p>

如果希望更進一步了解本文所涉及的產(chǎn)品，建議部署DataSync代理并將測試工作負載遷移至AWS存儲服務，借此可以測試上文提到的任何服務，并測試自己的運維、安全和性能要求。如果您正在尋找更多的資源希望將基于文件存儲的應用程序遷移到AWS，請訪問我們的遷移至托管文件存儲資源頁面。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內(nèi)容、版權或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。