阿里云 容器存儲(chǔ)解決方案,阿里云服務(wù)器配置解決方案-ESG跨境

阿里云 容器存儲(chǔ)解決方案,阿里云服務(wù)器配置解決方案

阿里云 容器存儲(chǔ)解決方案

前言

Forrester預(yù)測到2022年，全球組織／公司在生產(chǎn)環(huán)境中運(yùn)行容器化應(yīng)用的比例將大幅度提升到超過75%，企業(yè)應(yīng)用容器化的趨勢勢不可擋。本藍(lán)皮書將在這樣的背景下，討論容器對(duì)存儲(chǔ)的現(xiàn)實(shí)需求以及阿里云文件存儲(chǔ)在云原生和容器等領(lǐng)域，不斷進(jìn)行適配和迭代的具體實(shí)踐，并最終幫助用戶更好的應(yīng)對(duì)云原生時(shí)代的挑戰(zhàn)。

一、容器與存儲(chǔ)

1、云原生的快速增長

來自CNCF（云原生計(jì)算基金會(huì)）的觀點(diǎn)認(rèn)為，?！霸圃夹g(shù)有利于各組織在公有云、私有云和混合云等新型動(dòng)態(tài)環(huán)境中，構(gòu)建和運(yùn)行可彈性擴(kuò)展的應(yīng)用。云原生的代表技術(shù)包括容器、服務(wù)網(wǎng)格、微服務(wù)、不可變基礎(chǔ)設(shè)施和聲明式API。這些技術(shù)能夠構(gòu)建容錯(cuò)性好、易于管理和便于觀察的松耦合系統(tǒng)。結(jié)合可靠的自動(dòng)化手段，云原生技術(shù)使工程師能夠輕松地對(duì)系統(tǒng)作出頻繁和可預(yù)測的重大變更?！?/p>

此外，容器集群管理系統(tǒng)Kubernetes的快速發(fā)展也對(duì)容器的使用帶來了極大便利，通過對(duì)網(wǎng)絡(luò)，存儲(chǔ)，計(jì)算進(jìn)行了編排，給用戶展現(xiàn)了一個(gè)新的界面，極大的簡化了用戶的運(yùn)維，提升了資源的彈性，真正的做到了按需使用，降低了用戶的成本。Kubernetes已經(jīng)成為了云原生的操作系統(tǒng)。

容器在生產(chǎn)環(huán)境的應(yīng)用的比例快速上漲，從2016年首次調(diào)查的23%，到2018年上漲到73%，實(shí)際到2020年已經(jīng)上漲到84%。

云原生應(yīng)用正在引領(lǐng)各個(gè)應(yīng)用領(lǐng)域?qū)崿F(xiàn)云原生化，同時(shí)也在深刻改變著應(yīng)用服務(wù)的方方面面。存儲(chǔ)作為應(yīng)用運(yùn)行的基石，也在服務(wù)云原生化過程中提出了更多的需求。云原生存儲(chǔ)為了滿足云原生特性的要求，可用性、穩(wěn)定性、擴(kuò)展性、性能等核心能力都有大幅的優(yōu)化。

與網(wǎng)絡(luò)、計(jì)算的編排不同的是，存儲(chǔ)需要考慮如何無縫的接入到Kubernetes中進(jìn)行編排和調(diào)度。Kubernetes推出了CSI，通過統(tǒng)一的標(biāo)準(zhǔn)將存儲(chǔ)和Kubernetes進(jìn)行了無縫的對(duì)接。

2、容器存儲(chǔ)的挑戰(zhàn)

新型工作負(fù)載容器化、遷云在存儲(chǔ)方面遇到的性能、彈性、高可用、安全及生命周期等方面的問題，不但需要存儲(chǔ)產(chǎn)品層次的改進(jìn)，還需要在云原生的控制和數(shù)據(jù)層次的改進(jìn)，推進(jìn)云原生存儲(chǔ)的技術(shù)演進(jìn)。

1）存儲(chǔ)彈性挑戰(zhàn)

業(yè)務(wù)有明顯的波峰波谷，如直播、互聯(lián)網(wǎng)和大型金融服務(wù)商等突發(fā)應(yīng)用要求彈性擴(kuò)容大量只讀容器，短時(shí)間內(nèi)啟動(dòng)數(shù)千個(gè)容器，對(duì)資源的彈性伸縮的能力要求非常高。云原生的極致彈性對(duì)存儲(chǔ)的極致彈性能力帶來了新的挑戰(zhàn)。

2）存儲(chǔ)高可用挑戰(zhàn)

海量容器對(duì)數(shù)據(jù)共享讀寫能力要求較高，多節(jié)點(diǎn)之間，不同可用區(qū)和不同VPC之間缺乏數(shù)據(jù)共享。當(dāng)Pod故障時(shí)，數(shù)據(jù)能否靈活切換實(shí)現(xiàn)容器應(yīng)用的高可用，保證業(yè)務(wù)的連續(xù)性的高可用挑戰(zhàn)。

3）存儲(chǔ)性能挑戰(zhàn)

云原生應(yīng)用在大數(shù)據(jù)分析、AI等場景得到廣泛應(yīng)用，這些場景對(duì)存儲(chǔ)吞吐和IOPS的需求也非常高。在容器集群集中處理海量數(shù)據(jù)，同時(shí)啟動(dòng)數(shù)千Pod，彈出海量Pod對(duì)共享文件系統(tǒng)進(jìn)行讀寫的場景下，重負(fù)載導(dǎo)致時(shí)延增加，高延遲毛刺增多，讀寫穩(wěn)定性不足，同時(shí)云原生應(yīng)用的快速擴(kuò)容、極致伸縮等特性也會(huì)考驗(yàn)存儲(chǔ)服務(wù)在短時(shí)間內(nèi)迎接峰值流量的能力。

集中式高吞吐對(duì)共享存儲(chǔ)池沖擊：高性能計(jì)算場景中，集中處理批量數(shù)據(jù)，同一個(gè)存儲(chǔ)集群中帶寬擠占，造成訪問質(zhì)量下降。

峰值吞吐不足：大規(guī)模數(shù)據(jù)處理，文件數(shù)目少，峰值吞吐高，請求密集，接近獨(dú)占集群的極限帶寬。

時(shí)延增加導(dǎo)致GPU等待：多機(jī)多卡GPU訓(xùn)練，讀密集型的場景下，時(shí)延增加導(dǎo)致IOwait和GPU wait。

4）存儲(chǔ)的安全挑戰(zhàn)：面向的容器隔離性要求場景，主要是多應(yīng)用共享，文件系統(tǒng)多租戶環(huán)境的容量配合，集群級(jí)文件系統(tǒng)共享訪問的權(quán)限控制，用戶應(yīng)用的全鏈路數(shù)據(jù)加密等安全挑戰(zhàn)。

5）存儲(chǔ)的生命周期管理挑戰(zhàn)：海量容器集群持久化數(shù)據(jù)存儲(chǔ)面臨數(shù)據(jù)冷熱分級(jí)和成本挑戰(zhàn)。

二、阿里云文件存儲(chǔ)

1、文件存儲(chǔ)與容器

作為國內(nèi)最大的云產(chǎn)商，阿里云提供了豐富的云原生服務(wù)。阿里云在云原生布局上提供托管、Serverless的容器編排平臺(tái)，阿里云存儲(chǔ)提供CSI、Flexvolume插件，和云原生無縫對(duì)接。

阿里云文件存儲(chǔ)NAS為非結(jié)構(gòu)化數(shù)據(jù)提供存儲(chǔ)服務(wù)。隨著云原生的快速發(fā)展，越來愈多的容器化應(yīng)用程序開始使用NAS來存儲(chǔ)數(shù)據(jù)，甚至存儲(chǔ)的數(shù)據(jù)量達(dá)到了PB級(jí)。阿里云在云原生布局上提供容器Kubernetes服務(wù)（ACK）和彈性容器實(shí)例（ECI），容器實(shí)例使用NAS文件系統(tǒng)作為持久化存儲(chǔ)。阿里云文件存儲(chǔ)同時(shí)滿足容器應(yīng)用場景對(duì)持久化存儲(chǔ)彈性伸縮、共享訪問、高可用、高性能的需求。

阿里云文件存儲(chǔ)NAS是容器存儲(chǔ)的自然選擇，因?yàn)樗且环N完全托管的服務(wù)，配置簡單，添加或刪除數(shù)據(jù)時(shí)自動(dòng)擴(kuò)展，和容器基礎(chǔ)架構(gòu)一樣靈活便捷。

2、阿里云文件存儲(chǔ)產(chǎn)品優(yōu)勢

阿里云存儲(chǔ)服務(wù)也在云原生應(yīng)用適配做了很多優(yōu)化，阿里云文件存儲(chǔ)支持CSI、Flexvolume存儲(chǔ)驅(qū)動(dòng)無縫的銜接了云原生應(yīng)用和存儲(chǔ)服務(wù)之間的數(shù)據(jù)接口。實(shí)現(xiàn)了用戶使用存儲(chǔ)資源時(shí)對(duì)底層存儲(chǔ)無感知，而專注于自己的業(yè)務(wù)開發(fā)。

阿里云文件存儲(chǔ)為云原生提供了一個(gè)完全彈性和共享的文件系統(tǒng)，按需使用，滿足云原生極致的彈性。阿里云文件存儲(chǔ)從彈性，高可用，性能，安全，生命周期管理等方面對(duì)云原生存儲(chǔ)進(jìn)行了打造和演進(jìn)。

1）極致彈性，按需自動(dòng)擴(kuò)展

阿里云文件存儲(chǔ)支持自由擴(kuò)縮容，按需使用，適配容器的彈性能力，是完全托管的文件系統(tǒng)。在金融，互聯(lián)網(wǎng)等典型的突發(fā)彈性場景中，能夠在幾分鐘內(nèi)啟動(dòng)數(shù)千個(gè)容器，并完成數(shù)據(jù)的極速加載、卸載。

2）共享持久化數(shù)據(jù)，容器應(yīng)用高可用

文件存儲(chǔ)具備多節(jié)點(diǎn)共享訪問能力，文件存儲(chǔ)還可以在不同可用區(qū)（不支持跨地域）、不同VPC之間共享。多Pod間通過NAS共享持久化數(shù)據(jù)，在POD故障時(shí)可以進(jìn)行故障切換，實(shí)現(xiàn)容器應(yīng)用高可用。

3）高性能加速，移除容器存儲(chǔ)I/O瓶頸

文件存儲(chǔ)基于分布式存儲(chǔ)架構(gòu)，具備性能水平擴(kuò)展能力。提供不同類型、不同規(guī)格存儲(chǔ)產(chǎn)品，充分滿足各類應(yīng)用的吞吐、延遲、IOPS和小文件等性能需求。文件存儲(chǔ)CPFS剛性交付100GBps吞吐，支持AI、HPC應(yīng)用；文件存儲(chǔ)NAS極速型IOPS 20萬，時(shí)延200us，小文件時(shí)延敏感應(yīng)用最佳選擇。高性能文件存儲(chǔ)在容器批量加載時(shí)實(shí)時(shí)讀取數(shù)據(jù)，支撐有狀態(tài)應(yīng)用、AI數(shù)據(jù)智能應(yīng)用。

4）無縫對(duì)接容器存儲(chǔ)插件，簡化的云原生體驗(yàn)

文件存儲(chǔ)基于POSIX/NFS/SMB文件接口，現(xiàn)有應(yīng)用無需任何改造，可直接從本地磁盤平滑遷移至文件存儲(chǔ)。針對(duì)容器編排，文件存儲(chǔ)提供了CSI、Flexvolume存儲(chǔ)插件，簡化部署和使用，擁有完整的云原生體驗(yàn)。

5）企業(yè)級(jí)應(yīng)用特性，Pod存儲(chǔ)安全可靠

文件存儲(chǔ)支持副本技術(shù)，同時(shí)通過備份、快照提供完整的數(shù)據(jù)保護(hù)和恢復(fù)機(jī)制。支持傳輸、落盤加密，確保數(shù)據(jù)不會(huì)被任何人竊取和篡改。支持海量pod存儲(chǔ)隔離和統(tǒng)一管理。

6）數(shù)據(jù)生命周期管理，優(yōu)化成本

文件存儲(chǔ)提供按量付費(fèi)模式，只需為正在使用的存儲(chǔ)空間付費(fèi)，不需要提前配置存儲(chǔ)，并且不存在最低費(fèi)用或設(shè)置費(fèi)用。借助文件存儲(chǔ)的共享能力可以節(jié)約大量的冗余數(shù)據(jù)拷貝和同步費(fèi)用。數(shù)據(jù)生命周期管理，支持冷熱分層，自動(dòng)歸檔冷數(shù)據(jù)，降低成本90%。

3、阿里云文件存儲(chǔ)產(chǎn)品規(guī)格

阿里云文件存儲(chǔ)是云原生、高可用、成本優(yōu)化的完全托管的文件系統(tǒng)。阿里云文件存儲(chǔ)有三款產(chǎn)品，通用型NAS，極速型NAS和并行文件系統(tǒng)CPFS。其中：

通用型NAS具有高性價(jià)比，通常是交互式應(yīng)用程序的最佳選擇，諸如內(nèi)容管理系統(tǒng)，容器應(yīng)用的吞吐量和存儲(chǔ)量線性相關(guān)。

極速型NAS具有低延時(shí)，通常是時(shí)延敏感應(yīng)用的最佳選擇，如開發(fā)人員工具在每次低延時(shí)操作中受益。

并行文件系統(tǒng)CPFS具有高吞吐和高IOPS，通常適用于分析和AI機(jī)器學(xué)習(xí)等計(jì)算密集型場景，能支撐數(shù)千個(gè)容器并行操作，也是高性能計(jì)算工作負(fù)載的理想選擇。

三、容器存儲(chǔ)的典型應(yīng)用場景

隨著新技術(shù)的發(fā)展，極致彈性、AI、Devops持續(xù)集成交付和容器集成鏡像構(gòu)建、基因處理等大量使用容器文件存儲(chǔ)。

1、極致彈性的容器存儲(chǔ)應(yīng)用場景

視頻、5G、直播、大型金融服務(wù)商等突發(fā)應(yīng)用彈性擴(kuò)容大量只讀容器，對(duì)資源彈性的能力要求非常高，文件存儲(chǔ)需具備極致彈性和極速伸縮能力的應(yīng)用場景：

●NAS為海量容器提供共享讀寫能力

●NAS自動(dòng)化極速伸縮，在短時(shí)間內(nèi)啟動(dòng)數(shù)千個(gè)容器，毫秒級(jí)掛載NAS

●利用極速型NAS低時(shí)延和強(qiáng)大小文件能力，分鐘級(jí)別實(shí)現(xiàn)快速啟動(dòng)，解決擴(kuò)容的并發(fā)啟動(dòng)對(duì)存儲(chǔ)性能的高要求

方案優(yōu)勢：

●敏捷，極致的彈性，對(duì)存儲(chǔ)來說，容量和性能擴(kuò)展完全按需

●單個(gè)文件系統(tǒng)支持?jǐn)?shù)萬Pod共享，毫秒掛載和卸載，極速遷移

2、AI容器存儲(chǔ)應(yīng)用場景

CPFS/NAS文件存儲(chǔ)面向AI訓(xùn)練、AI推理的容器存儲(chǔ)解決方案：

●CPFS/NAS靈活整合容器環(huán)境的GPU云服務(wù)器、SCC、彈性裸金屬等計(jì)算集群，通過容器化部署服務(wù)實(shí)現(xiàn)資源彈性調(diào)度，快速構(gòu)建AI基礎(chǔ)環(huán)境。

●CPFS/NAS文件存儲(chǔ)作為高性能共享存儲(chǔ)，與AI場景完美結(jié)合，支持海量小文件訪問，加速AI訓(xùn)練、推理性能。

●CPFS混合云存儲(chǔ)+云上CPFS/NAS/OSS多級(jí)存儲(chǔ)池，數(shù)據(jù)云上和云下流轉(zhuǎn)，支持分層存儲(chǔ)。

方案優(yōu)勢：

●超高性能存儲(chǔ)提高了計(jì)算資源的利用率

●良好擴(kuò)展能力，減少運(yùn)維管理成本

●生命周期管理，與云上無縫對(duì)接，數(shù)據(jù)冷熱分層，降低成本

3、DevOps容器鏡像構(gòu)建應(yīng)用場景

DevOps持續(xù)集成工具交付和容器鏡像構(gòu)建應(yīng)用場景的容器存儲(chǔ)解決方案：

●持續(xù)集成工具Jenkins結(jié)合容器服務(wù)，實(shí)現(xiàn)自動(dòng)測試和鏡像構(gòu)建推快遞。

●開發(fā)人員提高代碼GitLab，CI Server從NAS讀取代碼進(jìn)行編譯構(gòu)建、集成測試和打包，CI Server從NAS讀取鏡像包推快遞鏡像服務(wù)，由CD Server鏡像發(fā)布。

●通過NAS共享存儲(chǔ)，可以在開發(fā)環(huán)境和測試環(huán)境方便的共享代碼，維護(hù)一套代碼庫，可以在開發(fā)環(huán)境完成開發(fā)，然后編譯并加載到CI持續(xù)集成，最后代碼發(fā)布上線，全流程打通，無需繁瑣的代碼拷貝。

方案優(yōu)勢：

共享訪問：不同的業(yè)務(wù)容器可以在一致性狀態(tài)下共享訪問同一份數(shù)據(jù)

高可用：容器故障后需要在不同宿主節(jié)點(diǎn)進(jìn)行切換，共享NAS存儲(chǔ)可以保證在容器的持久化數(shù)據(jù)在切換過程中不丟失。

4、基因計(jì)算容器存儲(chǔ)解決方案

二代、三代基因數(shù)據(jù)分析提供云上數(shù)據(jù)分析和高速數(shù)據(jù)上傳、交付的容器存儲(chǔ)方案：

文件存儲(chǔ)對(duì)接AGS、ACK搭建極速、低成本、高精度的容器基因計(jì)算環(huán)境，滿足基因測序的計(jì)算和數(shù)據(jù)共享需求；

NAS為基因行業(yè)用戶提供低時(shí)延、高IOPS的文件存儲(chǔ)，用于基因數(shù)據(jù)分析中的共享存儲(chǔ)，保存下機(jī)數(shù)據(jù)和組裝后的數(shù)據(jù)，以及過程中的中間數(shù)據(jù)；

NAS計(jì)算結(jié)果數(shù)據(jù)會(huì)同步到OSS存儲(chǔ)，文件存儲(chǔ)集成OSS提供海量存儲(chǔ)空間，同時(shí)通過冷數(shù)據(jù)歸檔存儲(chǔ)，降低存儲(chǔ)成本。保存測序儀下機(jī)數(shù)據(jù)和組裝后數(shù)據(jù)以及分析結(jié)果數(shù)據(jù)，用于數(shù)據(jù)的分發(fā)、歸檔、交付。保證10000+用戶同時(shí)上傳、下載數(shù)據(jù)，提高數(shù)據(jù)交付效率。

方案優(yōu)勢：

敏捷，按需使用，彈性擴(kuò)展

超高性能存儲(chǔ)提高基因計(jì)算的高性能和效率

數(shù)據(jù)冷熱分層，降低成本

四、總結(jié)

以容器和云原生計(jì)算被企業(yè)快速接納，Kubernetes逐漸成為云原生時(shí)代的基礎(chǔ)設(shè)施，容器服務(wù)成為云原生時(shí)代基礎(chǔ)設(shè)施。新的工作負(fù)載推進(jìn)云原生存儲(chǔ)和云存儲(chǔ)的演進(jìn)，云存儲(chǔ)繼續(xù)夯實(shí)性能，容量，彈性，密度等基礎(chǔ)能力，共建云原生環(huán)境下的存儲(chǔ)生態(tài)。

阿里云文件存儲(chǔ)是容器存儲(chǔ)的自然選擇，完美應(yīng)對(duì)云原生存儲(chǔ)在性能，彈性，高可用，安全，生命周期等方面的數(shù)據(jù)挑戰(zhàn)。阿里云基于云原生文件存儲(chǔ)技術(shù)的快速演進(jìn)將不斷賦能云原生和容器領(lǐng)域的快速發(fā)展。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。