阿里云 云原生應(yīng)用架構(gòu)實踐講解,阿里云云原生架構(gòu)實踐阿里云 云原生應(yīng)用架構(gòu)實踐講解“云原生技術(shù)有利于各組織在公有云、私有云和混合云等新型動態(tài)環(huán)境中,構(gòu)建和運行可彈性擴展的應(yīng)用。云原生的代表技術(shù)包括容器、服務(wù)網(wǎng)格、微服務(wù)、不可變基礎(chǔ)設(shè)施和聲明式API。這些技術(shù)能夠構(gòu)建容錯性好、易于管理和便于觀察的松耦合系統(tǒng)。結(jié)合可靠的自......
“云原生技術(shù)有利于各組織在公有云、私有云和混合云等新型動態(tài)環(huán)境中,構(gòu)建和運行可彈性擴展的應(yīng)用。云原生的代表技術(shù)包括容器、服務(wù)網(wǎng)格、微服務(wù)、不可變基礎(chǔ)設(shè)施和聲明式API。這些技術(shù)能夠構(gòu)建容錯性好、易于管理和便于觀察的松耦合系統(tǒng)。結(jié)合可靠的自動化手段,云原生技術(shù)使工程師能夠輕松地對系統(tǒng)作出頻繁和可預(yù)測的重大變更。”來自CNCF。
K8S對網(wǎng)絡(luò),存儲,計算進(jìn)行了編排,已經(jīng)成為了云原生的操作系統(tǒng),給用戶展現(xiàn)了一個新的界面,極大的簡化了用戶的運維,提升了資源的彈性,真正的做到了按需使用,降低了用戶的成本。云原生快速被企業(yè)和開發(fā)者接受。Forrester預(yù)測到2022年,全球組織/公司在生成環(huán)境運行容器化應(yīng)用,從今天不足30%的比例將大幅度提升到超過75%,企業(yè)應(yīng)用容器化的趨勢勢不可擋。
容器在生產(chǎn)環(huán)境的應(yīng)用的比例快速上漲,從2016年首次調(diào)查的23%,到2018年上漲到73%,實際到2020年已經(jīng)上漲到84%
云原生應(yīng)用正在引領(lǐng)各個應(yīng)用領(lǐng)域?qū)崿F(xiàn)云原生化,同時也在深刻改變著應(yīng)用服務(wù)的方方面面。存儲作為應(yīng)用運行的基石,也在服務(wù)云原生化過程中提出了更多的需求。云原生存儲為了滿足云原生特性的要求,可用性、穩(wěn)定性、擴展性、性能等核心能力都有大幅的優(yōu)化。
作為國內(nèi)最大的云產(chǎn)商,阿里云提供了豐富的云原生服務(wù)。和網(wǎng)絡(luò),計算的編排不同的是,存儲需要考慮如何無縫的接入到K8S中進(jìn)行編排和調(diào)度。K8S推出了CSI,通過統(tǒng)一的標(biāo)準(zhǔn)將存儲和K8S進(jìn)行了無縫的對接。本文討論云原生容器對存儲的挑戰(zhàn),面向云原生和容器等領(lǐng)域的發(fā)展,阿里云文件存儲不斷進(jìn)行云原生適配和演進(jìn),完美應(yīng)對云原生存儲挑戰(zhàn),阿里云NAS是容器存儲的自然選擇。
云原生帶來的存儲挑戰(zhàn)
新的企業(yè)負(fù)載/智能工作負(fù)載容器化、遷云、存儲方面遇到的性能、彈性、高可用、安全及生命周期等方面的問題,不但需要存儲產(chǎn)品層次的改進(jìn),還需要在云原生的控制/數(shù)據(jù)平面的改進(jìn),推進(jìn)云原生存儲和云存儲的演進(jìn)。
1.存儲性能挑戰(zhàn):云原生應(yīng)用在大數(shù)據(jù)分析、AI等場景得到廣泛應(yīng)用,這些場景對存儲吞吐和IOPS的需求也非常高。通過容器集群,集中處理海量數(shù)據(jù),同時啟動數(shù)千Pod,彈出海量Pod對共享文件系統(tǒng)進(jìn)行讀寫。重負(fù)載下導(dǎo)致時延增加,高延遲毛刺增多,讀寫穩(wěn)定性不足,同時云原生應(yīng)用的快速擴容、極致伸縮等特性也會考驗存儲服務(wù)在短時間內(nèi)迎接峰值流量的能力。
a.集中式高吞吐對共享存儲池沖擊:高性能計算場景中,集中處理批量數(shù)據(jù),同一個存儲集群中帶寬擠占,造成訪問質(zhì)量下降。
b.峰值吞吐不足:大規(guī)模數(shù)據(jù)處理,文件數(shù)目少,峰值吞吐高,請求密集,接近獨占集群的極限帶寬。
c.時延增加導(dǎo)致GPU等待:多機多卡GPU訓(xùn)練,讀密集型。時延增加導(dǎo)致IOwait和GPU等待。
2.存儲彈性挑戰(zhàn):云原生的極致彈性,給存儲在彈性方面帶來了新的挑戰(zhàn)。隨著云原生多元業(yè)務(wù)發(fā)展,數(shù)據(jù)庫如MySQL等擴容,元數(shù)據(jù)管理應(yīng)用如Zookeeper等在線擴容,本地盤存儲容量無法彈性擴容。
3.存儲高可用挑戰(zhàn):應(yīng)用運維、系統(tǒng)運維時,存儲隨容器遷移的穩(wěn)定性和可發(fā)現(xiàn)性挑戰(zhàn)。
4.存儲的安全挑戰(zhàn):面向的隔離性要求場景主要是多應(yīng)用共享,文件系統(tǒng)多租戶環(huán)境的容量配合,集群級文件系統(tǒng)共享訪問的權(quán)限控制。用戶應(yīng)用的全鏈路數(shù)據(jù)加密要求。
5.存儲的生命周期管理挑戰(zhàn):共享文件系統(tǒng)、緩存系統(tǒng)的聲明方式創(chuàng)建和刪除。
阿里云文件存儲如何來應(yīng)對這些挑戰(zhàn)
針對以上在新的計算模式下,存儲方面遇到的性能,彈性,高可用,安全,生命周期等方面的問題,不但是需要存儲產(chǎn)品層次的改進(jìn),更需要在云原生的控制/數(shù)據(jù)平面的改進(jìn),在不久的將來實現(xiàn)穩(wěn)定,安全,和效率并舉的云原生存儲。需要在云原生應(yīng)用層、存儲云產(chǎn)品層、底層存儲適配和存儲核心層都需要做相應(yīng)的改進(jìn)和提升才有可能提供更加穩(wěn)定,安全和高效的面向應(yīng)用的云原生存儲。
隨著云原生技術(shù)的發(fā)展,各個公有云廠商都開始對其云服務(wù)進(jìn)行云原生化改造或適配,提供更加敏捷、高效的服務(wù)來適應(yīng)云原生應(yīng)用的需求。阿里云存儲服務(wù)也在云原生應(yīng)用適配做了很多優(yōu)化,阿里云文件存儲支持CSI、Flexvolume存儲驅(qū)動無縫的銜接了云原生應(yīng)用和存儲服務(wù)之間的數(shù)據(jù)接口。實現(xiàn)了用戶使用存儲資源時對底層存儲無感知,而專注于自己的業(yè)務(wù)開發(fā)。
文件存儲NAS為云原生提供了一個完全彈性和共享的文件系統(tǒng),按需使用,滿足云原生極致的彈性。文件存儲從性能,彈性,安全,生命周期管理等方面對云原生存儲進(jìn)行了打造和演進(jìn)。
1.在AI,大數(shù)據(jù)分析,高性能計算領(lǐng)域,阿里云文件系統(tǒng)分散工作負(fù)載多文件系統(tǒng)和多個存儲集群、多個可用區(qū)通過容器編排分散IO到多文件系統(tǒng)。支持客戶端本地只讀緩存技術(shù)、分布式存儲,降低網(wǎng)絡(luò)延遲和IO、GPU等待時間。可以支持剛性交付數(shù)十GB吞吐的能力,提升算力。
2.彈性方面,NAS支持自由擴縮容,按量付費,是完全托管的文件系統(tǒng)。極速型NAS提供了百us的延時,在金融,互聯(lián)網(wǎng)等典型的突發(fā)彈性場景中,能夠在幾分鐘內(nèi)啟動數(shù)千個容器,并完成數(shù)據(jù)的極速加載、卸載。
3.高可用方面,NAS支持容器快速Failover,同時支持存儲快照、備份等企業(yè)級特性。
4.在安全方面,支持全面的AD/ACL權(quán)限管理,支持配額,打造了統(tǒng)一命名空間,支持對海量pod間的IO進(jìn)行隔離和統(tǒng)一管理;文件存儲產(chǎn)品支持傳輸加密、落盤加密等功能。
5.面對海量數(shù)據(jù),提供了數(shù)據(jù)生命周期管理,自動歸檔冷數(shù)據(jù),可以降低90%的用戶成本。
為什么選擇阿里云文件存儲作為容器存儲
阿里云文件存儲NAS為非結(jié)構(gòu)化數(shù)據(jù)提供存儲服務(wù)。隨著云原生的快速發(fā)展,許多公司的容器化應(yīng)用程序使用NAS存儲數(shù)據(jù),有些甚至存儲PB級數(shù)據(jù)。阿里云在云原生布局上提供容器K8s服務(wù)(ACK)和彈性容器實例(ECI),容器實例使用NAS文件系統(tǒng)作為持久化存儲。容器存儲離不開共享文件存儲。
阿里云文件存儲是云原生、高可用、成本優(yōu)化的完全托管的文件系統(tǒng)。阿里云文件存儲有三款產(chǎn)品,通用型NAS,極速型NAS和并行文件系統(tǒng)CPFS。
阿里云NAS是容器存儲的自然選擇,因為它是一種完全托管的服務(wù),配置簡單,添加或刪除數(shù)據(jù)時自動擴展,和容器基礎(chǔ)架構(gòu)一樣靈活便捷。
通常,彼此共享數(shù)據(jù)的容器自然需要共享文件存儲,長期運行的容器也可使用共享文件存儲應(yīng)對故障。阿里云文件存儲同時滿足容器應(yīng)用場景對持久化存儲彈性伸縮、靈活掛載、高性能的需求。此外,容器鏡像的配置文件或初始加載數(shù)據(jù)存儲可以在NAS文件存儲上實現(xiàn)共享,在容器批量加載時實時讀取,多POD間通過NAS共享持久化數(shù)據(jù),在POD故障時可以進(jìn)行故障切換。
隨著新技術(shù)的發(fā)展,機器學(xué)習(xí)AI和基因處理等大量使用共享文件存儲。我們通常看到如下一些示例:
Web服務(wù):WordPress之類的內(nèi)容管理應(yīng)用程序受益于擴展到多個實例以實現(xiàn)性能和冗余,并且需要在多個實例之間共享上載、插件和模板。
軟件開發(fā)工具:JIRA和Git之類的開發(fā)人員工具需要在實例之間共享數(shù)據(jù)以實現(xiàn)高可用性,而代碼則保留在多個阿里云可用區(qū)中以實現(xiàn)持久性。
大數(shù)據(jù)分析和處理:諸如基因數(shù)據(jù)處理、Tensorflow機器學(xué)習(xí)框架需要通過文件系統(tǒng)接口訪問數(shù)據(jù),并且具有持久的共享存儲,可以使多個用戶和作業(yè)在同一組數(shù)據(jù)上并行運行。
企業(yè)應(yīng)用程序:共享Notebook(如Jupyter Jupyterhub)需要為notebook和user workplace提供持久存儲,擁有共享存儲可以使數(shù)據(jù)科學(xué)家輕松協(xié)作。
總結(jié)
以容器和云原生計算被企業(yè)快速接納,Kubernetes逐漸成為云原生時代的基礎(chǔ)設(shè)施,容器服務(wù)成為云原生時代基礎(chǔ)設(shè)施。新的工作負(fù)載推進(jìn)云原生存儲和云存儲的演進(jìn),云原生控制平面實現(xiàn)效率等方面的能力,從數(shù)據(jù)面提升存儲穩(wěn)定和減小安全隱患,云存儲繼續(xù)夯實性能,容量,彈性,密度等基礎(chǔ)能力,共建云原生環(huán)境下的存儲生態(tài)。
阿里云文件存儲是容器存儲的自然選擇,完美應(yīng)對云原生存儲在性能,彈性,高可用,安全,生命周期等方面的數(shù)據(jù)挑戰(zhàn)。阿里云基于云原生文件存儲技術(shù)的快速演進(jìn)將不斷賦能云原生和容器領(lǐng)域的快速發(fā)展。
特別聲明:以上文章內(nèi)容僅代表作者本人觀點,不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號密碼登錄
平臺顧問
微信掃一掃
馬上聯(lián)系在線顧問
小程序
ESG跨境小程序
手機入駐更便捷
返回頂部