Azure SQL 數(shù)據(jù)庫倉庫Data Warehouse入門,azure 數(shù)據(jù)倉庫-ESG跨境

Azure SQL 數(shù)據(jù)庫倉庫Data Warehouse入門,azure 數(shù)據(jù)倉庫

azure數(shù)據(jù)庫倉庫數(shù)據(jù)倉庫入門

1。什么是SQL數(shù)據(jù)庫倉庫(SQL DW)

DW是云中的企業(yè)級(jí)數(shù)據(jù)倉庫，用于處理TB級(jí)甚至PB級(jí)關(guān)系數(shù)據(jù)庫的OLAP(聯(lián)機(jī)分析處理)場景，主要用于數(shù)據(jù)分析和查詢。

2。什么是OLAP

OLAP(聯(lián)機(jī)分析處理)。表示用于聚合數(shù)據(jù)的多維數(shù)據(jù)集的多維結(jié)構(gòu)。

3。OLAP和OLTP的區(qū)別

OLTP(在線事務(wù)處理)，在線事務(wù)處理。表示高事務(wù)性系統(tǒng)，具有高頻率的插入、讀取和刪除操作。

OLAP和OLTP的使用場景是不同的。

4。不適合SQL數(shù)據(jù)倉庫的場景

SQL DW不適合OLTP場景和數(shù)據(jù)庫的高頻率插入/更新/刪除。

(1)OLTP工作負(fù)載

(2)大量的小閱讀和寫作

(3)多租戶數(shù)據(jù)庫

(4)經(jīng)常更換架構(gòu)。

(5)逐行處理

(6)JSON、XML數(shù)據(jù)以及空間、結(jié)構(gòu)、數(shù)組和地圖數(shù)據(jù)類型

(7)Power BI直接查詢需要儀表板性能。

(8)查詢的高并發(fā)性(例如，幾十萬個(gè)并發(fā)查詢)

(9)小數(shù)據(jù)集(小于250GB)

(10)通過嚴(yán)格的RPO和RTO進(jìn)行災(zāi)難恢復(fù)

5。適合SQL數(shù)據(jù)倉庫的場景

SQL OLAP(在線分析處理)場景，如報(bào)表、統(tǒng)計(jì)、分析等場景。

6。SQL數(shù)據(jù)倉庫的設(shè)計(jì)模式

(1)批量導(dǎo)入數(shù)據(jù)

(2)將表數(shù)據(jù)拆分為事實(shí)表和維度表。

(3)涉及多個(gè)表鏈接的復(fù)雜查詢。

(4)某些維度的聚集查詢。

7。什么是事實(shí)表和維度表

(1)事實(shí)表是用于存儲(chǔ)真實(shí)數(shù)據(jù)的表，包含數(shù)字信息。如訂單數(shù)據(jù)表、銷售數(shù)據(jù)表等。事實(shí)表中的數(shù)據(jù)量通常非常大。

(2)維度表用于描述用戶分析數(shù)據(jù)的角度。它是一般事實(shí)表的外鍵表，如年月日、洲國家省。

一般來說，事實(shí)表是需要注意的內(nèi)容，維度表是統(tǒng)計(jì)的角度。

8。SQL DW的使用場景

(1)在過去1個(gè)月內(nèi)，有多少客戶訂購了該產(chǎn)品，庫存水平是否足夠。

(2)一周內(nèi)，客戶哪一天從ATM機(jī)取款最多？

(3)統(tǒng)計(jì)過去30天的日銷售額。

9。Azure SQL DW采用大規(guī)模并行處理(MPP)架構(gòu)。

Azure SQL DW作為微軟云Azure的一項(xiàng)服務(wù)，由微軟負(fù)責(zé)維護(hù)，確保SQL DW始終運(yùn)行在Azure最新的軟硬件上。

客戶可以輕松地將數(shù)據(jù)加載到SQL DW中并進(jìn)行查詢。在業(yè)務(wù)高峰期，他們可以橫向擴(kuò)展計(jì)算節(jié)點(diǎn)。

10。什么是大規(guī)模并行處理的MPP架構(gòu)

MPP架構(gòu)的角色分為頭節(jié)點(diǎn)和工作節(jié)點(diǎn)。

頭節(jié)點(diǎn)存儲(chǔ)的是數(shù)據(jù)表的源數(shù)據(jù)(元數(shù)據(jù))，也就是說數(shù)據(jù)庫的哪些數(shù)據(jù)是頭節(jié)點(diǎn)知道的，存儲(chǔ)在哪些工作節(jié)點(diǎn)。

用戶數(shù)據(jù)表分布在不同的工作節(jié)點(diǎn)。

當(dāng)用戶查詢SQL DW時(shí)，Head Node會(huì)將查詢語句分解成許多子查詢，根據(jù)需要移動(dòng)數(shù)據(jù)，并將這些子查詢發(fā)國際快遞Work Node并行執(zhí)行。

例如，假設(shè)一個(gè)班有60名學(xué)生。當(dāng)老師需要批改作業(yè)時(shí)，有兩種方法:

(1)老師自己批改全部60個(gè)學(xué)生的試卷，速度會(huì)很慢。

(2)老師把學(xué)生分成6組，每組10人。然后全班的試卷平均分配給這六組。每組分別批改試卷。這樣批改作業(yè)就并行了。

顯然，第二種方法的效率最高。

MPP架構(gòu)除了微軟的SQL DW，還包括Hadoop(Hive和Spark)、Teradata、Amazon Redshift、Vertica等產(chǎn)品。

十一。SMP架構(gòu)

與MPP相對(duì)的架構(gòu)是SMP(對(duì)稱多處理)，類似于傳統(tǒng)的單一數(shù)據(jù)庫。的所有業(yè)務(wù)邏輯都由一臺(tái)服務(wù)器處理。

比如傳統(tǒng)的SQL Server，MySQL都屬于SMP架構(gòu)。

12.MPP架構(gòu)和SMP架構(gòu)，如何支持更多的業(yè)務(wù)需求？

(1)在MPP架構(gòu)中，計(jì)算節(jié)點(diǎn)是水平擴(kuò)展的。比如從6個(gè)節(jié)點(diǎn)并行處理，橫向擴(kuò)展到20個(gè)節(jié)點(diǎn)。這種方法也稱為橫向擴(kuò)展。

(2)在SMP體系結(jié)構(gòu)中，計(jì)算節(jié)點(diǎn)和那些向上和向下擴(kuò)展的節(jié)點(diǎn)。例如，從8核/16gb服務(wù)器到32核/512 GB服務(wù)器。這種方法也稱為放大。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。