Amazon Web Services 向所有客戶(hù)提供 AWS Glue-ESG跨境

西雅圖--今天，Amazon.com 旗下公司（納斯達(dá)克股票代碼：AMZN）推出了 AWS Glue，這是一種完全托管的提取、轉(zhuǎn)換和加載 (ETL) 服務(wù)，使客戶(hù)可以輕松準(zhǔn)備數(shù)據(jù)并將其加載到 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Relational Database Service (Amazon RDS) 以及在 Amazon Elastic Compute Cloud (Amazon EC2) 上運(yùn)行的數(shù)據(jù)庫(kù)中進(jìn)行查詢(xún)和分析。客戶(hù)只需在 AWS 管理控制臺(tái)中單擊幾下即可創(chuàng)建和運(yùn)行 ETL 作業(yè)?？蛻?hù)只需將 AWS Glue 指向其存儲(chǔ)在 AWS 上的數(shù)據(jù)，AWS Glue 就會(huì)發(fā)現(xiàn)相關(guān)的元數(shù)據(jù)（例如表定義）并對(duì)其進(jìn)行分類(lèi)，生成用于數(shù)據(jù)轉(zhuǎn)換的 ETL 腳本，并將轉(zhuǎn)換后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)存儲(chǔ)中，從而預(yù)置所需的基礎(chǔ)設(shè)施完成工作。借助 AWS Glue，數(shù)據(jù)可以在幾分鐘內(nèi)用于分析，而且由于 AWS Glue 是無(wú)服務(wù)器的，因此客戶(hù)只需為執(zhí)行數(shù)據(jù)準(zhǔn)備和加載作業(yè)時(shí)消耗的計(jì)算資源付費(fèi)。要了解有關(guān) AWS Glue 的更多信息，請(qǐng)?jiān)L問(wèn) 。

“我們從各種數(shù)據(jù)源中提取格式、模式和質(zhì)量各不相同的臨床試驗(yàn)數(shù)據(jù)、醫(yī)學(xué)詞匯和科學(xué)出版物，以便為我們的客戶(hù)提供見(jiàn)解”

數(shù)據(jù)集成——從各種來(lái)源提取數(shù)據(jù)、對(duì)其進(jìn)行規(guī)范化并將其加載到數(shù)據(jù)存儲(chǔ)中——通常占實(shí)施分析項(xiàng)目所需時(shí)間的 75%?？蛻?hù)可能會(huì)花費(fèi)數(shù)月時(shí)間手動(dòng)編碼和編輯 ETL 腳本，隨著數(shù)據(jù)量的增長(zhǎng)和新數(shù)據(jù)源的添加，這些腳本通常會(huì)變得更加復(fù)雜和容易出錯(cuò)。而且，運(yùn)行 ETL 作業(yè)需要在作業(yè)之間經(jīng)常閑置的專(zhuān)用硬件。 AWS Glue 消除了創(chuàng)建、管理和修改 ETL 作業(yè)所涉及的所有無(wú)差別繁重工作，從而顯著加快了分析項(xiàng)目的 ETL 階段。

在抓取客戶(hù)選擇的數(shù)據(jù)源后，AWS Glue 識(shí)別數(shù)據(jù)格式和架構(gòu)以構(gòu)建統(tǒng)一的數(shù)據(jù)目錄，提供客戶(hù)選擇數(shù)據(jù)的集中視圖。這使客戶(hù)可以輕松地在各種數(shù)據(jù)存儲(chǔ)中搜索和管理他們的所有數(shù)據(jù)，而無(wú)需手動(dòng)移動(dòng)它。當(dāng)客戶(hù)從數(shù)據(jù)目錄中識(shí)別出數(shù)據(jù)源（例如，數(shù)據(jù)庫(kù)表）和目標(biāo)（例如，數(shù)據(jù)倉(cāng)庫(kù)）時(shí)，AWS Glue 會(huì)匹配架構(gòu)并生成可定制、可重用、可移植和可共享的數(shù)據(jù)轉(zhuǎn)換代碼。開(kāi)發(fā)人員可以安排任意數(shù)量的 ETL 作業(yè)，其余的由 AWS Glue 管理——根據(jù)客戶(hù) ETL 工作負(fù)載自動(dòng)調(diào)整計(jì)算資源。通過(guò)簡(jiǎn)化創(chuàng)建 ETL 作業(yè)的流程，AWS Glue 允許客戶(hù)構(gòu)建涵蓋數(shù)千個(gè)作業(yè)的可擴(kuò)展且可靠的數(shù)據(jù)準(zhǔn)備平臺(tái)，并具有內(nèi)置的依賴(lài)關(guān)系解析、調(diào)度、資源管理和監(jiān)控功能。

“AWS 的可擴(kuò)展、可靠的云存儲(chǔ)與我們廣泛的分析服務(wù)相結(jié)合，使客戶(hù)能夠比以往更輕松地收集、存儲(chǔ)、分析和共享數(shù)據(jù)，”亞馬遜數(shù)據(jù)庫(kù)、分析和人工智能副總裁 Raju Gulabani 說(shuō)網(wǎng)頁(yè)服務(wù)。 “雖然看到今天在 AWS 上運(yùn)行了多少分析令人驚訝，但許多人告訴我們，有一個(gè)方程式仍然太難了——清理和準(zhǔn)備大量數(shù)據(jù)以供分析。我們開(kāi)發(fā) AWS Glue 以消除 ETL 所涉及的大部分無(wú)差別繁重工作。通過(guò)對(duì)客戶(hù)的所有數(shù)據(jù)進(jìn)行編目并自動(dòng)執(zhí)行 ETL 流程，AWS Glue 不僅消除了分析中的大量麻煩。它還使客戶(hù)能夠?qū)⑺麄兊臄?shù)據(jù)存儲(chǔ)在他們想要的任意數(shù)量的來(lái)源中，并使用他們選擇的任何 AWS 服務(wù)快速開(kāi)始分析所有數(shù)據(jù)?！?/p>

NewsCorp 是一家全球性的新聞和商業(yè)信息提供商，每天向 50 多個(gè)國(guó)家/地區(qū)的數(shù)億消費(fèi)者提供內(nèi)容。 “在 NewsCorp，我們正在 AWS 上構(gòu)建一個(gè)世界級(jí)的數(shù)字平臺(tái)，以向我們的外部客戶(hù)分發(fā)內(nèi)容，并促進(jìn)我們所有業(yè)務(wù)的數(shù)據(jù)驅(qū)動(dòng)決策。我們合并來(lái)自各種來(lái)源的數(shù)據(jù)，并將其持續(xù)加載到我們基于 Amazon S3 的數(shù)據(jù)湖中，”NewsCorp 首席數(shù)據(jù)官 Simon Smith 說(shuō)。 “AWS Glue 在推斷、分類(lèi)和轉(zhuǎn)換數(shù)據(jù)的能力方面無(wú)與倫比。借助 AWS Glue，我們的數(shù)據(jù)科學(xué)家和分析師始終可以訪問(wèn)我們數(shù)據(jù)湖中可用的最新數(shù)據(jù)。 AWS Glue 數(shù)據(jù)目錄會(huì)自動(dòng)檢測(cè)新數(shù)據(jù)的可用性，推斷其元數(shù)據(jù)并使其在 Amazon Athena 中隨時(shí)可用，以便我們可以開(kāi)始查詢(xún)?cè)摂?shù)據(jù)。我們的 AWS Glue ETL 作業(yè)將各種數(shù)據(jù)格式的原始數(shù)據(jù)無(wú)縫轉(zhuǎn)換為 Amazon Athena 優(yōu)化的 Parquet 數(shù)據(jù)格式。最好的部分是 AWS Glue 是無(wú)服務(wù)器的。我們不必提供或管理任何資源來(lái)準(zhǔn)備分析數(shù)據(jù)?！?/p>

21 世紀(jì)?？怂箵碛腥蛎襟w公司組合，每天以 50 種語(yǔ)言覆蓋超過(guò) 18 億戶(hù)家庭。 “作為我們整體數(shù)據(jù)戰(zhàn)略的一部分，我們正在 Amazon S3 上構(gòu)建 PB 級(jí)數(shù)據(jù)湖，以便我們的高管可以通過(guò)統(tǒng)一的數(shù)據(jù)平臺(tái)訪問(wèn)任何數(shù)據(jù)資產(chǎn)。我們從各種來(lái)源引入數(shù)據(jù)，從我們的 ERP 系統(tǒng)到點(diǎn)擊流和移動(dòng)分析，對(duì)其進(jìn)行處理，并以可查詢(xún)的形式提供，”21 世紀(jì)?？怂谷蚴紫畔⒐?John Herbert 說(shuō)。 “我們總是有興趣嘗試新產(chǎn)品，以減少管理數(shù)據(jù)湖的管理開(kāi)銷(xiāo)。 AWS Glue 自動(dòng)發(fā)現(xiàn)新數(shù)據(jù)、提取相關(guān)元數(shù)據(jù)并通過(guò)中央數(shù)據(jù)目錄使其可用的能力給我們留下了深刻印象，因此我們可以立即開(kāi)始查詢(xún)這些數(shù)據(jù)。我們期待著讓 AWS Glue 成為我們數(shù)據(jù)湖的一個(gè)組件?！?/p>

myTomorrows 是一個(gè)在線平臺(tái)，以臨床試驗(yàn)和早期訪問(wèn)計(jì)劃的形式提供信息和治療選擇。 “我們從各種數(shù)據(jù)源中提取格式、模式和質(zhì)量各不相同的臨床試驗(yàn)數(shù)據(jù)、醫(yī)學(xué)詞匯和科學(xué)出版物，以便為我們的客戶(hù)提供洞察力，”myTomorrows 首席技術(shù)官 Robert-Jan Sips 說(shuō)。 “AWS Glue 的自動(dòng)架構(gòu)發(fā)現(xiàn)和代碼生成功能對(duì)于像我們這樣快速發(fā)展的小型組織來(lái)說(shuō)確實(shí)是游戲規(guī)則的改變者。 AWS Glue 使載入新數(shù)據(jù)集變得極其簡(jiǎn)單且經(jīng)濟(jì)高效，其無(wú)服務(wù)器產(chǎn)品使測(cè)試和運(yùn)行我們的 ETL 作業(yè)變得輕而易舉。我們的開(kāi)發(fā)人員喜歡他們可以簡(jiǎn)單地將筆記本連接到 AWS Glue，并且無(wú)需任何加速時(shí)間即可開(kāi)始工作?！?/p>

OLX 集團(tuán)在 40 多個(gè)國(guó)家運(yùn)營(yíng)在線交易平臺(tái)網(wǎng)絡(luò)，在全球擁有超過(guò) 3 億月度用戶(hù)。 “我們將所有在線市場(chǎng)的數(shù)十億每月訪問(wèn)和頁(yè)面瀏覽量的點(diǎn)擊流數(shù)據(jù)收集到 Amazon S3 上的中央數(shù)據(jù)湖中。我們一直在尋找能夠使我們的數(shù)據(jù)攝取管道穩(wěn)健、可靠和自動(dòng)化的產(chǎn)品，”O(jiān)LX 數(shù)據(jù)工程經(jīng)理 Jakub Orlowski 說(shuō)。 “我們抓住了第一次開(kāi)始使用 AWS Glue 的機(jī)會(huì)，并且喜歡它的易用性、靈活性和零管理開(kāi)銷(xiāo)。 AWS Glue 自動(dòng)將我們數(shù)據(jù)湖中的原始 JSON 數(shù)據(jù)轉(zhuǎn)換為 Parquet 數(shù)據(jù)格式，并通過(guò)中央數(shù)據(jù)目錄使其可用于搜索和查詢(xún)。我們可以使用 Zeppelin 筆記本編輯 AWS Glue 生成的 ETL 代碼，一旦完成，AWS Glue 就會(huì)在無(wú)服務(wù)器 Spark 平臺(tái)上運(yùn)行所有內(nèi)容。 AWS Glue 將使我們能夠?qū)⑽覀兊臄?shù)據(jù)創(chuàng)新和民主化努力提升到一個(gè)新的水平，并使數(shù)據(jù)生產(chǎn)者和消費(fèi)者比以往任何時(shí)候都更加緊密?！?/p>

OST 是 APN 合作伙伴，在為連接產(chǎn)品構(gòu)建企業(yè)云解決方案方面擁有專(zhuān)業(yè)知識(shí)，正在與全球最大的辦公家具制造商之一 Herman Miller 合作，將物聯(lián)網(wǎng)和大數(shù)據(jù)帶入工作場(chǎng)所。 “我們正在與 Herman Miller 合作開(kāi)發(fā)物聯(lián)網(wǎng)平臺(tái)和分析解決方案，以從支持傳感器的家具中收集實(shí)時(shí)數(shù)據(jù)，在數(shù)據(jù)湖中對(duì)其進(jìn)行分類(lèi)，然后運(yùn)行機(jī)器學(xué)習(xí)算法。辦公室員工受益于即時(shí)的人體工程學(xué)調(diào)整，雇主可以衡量其空間的有效性，以實(shí)現(xiàn)最佳的房地產(chǎn)使用，”O(jiān)ST 高級(jí)建筑師 Alex Jantz 說(shuō)。 “AWS Glue 幫助我們將 DevOps 時(shí)間縮短了一半。我們從一個(gè)自動(dòng)生成的腳本開(kāi)始，然后根據(jù)需要使用 Zeppelin 筆記本對(duì)其進(jìn)行自定義。 AWS Glue 完全重新定義了我們對(duì) ETL 的看法。我們只關(guān)注自定義代碼，其余的由 AWS Glue 負(fù)責(zé)?！?/p>

客戶(hù)可以通過(guò) AWS 管理控制臺(tái)開(kāi)始使用 AWS Glue。 AWS Glue 在美國(guó)東部（弗吉尼亞北部）區(qū)域可用，并將在未來(lái)幾個(gè)月擴(kuò)展到其他區(qū)域。

關(guān)于亞馬遜網(wǎng)絡(luò)服務(wù)

11 年來(lái)，Amazon Web Services 一直是世界上最全面、應(yīng)用最廣泛的云平臺(tái)。 AWS 為計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、分析、應(yīng)用程序服務(wù)、部署、管理、開(kāi)發(fā)人員、移動(dòng)、物聯(lián)網(wǎng) (IoT)、人工智能 (AI)、安全、混合和企業(yè)應(yīng)用程序提供 90 多項(xiàng)功能齊全的服務(wù)，來(lái)自美國(guó)、澳大利亞、巴西、加拿大、中國(guó)、德國(guó)、印度、愛(ài)爾蘭、日本、韓國(guó)、新加坡和英國(guó) 16 個(gè)地理區(qū)域的 44 個(gè)可用區(qū) (AZ)。 AWS 服務(wù)受到全球數(shù)百萬(wàn)活躍客戶(hù)的信賴(lài)——包括增長(zhǎng)最快的初創(chuàng)公司、最大的企業(yè)和領(lǐng)先的政府機(jī)構(gòu)——為他們的基礎(chǔ)設(shè)施提供支持、使其更加敏捷并降低成本。

關(guān)于亞馬遜

亞馬遜遵循四項(xiàng)原則：以客戶(hù)為中心而非以競(jìng)爭(zhēng)對(duì)手為中心、對(duì)發(fā)明的熱情、對(duì)卓越運(yùn)營(yíng)的承諾以及長(zhǎng)期思考?？蛻?hù)評(píng)論、一鍵購(gòu)物、個(gè)性化推薦、Prime、亞馬遜物流、AWS、Kindle Direct Publishing、Kindle、Fire 平板電腦、Fire TV、亞馬遜 Echo 和 Alexa 是亞馬遜率先推出的一些產(chǎn)品和服務(wù)。欲了解更多信息，請(qǐng)?jiān)L問(wèn)并關(guān)注@AmazonNews。

點(diǎn)擊咨詢(xún)現(xiàn)在有哪些新興平臺(tái)值得關(guān)注 >>>

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。