2021天天躁狠狠燥,青误乐一极视觉盛宴

Google Cloud ML Engine是什么,spring cloud gateway 限流

2022-07-05

721

Google Cloud ML Engine是什么,spring cloud gateway 限流Google Cloud ML Engine是什么1. Google Cloud ML Engine是什么？Google Cloud Machine Learning (ML) Engine 是一項(xiàng)托管式服務(wù)，使開發(fā)者和數(shù)......

Google Cloud ML Engine是什么,spring cloud gateway 限流

Google Cloud ML Engine是什么

1. Google Cloud ML Engine是什么？

Google Cloud Machine Learning (ML) Engine 是一項(xiàng)托管式服務(wù)，使開發(fā)者和數(shù)據(jù)科學(xué)家能夠構(gòu)建卓越的機(jī)器學(xué)習(xí)模型并將其運(yùn)用到生產(chǎn)環(huán)境中。Cloud ML Engine 提供訓(xùn)練和預(yù)測服務(wù)，這些服務(wù)可以一起使用也可以單獨(dú)使用。Cloud ML Engine 是經(jīng)過實(shí)證的服務(wù)，被眾多企業(yè)用來解決各種問題，包括識別衛(wèi)星圖像中的云、確保食品安全，以及快速回復(fù)客戶電子郵件（回復(fù)速度可提升到原來的四倍）。

可以提供模型訓(xùn)練、預(yù)測（在線預(yù)測、批量預(yù)測）、部署多個(gè)框架（TF、sklearn、XGBoost、Keras）

參考文檔：https://cloud.google.com/mlengine/

2. 模型訓(xùn)練、預(yù)測流程

python代碼形式；

數(shù)據(jù)和模型都存儲在Cloud Storage bucket中；

sklearn示例代碼

XGBoost示例代碼

生成py文件

導(dǎo)入依賴庫；

從Cloud Storage中下載數(shù)據(jù)；

導(dǎo)入數(shù)據(jù)；

模型訓(xùn)練并保存；

導(dǎo)出模型至Cloud Storage；

模型格式：

sklearn模型格式j(luò)oblib和pkl（pickle），xgboost模型格式j(luò)oblib、bst和pkl（pickle）

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining#createmodeltrainingcode

打包模型

按照規(guī)定生成文件夾，并將上一步中生成的模型訓(xùn)練py代碼放入文件夾中；

使用gcloud命令本地調(diào)試代碼；

使用gcloud命令上傳模型，需要配置相關(guān)參數(shù)（如：Cloud Storage、訓(xùn)練代碼py文件名、python版本等）；

在Cloud ML Engine上運(yùn)行訓(xùn)練代碼；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining

模型在線預(yù)測（又稱HTTP Prediction）

需要指定模型名稱、輸入文件、使用框架名稱（運(yùn)行某個(gè)模型并獲取結(jié)果時(shí)可能需要定制化開發(fā)）；

使用gcloud命令獲取預(yù)測結(jié)果；

相當(dāng)于需要進(jìn)行預(yù)測時(shí)，就發(fā)一條請求；

請求中的輸入文件為一個(gè)json（官網(wǎng)上為本地文件，不知道可否使用Cloud Storage中）；

響應(yīng)中為預(yù)測結(jié)果；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/quickstart

模型批量預(yù)測

與模型預(yù)測類似

需要指定輸入輸出文件位置（輸入文件需存儲在Cloud Storage）、模型名稱、使用的計(jì)算節(jié)點(diǎn)數(shù)（看起來可以使用分布式計(jì)算）等；

實(shí)時(shí)性低，不像在線預(yù)測那樣，一個(gè)請求對應(yīng)一個(gè)返回；

似乎沒有看到什么定時(shí)器之類的功能，看起來Cloud ML Engine的batch prediction只是一次性的；

參考文檔：https://cloud.google.com/mlengine/docs/tensorflow/batchpredict

3. notebook中的思考

如果想在notebook中做這件事（自學(xué)習(xí)、批量預(yù)估），有幾個(gè)點(diǎn)值得思考；

數(shù)據(jù)從哪拿？直連hdfs拿、從pdms拿

任務(wù)的監(jiān)控？

任務(wù)在哪里跑？直接在當(dāng)前pod、另啟一個(gè)新的

結(jié)果的輸出？輸出在ipynb文件中、直接輸出到hdfs、輸出在pdms

文章推薦
App Annie【必讀報(bào)告】中國應(yīng)用領(lǐng)跑全球；宅經(jīng)濟(jì)再升溫
Anghami 利用界面實(shí)驗(yàn)和入門價(jià)格增加了訂閱人數(shù)
Google Ads第三方設(shè)置—Adjust,google ads教程
ASA中的Broad Match和Exact Match是如何發(fā)揮作用的,as a result怎么使用

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。