AWS的GPU服務(wù)器TensorFlow編程指南,如何確定tensorflow有g(shù)pu-ESG跨境

AWS的GPU服務(wù)器TensorFlow編程指南,如何確定tensorflow有g(shù)pu

AWS的GPU服務(wù)器TensorFlow編程指南

對于我們這些窮窮的小白，對機(jī)器學(xué)習(xí)充滿著熱情，卻買不起最基礎(chǔ)的gpu顯卡

還好在aws（亞馬遜）上可以以比較便宜的價(jià)格租到。

比如p2.xlarge這款，12g的gpu，足以夠一般的神經(jīng)網(wǎng)絡(luò)訓(xùn)練使用

租金最高也只需要0.9美元一小時(shí)。

可以按時(shí)收費(fèi)

但是服務(wù)器的使用對于我們這些小白來說還是有一定的門檻

我自己也是鉆研了兩天才摸到了門道

本文詳細(xì)解說如何使用aws上的gpu進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，希望能讓無法接觸到高級(jí)的顯卡，卻也勇于進(jìn)入神經(jīng)網(wǎng)絡(luò)的世界探個(gè)究竟的求知者能夠有機(jī)會(huì)感受到性能最好的gpu

本文分為下面?zhèn)€部分

一、如何在aws上租到服務(wù)器

二、如果使用windows本機(jī)連上服務(wù)器，并使用jupyter notebook編譯python代碼

三、如何從本機(jī)向服務(wù)器上傳或者下載數(shù)據(jù)文件

看官們可以根據(jù)自己的需求與了解在三個(gè)部分跳轉(zhuǎn)：

一、如何在aws上租到服務(wù)器

這個(gè)部分準(zhǔn)備給非常白的小白：

1.1、百度aws，選擇第一個(gè)：

1.2、注冊賬戶并登陸，選擇EC2服務(wù)

1.3、進(jìn)入控制臺(tái)之后，點(diǎn)啟動(dòng)實(shí)例（實(shí)例在這里就是服務(wù)器的意思）

1.4、選擇Deep Learning AMI(Ubuntu)Version 10.0

之所以選擇這個(gè)是因?yàn)檫@個(gè)已經(jīng)裝好了大多數(shù)機(jī)器學(xué)習(xí)需要的環(huán)境，不用再費(fèi)心力啦

1.5、在眾多gpu服務(wù)器中選擇一個(gè)

大家根據(jù)自己的錢袋子選擇即可，我在這里選擇的是p2.xlarge

選擇完之后點(diǎn)擊下一步

1.6、主要配置

接下來幾步配置基本上只需要直接點(diǎn)下一步就可，這里標(biāo)記出需要改動(dòng)的步驟：

步驟3：選擇請求競價(jià)型實(shí)例

步驟6：選擇添加規(guī)則，這里要添加2個(gè)規(guī)則，添加完如下圖：

https用于瀏覽器訪問jupyter notebook

自定義TCP為jupyter的端口

1.7、配置密匙對，需要保管好自己的密匙文件

1.8、申請完畢

1.9、用完記得終止

sum：你已經(jīng)擁有了美國一臺(tái)gpu服務(wù)器，滿滿的成就感哈

二、如何連接到服務(wù)器，并使用服務(wù)器的jupyter notebook

如果可以使用服務(wù)器的jupyter notebook，那完全可以擁有和本地編程相同的體驗(yàn)！

網(wǎng)上有許多配置jupyter notebook的方法，但都是不夠詳細(xì)，也讓我傷透了心。

連接服務(wù)器使用的是ssh方法，官方推薦的是使用putty這款小神器

2.1、下載putty

可以直接在aws網(wǎng)上下載

2.2、使用PuTTYGEN把1.7步驟中的gem文件轉(zhuǎn)為ppk文件

2.3、打開PuTTY

(1)Host Name:ubuntu 公有DNS

公有DNS可以在步驟1.8下面可以找到

(2)在左側(cè)菜單Connectiongt;SSHgt;Auth導(dǎo)入2.2轉(zhuǎn)好的ppk文件

做好上面兩個(gè)小步驟以后，就可以點(diǎn)擊open了。

此時(shí)，你已經(jīng)連接到了aws的ubuntu服務(wù)器啦

2.4、激活環(huán)境

輸入：source activate tensorflow_p27回車

2.5、配置環(huán)境

由于我的程序中需要用到skitlearn，所以：

輸入：pip installU scikit_learn回車

需要其它的包可以使用相同的方法

2.6、在服務(wù)器端打開jupyter notebook

輸入：jupyter notebook回車

這個(gè)當(dāng)然就是服務(wù)端jupyter notebook的地址

2.7、配置tunnel

左上角右鍵點(diǎn)擊changing setting

connectionsshtunnels

source port：填寫8888

Destination：填寫127.0.0.1:8888

點(diǎn)擊add再點(diǎn)擊apply端口映射就完成啦！

2.8、打開jupyter notebook

復(fù)制2.7下圖中的瀏覽器網(wǎng)址，將localhost改為2.7中127.0.0.1，成功連上了服務(wù)端的jupyter notebook！

三、如何從本機(jī)向服務(wù)器上傳或者下載數(shù)據(jù)文件

這里我們要介紹另一款神器WinSCP

當(dāng)然你可以使用putty進(jìn)行傳輸文件，但那會(huì)麻煩的多，而且不易于記憶

WinSCP的界面是這樣的

左邊是我們的本機(jī)磁盤右邊是我們可用的服務(wù)器磁盤

點(diǎn)擊文件，進(jìn)行上傳或下載操作即可

3.1、下載并安裝WinSCP

3.2、登錄WinSCP

主機(jī)名：公有DNS

用戶名：ubuntu

密碼：1.7中的密匙對文件

登錄以后你就可以盡情的上傳文件啦

總結(jié)：完成上面三個(gè)步驟后，你將可以在遠(yuǎn)在美國的服務(wù)器像自己家里的電腦一樣編譯程序。

效果：相同一段神經(jīng)網(wǎng)絡(luò)代碼

i5處理器8小時(shí)

p2.xlarge 20分鐘

這還是最low的一個(gè)gpu處理器，至于別的gpu效果如何，不妨試試~

作者：李嘉豪

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。