K8S節(jié)點異常怎么辦,k8s 哪個節(jié)點是master節(jié)點,k8s查看節(jié)點剩余資源-ESG跨境

K8S節(jié)點異常怎么辦,k8s 哪個節(jié)點是master節(jié)點,k8s查看節(jié)點剩余資源

K8S節(jié)點異常怎么辦

節(jié)點健康檢測

的意思是

在K8S集群運行過程中，由于運行時組件問題、內核死鎖、資源不足等各種原因，節(jié)點經常不可用。默認情況下，Kubelet會監(jiān)控PIDPressure、MemoryPressure、DiskPressure等節(jié)點的資源狀態(tài)，但當Kubelet報告這些狀態(tài)時，節(jié)點可能已經很長時間不可用，Kubelet可能已經啟動了驅逐Pod的操作。所以原生K8S對node 健康的檢測機制在某些場景下是不完善的。我們需要能夠提前發(fā)現(xiàn)節(jié)點的問題，需要更詳細的指標來描述節(jié)點的健康狀態(tài)，并采取相應的恢復策略，實現(xiàn)智能運維，減輕開發(fā)者和運營商的負擔。

節(jié)點問題檢測器

NPD(NodeProblemDetector)是一個開源的Kubernetes社區(qū)集群節(jié)點檢測組件。NPD提供了通過定期匹配系統(tǒng)日志或文件來發(fā)現(xiàn)節(jié)點異常的功能。用戶可以通過自己的運維經驗，配置可能產生異常問題日志的正則表達式，選擇不同的上報方式。NPD將解析用戶的配置文件。當有日志可以匹配用戶配置的正則表達式時，它可以通過NodeCondition、Event或Promethues度量報告檢測到的異常狀態(tài)。除了日志匹配功能，NPD還接受用戶自己編寫的自定義檢測插件。用戶可以開發(fā)自己的腳本或可執(zhí)行文件，并將其集成到NPD的插件中，這樣NPD就可以定期執(zhí)行檢測程序。

TKE 節(jié)點健康檢測

在TKE，NPD以擴展組件的形式集成，NPD的能力增強，稱為nodeployment detector Pulse(NPD Plus)擴展組件。用戶可以一鍵將NPDPlus擴展組件部署到現(xiàn)有集群，也可以選擇在創(chuàng)建集群時同時部署NPDPlus。在騰訊云容器團隊K8S集群的長期運維經驗中，提取了一些能夠發(fā)現(xiàn)特定形式節(jié)點異常的指標，并將其部分集成到NPDPlus中。比如檢測NPDPlus容器中Kubelet和Docker的systemd狀態(tài)，檢測主機的文件描述符和線程數壓力。具體指標如下:

TKE使用NPDPlus的目的是提前發(fā)現(xiàn)節(jié)點可能的不可用狀態(tài)，而不是在節(jié)點不再可用之后報告狀態(tài)健康。當用戶在TKE集群中部署NPDPlus時，使用命令kubectl describe node會發(fā)現(xiàn)更多的節(jié)點情況。例如，F(xiàn)DPressure指示該節(jié)點上已經使用的文件描述符的數量是否達到了機器所允許的最大值的80%；ThreadPressure表示一個節(jié)點上的線程數量是否達到了機器允許數量的90%，依此類推。用戶可以監(jiān)控這些情況，并在出現(xiàn)異常情況時提前采取規(guī)避措施。

同時，K8S目前認為node NotReady的機制取決于kubecontrollermanager的參數設置。當節(jié)點的網絡被完全阻斷時，K8S很難發(fā)現(xiàn)第二級節(jié)點的異常，這在某些場景下(比如直播、在線會議等)是不可接受的。).針對這種場景，NPDPlus繼承了分布式node 健康檢測功能，可以在幾秒內快速檢測出一個節(jié)點的網絡狀態(tài)以及是否可以與其他節(jié)點通信，同時不依賴于與K8S主組件的通信。

節(jié)點自我修復

收集節(jié)點的健康狀態(tài)是為了在service Pod不可用之前提前發(fā)現(xiàn)節(jié)點的異常，以便運維或開發(fā)人員對Docker、Kubelet或節(jié)點進行修復。在NPDPlus中，為了減輕運維人員的負擔，提供了根據收集到的節(jié)點狀態(tài)進行不同自愈動作的能力。集群管理員可以根據節(jié)點的不同狀態(tài)配置相應的自愈能力，比如重啟Docker、重啟Kubelet或者重啟CVM節(jié)點。同時，為了防止集群中的節(jié)點雪崩，在進行自愈動作之前進行嚴格的限流，防止節(jié)點大規(guī)模重啟。同時，為了防止集群中的節(jié)點發(fā)生雪崩，在進行自愈動作之前進行了嚴格的電流限制。具體戰(zhàn)略是:

集群中同時只允許有一個節(jié)點自愈，兩次自愈行為間隔至少1分鐘。

當一個新節(jié)點添加到集群中時，它將給予該節(jié)點2分鐘的容錯時間，以防止由于剛添加到集群中的節(jié)點的不穩(wěn)定性而導致的錯誤自愈。

當節(jié)點在觸發(fā)CVM自愈操作重啟后仍處于異常狀態(tài)時，節(jié)點將在3小時內不再執(zhí)行任何自愈操作。

NPDPlus將記錄節(jié)點事件中執(zhí)行的所有自愈操作，以便集群管理員可以方便地了解節(jié)點上的事件。

用戶指南

1.登錄騰訊云容器服務控制臺，點擊要創(chuàng)建NPDPlus的集群。

2.點擊集群詳細信息頁面左側的組件管理，在組件管理中選擇NodeProblemDetectorPlus。

3.配置NodeProblemDetectorPlus參數，可以根據具體節(jié)點的狀態(tài)選擇執(zhí)行不同的自愈動作。

4.選擇“確定”,然后單擊“完成”,一鍵創(chuàng)建它。

在集群形成管理中，可以看到NPDPlus正在成功運行:

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發(fā)表后的30日內與ESG跨境電商聯(lián)系。