萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Slurm 叢集資源管理部署實戰:從單機頻寬監控到多節點排程

Slurm 架構總覽

  • slurmctld:控制節點守護程式,負責資源監視、作業排程、狀態維護(支援 HA 雙主熱備)。
  • slurmd:計算節點守護程式,管理本機資源、啟動任務、回報狀態。
  • MUNGE:認證服務,跨節點 UID/GID 映射與訊息簽章驗證。

單機頻寬監控 (slurm 工具)

apt-get install slurm
slurm -i eth0  # 介面名稱以 ip link 查詢
# 互動熱鍵:l (流量燈) c (經典模式) r (刷新) q (退出)

叢集部署步驟 (控制節點 + 計算節點)

1. 所有節點安裝套件

apt-get install slurm-wlm slurm-wlm-basic-plugins munge

2. 產生並分發 MUNGE 金鑰

/usr/sbin/create-munge-key
# 將 /etc/munge/munge.key 複製至所有節點,權限 0600、擁有者 munge:munge
scp /etc/munge/munge.key node01:/etc/munge/
scp /etc/munge/munge.key node02:/etc/munge/
# 各節點修正權限並啟動
chown munge:munge /etc/munge/munge.key
systemctl enable --now munge

3. 產生統一 slurm.conf

使用 Slurm Configuration Tool 產生,關鍵參數:

ClusterName=linux-cluster
ControlMachine=ctrl01
ControlAddr=10.0.0.1
SlurmctldPort=6817
SlurmdPort=6818
AuthType=auth/munge
StateSaveLocation=/var/spool/slurm/ctld
SlurmdSpoolDir=/var/spool/slurm/d
SwitchType=switch/none
TaskPlugin=task/affinity
# 節點定義範例
NodeName=node[01-02] CPUs=32 RealMemory=128000 State=UNKNOWN
PartitionName=debug Nodes=node[01-02] Default=YES MaxTime=INFINITE State=UP

將 slurm.conf 分發至所有節點 /etc/slurm-llnl/slurm.conf。

4. 啟動控制節點服務

systemctl enable --now slurmctld

5. 啟動計算節點服務

systemctl enable --now slurmd

驗證叢集

sinfo
# PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
# debug*       up   infinite      2   idle node[01-02]

srun -N1 hostname
# node01

sbatch --wrap="sleep 60"
squeue
# 觀察作業排程狀態

常見運維操作

  • 節點下線維護:scontrol update nodename=node01 state=drain reason="maintenance"
  • 恢復上線:scontrol update nodename=node01 state=resume
  • 查看作業詳細資訊:scontrol show job
  • 取消作業:scancel
  • 公平分享調整:修改 PriorityFlags、PriorityWeight* 參數並 systemctl reload slurmctld。

監控整合

  • Prometheus + slurm_exporter 抓取叢集指標。
  • Grafana 儀表板呈現佇列長度、節點使用率、作業等待時間。
copyright © 萬盛學電腦網 all rights reserved