GPU服务器远程管理怎么做?驱动检查、任务监控与故障诊断

GPU 服务器和一台普通 Web 服务器最大的区别是:它贵、它容易坏、而且它坏了不会给你发消息。一台八卡训练机放在机房里,某天其中一张卡因为过热开始降频,训练速度悄悄掉了 30%,没人发现;又或者某个同事的任务在半夜 OOM 后卡死占着显存不放,第二天所有人都在排队。远程管理的核心目标就是三点:随时能确认驱动与环境是否正常、随时能看清谁在用哪张卡用了多少、以及出问题时能快速定位是软件还是硬件故障。本文围绕这三点,给出一套可以直接落地的命令集与排查流程。

一、远程管理的两条通道:带内与带外

先明确两个概念,这决定了你在机器"彻底没反应"时还有没有救:

  • 带内管理(in-band):通过 SSH 登录操作系统执行管理操作。日常 95% 的工作都在这条通道上完成。
  • 带外管理(out-of-band):通过服务器主板上的 BMC(Baseboard Management Controller)管理口,常见实现有 IPMI、以及各厂商的 iDRAC / iLO / IMM 等。它独立于操作系统,可以查看硬件状态、远程开关机、挂载安装镜像、查看串口控制台(SOL)。系统宕机、驱动崩溃导致 SSH 无响应时,带外是唯一的救命通道。
# 带内:确认能登录且系统负载正常
ssh ops@gpu-node-01
uptime
w

# 带外(需 ipmitool 且已配置 BMC 地址与账号)
ipmitool -I lanplus -H 192.168.10.11 -U admin -P 'password' chassis power status
ipmitool -I lanplus -H 192.168.10.11 -U admin -P 'password' sel elist | tail -30
ipmitool -I lanplus -H 192.168.10.11 -U admin -P 'password' sensor list | grep -i -E 'temp|fan|pwr'

运维规范上,建议每台 GPU 机器都配好带外地址并记录在 CMDB 里,同时确认 sel elist(系统事件日志)可读。硬件故障的早期信号往往先出现在 SEL 和传感器里,而不是操作系统日志里。

二、驱动与运行环境检查:每次接手先做的五件事

新机器上线或接手一台陌生机器,先跑一套环境体检。环境不一致是远程排障里最浪费时间的部分。

# 1. 驱动、CUDA 版本与 GPU 总览
nvidia-smi
nvidia-smi -q | head -40

# 2. 驱动版本与内核模块是否匹配
cat /proc/driver/nvidia/version
modinfo nvidia | grep -E '^version|^filename'
lsmod | grep -E 'nvidia|nvidia_uvm|nvidia_drm'

# 3. 详细规格核对:型号、显存、PCIe 代际与宽度、ECC 状态
nvidia-smi --query-gpu=index,name,driver_version,memory.total,pcie.link.gen.current,pcie.link.width.current,ecc.mode.current --format=csv

# 4. 持久模式与功耗上限(影响任务启动速度与稳定频率)
nvidia-smi --query-gpu=index,persistence_mode,power.limit,power.draw --format=csv
sudo nvidia-smi -pm 1          # 开启 persistence mode,减少驱动初始化开销

# 5. 编译器与框架的 CUDA 版本是否一致
nvcc --version
python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"

几个关键判读点:

  • 驱动版本与 CUDA Runtime 版本是两件事:nvidia-smi 右上角显示的 CUDA Version 表示该驱动支持的最高 CUDA Runtime 版本,不代表已安装的 CUDA Toolkit 版本,后者要用 nvcc --version 确认。
  • 内核模块缺失:若 lsmod 里没有 nvidia,通常是内核升级后 DKMS 未重新编译,表现为 nvidia-smi 报 "could not communicate with the driver"。处理方式是重新触发 DKMS 编译或重装匹配内核头文件的驱动。
  • ECC 状态:数据中心卡默认开启 ECC,开启会占用少量可用显存;ecc.mode.current 显示 Enabled 为正常状态,长期训练任务不要关闭。
  • PCIe 链路降级:pcie.link.width.current 应为 16,若显示 8 或 4,会影响数据搬运与多卡通信。

三、任务监控:看清"谁在用哪张卡"

多用户共用一台 GPU 服务器时,管理员最常回答的问题是"还有没有空卡"。下面这组命令是日常巡检的核心:

# 概览:卡状态 + 每个进程占用
nvidia-smi
nvidia-smi --query-compute-apps=pid,process_name,used_memory,gpu_uuid --format=csv

# 定位进程属于哪个用户、哪个任务
ps -o pid,user,etime,cmd -p $(nvidia-smi --query-compute-apps=pid --format=csv,noheader | sort -u | paste -sd,)

# 查看哪些进程打开了 GPU 设备节点(比 nvidia-smi 更全,含未分配显存的进程)
fuser -v /dev/nvidia*

# 持续采样,留档用于事后分析
nvidia-smi --query-gpu=timestamp,index,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu --format=csv -l 30 -f /var/log/gpu_usage.csv
nvidia-smi dmon -s pucvmet -d 5 -o DT -f /var/log/gpu_dmon.log

# DCGM 更细的剖析指标(SM 占用率、DRAM 占用率等)
dcgmi dmon -e 200,201,202,203,204 -d 5

判读要点与常见问题:

  • 显存被占但利用率 0:典型的"僵尸任务"——进程卡死、或在交互式/调试状态下持有显存。用 ps 确认进程状态,若为僵尸或已无意义,通知用户后清理;不要直接 kill -9,先确认无未保存的 checkpoint。
  • 利用率 100% 但吞吐很低:可能是低效 kernel 或小 batch,结合 DCGM 的 SM/DRAM 指标与 Profiler 分析,参考 MFU 计算判断是否真低效。
  • 显存缓慢增长不释放:显存泄漏的典型表现。观察 memory.used 是否单调递增,并通过周期性 torch.cuda.memory_summary() 或框架自带的分配器统计定位。
  • 多卡占用不均:检查是否有人未用 CUDA_VISIBLE_DEVICES 隔离,导致多个任务默认抢占同一张卡(PyTorch 默认从 device 0 开始分配)。

3.1 多用户资源隔离

# 用环境变量严格限定可见设备(最常用、最安全)
CUDA_VISIBLE_DEVICES=0,1 python train.py

# 设置计算模式为独占进程,防止第二个进程误入(需 root,注意会影响已有任务)
sudo nvidia-smi -c EXCLUSIVE_PROCESS -i 0
sudo nvidia-smi -c DEFAULT -i 0        # 恢复默认共享模式

# 多小任务共享单卡场景可用 MPS 提高利用率(谨慎使用)
export CUDA_MPS_PIPE_DIRECTORY=/tmp/nvidia-mps
export CUDA_MPS_LOG_DIRECTORY=/tmp/nvidia-mps-log
nvidia-cuda-mps-control -d

制度上建议配合一份"卡位分配表":固定每个用户/任务可用的 CUDA_VISIBLE_DEVICES,写入启动脚本而不是靠自觉。长期看,多用户共享场景应该引入作业调度(如按队列排队),而不是靠人协商。

四、故障诊断:从软件到硬件的四层定位

GPU 出问题时,按"驱动 → 任务 → 硬件错误 → 硬件健康"四层排查,能最快收敛:

4.1 第一层:驱动与 Xid 错误

驱动层异常会在内核日志里留下 Xid 记录,这是判断硬件故障最重要的线索:

# 查看 Xid 与其他 nvidia 相关内核日志
dmesg -T | grep -i -E 'xid|nvidia|NVRM' | tail -80

# 持续监控新出现的 Xid
dmesg -wT | grep -i xid

# 查看 ECC 错误计数(可纠正/不可纠正)
nvidia-smi --query-gpu=index,ecc.errors.corrected.volatile.total,ecc.errors.uncorrected.volatile.total --format=csv
nvidia-smi -q -d ECC

# 查看行重映射(Row Remapping)状态,显存出现坏行的重要信号
nvidia-smi --query-remapped-rows=gpu_bus_id,remapped_rows.correctable,remapped_rows.uncorrectable,remapped_rows.pending,remapped_rows.failure --format=csv
常见 Xid 码含义(常见归类)一般处理建议
13Graphics/Compute Engine 异常,常与驱动或应用有关先看是否特定任务触发,更新驱动或回退版本;复现则隔离该卡
31GPU 内存页错误,多为非法访问或显存故障检查应用越界;多任务复现则考虑硬件问题
43 / 45GPU 停止响应(fallback / preemptive cleanup)常见于长时间占用或异常退出,重置 GPU 并观察是否复发
48DBE(双比特不可纠正 ECC 错误)严重,通常需要重启并隔离该卡做进一步检测
63 / 64行重映射事件 / NVLink 相关错误查 remapped rows 与 NVLink 状态,频发则报修
74 / 79NVLink 错误 / GPU 从总线上掉出基本判定硬件故障,立即下线该卡并联系供应商

4.2 第二层:性能类故障(降频与温度)

# 降频原因:出现 HW_THERMAL / HW_SLOWDOWN / SW_POWER_CAP 都说明硬件在自我保护
nvidia-smi --query-gpu=index,clocks.sm,clocks.max.sm,clocks_throttle_reasons.active,temperature.gpu,power.draw,power.limit --format=csv

# 长时间采样,观察满载下的温度与功耗曲线
nvidia-smi dmon -s pucvmet -d 5

# 查看风扇与进风温度(部分机型支持)
nvidia-smi -q -d TEMPERATURE,FAN

判读:满载时 temperature.gpu 长期超过 85℃,或 power.draw 长期贴着 power.limit 且 clocks.sm 明显低于 clocks.max.sm,说明存在温度墙或功耗墙。处理顺序是:先查风道与机房环境温度(带外传感器数据很有用),再查机箱风扇策略,最后才考虑用 nvidia-smi -pl 限制功耗换稳定——限功耗会降低算力,属于权衡而非根治。

4.3 第三层:掉卡与重置

# 确认系统是否还能看到全部 GPU(数量是否变少)
nvidia-smi -L
lspci | grep -i nvidia

# 单卡异常时尝试重置(需确保该卡上无运行中任务)
sudo nvidia-smi -r -i 0

# 重置后复查是否恢复
nvidia-smi --query-gpu=index,name,memory.total,temperature.gpu --format=csv

如果 nvidia-smi -L 列出的卡数少于物理卡数,或 lspci 能看到但驱动看不到,通常是掉卡。重置能恢复的多是软故障,频繁复发就必须走报修流程。

4.4 第四层:整机健康诊断

# DCGM 诊断三档:1 快速 / 2 标准 / 3 完整(完整档耗时较长且会占用 GPU)
dcgmi diag -r 1
dcgmi diag -r 2
dcgmi diag -r 3

# 收集官方 bug report,供厂商分析
sudo nvidia-bug-report.sh

# 系统侧:检查内核 OOM、文件系统错误与磁盘健康
dmesg -T | grep -i -E 'out of memory|oom|killed process' | tail -20
smartctl -a /dev/nvme0 | grep -E 'Media_Wearout|Percentage|Critical|Temperature'

报修前把 nvidia-bug-report.sh 生成的日志包、dcgmi diag 结果、以及 dmesg 里的 Xid 片段一起提交,能大幅缩短供应商的判定时间。

五、把日常巡检自动化

远程管理最省心的做法是让机器自己汇报。建议至少固化这几件事:

  1. 利用率与显存采样:nvidia-smi --query-gpu=... -l 60 -f /var/log/gpu_usage.csv 常驻后台,作为容量与异常分析的数据源。
  2. Xid 与 ECC 告警:定时脚本扫描 dmesg 与 ECC 计数,出现新 Xid 或不可纠正错误立即告警。
  3. 温度与降频告警:定时采集 clocks_throttle_reasons.active,出现降频原因即触发通知。
  4. 僵尸任务巡检:脚本比对"占显存但利用率长时间为 0"的进程,生成待确认清单。
  5. 周期性 DCGM 诊断:每周或每月跑一次 dcgmi diag -r 2,作为预防性维护。
  6. 带外传感器巡检:通过 IPMI 采集风扇、电源、进风温度,提前发现散热与供电隐患。

六、GPU故障远程排查标准流程

  1. 确认能登录:SSH 不通时走带外(IPMI/iDRAC/iLO)查看电源状态与串口控制台。
  2. 看环境:nvidia-smi、驱动版本、内核模块、CUDA 与框架版本是否匹配。
  3. 看占用:nvidia-smi --query-compute-apps 与 fuser -v /dev/nvidia*,确认是否有僵尸或越权任务。
  4. 查 Xid:dmesg -T | grep -i xid,对照 Xid 速查表判断严重性。
  5. 查 ECC 与行重映射:nvidia-smi -q -d ECC 与 --query-remapped-rows。
  6. 查降频:clocks_throttle_reasons.active、温度、功耗,区分温度墙与功耗墙。
  7. 查拓扑与链路:nvidia-smi topo -m 与 PCIe 代际宽度,排除链路降级。
  8. 跑诊断:dcgmi diag -r 2 获取结论性健康报告。
  9. 决定处置:软故障重置 GPU 并观察;硬件特征明确则隔离该卡、CUDA_VISIBLE_DEVICES 排除它,走报修。
  10. 归档:保存 nvidia-bug-report.sh 日志与本次处置记录,形成故障库便于日后比对。

小结

GPU 服务器远程管理可以总结为三条主线:带外保命、带内体检、日志定罪。带外通道保证机器"死"了你还能管;带内的驱动与环境检查保证你接手就能判断状态;而 dmesg 里的 Xid、ECC 计数与 DCGM 诊断结果,则是判断"软件问题还是硬件故障"的决定性证据。把这三类命令固化成脚本和定时任务,管理十台 GPU 机器和管理一台的工作量差别并不大。

避坑清单

  • 没配带外管理:系统宕机后只能去机房按电源键,远程运维无从谈起。
  • 混淆驱动 CUDA 版本与 Toolkit 版本:以 nvcc --version 与框架报告的 CUDA 版本为准。
  • 内核升级后不重编驱动模块:DKMS 未触发会导致 nvidia-smi 直接失效,升级内核前应先确认驱动兼容。
  • 直接 kill 占用显存的进程:可能丢失未保存的 checkpoint,应先通知任务归属人。
  • 忽略 Xid 告警:Xid 是硬件故障的早期信号,反复出现应尽早隔离,避免训练结果出错。
  • 为省显存关闭 ECC:长周期训练中出现静默数据错误的代价远高于省下的显存。
  • 不做预防性诊断:等故障发生才排查,往往已经损失了一个训练周期。

关键词回顾:GPU服务器远程管理、驱动检查、任务监控、故障诊断、Xid错误、ECC、DCGM、IPMI带外管理、CUDA_VISIBLE_DEVICES。