1. 为什么需要监控Linux服务器利用率在运维工作中服务器资源监控就像汽车的仪表盘。想象一下你正驾驶一辆没有转速表、油量显示和温度计的汽车——你无法知道引擎是否过热油箱还剩多少油或者当前是否在高效运转。同样缺乏服务器利用率监控的系统管理员就像盲人摸象无法准确掌握系统健康状况。我曾在凌晨3点被紧急电话惊醒原因是某台生产服务器突然宕机。事后分析发现这台机器的内存使用率在过去两周内持续攀升但由于缺乏监控机制直到内存耗尽导致OOM Killer终止关键进程才被发现。这次教训让我深刻认识到定期检查服务器资源使用情况不是可选项而是运维工作的基本生存技能。2. 核心监控指标解析2.1 CPU使用率系统的大脑负荷CPU使用率可能是最直观的指标但也是最容易被误读的。很多人看到90%的CPU使用率就惊慌失措但实际上需要区分用户态CPUus应用程序实际使用的计算资源系统态CPUsy内核处理系统调用、中断等开销等待I/OwaCPU等待磁盘/网络IO的空闲时间空闲id真正的闲置资源通过mpstat -P ALL 1 5命令可以查看每个核心的详细状态。我曾遇到一个案例某台服务器整体CPU显示80%负载但通过mpstat发现其实是一个核心被单个线程占满其他核心几乎空闲——这是典型的单线程应用未做好CPU亲和性affinity配置的表现。2.2 内存使用容易被误解的指标Linux内存管理有个反直觉的特点空闲内存等于浪费内存。内核会主动利用空闲内存作为磁盘缓存cache和缓冲区buffer所以free -h显示的used值往往偏高。关键要看available列在较新Linux版本中或计算可用内存 free buffers cache使用vmstat 1可以观察内存趋势特别关注siswap in和soswap out——这两个值如果持续大于0说明物理内存已不足系统开始使用交换空间性能会显著下降。2.3 磁盘I/O隐藏的性能杀手磁盘性能问题往往最容易被忽视也最难排查。iostat -x 1输出的几个关键指标%util设备繁忙百分比超过70%需要注意awaitI/O平均等待时间毫秒通常应10mssvctm设备处理I/O的平均时间我曾诊断过一个CPU使用率莫名升高的案例最终发现是某应用频繁写日志导致磁盘队列堆积CPU时间大量消耗在I/O等待wa上。通过iotop定位到具体进程后改用异步日志写入立即解决了问题。2.4 网络带宽现代应用的命脉对于Web服务器、数据库等网络密集型应用iftop -nP和nethogs是必备工具。特别注意总带宽使用ip -s link show eth0TCP重传率netstat -s | grep retransmit连接数统计ss -s某次大促期间我们的API服务器响应变慢但CPU/内存都正常。最终发现是某微服务建立了过多HTTP长连接导致端口耗尽。通过ss -tan state established | wc -l快速确认了连接数异常。3. 经典命令组合实战3.1 全能监控top的进阶用法大多数人只知道用top看个大概其实按以下键位可以解锁高级功能ShiftM按内存排序ShiftP按CPU排序c显示完整命令路径V树状显示进程关系ShiftH显示线程而非进程更强大的替代品是htop它支持鼠标操作多栏排序进程搜索过滤直接发送信号如kill3.2 内存分析smem可视化报告smem -r -k -t -p命令能生成易读的内存报告PID User Command Swap USS PSS RSS 4721 mysql /usr/sbin/mysqld 0B 1.2GB 1.3GB 1.4GB 3288 www-data /usr/bin/php-fpm7.4 0B 78.3MB 82.1MB 84.2MB其中PSSProportional Set Size是最有价值的指标它公平地计算了共享内存的分配比例。3.3 磁盘空间ncdu交互式分析替代df -h和du -sh *的神器ncdu /这个基于curses的工具可以交互式浏览目录大小按大小/文件名排序直接删除文件导出扫描结果3.4 网络流量iftop实时监控iftop -nNP -i eth0输出示例191.2M 381.6K 763.2K ----------------------------------------------------- 192.168.1.2:443 10.0.0.3:55632 1.1Mb 2.2Mb 3.3Mb 500Kb 1Mb 1.5Mb箭头方向表示流量流向三列数据分别是2秒、10秒和40秒的平均速率。4. 自动化监控方案4.1 使用sysstat收集历史数据sar是系统活动报告工具需要先安装并启用sysstat服务# Ubuntu/Debian sudo apt install sysstat sudo systemctl enable --now sysstat # CentOS/RHEL sudo yum install sysstat sudo systemctl enable --now sysstat关键数据文件保存在/var/log/sysstat/中可以用以下命令查看历史sar -u -f /var/log/sysstat/sa16 # 查看当月16日CPU使用 sar -r -s 10:00:00 -e 12:00:00 # 查看内存使用(10点-12点)4.2 Prometheus Grafana企业级监控对于生产环境推荐以下组合Node Exporter采集主机指标Prometheus时间序列数据库Grafana可视化仪表盘部署步骤# 下载Node Exporter wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz tar xvf node_exporter-*.tar.gz cd node_exporter-*/ ./node_exporter # 默认监听9100端口然后在Prometheus的配置文件中添加scrape_configs: - job_name: node static_configs: - targets: [localhost:9100]4.3 自定义监控脚本示例这是一个检查关键指标并发送警报的Shell脚本模板#!/bin/bash # 阈值配置 CPU_WARN80 MEM_WARN90 DISK_WARN85 # 获取当前值 CPU_USE$(top -bn1 | grep Cpu(s) | sed s/.*, *\([0-9.]*\)%* id.*/\1/ | awk {print 100 - $1}) MEM_USE$(free | awk /Mem/{printf(%.0f), $3/$2*100}) DISK_USE$(df -h / | awk NR2{print $5} | tr -d %) # 告警判断 [ $CPU_USE -gt $CPU_WARN ] echo CPU警告: ${CPU_USE}% | mail -s CPU警报 adminexample.com [ $MEM_USE -gt $MEM_WARN ] echo 内存警告: ${MEM_USE}% | mail -s 内存警报 adminexample.com [ $DISK_USE -gt $DISK_WARN ] echo 磁盘警告: ${DISK_USE}% | mail -s 磁盘警报 adminexample.com5. 性能问题排查流程5.1 四步诊断法定位瓶颈使用top快速查看CPU、内存、IO等待深入分析根据初步判断使用专项工具如iostat、vmstat进程级诊断用strace/perf分析具体进程解决方案优化配置、扩容或修复代码5.2 常见问题模式CPU高但负载低可能是频繁的上下文切换检查vmstat的cs值内存充足但频繁swap检查/proc/sys/vm/swappiness设置磁盘响应慢但util低可能是RAID卡缓存策略问题检查/sys/block/sda/queue/scheduler5.3 高级工具链perf性能计数器分析perf top -g # 实时函数级CPU分析 perf stat ls # 命令执行统计bpftrace内核级追踪bpftrace -e tracepoint:syscalls:sys_enter_* { [probe] count(); }eBPF新一代观测工具sudo bcc-tools/bin/opensnoop # 监控文件打开操作6. 容器环境特殊考量6.1 容器指标与传统VM的区别CPU限制容器可能被限制CPU份额top看到的是宿主机的CPU百分比内存统计容器内存包括页缓存容易触发OOM Killer文件系统写密集型操作可能受存储驱动如overlay2性能影响6.2 容器专用命令# 查看容器资源限制 docker inspect --format{{.HostConfig.CpuShares}} my_container # 容器内进程监控 docker top my_container # 容器资源使用统计 docker stats --no-stream6.3 cAdvisor Prometheus方案Google的cAdvisor是容器监控的事实标准docker run \ --volume/:/rootfs:ro \ --volume/var/run:/var/run:ro \ --volume/sys:/sys:ro \ --volume/var/lib/docker/:/var/lib/docker:ro \ --publish8080:8080 \ --detachtrue \ --namecadvisor \ gcr.io/cadvisor/cadvisor:v0.47.0访问http://localhost:8080/containers/ 可以看到所有容器的实时资源使用情况。