适用场景

监控的价值不在图好看，而在"出问题之前有人知道"。最小闭环是：关键指标有采集、阈值有依据、告警能到人、处理有记录。

配置步骤（Prometheus + Exporter）

# prometheus.yml
scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['10.0.10.31:9100','10.0.10.32:9100']
  - job_name: snmp
    static_configs:
      - targets: ['10.0.10.1']
    metrics_path: /snmp
    params: { module: [if_mib] }

关键参数与建议

  • 先监控"会立刻影响业务"的指标：存活、端口、磁盘、证书、核心业务接口
  • 阈值分级（警告/严重），避免全天候刷告警导致麻木
  • 告警必须能到达值班人（电话/短信/企业微信），并定义响应时限
  • 网络设备用 SNMP v3 或只读账号，避免用管理员账号采集
  • 监控自身要冗余：监控服务器故障时无人值守等于没监控

容易踩的坑

  • 指标基数爆炸（标签设计不当）导致内存暴涨
  • 只抓不告警，图有人看但没人被通知
  • Exporter 端口暴露公网被遍历采集

验证与巡检

curl -s http://10.0.10.30:9090/api/v1/targets | head
  • 巡检：targets 全部 up、告警规则有触发记录、Exporter 仅内网可达

小结

告警治理是长期动作：每月盘点一次告警，把误报调掉、把漏报补上、把长期忽略的告警删掉或升级。

> 说明：文中命令为通用写法，不同型号/版本可能略有差异，落地前请对照设备实际版本的官方文档；带外管理与安全设备变更建议先在测试设备验证。