監控與告警設定文件範本(Monitoring & Alert Configuration Template)

監控與告警設定文件範本(Monitoring & Alert Configuration Template) 適用標準:Google SRE Workbook、ISO/IEC 20000-1:2018(Service Monitoring) 適用階段:維運階段(Operations Phase) 負責角色:SRE、DevOps Engineer、Tech Lead 範本版本:v2.0(2026-10-06)|對應《軟體開發標準程序教學手冊》v2.0 第 10.2 節 📑 章節目錄 文件資訊 監控策略概要 SLI / SLO 定義 監控指標設計 告警規則定義 Dashboard 設計 告警通知與升級 日誌監控策略 維護與檢討機制 附錄 審查與驗證 📝 範本 1. 文件資訊 項目 內容 文件名稱 [系統名稱] 監控與告警設定文件 文件編號 [專案代碼]-MON-[版本號]-[日期] 版本 v[X.Y] 建立日期 [YYYY-MM-DD] 負責人 [SRE / DevOps] 審核者 [Tech Lead / SA] 2. 監控策略概要 2.1 監控架構 層級 工具 用途 Infrastructure [Prometheus / CloudWatch / Azure Monitor] 主機/容器/網路 Application [APM: Datadog / New Relic / OpenTelemetry] 應用效能 Business [Custom metrics / Analytics] 業務指標 Logging [ELK / Loki / Azure Log Analytics] 日誌分析 Tracing [Jaeger / Zipkin / OpenTelemetry] 分散式追蹤 2.2 監控原則 原則 說明 Four Golden Signals Latency, Traffic, Errors, Saturation USE Method Utilization, Saturation, Errors(基礎設施) RED Method Rate, Errors, Duration(服務) Alerting Philosophy Alert on symptoms, not causes 3. SLI / SLO 定義 3.1 服務層級指標(SLI) SLI 定義 量測方式 資料來源 Availability 成功回應比例 success_requests / total_requests [Load Balancer / App] Latency 回應時間分佈 P50, P95, P99 [APM / Prometheus histogram] Throughput 處理量 Requests per second [Metrics] Error Rate 錯誤回應比例 5xx_count / total_count [Ingress / App] 3.2 服務層級目標(SLO) 服務 SLO 指標 目標值 Error Budget (月) 量測視窗 [API Service] Availability ≥ 99.9% 43.2 min(30 天 × 0.1%) 30 days rolling [API Service] P95 Latency < [N]ms — 30 days rolling [Web Frontend] Availability ≥ 99.5% 3.6 hr 30 days rolling [Batch Job] Success Rate ≥ 99.0% — Per execution 4. 監控指標設計 4.1 基礎設施指標 以下為 Prometheus node_exporter 的實際指標名稱;使用率需以 PromQL 計算,不是直接輸出的指標: ...

May 18, 2026 · 6 min · 1265 words · Eric Cheng

Prometheus與Grafana教學手冊

Prometheus與Grafana教學手冊 文件資訊 項目 內容 文件版本 2.0 最後更新 2026-10-01 版本基準 Prometheus 3.15.0(2026-09-24)、Prometheus LTS 3.13.x(支援至 2027-07-31)、Alertmanager 0.34.1、Grafana 13.2.3(2026-09-29)、node_exporter 1.12.1;完整矩陣見 1.5 版本基準與相容性矩陣 文件定位 企業標準技術白皮書/內部標準教材:Prometheus+Alertmanager+Grafana 的規劃、安裝、設定、使用、告警、安全、高可用、維運與升級 適用對象 資深工程師、DevOps/SRE、系統管理員、系統架構師、資安與稽核人員 前置知識 Linux 系統管理(systemd、防火牆、檔案權限)、容器與 Kubernetes 基本概念、HTTP 與 TLS、YAML 姊妹文件 《Metrics Visualization 教學手冊》:指標設計、PromQL 分析、儀表板設計、SLO 與架構決策的深入探討;《OpenTelemetry教學手冊》:OTel SDK 與 Collector;《Logs Visualization 教學手冊》:日誌視覺化 前一版本 1.0(2026-01-27,以 Prometheus 2.48、Grafana 10.2 為基準) Created by Eric Cheng 📌 v2.0 改版重點:章節重新編排為 15 章與 7 個附錄,全面對齊 Prometheus 3.x、Alertmanager 0.34 與 Grafana 13。 修正錯誤:修正 v1.0 中已不適用或會造成故障的內容。例如 3.x 發行包已不含 consoles、apt-key 已棄用、Alertmanager /api/v1 已移除(回傳 410)、match/source_match 已棄用、Teams Office 365 connector 已停用、快照還原步驟會刪除快照本身、儲存估算重複折算壓縮率、Grafana 稽核設定鍵錯誤且為 Enterprise 限定、Istio istio-telemetry 已不存在等。 新增內容:容量規劃、Alertmanager 安裝、Compose 與 Kubernetes 部署、離線安裝、Service Discovery 與 relabel、抓取保護、Remote Write/Agent mode、OTLP、Grafana 資料庫與認證整合、原生直方圖、Dynamic dashboards、Grafana Alerting 決策、規則單元測試、安全強化、高可用、自我監控、Prometheus 2.x → 3.x 遷移、Grafana 13 升級、AI 輔助維運與臺灣法規對應。 追溯依據:所有差異見 E.2 v1.0 → v2.0 更正對照表,查證依據見 附錄 F:查證紀錄。 閱讀指引 讀者角色 建議閱讀章節 初次接觸 Prometheus/Grafana 第 1 章 → 第 2 章 → 4.5 → 第 7 章 → 第 8 章 系統管理員(VM/實體機) 第 3 章 → 4.1–4.4 → 第 5、6 章 → 第 12 章 → 第 13 章 Kubernetes 平台工程師 2.6 → 4.6 → 5.2–5.4 → 11.1–11.2 → 12.4 SRE/值班人員 第 7 章 → 第 9 章 → 12.1 → 12.6 → 第 15 章 應用程式開發人員 2.2–2.3 → 7.4 → 14.1–14.2 → 14.5 架構師 2.6–2.7 → 3.2 → 第 11 章 → 14.3–14.4 資安/稽核人員 第 10 章 → 14.6 → 15.3 技術主管/決策者 1.1–1.5 → 2.7 → 13.1 → 14.6 → 14.7 本文慣例 標記 意義 ✅/❌ 建議做法/不建議做法 ⚠️ 容易出錯或有風險的地方 💡 實務技巧 🧪 實驗性功能:需 --enable-feature 或 feature toggle,行為可能在後續版本變更,不納入 LTS 支援範圍 📌 版本差異或改版說明 🏢 只在 Grafana Enterprise 或 Grafana Cloud 提供的功能 $變數 Grafana 範本變數 <尖括號> 需依環境替換的值 example.internal 範例內部網域,請替換為實際網域 ⚠️ 本手冊的指令以 RHEL 9/10 與 Ubuntu 24.04 LTS 為例,設定檔與 PromQL 皆以 Prometheus 3.15、Alertmanager 0.34.1、Grafana 13.2.3 撰寫,並以官方二進位檔的 promtool/amtool 驗證(見 附錄 F:查證紀錄)。若仍在 Prometheus 2.x,請先閱讀 13.2 Prometheus 2.x → 3.x 遷移。 ...

January 29, 2026 · 87 min · 18519 words · Eric Cheng

Metrics Visualization 教學手冊

Metrics Visualization 教學手冊(Prometheus + Grafana) 文件資訊 項目 內容 文件版本 2.0 最後更新 2026-10-01 版本基準 Prometheus 3.15.0(2026-09-24)、Prometheus LTS 3.13.x(支援至 2027-07-31)、Grafana 13.2.3(2026-09-29)、Alertmanager 0.34.1;完整矩陣見 1.3 版本基準與相容性矩陣 文件定位 企業標準技術白皮書/內部標準教材:指標設計、PromQL 分析、儀表板、告警與 SLO、架構決策與治理 適用對象 資深後端工程師、系統架構師、SRE/DevOps 工程師、技術主管、資安與稽核人員 前置知識 Linux 與容器、Kubernetes 基本概念、RESTful API、微服務架構、基本監控概念 姊妹文件 《Prometheus與Grafana教學手冊》:安裝、設定檔、維護、升級操作步驟;《OpenTelemetry教學手冊》:OTel SDK 與 Collector 前一版本 1.0(2026-01-26,以 Prometheus 2.x/Grafana 11 時期做法為主) Created by Eric Cheng 📌 v2.0 改版重點:全面對齊 Prometheus 3.x 與 Grafana 13。修正 v1.0 中無法執行或結果錯誤的範例,例如 relabel 位址改寫、predict_linear 子查詢語法、錯誤率告警百分比顯示、不存在的指標名稱 redis_keys_total、Pushgateway「TTL」說法、以「P99 達標時間比例」定義延遲 SLO 等。新增原生直方圖、OTLP 與 UTF-8、Kubernetes Operator、Alertmanager 設計、規則單元測試、Dynamic dashboards、Dashboard as Code(Git Sync)、Grafana Alerting、多視窗多燃燒率告警、SLO 工具鏈、Grafana Assistant 與 MCP、AI 治理,以及第 9 章「企業級部署、容量與治理」。完整差異見 D.2 v1.0 → v2.0 更正對照表,查證依據見 附錄 E:查證紀錄。 ...

January 26, 2026 · 64 min · 13522 words · Eric Cheng