https://chihhung.github.io/Blog/tags/%E4%BA%8B%E4%BB%B6%E7%AE%A1%E7%90%86/Recent content in 事件管理 on Eric 個人部落格Hugo -- 0.151.0zh-TWMon, 18 May 2026 00:00:00 +0000https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/incidentreport_template/Mon, 18 May 2026 00:00:00 +0000https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/incidentreport_template/<h1 id="事件報告與根因分析範本incident-report--root-cause-analysis">事件報告與根因分析範本（Incident Report &amp; Root Cause Analysis）</h1> <blockquote> <p><strong>參照標準</strong>：ITIL 4（Incident Management &amp; Problem Management）/ ISO/IEC 20000-1:2018 / SRE Postmortem<br> <strong>文件用途</strong>：記錄生產環境事件、分析根本原因、制定改善行動，防止問題再次發生<br> <strong>適用階段</strong>：維運監控階段（Operations Phase）— Continuous Improvement</p></blockquote> <hr> <h2 id="-章節目錄">📋 章節目錄</h2> <ol> <li><a href="#1-%E4%BA%8B%E4%BB%B6%E6%91%98%E8%A6%81">事件摘要</a></li> <li><a href="#2-%E6%99%82%E9%96%93%E8%BB%B8">時間軸</a></li> <li><a href="#3-%E5%BD%B1%E9%9F%BF%E8%A9%95%E4%BC%B0">影響評估</a></li> <li><a href="#4-%E6%A0%B9%E5%9B%A0%E5%88%86%E6%9E%90">根因分析</a></li> <li><a href="#5-%E8%A7%A3%E6%B1%BA%E6%96%B9%E6%A1%88">解決方案</a></li> <li><a href="#6-%E6%94%B9%E5%96%84%E8%A1%8C%E5%8B%95%E8%A8%88%E7%95%AB">改善行動計畫</a></li> <li><a href="#7-%E7%B6%93%E9%A9%97%E6%95%99%E8%A8%93">經驗教訓</a></li> <li><a href="#8-%E9%99%84%E9%8C%84">附錄</a></li> </ol> <hr> <h2 id="1-事件摘要">1. 事件摘要</h2> <h3 id="-範本">📝 範本</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>事件編號</strong></td> <td>INC-{YYYYMMDD}-{序號}</td> </tr> <tr> <td><strong>事件標題</strong></td> <td>{一句話描述事件}</td> </tr> <tr> <td><strong>嚴重等級</strong></td> <td>SEV1（Critical）/ SEV2（Major）/ SEV3（Minor）/ SEV4（Low）</td> </tr> <tr> <td><strong>事件狀態</strong></td> <td>調查中 / 已解決 / 已關閉</td> </tr> <tr> <td><strong>發生時間</strong></td> <td>{YYYY-MM-DD HH:MM} (UTC+8)</td> </tr> <tr> <td><strong>偵測時間</strong></td> <td>{YYYY-MM-DD HH:MM}</td> </tr> <tr> <td><strong>解決時間</strong></td> <td>{YYYY-MM-DD HH:MM}</td> </tr> <tr> <td><strong>事件持續時間</strong></td> <td>{N} 分鐘/小時</td> </tr> <tr> <td><strong>MTTD</strong></td> <td>{偵測時間 - 發生時間}</td> </tr> <tr> <td><strong>MTTR</strong></td> <td>{解決時間 - 偵測時間}</td> </tr> <tr> <td><strong>受影響系統</strong></td> <td>{系統/服務名稱}</td> </tr> <tr> <td><strong>受影響使用者</strong></td> <td>{人數/比例}</td> </tr> <tr> <td><strong>事件負責人</strong></td> <td>{Incident Commander}</td> </tr> <tr> <td><strong>報告撰寫者</strong></td> <td>{姓名}</td> </tr> <tr> <td><strong>報告日期</strong></td> <td>{YYYY-MM-DD}</td> </tr> </tbody> </table> <h3 id="-使用說明">📖 使用說明</h3> <ul> <li><strong>嚴重等級定義</strong>： <ul> <li><strong>SEV1</strong>：核心業務完全中斷，影響全部使用者</li> <li><strong>SEV2</strong>：核心功能嚴重降級，影響大部分使用者</li> <li><strong>SEV3</strong>：非核心功能異常，影響部分使用者</li> <li><strong>SEV4</strong>：輕微異常，幾乎不影響使用者</li> </ul> </li> <li><strong>MTTD</strong>（Mean Time To Detect）：衡量監控能力</li> <li><strong>MTTR</strong>（Mean Time To Resolve）：衡量恢復能力</li> <li>事件報告需在事件解決後 <strong>3-5 個工作日</strong> 內完成</li> <li><strong>Blameless</strong> 原則：報告聚焦系統與流程改善，不歸咎個人</li> </ul> <h3 id="-範例">💡 範例</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>事件編號</strong></td> <td>INC-20260520-001</td> </tr> <tr> <td><strong>事件標題</strong></td> <td>HRMS 薪資查詢 API 持續回傳 500 Error</td> </tr> <tr> <td><strong>嚴重等級</strong></td> <td>SEV2（核心功能嚴重降級）</td> </tr> <tr> <td><strong>發生時間</strong></td> <td>2026-05-20 10:15</td> </tr> <tr> <td><strong>偵測時間</strong></td> <td>2026-05-20 10:18（Grafana 告警）</td> </tr> <tr> <td><strong>解決時間</strong></td> <td>2026-05-20 10:28（回滾完成）</td> </tr> <tr> <td><strong>事件持續時間</strong></td> <td>13 分鐘</td> </tr> <tr> <td><strong>MTTD</strong></td> <td>3 分鐘</td> </tr> <tr> <td><strong>MTTR</strong></td> <td>10 分鐘</td> </tr> <tr> <td><strong>受影響使用者</strong></td> <td>~200 人（薪資查詢功能不可用）</td> </tr> <tr> <td><strong>事件負責人</strong></td> <td>張 SRE</td> </tr> </tbody> </table> <hr> <h2 id="2-時間軸">2. 時間軸</h2> <h3 id="-範本-1">📝 範本</h3> <table> <thead> <tr> <th>時間 (UTC+8)</th> <th>事件</th> <th>執行者</th> <th>備註</th> </tr> </thead> <tbody> <tr> <td>{HH:MM}</td> <td>{發生/偵測/行動/解決}</td> <td>{人員}</td> <td>{補充說明}</td> </tr> </tbody> </table> <h3 id="-使用說明-1">📖 使用說明</h3> <ul> <li>時間軸是事件報告最有價值的部分，需精確到分鐘</li> <li>涵蓋：事件發生 → 偵測 → 通知 → 診斷 → 緩解 → 解決 → 驗證</li> <li>資料來源：監控日誌、Slack 訊息時間戳、告警記錄</li> <li>時間軸讓團隊復盤流程效率，找出可改善的環節</li> </ul> <h3 id="-範例-1">💡 範例</h3> <table> <thead> <tr> <th>時間 (UTC+8)</th> <th>事件</th> <th>執行者</th> <th>備註</th> </tr> </thead> <tbody> <tr> <td>10:12</td> <td>v2.1.0 部署完成，新版上線</td> <td>DevOps 林</td> <td>K8s Green deployment 完成</td> </tr> <tr> <td>10:15</td> <td>薪資計算排程 CronJob 啟動（與 API 衝突）</td> <td>System</td> <td>排程被新設定觸發</td> </tr> <tr> <td>10:15</td> <td>DB Lock 衝突開始，API 回應逾時</td> <td>System</td> <td>PostgreSQL row-level lock</td> </tr> <tr> <td>10:18</td> <td>Grafana 告警：5xx rate &gt; 5%</td> <td>Alert System</td> <td>#hrms-alerts 頻道</td> </tr> <tr> <td>10:19</td> <td>SRE 張確認告警，開始調查</td> <td>SRE 張</td> <td>檢查 Pod 日誌</td> </tr> <tr> <td>10:21</td> <td>確認問題：DB Lock contention</td> <td>SRE 張</td> <td><code>pg_stat_activity</code> 發現 lock wait</td> </tr> <tr> <td>10:23</td> <td>聯繫 Tech Lead 決策：啟動回滾</td> <td>SRE 張 → Tech Lead 王</td> <td>Slack 通訊</td> </tr> <tr> <td>10:24</td> <td>Tech Lead 確認回滾，授權執行</td> <td>Tech Lead 王</td> <td></td> </tr> <tr> <td>10:25</td> <td>開始執行回滾腳本</td> <td>SRE 張</td> <td><code>./rollback-hrms-v2.1.0.sh</code></td> </tr> <tr> <td>10:27</td> <td>流量切換至 v2.0.3 完成</td> <td>SRE 張</td> <td>Blue deployment</td> </tr> <tr> <td>10:28</td> <td>健康檢查通過，冒煙測試通過</td> <td>SRE 張 + QA 陳</td> <td>服務恢復</td> </tr> <tr> <td>10:30</td> <td>通知團隊：服務已恢復</td> <td>SRE 張</td> <td>Slack + Email</td> </tr> <tr> <td>10:45</td> <td>通知受影響使用者：服務已恢復</td> <td>PM 林</td> <td>系統公告</td> </tr> </tbody> </table> <hr> <h2 id="3-影響評估">3. 影響評估</h2> <h3 id="-範本-2">📝 範本</h3> <h4 id="31-業務影響">3.1 業務影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響功能</td> <td>{功能清單}</td> </tr> <tr> <td>受影響使用者數</td> <td>{人數/比例}</td> </tr> <tr> <td>收入損失</td> <td>{金額/無法計量}</td> </tr> <tr> <td>資料損失</td> <td>{是/否，描述}</td> </tr> <tr> <td>SLA 違反</td> <td>{是/否，影響 SLA 指標}</td> </tr> <tr> <td>信譽影響</td> <td>{高/中/低}</td> </tr> </tbody> </table> <h4 id="32-技術影響">3.2 技術影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響服務</td> <td>{服務清單}</td> </tr> <tr> <td>相依服務影響</td> <td>{是否連鎖影響}</td> </tr> <tr> <td>資料一致性</td> <td>{是否受影響}</td> </tr> <tr> <td>安全性影響</td> <td>{是否有安全疑慮}</td> </tr> </tbody> </table> <h3 id="-使用說明-2">📖 使用說明</h3> <ul> <li>影響評估用於確認嚴重等級是否正確、作為改善優先級依據</li> <li>業務影響由 PM/產品團隊提供；技術影響由工程團隊評估</li> <li>SLA 違反需記錄，可能涉及客戶賠償或內部 KPI</li> </ul> <h3 id="-範例-2">💡 範例</h3> <h4 id="31-業務影響-1">3.1 業務影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響功能</td> <td>薪資查詢、薪資條下載</td> </tr> <tr> <td>受影響使用者數</td> <td>~200 人（嘗試查詢薪資的員工）</td> </tr> <tr> <td>收入損失</td> <td>無直接收入損失（內部系統）</td> </tr> <tr> <td>資料損失</td> <td>無</td> </tr> <tr> <td>SLA 違反</td> <td>否（SLA 99.5% 月度，本月仍在 SLA 內）</td> </tr> <tr> <td>信譽影響</td> <td>低（事件持續 13 分鐘，非上班尖峰）</td> </tr> </tbody> </table> <hr> <h2 id="4-根因分析">4. 根因分析</h2> <h3 id="-範本-3">📝 範本</h3> <h4 id="41-根本原因">4.1 根本原因</h4> <p><strong>Root Cause Statement</strong>：</p>