https://chihhung.github.io/Blog/tags/%E7%B6%AD%E9%81%8B%E7%AE%A1%E7%90%86/Recent content in 維運管理 on Eric 個人部落格Hugo -- 0.151.0zh-TWMon, 18 May 2026 00:00:00 +0000https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/incidentreport_template/Mon, 18 May 2026 00:00:00 +0000https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/incidentreport_template/<h1 id="事件報告與根因分析範本incident-report--root-cause-analysis">事件報告與根因分析範本（Incident Report &amp; Root Cause Analysis）</h1> <blockquote> <p><strong>參照標準</strong>：ITIL 4（Incident Management &amp; Problem Management）/ ISO/IEC 20000-1:2018 / SRE Postmortem<br> <strong>文件用途</strong>：記錄生產環境事件、分析根本原因、制定改善行動，防止問題再次發生<br> <strong>適用階段</strong>：維運監控階段（Operations Phase）— Continuous Improvement</p></blockquote> <hr> <h2 id="-章節目錄">📋 章節目錄</h2> <ol> <li><a href="#1-%E4%BA%8B%E4%BB%B6%E6%91%98%E8%A6%81">事件摘要</a></li> <li><a href="#2-%E6%99%82%E9%96%93%E8%BB%B8">時間軸</a></li> <li><a href="#3-%E5%BD%B1%E9%9F%BF%E8%A9%95%E4%BC%B0">影響評估</a></li> <li><a href="#4-%E6%A0%B9%E5%9B%A0%E5%88%86%E6%9E%90">根因分析</a></li> <li><a href="#5-%E8%A7%A3%E6%B1%BA%E6%96%B9%E6%A1%88">解決方案</a></li> <li><a href="#6-%E6%94%B9%E5%96%84%E8%A1%8C%E5%8B%95%E8%A8%88%E7%95%AB">改善行動計畫</a></li> <li><a href="#7-%E7%B6%93%E9%A9%97%E6%95%99%E8%A8%93">經驗教訓</a></li> <li><a href="#8-%E9%99%84%E9%8C%84">附錄</a></li> </ol> <hr> <h2 id="1-事件摘要">1. 事件摘要</h2> <h3 id="-範本">📝 範本</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>事件編號</strong></td> <td>INC-{YYYYMMDD}-{序號}</td> </tr> <tr> <td><strong>事件標題</strong></td> <td>{一句話描述事件}</td> </tr> <tr> <td><strong>嚴重等級</strong></td> <td>SEV1（Critical）/ SEV2（Major）/ SEV3（Minor）/ SEV4（Low）</td> </tr> <tr> <td><strong>事件狀態</strong></td> <td>調查中 / 已解決 / 已關閉</td> </tr> <tr> <td><strong>發生時間</strong></td> <td>{YYYY-MM-DD HH:MM} (UTC+8)</td> </tr> <tr> <td><strong>偵測時間</strong></td> <td>{YYYY-MM-DD HH:MM}</td> </tr> <tr> <td><strong>解決時間</strong></td> <td>{YYYY-MM-DD HH:MM}</td> </tr> <tr> <td><strong>事件持續時間</strong></td> <td>{N} 分鐘/小時</td> </tr> <tr> <td><strong>MTTD</strong></td> <td>{偵測時間 - 發生時間}</td> </tr> <tr> <td><strong>MTTR</strong></td> <td>{解決時間 - 偵測時間}</td> </tr> <tr> <td><strong>受影響系統</strong></td> <td>{系統/服務名稱}</td> </tr> <tr> <td><strong>受影響使用者</strong></td> <td>{人數/比例}</td> </tr> <tr> <td><strong>事件負責人</strong></td> <td>{Incident Commander}</td> </tr> <tr> <td><strong>報告撰寫者</strong></td> <td>{姓名}</td> </tr> <tr> <td><strong>報告日期</strong></td> <td>{YYYY-MM-DD}</td> </tr> </tbody> </table> <h3 id="-使用說明">📖 使用說明</h3> <ul> <li><strong>嚴重等級定義</strong>： <ul> <li><strong>SEV1</strong>：核心業務完全中斷，影響全部使用者</li> <li><strong>SEV2</strong>：核心功能嚴重降級，影響大部分使用者</li> <li><strong>SEV3</strong>：非核心功能異常，影響部分使用者</li> <li><strong>SEV4</strong>：輕微異常，幾乎不影響使用者</li> </ul> </li> <li><strong>MTTD</strong>（Mean Time To Detect）：衡量監控能力</li> <li><strong>MTTR</strong>（Mean Time To Resolve）：衡量恢復能力</li> <li>事件報告需在事件解決後 <strong>3-5 個工作日</strong> 內完成</li> <li><strong>Blameless</strong> 原則：報告聚焦系統與流程改善，不歸咎個人</li> </ul> <h3 id="-範例">💡 範例</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>事件編號</strong></td> <td>INC-20260520-001</td> </tr> <tr> <td><strong>事件標題</strong></td> <td>HRMS 薪資查詢 API 持續回傳 500 Error</td> </tr> <tr> <td><strong>嚴重等級</strong></td> <td>SEV2（核心功能嚴重降級）</td> </tr> <tr> <td><strong>發生時間</strong></td> <td>2026-05-20 10:15</td> </tr> <tr> <td><strong>偵測時間</strong></td> <td>2026-05-20 10:18（Grafana 告警）</td> </tr> <tr> <td><strong>解決時間</strong></td> <td>2026-05-20 10:28（回滾完成）</td> </tr> <tr> <td><strong>事件持續時間</strong></td> <td>13 分鐘</td> </tr> <tr> <td><strong>MTTD</strong></td> <td>3 分鐘</td> </tr> <tr> <td><strong>MTTR</strong></td> <td>10 分鐘</td> </tr> <tr> <td><strong>受影響使用者</strong></td> <td>~200 人（薪資查詢功能不可用）</td> </tr> <tr> <td><strong>事件負責人</strong></td> <td>張 SRE</td> </tr> </tbody> </table> <hr> <h2 id="2-時間軸">2. 時間軸</h2> <h3 id="-範本-1">📝 範本</h3> <table> <thead> <tr> <th>時間 (UTC+8)</th> <th>事件</th> <th>執行者</th> <th>備註</th> </tr> </thead> <tbody> <tr> <td>{HH:MM}</td> <td>{發生/偵測/行動/解決}</td> <td>{人員}</td> <td>{補充說明}</td> </tr> </tbody> </table> <h3 id="-使用說明-1">📖 使用說明</h3> <ul> <li>時間軸是事件報告最有價值的部分，需精確到分鐘</li> <li>涵蓋：事件發生 → 偵測 → 通知 → 診斷 → 緩解 → 解決 → 驗證</li> <li>資料來源：監控日誌、Slack 訊息時間戳、告警記錄</li> <li>時間軸讓團隊復盤流程效率，找出可改善的環節</li> </ul> <h3 id="-範例-1">💡 範例</h3> <table> <thead> <tr> <th>時間 (UTC+8)</th> <th>事件</th> <th>執行者</th> <th>備註</th> </tr> </thead> <tbody> <tr> <td>10:12</td> <td>v2.1.0 部署完成，新版上線</td> <td>DevOps 林</td> <td>K8s Green deployment 完成</td> </tr> <tr> <td>10:15</td> <td>薪資計算排程 CronJob 啟動（與 API 衝突）</td> <td>System</td> <td>排程被新設定觸發</td> </tr> <tr> <td>10:15</td> <td>DB Lock 衝突開始，API 回應逾時</td> <td>System</td> <td>PostgreSQL row-level lock</td> </tr> <tr> <td>10:18</td> <td>Grafana 告警：5xx rate &gt; 5%</td> <td>Alert System</td> <td>#hrms-alerts 頻道</td> </tr> <tr> <td>10:19</td> <td>SRE 張確認告警，開始調查</td> <td>SRE 張</td> <td>檢查 Pod 日誌</td> </tr> <tr> <td>10:21</td> <td>確認問題：DB Lock contention</td> <td>SRE 張</td> <td><code>pg_stat_activity</code> 發現 lock wait</td> </tr> <tr> <td>10:23</td> <td>聯繫 Tech Lead 決策：啟動回滾</td> <td>SRE 張 → Tech Lead 王</td> <td>Slack 通訊</td> </tr> <tr> <td>10:24</td> <td>Tech Lead 確認回滾，授權執行</td> <td>Tech Lead 王</td> <td></td> </tr> <tr> <td>10:25</td> <td>開始執行回滾腳本</td> <td>SRE 張</td> <td><code>./rollback-hrms-v2.1.0.sh</code></td> </tr> <tr> <td>10:27</td> <td>流量切換至 v2.0.3 完成</td> <td>SRE 張</td> <td>Blue deployment</td> </tr> <tr> <td>10:28</td> <td>健康檢查通過，冒煙測試通過</td> <td>SRE 張 + QA 陳</td> <td>服務恢復</td> </tr> <tr> <td>10:30</td> <td>通知團隊：服務已恢復</td> <td>SRE 張</td> <td>Slack + Email</td> </tr> <tr> <td>10:45</td> <td>通知受影響使用者：服務已恢復</td> <td>PM 林</td> <td>系統公告</td> </tr> </tbody> </table> <hr> <h2 id="3-影響評估">3. 影響評估</h2> <h3 id="-範本-2">📝 範本</h3> <h4 id="31-業務影響">3.1 業務影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響功能</td> <td>{功能清單}</td> </tr> <tr> <td>受影響使用者數</td> <td>{人數/比例}</td> </tr> <tr> <td>收入損失</td> <td>{金額/無法計量}</td> </tr> <tr> <td>資料損失</td> <td>{是/否，描述}</td> </tr> <tr> <td>SLA 違反</td> <td>{是/否，影響 SLA 指標}</td> </tr> <tr> <td>信譽影響</td> <td>{高/中/低}</td> </tr> </tbody> </table> <h4 id="32-技術影響">3.2 技術影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響服務</td> <td>{服務清單}</td> </tr> <tr> <td>相依服務影響</td> <td>{是否連鎖影響}</td> </tr> <tr> <td>資料一致性</td> <td>{是否受影響}</td> </tr> <tr> <td>安全性影響</td> <td>{是否有安全疑慮}</td> </tr> </tbody> </table> <h3 id="-使用說明-2">📖 使用說明</h3> <ul> <li>影響評估用於確認嚴重等級是否正確、作為改善優先級依據</li> <li>業務影響由 PM/產品團隊提供；技術影響由工程團隊評估</li> <li>SLA 違反需記錄，可能涉及客戶賠償或內部 KPI</li> </ul> <h3 id="-範例-2">💡 範例</h3> <h4 id="31-業務影響-1">3.1 業務影響</h4> <table> <thead> <tr> <th>影響維度</th> <th>評估</th> </tr> </thead> <tbody> <tr> <td>受影響功能</td> <td>薪資查詢、薪資條下載</td> </tr> <tr> <td>受影響使用者數</td> <td>~200 人（嘗試查詢薪資的員工）</td> </tr> <tr> <td>收入損失</td> <td>無直接收入損失（內部系統）</td> </tr> <tr> <td>資料損失</td> <td>無</td> </tr> <tr> <td>SLA 違反</td> <td>否（SLA 99.5% 月度，本月仍在 SLA 內）</td> </tr> <tr> <td>信譽影響</td> <td>低（事件持續 13 分鐘，非上班尖峰）</td> </tr> </tbody> </table> <hr> <h2 id="4-根因分析">4. 根因分析</h2> <h3 id="-範本-3">📝 範本</h3> <h4 id="41-根本原因">4.1 根本原因</h4> <p><strong>Root Cause Statement</strong>：</p>https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/sop_template/Mon, 18 May 2026 00:00:00 +0000https://chihhung.github.io/Blog/posts/%E6%95%99%E5%AD%B8/templates/operations/sop_template/<h1 id="標準作業程序範本standard-operating-procedure-sop">標準作業程序範本（Standard Operating Procedure, SOP）</h1> <blockquote> <p><strong>參照標準</strong>：ISO 9001:2015（Quality Management）/ ISO/IEC 20000-1:2018 / ITIL 4<br> <strong>文件用途</strong>：標準化維運操作流程，確保操作一致性、降低人為錯誤、加速新人上手<br> <strong>適用階段</strong>：維運監控階段（Operations Phase）— Operational Excellence</p></blockquote> <hr> <h2 id="-章節目錄">📋 章節目錄</h2> <ol> <li><a href="#1-%E6%96%87%E4%BB%B6%E8%B3%87%E8%A8%8A">文件資訊</a></li> <li><a href="#2-%E7%9B%AE%E7%9A%84%E8%88%87%E7%AF%84%E5%9C%8D">目的與範圍</a></li> <li><a href="#3-%E8%A7%92%E8%89%B2%E8%88%87%E8%81%B7%E8%B2%AC">角色與職責</a></li> <li><a href="#4-%E5%89%8D%E7%BD%AE%E6%A2%9D%E4%BB%B6">前置條件</a></li> <li><a href="#5-%E6%93%8D%E4%BD%9C%E6%AD%A5%E9%A9%9F">操作步驟</a></li> <li><a href="#6-%E9%A9%97%E8%AD%89%E8%88%87%E7%A2%BA%E8%AA%8D">驗證與確認</a></li> <li><a href="#7-%E7%95%B0%E5%B8%B8%E8%99%95%E7%90%86">異常處理</a></li> <li><a href="#8-%E5%AE%89%E5%85%A8%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A0%85">安全注意事項</a></li> <li><a href="#9-%E7%9B%B8%E9%97%9C%E6%96%87%E4%BB%B6">相關文件</a></li> <li><a href="#10-%E8%AE%8A%E6%9B%B4%E6%AD%B7%E5%8F%B2">變更歷史</a></li> </ol> <hr> <h2 id="1-文件資訊">1. 文件資訊</h2> <h3 id="-範本">📝 範本</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>文件編號</strong></td> <td>SOP-{類別代碼}-{序號}</td> </tr> <tr> <td><strong>文件名稱</strong></td> <td>{操作名稱} 標準作業程序</td> </tr> <tr> <td><strong>版本</strong></td> <td>v{主版本}.{次版本}</td> </tr> <tr> <td><strong>狀態</strong></td> <td>草稿 / 審核中 / 核定 / 作廢</td> </tr> <tr> <td><strong>建立日期</strong></td> <td>{YYYY-MM-DD}</td> </tr> <tr> <td><strong>生效日期</strong></td> <td>{YYYY-MM-DD}</td> </tr> <tr> <td><strong>下次審核日期</strong></td> <td>{YYYY-MM-DD}（至少每年）</td> </tr> <tr> <td><strong>撰寫者</strong></td> <td>{姓名/角色}</td> </tr> <tr> <td><strong>審核者</strong></td> <td>{姓名/角色}</td> </tr> <tr> <td><strong>核准者</strong></td> <td>{姓名/角色}</td> </tr> <tr> <td><strong>適用系統</strong></td> <td>{系統/服務名稱}</td> </tr> <tr> <td><strong>機密等級</strong></td> <td>一般 / 限閱 / 機密</td> </tr> </tbody> </table> <h3 id="-使用說明">📖 使用說明</h3> <ul> <li>SOP 編號慣例：<code>SOP-{類別}-{流水號}</code> <ul> <li>類別代碼範例：<code>DEP</code>（部署）、<code>INC</code>（事件處理）、<code>BAK</code>（備份）、<code>MON</code>（監控）</li> </ul> </li> <li>每份 SOP 需定期審核（ISO 9001 要求），避免過時</li> <li>狀態管理：草稿 → 審核中 → 核定（可執行）→ 作廢（新版取代）</li> <li>機密等級決定誰可以存取此 SOP</li> </ul> <h3 id="-範例">💡 範例</h3> <table> <thead> <tr> <th>項目</th> <th>內容</th> </tr> </thead> <tbody> <tr> <td><strong>文件編號</strong></td> <td>SOP-BAK-001</td> </tr> <tr> <td><strong>文件名稱</strong></td> <td>HRMS 資料庫每日備份標準作業程序</td> </tr> <tr> <td><strong>版本</strong></td> <td>v2.0</td> </tr> <tr> <td><strong>生效日期</strong></td> <td>2026-05-01</td> </tr> <tr> <td><strong>下次審核日期</strong></td> <td>2027-05-01</td> </tr> <tr> <td><strong>適用系統</strong></td> <td>HRMS PostgreSQL 16 (Azure Database)</td> </tr> </tbody> </table> <hr> <h2 id="2-目的與範圍">2. 目的與範圍</h2> <h3 id="-範本-1">📝 範本</h3> <h4 id="21-目的">2.1 目的</h4> <p>{說明此 SOP 為何存在、解決什麼問題}</p>