本番リリースだけでは障害票を閉じなかった――運用保守が完了を判断するまで
障害の原因を調査し、改修したプログラムを本番環境へリリースしても、その時点では障害票を完了にしていませんでした。
私が携わったプロジェクトでは、本番リリース後の通常運用を通じて、エラー監視で異常が検出されないことと、利用者から問題の申告やクレームがないことを確認していました。その結果をもとに運用保守の責任者が完了を判断し、権限を持つ担当者が障害票を完了へ変更していました。
前回は、運用中に検知したエラーについて、保守運用側で対応する問題と、維持開発側へ調査を依頼する問題をどのように分けていたのかを紹介しました。
今回は、その後の障害票をいつ完了にしていたのか、応急処置だけでは終わらせなかった事例とともに紹介します。
本番リリースは完了判断の途中だった
障害対応では、最初に原因を調査し、必要な改修を行います。改修内容を確認した後、本番環境へリリースします。
しかし、本番リリースが正常に終わったことと、障害が解消したことは同じではありません。
リリース作業が完了しても、通常運用の中で同じエラーが再び発生する可能性があります。利用者が実際に操作したときに、別の問題が見つかる場合もあります。
そのため、本番へ反映したという記録だけでは障害票を閉じず、その後の運用状況まで確認していました。
通常運用の中で二つの反応を確認した
本番リリース後は、通常運用を続けながら問題がないかを確認していました。
確認材料の一つは、エラー監視です。改修後の本番環境で、監視対象となるエラーが検出されていないことを確認しました。
もう一つは、利用者からの連絡です。通常運用中の利用者から、同じ問題や改修に伴う別の問題について、申告やクレームが出ていないことも確認していました。
エラー監視だけ、あるいは利用者からの連絡だけで判断するのではなく、システム側と利用者側の両方に問題が表れていないことを完了判断の材料にしていました。

※原因調査、改修、本番リリース、通常運用での確認を経て、障害票を完了にする流れを示すイメージです。
完了を判断する役割と更新する権限を分けた
通常運用で問題がないことを確認した後、運用保守の責任者が障害対応の完了を判断していました。
障害票を実際に完了へ変更するのは、運用保守側で必要な権限を持つ担当者です。
本番へリリースした維持開発側だけの判断で障害票を閉じるのではなく、本番環境を運用する側が、その後の状況を見て完了を判断する形でした。
障害票では、プロジェクトごとに決められた選択式のカテゴリも使用していました。ただし、カテゴリの種類や名称はプロジェクトによって異なります。カテゴリを選んだことだけで完了になるのではなく、本番での確認と責任者の判断を経て状態を変更していました。
他社製品の不具合も応急処置だけでは閉じなかった
自社で改修できない他社製品の不具合では、まず応急処置や暫定処置を行うことがありました。
ただし、一時的に業務を継続できる状態になっただけで、障害票を完了にはしていませんでした。
製品の修正パッチを適用する、または不具合のあるハードウェアを交換するなど、原因に対する正式な対応を行います。その後、本番環境で問題がないことを確認してから完了としていました。
応急処置は復旧のために必要ですが、障害の原因が残ったまま対応を終えたことにはしませんでした。未対応の内容も、障害票やRedmineなどの管理ツール上に残していました。
障害対応を運用手順と監視設定へ残した
障害が解消した後、そのときだけの対応で終わらせず、運用手順や監視設定を変更したこともありました。
一つは、繁忙期にバッチ処理が長時間化する問題への対応です。
繁忙期には処理量が増えるため、バッチの起動スケジュールを変更したり、その月だけプロセスの監視時間を延長したりしていました。毎年発生する繁忙期への対応だったため、翌年度も同じ対応ができるようにスケジュールへ設定していました。
もう一つは、大量データをCSV形式で出力するとエラーが発生する他社製品への対応です。
製品の仕様上、大量のデータを一度に出力するとエラーが多発することがありました。そのため、一定のデータ量を超える場合は、データを分割してCSV出力する手順へ変更していました。

※繁忙期のバッチ運用と、大量データのCSV分割という二つの運用変更を示すイメージです。
障害票は対応の終点までつなぐために使った
障害票は、エラーの発生や調査依頼を記録するだけのものではありませんでした。
原因の調査、改修、本番リリース、その後の通常運用での確認まで、対応の経過をつなげていました。応急処置の後に残った対応や、他社製品の修正待ちについても、管理ツール上に残していました。
さらに、同じ問題へ次回も対応できるように、必要に応じて運用手順や監視設定を変更していました。
障害票を早く閉じることよりも、何を確認すれば完了と判断できるかを決め、必要な対応を最後まで追跡することが重要でした。
まとめ
私が携わったプロジェクトでは、本番環境へ改修内容をリリースしただけでは、障害票を完了にしていませんでした。
本番リリース後の通常運用を通じて、エラー監視で異常が検出されないことと、利用者から問題の申告やクレームがないことを確認していました。その結果をもとに運用保守の責任者が完了を判断し、権限を持つ担当者が障害票を完了へ変更していました。
他社製品の不具合では、応急処置だけで終わらせず、修正パッチの適用やハードウェア交換などの対応まで追跡しました。未対応事項は、障害票やRedmineなどの管理ツール上に残していました。
また、繁忙期のバッチ起動スケジュールや監視時間、大量データをCSV出力するときの手順など、障害から得た内容をその後の運用にも反映していました。
本番リリースは障害対応の区切りの一つですが、それだけで完了とは限りません。通常運用で問題が表れていないことを確認し、責任者が判断できるところまで追跡することが、障害票を閉じる条件になっていました。
次の記事:
