障害分析と反省点

今回のサーバー障害（2026/6/19～）について、
原因分析と反省点を考えてみようと思う。

●障害の発見について

まず、障害の発見は、リアルタイムでの発見はできなかったものの、
早い段階で発見して、ＧＭＯクラウド社への連絡はできていたと思う。

朝のメールもきちんと届いているしＷＥＢサイトも閲覧できる状態で、
サーバーの各種サービスの停止を知らせるアラートも受け取っていないが、
受信メールがいつもよりも少ないことで、異変に気付いた。

特に「毎日大量に届く迷惑メールの数が少ない」というのは異常だった。
ここで、朝２時くらいから後のメールが来ていないので、おかしいな？と気づいた。

さっそく、サーバーの管理画面（Plesk）にログインしてみると、
「ライセンスキーが無効です」というエラーメッセージが表示されて、
一切の操作ができない状態になっていた。トップ画面すら開かない。

このエラーは通常、Plesk社へのライセンス料が未支払いのために起こるものだが、
サーバー料はきちんと支払っているし前日も問題なく利用できていたので、
何か別な理由で起きている問題だとすぐに判断できた。

実はこのエラーは、2021年12月に、旧サーバーの時に経験しているので、
Pleskのライセンスサーバーへの通信が一時的に失敗したのだろう、とすぐに解った。

●障害の原因調査について

朝９時に、ＧＭＯクラウドの技術問い合わせで、障害調査と回復を依頼した。
ＧＭＯクラウド社の障害・メンテナンス情報を見てみると、この日は
朝２時から「ネットワーク機器メンテナンス」が行われていたことが確認できた。

【メンテナンス予定/GMO CLOUD】ネットワーク機器メンテナンスのお知らせ
https://support.gmocloud.com/info/detail.html?no=91503

これは計画メンテナンスだったはずなので、お知らせが来ていたはずなのに、
受け取り損ねたか、スパムメールに入ってしまったのか、確認ができていない。
が、

「ネットワーク機器は冗長化されているため、基本的に通信影響はございません」

となっていたので、影響はないはず、なのだが、
メール機能が停止した時間帯とちょうどぴったり重なるので、怪しいと感じている。

朝８時になってもメール機能に不具合が出ていた状況で、
メンテナンスが朝６時には終了していたのに、
ホームページでの掲載がまだ「作業前」「メンテナンス予定」のまま、
であるのは何か不自然ではないか？　と考えていたところ、

９時以降になって、次のような障害情報が発表されていた。
ここに記載の対象IPアドレスが当社のものと一致していた。

【発生・復旧/GMO CLOUD/ALTUS byGMO Basic】ネットワーク機器の障害につきまして
https://support.gmocloud.com/info/detail.html?no=91776

さらに、
午後になってから気づいたのだが、新たな障害情報が掲載されていたのを確認した。

【発生・復旧/GMO CLOUD/旧ラピッドサイトVPS】障害発生のお知らせ
https://support.gmocloud.com/info/detail.html?no=91784

対象IPアドレスは明確な記載がなかったが、
「外部ネットワークへの疎通不可の状況が発生しておりました」という記載から、
WEB閲覧は問題ないのに、メール機能とFTPに不具合が出て、
さらにPleskのライセンスサーバーとの通信できない、
という症状に一致するのでは？　と疑ってみた。

その後、この障害情報は、「障害発生・復旧時間」が訂正されていた。
もしこの障害が当社サーバーの事象と関係しているならば、
13:53 まで放置していたら自然に全回復された、となったかもしれない。

後から考えれば、
13:00 にサーバー再起動を試みたのが失策だった！という結果になるが、
その時点でサポートからの連絡も皆無だったし、
その時点ではこの障害情報が掲載されていなかったので、
「13:53まで待ってみよう」という呑気な判断をすることは、あり得ない。

とにかく、13:00 の時点では、ＧＭＯクラウド社からの障害情報は確認できず、
自サーバー側の問題をまず疑ってみるということで、
その時点での現状分析は間違ってはいなかったと確信している。

■サーバー再起動の判断について

でも、サーバーを再起動する前に、もう少し慎重に、
コンソールへログインしてもう少し詳細情報を確認してから実行すべきだったのでは？
という反省点もあるが、
そもそもリモートログインすら繋がらない状態だっただろうし、
経験上、まずサーバー再起動を試してみることが最も手っ取り早い解決策だったので、
サーバー再起動の判断自体は、間違いではなかったと考えている。

問題は、
慣れない Virtuozzo PowerPanel で再起動したこと、である。
いつもやっている Plesk管理画面ならば「再起動」を選択するのだが、
今回は操作ができない状態になっているので、それができない。

Virtuozzo PowerPanelには「再起動 または Restart」ボタンがなく、
「Start」「Stop」「Reset」の３つボタンしかなかった。

通常、仮想サーバーで仮想マシンを通常再起動する場合は、
「再起動 または Restart」ボタンを選択するのが常識で、
「Reset」ボタンとは、ハードリセットつまり「強制的な電源オフ・オン」を意味するので
緊急時以外は使っちゃいけないもの、という思い込みがあった。
ハードリセットを行うと、ファイルが破損したりして起動しないリスクがあるからである。

なので今回は、
「Stop」ボタンを押した後に「Start」を押す、という安全な方法で、再起動を行った。
「Stop」が成功したので「Start」を押した、つもりだったが、
起動中に「PRL_ERR_VTCTL_OPPERATION_FAILED」エラーが出て、起動ができなかった。

その後、何度か起動を試したが、毎回同じエラーが出て、起動ができなくなってしまった。

こうなると、サーバー全体が停止してしまうので、今まで動作していたＷＥＢサービスも
Plesk画面も、何もかもが利用できない状態になってしまったので、最悪な状態である。

このことは結果論として、
「あの時、このサーバー再起動をやっていなかったら、最悪の状態は免れたのだ！」
と非難され続けることになるのかもしれない。

が、上述のとおり、この時点での再起動の判断は間違っていなかったと確信する。
エラーが出て起動できなくても「適切に対処」すれば必ず起動できるようになるからである。

想定外だったのは、
「起動時にエラーが出て起動できなかったこと」自体ではなく、
「ＧＭＯクラウド社側が、対処してくれないで週明けまで待たされること」だった。

（つづく）