障害原因
2019年10月31日(木)および11月1日(金)のめざましてれび放送中の朝7時台に発生したシステム障害への見解を、Synology社サポートより返信いただきました。(迅速な回答素晴らしいです)
原因は、アクセス集中によるシステムダウンとの見解を頂きました。エントリーモデルを利用しており、上位機種をおすすめされました。
同時アクセス数は、そこまで多くないのですが、アクセス数が週毎に増えており、時間の問題と考えていたので、想定よりは早かったものの想定通りでした。それよりも、アクセスの増加傾向と、2日連続の障害で、緊急の環境移行が必要となりました。
対応状況
準備を万端に、次の環境を検討したかったのですが(出来れば、またNAS製品などを利用して)、時間もなく、あと継続したアクセス数の増加傾向をみて、WEB専用の小型サーバーを導入しました。
基本的にこちらの記事内容の構成です、障害直前に出した記事であり、気になっていたんだと思います。
2019年10月31日7:00公開(初回の障害直前): Intel NUC NUC8i3BEH 導入検討
障害後にDockerなりを調べ、新規H/Wを導入し、昨晩新規環境に移行しました。
いつもながら、早すぎる対応。(また、Dockerだから、ここまで早く環境準備ができたと考えております。今後の移行やAWS、GCPなどのパブリッククラウドへの移行も簡単です、現在の利用状況だと利用料金は高くなりそうです)
1日でDockerを学習し、本番環境を作成し、移行も実施しました。
本日の27時間テレビ2戦目に新規環境を施行し、複数箇所修正を行いましたが、移行は完了したつもりです。来週1週間は、安定稼働にむけて動作を見守ろうと思います。
27時間テレビを経て、じゃんけん時間のスケジューリングをもう少しフレキシブルに変更したいのですが、まずは新環境での安定稼働に専念します。
それにしても、たくさんのコードをバラバラ書いており、個人の趣味範疇でのメンテナンスも限界を感じております。この範囲での安定稼働を目指そうと思います。
Docker関係は、日本語記事も充実していたので、おそらくあまり記事化はしないと思います。それよりも、作成したプラットフォームをベースに、機械学習関係の探求を勧めたいと思います。
謝辞
エントリーモデルとはいえ、製品をダウンさせるほどのアクセスを頂き誠にありがとうございます。めざましテレビとは、全く異なる対象者向けサイトなのですが、めざましてれび放映時間の集中したアクセス、感謝とともに、じゃんけん結果以外の適したコンテンツを出せておらず申し訳ございません。
せめて、正解率の高い予想や、多くの参加者の予想が集まれば、もう少し面白くなればいいなと考えております。
まだ、安定動作まで時間を要すると思いますが、引き続きよろしくお願いいたいします。
現在のアクセス数により、モチベーション高く新環境への移行が迅速に実施出来ました。