Information

6月17日に発生したEricom Shield Cloudへのアクセスに時間がかかる事象について（最終報告）

障害内容

  • 2024年6月17日にEricom Shield Cloudを使用したWebサイトアクセスに時間がかかるケースが発生しました

発生日時

  • 2024年6月17日午前8時以降から午後6時30分頃

対象製品

  • Ericom Shield Cloud

原因

  • 以下の複合要因となります

    1) 東京POPで稼働しているShield Cloudの特定のノードにおいてリソース不足によりCPU高騰が発生しパフォーマンスの低下が発生しました
    2) パフォーマンスの低下を監視システムにて検知しきれておらず、他POPへの自動フェイルオーバーが発動しませんでした
    3) サービス提供元における事象確認手順書において確認項目に漏れがあり手動フェイルオーバーの実施に時間を要しました

対処

  • 東京POPのサーバのリソースを増強し、リソース不足の問題が発生しないよう対処を行いました。
  • 監視項目を追加することでパフォーマンス低下の予兆を早期に検出、自動フェイルオーバーをするように対処しました。
    • Kubernetesの監視を追加
    • Shield Cloud上のサービスレベルでの監視の追加
  • サービス提供元において、事象確認手順の見直しを実施した上でその手順書に基づいたトレーニングの実施しました。