Information¶
1月22日に発生したEricom Shield Cloud のファイルダウンロード障害について(最終報告)¶
障害内容¶
- Ericom Shield Cloudを使用してファイルダウンロードをする際に、ファイルダウンロードができない。
発生日時¶
- 2024年1月22日 (月) 10:25-13:35頃
対象製品と環境¶
- 対象製品
- Ericom Shield Cloud(東京POP)でファイル無害化製品を連携して使用している環境
原因¶
- 東京POPのファイルダウンロード処理を担うコンテナにおいて、高負荷と長い遅延状態が同時に発生したことからハング(コンテナ自体は稼働はしているが、機能していない状態)が発生したため、ファイルのダウンロードができない状態になりました。
対応策¶
- サービス提供元における復旧手順書の作成と周知
- (1月26日 対処済み)
- 問題となりうる対象のコードの修正
- (1月29日 対処済み 修正を含んだShield Cloud 24.01をリリース)
- サービス提供元における問題検知をするためのヘルスチェックの改善
- (1月29日 対処済み)
- サービス提供元における今回の事象のモニタリングの追加
- (1月29日 対処済み)
尚、原因となった高負荷と長い遅延状態については、日本のお客様専用にSasaサーバを日本に設置することで対策を進めています。
参考¶
- 2023年末にご案内させていただいたShield Cloudサービスステータスサイト(https://ericom.statuspage.io/)でも、「CDR Platform」の項目にてShield Cloudにおいて標準提供しているSasaでのCDRの状態をご覧いただくことが可能です。但し、このステータスはあくまでイスラエルに存在するSasaサーバ自体が正常稼働しているかのみを監視している状態のため、今回のような東京POPでのCDR関連プロセスでの異常についてまで連携したうえでステータス表示をしていない状態であることをご了承いただければと思います。