[復旧][障害情報]Trend Micro Hosted Email Security 障害のお知らせ[2021年5月11日]

日頃より弊社製品ならびに有償 サポートをご利用頂き、誠にありがとうございます。

Trend Micro Hosted Email Security（以下 HES）において、以下の障害が発生しておりましたが、
現在は復旧していることを確認いたしましたのでご連絡いたします。

ご不便およびご迷惑をおかけしておりましたことを深くお詫び申し上げます。

■対象製品
Trend Micro Hosted Email Security

■発生期間
1. Trend Micro Hosted Email Security高負荷事象

　2021年5月11日 午前0時15分頃 ～ 午前9時59分頃

2. Trend Micro Hosted Email Securityメール配送遅延事象

　2021年5月11日 午前0時15分頃 ～ 2021年5月12日午前9時00分頃

※"1."の事象により、"2."の事象が発生しておりました。
　"1."の事象収束後も、"2."の事象収束に時間を要しておりました。

■影響範囲
Trend Micro Hosted Email Security環境が高負荷となる事象が発生し、メール送受信に遅延が発生しておりました。
現在は対応策を実施し、事象は改善されております。
メールのロストは確認されておりません。

■メール配信について
改善対応後、Trend Micro Hosted Email Securityに滞留(遅延)していたメールの順次の再配送は完了しております。こちらに伴い、5月12日 午前9時頃までは一部の新規メールの配送にも時間を要することがございました。
管理コンソールの"メール追跡ログ"のログステータス情報の更新も順次更新を実施しており、5月12日 午後3時までに完了しております。

■原因
1. 高負荷事象、遅延事象の原因
スパム検索エンジンの不具合によるものであると判明いたしました。
スパム対策パターンファイル内部の一部のルールの組み合わせを処理すると、通常よりもシステムが高負荷となる事象が確認されました。
問題の発生するルールの含まれるパターンファイルがリリースされたことで、Trend Micro Hosted Email Security環境が高負荷となりました。
結果として、Trend Micro Hosted Email Security環境でのメールの処理に時間を要し、最終的にメールの配送における滞留・遅延の発生に至りました。

2. 問題のあるパターンファイルが本番環境にリリースされてしまった原因
パターンファイルのリリース前のテスト時、本番環境とテスト環境の間で環境に差異があり、今回の問題を未然に発見することができませんでした。

3. 復旧に時間を要した原因
パターンファイルの緊急リリースおよびロールバックを試みたものの、高負荷な状況下では問題が完全に解消されませんでした。
その理由として、作業の不備により今回の問題の改善が不十分なパターンファイルが適用されておりました。

■対策
1. 暫定対策
・問題のあったパターンファイルについて、原因となる一部特定のルールが含まれない状態とし問題を緩和するよう修正し、Trend Micro Hosted Email Security環境へ適用いたしました。　
・通常のメール配送に悪影響を発生させないように配慮し、滞留したメールの配送作業を実施いたしました。結果として完了まで時間を要しました。

2. 恒久対策
・問題のあったスパム検索エンジンを修正し、Trend Micro Hosted Email Security環境へ適用いたしました。
・パターンファイルリリース前のテスト手順について見直し、問題を未然に防止できるように修正いたしました。
・パターンファイルの緊急リリース時のプロセスを見直しました。

この度はお客様に多大なるご迷惑をおかけしましたこと、深くお詫び申し上げます。

■製品サポート
ご不明な点がございましたら、弊社サポートセンターまでお問合せください。
お問合せ方法については、こちらをご確認ください。

■更新履歴