【最終報告】（2024年7月8日）Acall サービスで複数の動作が遅い事象が発生していました
Incident
Report for Acall サービス稼働状況
Postmortem
【概要】
Acall サービスの複数の動作が遅い
（ログイン、ログアウトができない・エラーが表示される）
【経緯】
① Acall サービス利用のピーク時間帯（平日朝8時以降）にフロアマップ関連の処理で処理遅延が発生しました
② ①の影響で他機能の処理も滞り、データベースのコネクション数が急増し上限に達した結果、データベースが高負荷状態となりました。
③ ②により、Acallサービスの複数の動作で遅延やエラーが発生しました
【影響範囲】
Acall Portal、Acall Mobile、Acall Desktop をご利用のすべてのお客様
【発生日時】
2024年7月8日 8時00分頃～2024年7月8日 14時30分頃
【原因】
・フロアマップ関連の処理で負荷の高い内容がありました
・ピーク時間帯におけるコネクション数増加に対応できるサーバー台数を用意できていませんでした
【対策】
・フロアマップ関連の処理のチューニングを実施しました
・コネクション数増加に対応できるようにサーバー台数を増やしました
【対策の結果】
処理のパフォーマンスを改善し、データベースのサーバー台数を増やしたことにより、十分な余裕をもって安定的に稼働できております。
【再発防止策】
■監視体制の強化
・処理のパフォーマンス劣化を監視する仕組みを構築し、異常の早期検出・予防策の検討を実施します
・コネクション数の異常な急上昇を通知する仕組みを構築し、異常の早期検出・予防策の検討を実施します
■処理のパフォーマンス改善
・上記の監視によるパフォーマンス劣化を発見し次第、パフォーマンスを改善します
Resolved
本件につきまして、経過観察をしておりましたが、サービス全体が正常に稼働していることを確認しました。
ご迷惑をおかけし、誠に申し訳ございませんでした。
後日あらためて本件の最終報告を公開します。
ご迷惑をおかけし、誠に申し訳ございませんでした。
後日あらためて本件の最終報告を公開します。
Monitoring
A fix has been implemented and we are monitoring the results.
Update
現在フロアマップを含む、すべての機能を正常にご利用いただけます。
本事象の対策として、サーバーリソースを増強したうえで、フロアマップ機能を再開させました。
再開後、サービス全体は正常稼働しており、現在経過観察中です。
明日 7月9日 15時00分 まで経過観察を行ないます。
【更新予定】
7月9日 15時00分 までに更新します。
本事象の対策として、サーバーリソースを増強したうえで、フロアマップ機能を再開させました。
再開後、サービス全体は正常稼働しており、現在経過観察中です。
明日 7月9日 15時00分 まで経過観察を行ないます。
【更新予定】
7月9日 15時00分 までに更新します。
Update
以下の機能・操作を除き、正常にご利用いただけます。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
暫定対応として、データベースの高負荷を引き起こしている上記の処理を一時的にブロックさせている状況です。
フロアマップの機能についても再開できるよう、引き続き復旧対応中です。
【次回更新予定】
7月8日 15時00分 までに更新します。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
暫定対応として、データベースの高負荷を引き起こしている上記の処理を一時的にブロックさせている状況です。
フロアマップの機能についても再開できるよう、引き続き復旧対応中です。
【次回更新予定】
7月8日 15時00分 までに更新します。
Identified
現在再び事象が発生しています。
調査・対応中です。
【事象】
Acall サービスの複数の動作が遅い
（ログイン、ログアウトができない・エラーが表示される）
【次回更新予定】
7月8日 14時20分 までに更新します。
調査・対応中です。
【事象】
Acall サービスの複数の動作が遅い
（ログイン、ログアウトができない・エラーが表示される）
【次回更新予定】
7月8日 14時20分 までに更新します。
Monitoring
【対応状況】
現在下記を含む、すべての操作・機能を正常にご利用いただけます。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
現在経過観察中で、引き続き各種サービスの稼働状況を監視しています。
【更新予定】
7月8日 13時45分 までに更新します。
現在下記を含む、すべての操作・機能を正常にご利用いただけます。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
現在経過観察中で、引き続き各種サービスの稼働状況を監視しています。
【更新予定】
7月8日 13時45分 までに更新します。
Update
【対応状況】
データベースの高負荷を引き起こしている処理を特定し、当該処理をブロックしました。
これにより以下の動作以外は正常にご利用いただけます。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
【次回更新予定】
7月8日 13時00分 までに更新します。
データベースの高負荷を引き起こしている処理を特定し、当該処理をブロックしました。
これにより以下の動作以外は正常にご利用いただけます。
・Acall Portal のフロアマップ上で予約状況を確認する
・Acall Mobile でフロアマップを表示する
【次回更新予定】
7月8日 13時00分 までに更新します。
Update
【発生日時】
2024年7月8日 8時頃 ～
【対応状況】
データベースの高負荷が原因の可能性が高く、高負荷を引き起こしている処理の特定を進めています。
【次回更新予定】
7月8日 12時00分 までに更新します。
2024年7月8日 8時頃 ～
【対応状況】
データベースの高負荷が原因の可能性が高く、高負荷を引き起こしている処理の特定を進めています。
【次回更新予定】
7月8日 12時00分 までに更新します。
Update
以下の事象が発生しています。
ご不便をおかけしており、申し訳ございません。
【事象】
Acall サービスの複数の動作が遅い
（ログイン、ログアウトができない・エラーが表示される）
【影響範囲】
Acall Portal、Acall Mobile、Acall Desktop をご利用のすべてのお客様
※Acall Reception、Acall Meeting は、既存の障害を除き問題なくご利用いただけます
※Acall Gate は問題なくご利用いただけます
【対応状況】
対応策を実施しましたが改善しないため、ほかの対応策を確認しています。
【更新予定】
進捗があり次第、更新します。
ご不便をおかけしており、申し訳ございません。
【事象】
Acall サービスの複数の動作が遅い
（ログイン、ログアウトができない・エラーが表示される）
【影響範囲】
Acall Portal、Acall Mobile、Acall Desktop をご利用のすべてのお客様
※Acall Reception、Acall Meeting は、既存の障害を除き問題なくご利用いただけます
※Acall Gate は問題なくご利用いただけます
【対応状況】
対応策を実施しましたが改善しないため、ほかの対応策を確認しています。
【更新予定】
進捗があり次第、更新します。
Update
現在、以下の事象が発生している疑いがあり調査しています。
ご不便をおかけしており、申し訳ございません。
【事象】
Acall サービスのうち複数の動作が遅い
・Acall Portal のログイン・ログアウトに時間がかかる
・Acall Mobile のサインイン・サインアウトができない
・スポット画面が表示できない
（他のサービスの動作も確認中です）
【次回更新予定】
事象を確認でき次第、更新します。
ご不便をおかけしており、申し訳ございません。
【事象】
Acall サービスのうち複数の動作が遅い
・Acall Portal のログイン・ログアウトに時間がかかる
・Acall Mobile のサインイン・サインアウトができない
・スポット画面が表示できない
（他のサービスの動作も確認中です）
【次回更新予定】
事象を確認でき次第、更新します。
Investigating
自動監視によりサービス障害を検知しました。
現在状況を調査中です。
進捗があり次第、当ページにてお知らせいたします。
ご不明な点などございましたら、お問い合わせフォームよりご連絡ください。
https://help.workstyleos.com/hc/ja/requests/new
現在状況を調査中です。
進捗があり次第、当ページにてお知らせいたします。
ご不明な点などございましたら、お問い合わせフォームよりご連絡ください。
https://help.workstyleos.com/hc/ja/requests/new
This incident affected: Acall Portal, Acall Reception, Acall Meeting, Acall Gate, Acall Desktop, Acall Mobile, Outlook カレンダー連携, and Google カレンダー連携.