ワールドログイン時のエラーと修正対応について
ファイナルファンタジーXIVプロデューサー兼ディレクターの吉田です。
FFXIV『暁月のフィナーレ』アーリーアクセス、ならびに正式サービス開始へのご参加、ありがとうございます。アーリーアクセス以降、FFXIV正式サービス開始以来最大のアクティブプレイヤー数、最高同時接続者数などを記録しておりますが、それと同時にサービス規模を遥かに上回るアクセス数により、ゲームへのログインに際し、長時間お待ちいただくなどの状況が発生しております。
混雑に際し、プレイヤーの皆さんには多大なるご協力をいただいており、ご声援やお心遣いに大変感謝しております。本当にありがとうございます。しかし、その一方でログインに対する強いストレス、長い待ち時間等でご辛抱いただくことも多く、誠に申し訳ございません。
現在の混雑、そして待機列に並ばれている最中のエラーの原因、その解消に向けた作業状況などをお知らせいたします。下記に記載されている以外のエラー等については、12月5日の告知（ https://sqex.to/4aRWD ）をご確認いただけますと幸いです。
■■エラー解消のためのロビーサーバーメンテナンス■■
エラー内容の詳細は下記をご確認いただくとして、エラーを解消していくためにできるだけ早急に、ロビーサーバーの一斉メンテナンスを行わせていただきます。時間はまだ確定できておりませんが、30分程度のメンテナンスとなる予定です。こちらは、ゲームにログインされている方には影響はございませんが、メンテナンス中に新たなログインができないこと、待機列に並ばれている方は、アクセスが30分ほど途絶えることとなります。
大変申し訳ございませんが、エラー問題修正のためご容赦いただけますと幸いです。正確な時間は、追ってお知らせいたします。
■■全ワールドメンテナンスの実施■■
上記以外のエラー問題、いくつかのサーバー上で解決できる不具合への対応を行うため、12月8日（水）日本時間夕方に、全ワールドのメンテナンスを実施させていただく予定です。こちらは全ワールドダウンを伴うメンテナンスとなるため、完了まで4時間程度を要します。正確なメンテナンス時刻は追ってお知らせ致します。こちらにつきましても、ご理解とご協力のほど、お願い申し上げます。
以下、混雑によって発生しております、エラー等の問題に関する詳細なご報告となります。
■■ログイン直前でのエラー4004による切断について■■
現在、最もストレスが高い問題となっているのが、「待機列が減り、ログイン順番が回ってきた際にエラーによって接続が切れ、再度待機列最後尾から並び直しとなる」というケースだと思われます。主にエラー4004と3001が発生しての切断となりますが、こちらではエラー4004について、詳細と対策の状況をお伝え致します。
▼処理の内容
ログイン人数が上限に達しているワールドへのログインは、一斉ログインや集中負荷によるダウンを防ぐため、当該ワールドに100人の空き人数が出来るまで待ち、空きができた場合に待機列に並んでいるプレイヤーの先頭から100人をログインする、という処理を常に繰り返しています。
▼発生している問題
この100人をログイン処理する際に、「超高負荷が発生している状況下で、サーバーとの通信タイミングなど特定の条件が複合で合致した場合、ログインする予定の100人のうちの最大25人程度、エラーが発生してしまう」という不具合が確認されました。この不具合は高負荷時であっても、100%発生するわけではなく、また、エラーが発生する人数にもバラつきがあります。しかしながら、数時間待機していただいた状況で、このエラーが発生してしまうと、再度待機列の後ろに並び直しになってしまうことから、現状、最もストレスの高い問題であると認識しています。
※2021年12月7日(火) 23:20 追記
こちらについて、修正を行いましたが、表示上の補足がありますので追記致します。
ログイン上限に到達したワールドは、100人の空きを確認し、順次新たな100人のログインを実行します。しかし、1分間に行う当該ワールドへのログインは、負荷軽減のために順次75キャラクターまでとなっているため、ログイン待ち待機列の人数表示上は、75人ずつ減って見えることが多いのが仕様です（待ち人数の表示更新タイミングが綺麗に重なるとそう見えます）。こちらは以前からその仕様となっており、今回の不具合修正により処理が正常に動作していても、ダイアログ上は最大75カウントずつ減るため、上記の不具合修正が失敗しているように見えてしまいます。偶然数字が重なってしまったため、わかりづらい表現となり恐縮です。
▼この問題への対応について
この超高負荷によって発生する問題の原因は特定でき、現在ロビーサーバーのソースコードを修正しております。修正は完了しておりますが、この修正によって問題が解消できたかどうか、安全性を確認する手順が非常に複雑であり、それに時間を要しております。また、発生条件自体が複雑なため、まだ細かい条件への対応が抜けている可能性もございますが、修正を反映し監視を続けてまいります。準備ができ次第、上記のロビーサーバーメンテナンスにて対応を投入する予定です。修正まで、今少しお待ちいただけますと幸いです。
■■ログイン直前でのエラー3001による切断について■■
こちらではエラー3001について、詳細と対策の状況をお伝えいたします。
▼エラー3001が発生してしまう原因①
各ワールドには高負荷によるワールドダウンを避けるため、ログイン人数に上限が設定されています。しかしながら、超高負荷状態になったいくつかのワールドで、このログイン上限数以上にログインが実行されるケースが発生しており、この場合、ロビーサーバーのコネクション許容量が破綻し、待機列に並ばれているプレイヤーにエラー3001を表示してコネクションを切断してしまう、という状況になっています。
▼原因①への対応について
この超高負荷時のワールドにて発生する問題は、現在おおよその原因が特定でき、修正を行っております。しかしながら、複雑な処理を行っている箇所で、慎重に修正を行う必要があることから、修正、確認、ロビーサーバーへの適用に時間を要しております。こちらは12月8日に実施予定の全ワールドメンテナンスにて処理投入を行うべく、全力で作業に当たっておりますが、まだ確定できていない状況です。こちらについても、追ってご報告いたします。
▼エラー3001が発生してしまう原因②
こちらは、Elemental DCのTonberryワールドにのみ発生している問題です。こちらは全ワールド中、もっともログインリクエストが多くなっているワールドであり、ワールド間テレポなどを利用し、分散ログインにもご協力いただいております。しかしながら、ワールド間テレポを使用中でも、チャット接続などの関係上、ホームワールドとの連携を完全には遮断できないため、トータルコネクション数が膨大になり、結果、原因①と同じ状況が発生するケースが確認されています。
▼原因②への対応について
こちらについては、ある程度Tonberryワールドにダウン等の障害が出てしまうリスクを覚悟の上で、コネクション数を極限まで増大させております。今しばらくこの暫定対応にて、状況をモニタ―させていただけると幸いです。
■■エラー2002について■■
こちらではエラー2002について、詳細と対策の状況をお伝えいたします。
▼処理の内容
FFXIVでは大規模なログインサーバーダウンを防ぐため、「各論理データセンターあたり、ログイン待機プレイヤー数の合計が17000を超えない」という制御が行われています。この上限は論理データセンターに幾つのワールドが存在するかに限らず、一律で設定されています。
▼発生している問題
論理データセンターの待機プレイヤー数の合計が17000を超えた場合、エラー2002が表示され、ログイン待機列に並ぶことができません。
▼この問題への対応について
開発予備サーバーを公開ロビーサーバーへ投入する準備ができましたので、これによりロビーサーバーの管理能力を向上させ、待機プレイヤー数の上限を21000程度まで引き上げます。こちらはメンテナンス等を必要としないため、万一の障害に備えつつ、ログインピークを避けて投入いたします。日本時間12月7日夜半には完了の予定です。
■■根本的な混雑解消への対応について■■
この大規模な混雑への根本対応についてですが、こちらはアーリーアクセス前の告知（ https://sqex.to/7LSfG ）でもお知らせさせていただいた通り、「全リージョンへの大規模な新規ワールド追加」が最も効果的です。
一方で、2021年春以降、FFXIVの爆発的なプレイヤー増加に伴い、半年以上にわたり新規ワールドの追加について奔走してまいりましたが、全世界に影響を与えた「新型コロナウィルス感染症」への対策により、今現在でも新規ワールドを追加するための機材の調達が行えておりません。
■■世界的な半導体不足（サプライチェーンの混乱）■■
新規ワールドの追加には、1ワールド追加辺り数十台のサーバーマシンが必要となります。サーバーマシンは高性能なコンピュータであり、多数の半導体によって構成されています。ところが、感染症対策により世界中の半導体工場が操業停止、あるいは人手不足に陥ったことにより、半導体の生産／製造量が低下し、全世界で半導体不足に陥っています。
また製造だけでなく、流通そのものも、感染症対策が進み、需要が爆発的に増加していることから混乱している状態です。通常時よりも多額の投資を行い、何とかこれらを確保しようと奔走しておりますが、それでもサーバー機器の準備に長い時間を要しているのが現状となります。
この半導体不足が、いつ頃解消される見込みなのか、残念ながら現状では予測できない状況となっています。FFXIVサーバー／インフラチームでは、確保してあった予備の高性能マシーン投入を前倒し、サーバーソースコードの最適化を施し、ログイン上限人数引上げなどを行って参りました。これらの努力も継続していくことをお約束します。
現状では新規ワールド追加に至るまで、数か月以上の時間が必要となる見込みです。プレイヤーの皆さんには、ご迷惑をおかけすることとなり、大変申し訳ございません。引き続き、ご理解とご協力のほど、よろしくお願いいたします。
FFXIV『暁月のフィナーレ』アーリーアクセス、ならびに正式サービス開始へのご参加、ありがとうございます。アーリーアクセス以降、FFXIV正式サービス開始以来最大のアクティブプレイヤー数、最高同時接続者数などを記録しておりますが、それと同時にサービス規模を遥かに上回るアクセス数により、ゲームへのログインに際し、長時間お待ちいただくなどの状況が発生しております。
混雑に際し、プレイヤーの皆さんには多大なるご協力をいただいており、ご声援やお心遣いに大変感謝しております。本当にありがとうございます。しかし、その一方でログインに対する強いストレス、長い待ち時間等でご辛抱いただくことも多く、誠に申し訳ございません。
現在の混雑、そして待機列に並ばれている最中のエラーの原因、その解消に向けた作業状況などをお知らせいたします。下記に記載されている以外のエラー等については、12月5日の告知（ https://sqex.to/4aRWD ）をご確認いただけますと幸いです。
■■エラー解消のためのロビーサーバーメンテナンス■■
エラー内容の詳細は下記をご確認いただくとして、エラーを解消していくためにできるだけ早急に、ロビーサーバーの一斉メンテナンスを行わせていただきます。時間はまだ確定できておりませんが、30分程度のメンテナンスとなる予定です。こちらは、ゲームにログインされている方には影響はございませんが、メンテナンス中に新たなログインができないこと、待機列に並ばれている方は、アクセスが30分ほど途絶えることとなります。
大変申し訳ございませんが、エラー問題修正のためご容赦いただけますと幸いです。正確な時間は、追ってお知らせいたします。
■■全ワールドメンテナンスの実施■■
上記以外のエラー問題、いくつかのサーバー上で解決できる不具合への対応を行うため、12月8日（水）日本時間夕方に、全ワールドのメンテナンスを実施させていただく予定です。こちらは全ワールドダウンを伴うメンテナンスとなるため、完了まで4時間程度を要します。正確なメンテナンス時刻は追ってお知らせ致します。こちらにつきましても、ご理解とご協力のほど、お願い申し上げます。
以下、混雑によって発生しております、エラー等の問題に関する詳細なご報告となります。
■■ログイン直前でのエラー4004による切断について■■
現在、最もストレスが高い問題となっているのが、「待機列が減り、ログイン順番が回ってきた際にエラーによって接続が切れ、再度待機列最後尾から並び直しとなる」というケースだと思われます。主にエラー4004と3001が発生しての切断となりますが、こちらではエラー4004について、詳細と対策の状況をお伝え致します。
▼処理の内容
ログイン人数が上限に達しているワールドへのログインは、一斉ログインや集中負荷によるダウンを防ぐため、当該ワールドに100人の空き人数が出来るまで待ち、空きができた場合に待機列に並んでいるプレイヤーの先頭から100人をログインする、という処理を常に繰り返しています。
▼発生している問題
この100人をログイン処理する際に、「超高負荷が発生している状況下で、サーバーとの通信タイミングなど特定の条件が複合で合致した場合、ログインする予定の100人のうちの最大25人程度、エラーが発生してしまう」という不具合が確認されました。この不具合は高負荷時であっても、100%発生するわけではなく、また、エラーが発生する人数にもバラつきがあります。しかしながら、数時間待機していただいた状況で、このエラーが発生してしまうと、再度待機列の後ろに並び直しになってしまうことから、現状、最もストレスの高い問題であると認識しています。
※2021年12月7日(火) 23:20 追記
こちらについて、修正を行いましたが、表示上の補足がありますので追記致します。
ログイン上限に到達したワールドは、100人の空きを確認し、順次新たな100人のログインを実行します。しかし、1分間に行う当該ワールドへのログインは、負荷軽減のために順次75キャラクターまでとなっているため、ログイン待ち待機列の人数表示上は、75人ずつ減って見えることが多いのが仕様です（待ち人数の表示更新タイミングが綺麗に重なるとそう見えます）。こちらは以前からその仕様となっており、今回の不具合修正により処理が正常に動作していても、ダイアログ上は最大75カウントずつ減るため、上記の不具合修正が失敗しているように見えてしまいます。偶然数字が重なってしまったため、わかりづらい表現となり恐縮です。
▼この問題への対応について
この超高負荷によって発生する問題の原因は特定でき、現在ロビーサーバーのソースコードを修正しております。修正は完了しておりますが、この修正によって問題が解消できたかどうか、安全性を確認する手順が非常に複雑であり、それに時間を要しております。また、発生条件自体が複雑なため、まだ細かい条件への対応が抜けている可能性もございますが、修正を反映し監視を続けてまいります。準備ができ次第、上記のロビーサーバーメンテナンスにて対応を投入する予定です。修正まで、今少しお待ちいただけますと幸いです。
■■ログイン直前でのエラー3001による切断について■■
こちらではエラー3001について、詳細と対策の状況をお伝えいたします。
▼エラー3001が発生してしまう原因①
各ワールドには高負荷によるワールドダウンを避けるため、ログイン人数に上限が設定されています。しかしながら、超高負荷状態になったいくつかのワールドで、このログイン上限数以上にログインが実行されるケースが発生しており、この場合、ロビーサーバーのコネクション許容量が破綻し、待機列に並ばれているプレイヤーにエラー3001を表示してコネクションを切断してしまう、という状況になっています。
▼原因①への対応について
この超高負荷時のワールドにて発生する問題は、現在おおよその原因が特定でき、修正を行っております。しかしながら、複雑な処理を行っている箇所で、慎重に修正を行う必要があることから、修正、確認、ロビーサーバーへの適用に時間を要しております。こちらは12月8日に実施予定の全ワールドメンテナンスにて処理投入を行うべく、全力で作業に当たっておりますが、まだ確定できていない状況です。こちらについても、追ってご報告いたします。
▼エラー3001が発生してしまう原因②
こちらは、Elemental DCのTonberryワールドにのみ発生している問題です。こちらは全ワールド中、もっともログインリクエストが多くなっているワールドであり、ワールド間テレポなどを利用し、分散ログインにもご協力いただいております。しかしながら、ワールド間テレポを使用中でも、チャット接続などの関係上、ホームワールドとの連携を完全には遮断できないため、トータルコネクション数が膨大になり、結果、原因①と同じ状況が発生するケースが確認されています。
▼原因②への対応について
こちらについては、ある程度Tonberryワールドにダウン等の障害が出てしまうリスクを覚悟の上で、コネクション数を極限まで増大させております。今しばらくこの暫定対応にて、状況をモニタ―させていただけると幸いです。
■■エラー2002について■■
こちらではエラー2002について、詳細と対策の状況をお伝えいたします。
▼処理の内容
FFXIVでは大規模なログインサーバーダウンを防ぐため、「各論理データセンターあたり、ログイン待機プレイヤー数の合計が17000を超えない」という制御が行われています。この上限は論理データセンターに幾つのワールドが存在するかに限らず、一律で設定されています。
▼発生している問題
論理データセンターの待機プレイヤー数の合計が17000を超えた場合、エラー2002が表示され、ログイン待機列に並ぶことができません。
▼この問題への対応について
開発予備サーバーを公開ロビーサーバーへ投入する準備ができましたので、これによりロビーサーバーの管理能力を向上させ、待機プレイヤー数の上限を21000程度まで引き上げます。こちらはメンテナンス等を必要としないため、万一の障害に備えつつ、ログインピークを避けて投入いたします。日本時間12月7日夜半には完了の予定です。
■■根本的な混雑解消への対応について■■
この大規模な混雑への根本対応についてですが、こちらはアーリーアクセス前の告知（ https://sqex.to/7LSfG ）でもお知らせさせていただいた通り、「全リージョンへの大規模な新規ワールド追加」が最も効果的です。
一方で、2021年春以降、FFXIVの爆発的なプレイヤー増加に伴い、半年以上にわたり新規ワールドの追加について奔走してまいりましたが、全世界に影響を与えた「新型コロナウィルス感染症」への対策により、今現在でも新規ワールドを追加するための機材の調達が行えておりません。
■■世界的な半導体不足（サプライチェーンの混乱）■■
新規ワールドの追加には、1ワールド追加辺り数十台のサーバーマシンが必要となります。サーバーマシンは高性能なコンピュータであり、多数の半導体によって構成されています。ところが、感染症対策により世界中の半導体工場が操業停止、あるいは人手不足に陥ったことにより、半導体の生産／製造量が低下し、全世界で半導体不足に陥っています。
また製造だけでなく、流通そのものも、感染症対策が進み、需要が爆発的に増加していることから混乱している状態です。通常時よりも多額の投資を行い、何とかこれらを確保しようと奔走しておりますが、それでもサーバー機器の準備に長い時間を要しているのが現状となります。
この半導体不足が、いつ頃解消される見込みなのか、残念ながら現状では予測できない状況となっています。FFXIVサーバー／インフラチームでは、確保してあった予備の高性能マシーン投入を前倒し、サーバーソースコードの最適化を施し、ログイン上限人数引上げなどを行って参りました。これらの努力も継続していくことをお約束します。
現状では新規ワールド追加に至るまで、数か月以上の時間が必要となる見込みです。プレイヤーの皆さんには、ご迷惑をおかけすることとなり、大変申し訳ございません。引き続き、ご理解とご協力のほど、よろしくお願いいたします。
