S3で秒間あたりのアクセス数が100を超える場合の性能高速化のポイント

目的

S3で秒間あたりのアクセス数が100以上の場合には、応答を高速化するテクニックがあります。この方法を紹介します。

答え

S3ではキー名によりデータが保管されるパーティションが決まります。キー名をタイムスタンプやアルファベット順などにすると保存するパーティションが偏り性能が劣化する可能性があります。秒間あたりのリクエストが100を超える場合はキー名をランダムにすると高速化が期待できます。

参考：
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/request-rate-perf-considerations.html

キー名のプレフィックスをランダムにすると、キー名、したがって I/O ロードは複数のパーティションに分散されます。

ワークロードが 1 秒あたり 100 個のリクエストを常に超えることが予想される場合、連続するキー名は避けてください。
キー名で連番や日付と時刻のパターンを使用する場合は、キー名にランダムなプレフィックスを追加します。プレフィックスがランダムであることで、キー名が複数のインデックスパーティションに均等に分散されます。ランダムにする例は、このトピック内で後述します。

【超重要】本ページは情報が古くなっている可能性があります。参考程度にしてください。

[ 一覧に戻る]

【注意事項】本ページの内容は個人的に調査した結果がであり内容が正しいことは保証されません。
またAWSサービスは常に改良、アップデートされており本ページの内容が古く誤った内容になる可能性もあります。変更になっても本ページが正しく更新されるとは限りません。
あくまでも参考程度でご覧ください。内容により発生したいかなる時間的損害、金銭的損害、その他の損害に関しても何人も保証しません。