E2インスタンスからS3へのアップロードを高速化する

疑問

E2からS3に大きなサイズのファイルをアップロードしたい。試してみるとかなり時間がかかる。高速アップロードする方法はあるか。

答え

・マルチアップロード機能を使用します。100M以上のアップロードで推奨されています。
・高速にアップロードできます。
・部分的エラーが発生した場合はその部分のみ再アップロードでリカバリが可能です。

(注意)もちろん回線速度以上の性能は出ませんので注意が必要です。

参考：
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/uploadobjusingmpu.html

・マルチパートアップロードの使用には、次の利点があります。
・スループットの向上 - パートを並列にアップロードすることで、スループットを向上させることができます。
・ネットワークの問題からの素早い回復 - パートサイズは比較的小さいため、ネットワークエラーにより失敗したアップロードを再開する際の影響を最小限に抑えることができます。
・オブジェクトのアップロードの一旦停止と再開、オブジェクトの複数のパートを徐々にアップロードできます。マルチパートアップロードをいったん開始すると、終了期限はありません。マルチパートアップロードは明示的に完了または中止する必要があります。
・オブジェクトの最終的なサイズが不明な状態でアップロードを開始、オブジェクトの作成中でもアップロードを開始できます。

まとめ

E2からS3はマルチアップロード機能で高速化可能。

【超重要】本ページは情報が古くなっている可能性があります。参考程度にしてください。

[ 一覧に戻る]

【注意事項】本ページの内容は個人的に調査した結果がであり内容が正しいことは保証されません。
またAWSサービスは常に改良、アップデートされており本ページの内容が古く誤った内容になる可能性もあります。変更になっても本ページが正しく更新されるとは限りません。
あくまでも参考程度でご覧ください。内容により発生したいかなる時間的損害、金銭的損害、その他の損害に関しても何人も保証しません。