AWSにて、Alteryxの出力ツールでRedshiftにInsertをしているのですが、データ量があると時間がかかります。
Redshiftに書き込むときの最速の方法あるいは一般的な方法をどなたかご教示いただければと思います。
今、やっている方法は、AWS上でS3からAlteryxServerにファイルを持ってきて、そこからRedshiftに書き込みをしています。
解決済! 解決策の投稿を見る。
@cw_kodo さん
AWSは基本的に使っていないので、ユースケースにあっているかどうかわかりませんが、グローバルのコミュニティに記載された内容を紹介したいと思います。
S3 Downloadツールを使って、Redshiftにロードする際に大量のデータの場合はBulkloadを使った方が早い、とのことです(だいたいどのDBもバルクロードが早いとは思います・・・)。
単にS3からそのままRed**bleep**にロードするだけ(つまり、Alteryx内で何も加工しない)であれば、COPYでやった方が早いとのことです・・・(コマンド実行ツールを使用)。
Loading data from S3 File to Redshift Table
ありがとうございました。
参考になりました。