GPUインスタンスからAmazon S3へファイル転送 | GPUSOROBAN

本記事ではGPUSOROBAN（高速コンピューティング）のインスタンスから、外部のクラウドストレージ「Amazon S3」へファイルを転送する手順を紹介します。
高速コンピューティングは高性能なGPUインスタンスが低コストで使えるクラウドサービスです。サービスについて詳しく知りたい方は、公式サイトを御覧ください。

S3バケットの作成

awsのコンソールにログインし、「検索バー」から”s3”を検索し、「サービス」の一覧から”S3”を選択します。

Amazon S3の画面から「バケットを作成」のボタンをクリックします。

バケットを作成の画面において、「バケット名」、「AWSリージョン」、「オブジェクト所有者」について、任意の設定をします。

​​​​​​​

ブロックパブリックアクセス設定において、任意の選択をします。

バケットのバージョニングの設定において、任意の選択をします。

サーバーサイド暗号化の設定において、任意の選択をします。

詳細設定において、任意の選択をして、「バケット」を作成をクリックします。

ここまでがS3のバケット作成になります。

続いてIAMの設定をして、外部からS3にアクセスするための準備をします。

IAMの設定

AWSのコンソールに戻り、「検索バー」に”IAM”と入力し、「サービス」一覧から”IAM”を選択します。

サイドバーから「ユーザー」を選択し、右上の「ユーザーを追加」ボタンをクリックします。

ユーザーの詳細を指定の画面において、任意の「ユーザー名」を入力し、「次へ」のボタンをクリックします。

許可を設定の画面で、「ポリシーを直接アタッチする」を選択します。

許可を設定の画面において、「検索バー」に”s3”と入力し、「AmazonS3FullAccess」を選択し、「次へ」ボタンをクリックします。

確認して作成の画面で、「ユーザーの作成」をクリックします。

ユーザーが正常に作成された事を確認し、ユーザー一覧から作成した「ユーザー名」をクリックします。（本記事では、gpusoroban-s3）

「セキュリティ認証」のタブを選択し、「アクセスキーを作成」をクリックします

任意の「ユースケース」を選択し、「Confirmation」にチェックを入れ、「次へ」ボタンをクリックします。

任意の「説明タグ値」を入力し、「アクセスキーを作成」のボタンをクリックします。

アクセスキーが作成されたら、「アクセスキー」および「シークレットアクセスキー」を大事に保管し、「完了」をクリックします。

GPUSOROBANのインスタンスに接続

GPUSOROBANのインスタンスの作成方法、秘密鍵の設置方法については、会員登録～インスタンス作成手順の記事をご覧ください。
インスタンスの作成と秘密鍵の設定が完了しましたら、アクセスサーバーおよびインスタンスに接続をします。

アクセスサーバーへの接続

ssh -L 20122:(インスタンスのIPアドレス):22 -l user as-highreso.com -p 30022 -i .ssh/ackey.txt

インスタンスへの接続方法

ssh user@localhost -p 20122 -i .ssh/mykey.txt

SSHコマンドを打つのが煩雑な場合、VScodeを使うことでマウスクリックでインスタンスに接続することが可能です。
（参考）VScodeを使ったインスタンスへの接続方法

AWS CLIをインストール

GPUSOROBANインスタンスに接続したら、AWS CLIをインストールします。

パッケージをアップデートします。

sudo apt update

curlとunzipをインストールします。

sudo apt install curl unzip

curlコマンドでAWS CLIのインストーラーをダウンロードし、unzipコマンドで回答し、その後にインストールします。

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

AWS CLIのバージョンを確認します。

aws --version

aws configureコマンドで、AWS CLIの認証設定をします。

aws configure

AWS Access Key ID:前述のIAMで発行したアスセスキー
AWS Secret Access Key: 前述のIAMで発行したシークレットアクセスキー
Default region name: 使用するデフォルトのリージョン（例: ap-northeast-1）
Default output format: コマンドの出力形式（例: json）

aws s3 lsコマンドでバケットの一覧を表示します。
AWSのコンソールで作成したS3バケット「gpusoroban-s3」が確認できました。

aws s3 ls

ファイル転送

aws s3 cpコマンドで、GPUSOROBANインスタンスから、S3バケットに対して、ファイルを転送します。

本記事では、次のように設定しています。
インスタンスのファイルパス＝/home/user/test.txt
バケット名/ファイルパス＝s3://gpusoroban-s3/test/test.txt

aws s3 cp <インスタンスのファイルパス> s3://<バケット名>/<ファイルパス>

aws s3 lsコマンドで、S3にtest.txtのファイルを転送できていることが確認できます。

本記事では、バケット名/ファイルパス＝s3://gpusoroban-s3/test/と設定しています。

aws s3 ls s3://<バケット名>/<ファイルパス>/

aws s3 rmコマンドでファイルを削除します。

aws s3 rm s3://<バケット名>/<ファイルパス>

aws s3 cpコマンドで、s3に格納されているファイル（本記事の例ではdummy.txt）をGPUSOROBANインスタンスに転送します。

本記事では、次のように設定しています。
バケット名/オプションのキー名＝s3://gpusoroban-s3/test/dummy.txt
インスタンスのファイルパス＝/home/user/dummy.txt

aws s3 cp s3://<バケット名>/<ファイルパス> <インスタンスのファイルパス>

lsコマンドでGPUSOROBANインスタンスに、dummy.txtファイルが転送されていること確認できます。

ls

GPUインスタンスからAmazon S3へファイルを転送する方法の説明は以上になります。

本記事では、GPUSOROBAN（高速コンピューティング）のインスタンスを使用しました。
高速コンピューティングは高性能なGPUインスタンスが低コストで使えるクラウドサービスです。サービスについて詳しく知りたい方は、公式サイトを御覧ください。