全体像と各画面の役割 | 計算クラスター

計算クラスターでは、ブラウザで開く「Web管理ポータル」と、SSHで接続する「ジョブ実行サーバー」を使います。

利用の設定やポイント管理はWeb管理ポータルで、コードの準備やジョブの投入はジョブ実行サーバーで行います。

この記事では、それぞれの役割と、計算を始めるまでの流れを説明します。

まずWeb管理ポータルで利用の準備を済ませ、その後、ジョブ実行サーバーへ接続して計算を進めます。

Web管理ポータルは、ブラウザから利用する管理画面です。アカウント情報の確認・変更や、利用開始に必要な設定を行います。

アカウント・ユーザーの管理

プロファイル情報の変更や、セキュリティ設定などを行います。

ポイントの購入・残高確認

利用料金の支払いに使うポイントを購入します。個人ポイント・グループポイントの残高や、利用履歴も確認できます。

→ ポイントの購入方法

ストレージの設定

コードやデータを保存するストレージの初期設定と、容量の追加を行います。

→ ストレージの初期設定と容量の追加

SSH接続の準備

ジョブ実行サーバーへ接続するために、以下の操作を行います。

• アクセスサーバー用の公開鍵を登録する
• ジョブ実行サーバー用の秘密鍵をダウンロードする
• 接続設定が記載されたconfigファイルをダウンロードする

取得したファイルは、手元のPCに保存して設定します。

詳しい手順は、以下の記事をご確認ください。

→ SSH鍵の登録
→ SSH接続の準備｜configファイルの取得と設定

ジョブ実行サーバーは、コードやデータの準備、計算ジョブの投入、実行状況の確認を行うための環境です。

手元のPC（クライアント端末）から、コマンドラインを使ってSSHで接続します。

実際の計算処理は、ジョブ実行サーバーとは別の「計算ノード」で行います。ジョブ実行サーバーからジョブスケジューラー（Slurm）にジョブを投入すると、計算ノードに割り当てられ、実行されます。

ソースコード・データセットの配置と編集
手元のPCから、Pythonスクリプトなどのソースコードや学習用データセットを転送・配置します。
転送には、scpやrsyncなどのコマンドを使用します。
配置したコードは、ジョブ実行サーバー上でnanoやviなどのエディタを使って編集できます。

Singularityコンテナ環境の構築
実行に必要なモジュールを読み込み、コンテナイメージ（SIFファイル）をビルドします。

計算ジョブの投入（sbatch）
実行する処理とSlurmへの指示をジョブスクリプトに記述し、ジョブ実行サーバーからsbatchコマンドで投入します。
投入したジョブは、Slurmによって計算ノードに割り当てられ、実行されます。

→ Slurm基本操作｜バッチジョブの作成・投入・結果確認

ジョブの実行状況・ログの確認
squeueコマンドで、投入したジョブの状態を確認します。

• RUNNING：実行中

• PENDING：実行待ち

また、標準出力ログや標準エラー出力ログから、処理の進捗やエラーの内容を確認します。

ジョブ実行サーバーは、全ユーザーが共有する開発準備・ジョブ管理用の環境です。

システム全体の性能低下や他のユーザーの作業への影響を防ぐため、ジョブ実行サーバーでの高負荷な処理は禁止しています。

高負荷なPythonスクリプトの直接実行や、大規模なコンテナビルドなどが該当します。

プログラムの修正やデータ転送はジョブ実行サーバーで、負荷の高い計算処理はSlurmを介して計算ノードで行うようお願いいたします。