「バッチジョブ投入システム SunGridEngine を用いた計算機の利用」の版間の差分
ナビゲーションに移動
検索に移動
編集の要約なし |
|||
(同じ利用者による、間の23版が非表示) | |||
1行目: | 1行目: | ||
== | == ジョブ管理システム == | ||
*複数のユーザが平等に計算機資源(メモリ, CPU)を使うためのしくみです。 | *複数のユーザが平等に計算機資源(メモリ, CPU)を使うためのしくみです。 | ||
*投入された順番に空いている資源を利用して実行していきます。 | *投入された順番に空いている資源を利用して実行していきます。 | ||
*'''データ解析をする場合は、基本的にこのバッチジョブ投入システムを利用してください''' | *'''データ解析をする場合は、基本的にこのバッチジョブ投入システムを利用してください''' | ||
*実行したい処理を '''シェルスクリプト''' [http://www.atmarkit.co.jp/flinux/rensai/theory08/theory08a.html | *実行したい処理を '''シェルスクリプト''' [http://www.atmarkit.co.jp/flinux/rensai/theory08/theory08a.html シェルスクリプト入門へのリンク] に書き、qsub コマンドの引数にして実行させます。 | ||
*ここでは「'''Sun Grid Engine (SGE)''' [http://docs.oracle.com/cd/E19080-01/n1.grid.eng6/817-7680/esqcr/index.html SGEユーザーズガイドへのリンク]」というジョブ投入のシステムを採用しています。<br><br> | *ここでは「'''Sun Grid Engine (SGE)''' [http://docs.oracle.com/cd/E19080-01/n1.grid.eng6/817-7680/esqcr/index.html SGEユーザーズガイドへのリンク]」というジョブ投入のシステムを採用しています。<br><br> | ||
== 利用可能なキュー == | == 利用可能なキュー および PE (Parallel Environment) == | ||
<table border="1" cellpadding=" | キュー一覧 | ||
<table border="1" cellpadding="4"> | |||
<tr> | <tr> | ||
<td><div align="center"></div></td> | <td><div align="center"></div></td> | ||
<td colspan=3><div align="center">'''分散並列処理型'''</div></td> | <td colspan=3><div align="center">'''分散並列処理型'''</div></td> | ||
<td colspan= | <td colspan=5><div align="center">'''共有メモリ型'''</div></td> | ||
</tr> | </tr> | ||
<tr> | <tr> | ||
18行目: | 19行目: | ||
<td><div align="center">'''medium'''</div></td> | <td><div align="center">'''medium'''</div></td> | ||
<td><div align="center">'''large'''</div></td> | <td><div align="center">'''large'''</div></td> | ||
<td><div align="center">''' | <td><div align="center">'''smps'''</div></td> | ||
<td><div align="center">'''smpm'''</div></td> | |||
<td><div align="center">'''smpl'''</div></td> | |||
<td><div align="center">'''cat'''</div></td> | <td><div align="center">'''cat'''</div></td> | ||
</tr> | </tr> | ||
26行目: | 29行目: | ||
<td><div align="center">中規模</div></td> | <td><div align="center">中規模</div></td> | ||
<td><div align="center">長時間</div></td> | <td><div align="center">長時間</div></td> | ||
<td><div align="center">大メモリ</div></td> | <td><div align="center">中メモリ</div></td> | ||
<td><div align="center">大メモリ</div></td> | |||
<td><div align="center">最大メモリ</div></td> | |||
<td><div align="center">denovoアセンブル用</div></td> | <td><div align="center">denovoアセンブル用</div></td> | ||
</tr> | </tr> | ||
<tr> | <tr> | ||
<td><div align="center">利用ノード</div></td> | <td><div align="center">利用ノード</div></td> | ||
<td><div align="center">node01~ | <td><div align="center">node01~node40</div></td> | ||
<td><div align="center">node01~ | <td><div align="center">node01~node40</div></td> | ||
<td><div align="center">node01~ | <td><div align="center">node01~node40</div></td> | ||
<td><div align="center"> | <td><div align="center">ldas-smp</div></td> | ||
<td><div align="center">catl | <td><div align="center">ldas-smp</div></td> | ||
<td><div align="center">ldas-smp</div></td> | |||
<td><div align="center">catl/catm/cats1/cats2</div></td> | |||
</tr> | </tr> | ||
<tr> | <tr> | ||
<td><div align="center"> | <td><div align="center">最長実行時間/ジョブ</div></td> | ||
<td><div align="center">6hr</div></td> | <td><div align="center">6hr</div></td> | ||
<td><div align="center">72hr</div></td> | <td><div align="center">72hr</div></td> | ||
<td><div align="center">no limit</div></td> | |||
<td><div align="center">no limit</div></td> | |||
<td><div align="center">no limit</div></td> | <td><div align="center">no limit</div></td> | ||
<td><div align="center">no limit</div></td> | <td><div align="center">no limit</div></td> | ||
<td><div align="center">no limit</div></td> | <td><div align="center">no limit</div></td> | ||
</tr> | |||
<tr> | |||
<td><div align="center">最大使用メモリ/ジョブ</div></td> | |||
<td><div align="center">4GB</div></td> | |||
<td><div align="center">4GB</div></td> | |||
<td><div align="center">4GB</div></td> | |||
<td><div align="center">500GB</div></td> | |||
<td><div align="center">1TB</div></td> | |||
<td><div align="center">4TB</div></td> | |||
<td><div align="center">512GB/1TB/96GB/96GB</div></td> | |||
</tr> | </tr> | ||
<tr> | <tr> | ||
<td><div align="center">最大ジョブ数/キュー</div></td> | <td><div align="center">最大ジョブ数/キュー</div></td> | ||
<td><div align="center"> | <td><div align="center">580</div></td> | ||
<td><div align="center"> | <td><div align="center">200</div></td> | ||
<td><div align="center">20</div></td> | |||
<td><div align="center">8</div></td> | <td><div align="center">8</div></td> | ||
<td><div align="center"> | <td><div align="center">4</div></td> | ||
<td><div align="center">1</div></td> | |||
<td><div align="center">112</div></td> | <td><div align="center">112</div></td> | ||
</tr> | </tr> | ||
<tr> | |||
<td><div align="center">利用可能なPE</div></td> | |||
<td><div align="center">smp, mpi128, mpi256, make</div></td> | |||
<td><div align="center">smp, mpi128, mpi256, make</div></td> | |||
<td><div align="center">smp, mpi128, make</div></td> | |||
<td><div align="center">smp</div></td> | |||
<td><div align="center">smp</div></td> | |||
<td><div align="center">smp</div></td> | |||
<td><div align="center">smp, make</div></td> | |||
</tr> | |||
</table><br> | </table><br> | ||
*キューを指定しない場合、デフォルトでは「small」で実行されます。 | *キューを指定しない場合、デフォルトでは「small」で実行されます。 | ||
* [[denovoアセンブリ用catキューの使い方]] | * [[denovoアセンブリ用catキューの使い方]] | ||
<br> | |||
PE (Parallel Environment) : 並列環境インタフェース一覧 | |||
<table border="1" cellpadding="5"> | |||
<tr> | |||
<td><div align="center">PE名</div></td> | |||
<td><div align="center">'''smp'''</div></td> | |||
<td><div align="center">'''mpi128'''</div></td> | |||
<td><div align="center">'''mpi256'''</div></td> | |||
<td><div align="center">'''make'''</div></td> | |||
</tr> | |||
<tr> | |||
<td><div align="center">PEの特徴</div></td> | |||
<td><div align="center">ホストをまたがない<br>1ホストの搭載コア数まで</div></td> | |||
<td><div align="center">並列128コアまで</div></td> | |||
<td><div align="center">並列256コアまで</div></td> | |||
<td><div align="center">各ホストから1つづつコアを確保</div></td> | |||
</tr> | |||
</table> | |||
<br> | <br> | ||
134行目: | 184行目: | ||
<td><div align="center">'''#$ -cwd'''</div></td> | <td><div align="center">'''#$ -cwd'''</div></td> | ||
<td><div align="center">qsubした時のディレクトリに移動してジョブを実行</div></td> | <td><div align="center">qsubした時のディレクトリに移動してジョブを実行</div></td> | ||
</tr> | |||
<tr> | |||
<td><div align="center">'''#$ -V'''</div></td> | |||
<td><div align="center">現在の環境を引き継ぐ(-vでの指定かつ$PATHなども引き継いでおきたい時は必須)</div></td> | |||
</tr> | </tr> | ||
<tr> | <tr> |
2014年1月21日 (火) 05:09時点における最新版
ジョブ管理システム
- 複数のユーザが平等に計算機資源(メモリ, CPU)を使うためのしくみです。
- 投入された順番に空いている資源を利用して実行していきます。
- データ解析をする場合は、基本的にこのバッチジョブ投入システムを利用してください
- 実行したい処理を シェルスクリプト シェルスクリプト入門へのリンク に書き、qsub コマンドの引数にして実行させます。
- ここでは「Sun Grid Engine (SGE) SGEユーザーズガイドへのリンク」というジョブ投入のシステムを採用しています。
利用可能なキュー および PE (Parallel Environment)
キュー一覧
分散並列処理型 |
共有メモリ型 |
|||||||
キュー名 |
small |
medium |
large |
smps |
smpm |
smpl |
cat |
|
ジョブの特徴 |
短時間・並列多 |
中規模 |
長時間 |
中メモリ |
大メモリ |
最大メモリ |
denovoアセンブル用 |
|
利用ノード |
node01~node40 |
node01~node40 |
node01~node40 |
ldas-smp |
ldas-smp |
ldas-smp |
catl/catm/cats1/cats2 |
|
最長実行時間/ジョブ |
6hr |
72hr |
no limit |
no limit |
no limit |
no limit |
no limit |
|
最大使用メモリ/ジョブ |
4GB |
4GB |
4GB |
500GB |
1TB |
4TB |
512GB/1TB/96GB/96GB |
|
最大ジョブ数/キュー |
580 |
200 |
20 |
8 |
4 |
1 |
112 |
|
利用可能なPE |
smp, mpi128, mpi256, make |
smp, mpi128, mpi256, make |
smp, mpi128, make |
smp |
smp |
smp |
smp, make |
- キューを指定しない場合、デフォルトでは「small」で実行されます。
- denovoアセンブリ用catキューの使い方
PE (Parallel Environment) : 並列環境インタフェース一覧
PE名 |
smp |
mpi128 |
mpi256 |
make |
PEの特徴 |
ホストをまたがない 1ホストの搭載コア数まで |
並列128コアまで |
並列256コアまで |
各ホストから1つづつコアを確保 |
実行例
BLAST実行ジョブ(シェルスクリプト)の例 (ファイル名:blast.job) (下記の「ジョブスクリプトオプション」も参考にしてください)
#!/bin/sh #$ -q small #$ -v BLASTDB="/bio/db/blast/db" #$ -v BLASTMAT="/bio/db/blast/matrix" /bio/bin/blastall -p blastx -e 0.001 -d nr -i /home/xxx/sample.fa -o /home/xxx/sample.out
ジョブをSGEで実行(qsubコマンドにジョブファイルを渡す)
% qsub blast.job
自分のジョブの様子を見る
% qstat
全ユーザのジョブの様子を見る
% qstat -u '*'
SGE コマンド早見表
投入後のジョブにコマンドを発行できるのは、ジョブを投入したユーザのみです。詳しいオプションはmanコマンドなどで確認してください。
コマンド |
説明 |
qsub |
ジョブを投入する |
qstat |
ジョブとキューの状態を表示する |
qdel job-ID |
指定したIDのジョブを削除する |
qhold job-ID |
指定したIDのジョブ(待機中のみ)をホールドする |
qrls job-ID |
ホールド状態のジョブをリリースする |
qhost |
各ノードの状態を表示する |
qmod -s job-ID |
実行中のジョブをサスペンドする |
qmod -us job-ID |
サスペンド中のジョブを再実行する |
ジョブスクリプトオプション早見表
オプション |
説明 |
#$ -o filename |
標準出力の結果を指定したファイルに保存(指定しないとホームディレクトリにファイルが作られる) |
#$ -e filename |
標準エラー出力の結果を指定したファイルに保存(指定しないとホームディレクトリにファイルが作られる) |
#$ -q queue_name |
キューを指定してジョブを実行 |
#$ -cwd |
qsubした時のディレクトリに移動してジョブを実行 |
#$ -V |
現在の環境を引き継ぐ(-vでの指定かつ$PATHなども引き継いでおきたい時は必須) |
#$ -v 環境変数 |
環境変数をジョブに渡す |
#$ -N job_name |
ジョブ名を指定する |
#$ -s shell_name |
ジョブスクリプトを指定したシェルで実行 |
#$ -a MMDDhhmm |
ジョブの開始日時を指定 |
#$ -l resource_name 値 |
ジョブが使うリソース量を指定する |
#$ -pe PE_name プロセス数 |
並列ジョブを実行する場合の環境と並列数の指定 |
#$ -t 開始番号-終了番号 |