RCCS

提供：biaswiki
ナビゲーションに移動 検索に移動

計算科学研究センター（RCCS）への移行のためのページ

移行スケジュール

  • 2024年3月末　新規利用者募集終了
  • 2024年8月末　一般ユーザログイン終了
  • 2024年9月末　bias5運用終了

申請方法とユーザーアカウント

RCCS公式サイト：　RCCS利用申請/利用報告に関する情報

  • 申請は「提案代表者」が研究グループ単位で行います。複数の研究グループメンバーを同時に申請できます。
    • 利用資格は RCCS利用資格をご覧ください
    • 学部学生、日本非居住者、企業に属する方は利用できません。
    • 修士課程学生（6年制の5, 6学年含む）はメンバーになることができます
  • 申請には NOUSを利用します
    • 基生研HP内の申請システムNOUSの使い方･申請内容別記入例も参考にしてください
    • 最初の「Select the institute」 で必ず「IMS: 分子科学研究所 -> 所内の方は「計算科学研究センター所内利用」、所外の方は「計算科学研究センター施設利用(A)」を選んでください
    • 申請書中の各種区分の項目では、旧BIASの利用者は原則として「基礎生物学」での申請にしてください（審査の区分であり、他区分が適当な方はこの限りではありません）
  • 下記の「CPU点数について」も参照ください。

biasとrccsのシステムの違い

RCCS公式サイト： RCCS計算機利用の手引き

  • 基本は上記を参考にしてください。システム構成などもこちらをご覧ください

ログイン方法

  • sshの公開鍵認証を使用します。パスワードは使えません
  • ログインする手元の端末上で公開鍵と秘密鍵を生成し、公開鍵をログイン先のRCCSサーバに登録することで、パスワードなしにログインする仕組みです。
  • 公開鍵の登録はRCCSのWebサイト上で行います。以下のステップを参照してください。
1. SSH鍵を作成する
2. RCCS Webサイトでの作業
3. ログイン
  • アカウント：NOUSでの申請時に指定された英字3文字のアカウント（下記の例では XXX）
  • ログインマシン： ccfep.ims.ac.jp
ssh XXX@ccfep.ims.ac.jp
Enter passphrase for key '/Users/XXX/.ssh/id_ed25519': （鍵の作成時に設定したパスフレーズを入力）

bias5からのデータ移行

1. 上記のSSH鍵作成をbias5上で実行する
2. RCCSのWeb上で公開鍵を登録する
3. bias5上から、ccfep.ims.ac.jp に scp コマンドでデータを移行（コピー）する
  • scp コマンドには、オリジナルのアクセス権と更新時間を維持してコピーする「-p」オプションを推奨します
  • ファイル my_data.tar.gz を、オリジナルのアクセス権と更新時間を維持しながら ccfep のホームディレクトリにコピーする
[your_bias5_id@bias5-login ~]$ scp -p my_data.tar.gz XXX@ccfep.ims.ac.jp:~/
  • ディレクトリ my_data を、オリジナルのアクセス権と更新時間を維持しながら ccfep のホームディレクトリにコピーする
[your_bias5_id@bias5-login ~]$ scp -rp my_data XXX@ccfep.ims.ac.jp:~/
  • 逆向きのコピー　（ccfep.ims.ac.jp 上でbias5からコピーするためのscp実行）はできません

分子生物学用アプリケーションとデータベース

  • 下記のコマンドで生物学解析実行用の設定を読み込みます。
source /apl/bio/etc/bio.sh
  • bias5と同様にmoduleコマンドが使えます
module avail
  • データベースへのパス：
/apl/bio/db

キューイング（ジョブ管理）システム

  • RCCSオリジナルのコマンドを利用します

ジョブスクリプトにおけるリソース指定の書き方

  • 基本は、「#PBS -l」に続けて利用するリソースを「：」で区切って記述します
  • 必ず指定するリソース
    • ノード数 : select=
    • CPU数 : ncpus=
    • ノードあたりのプロセス数 : mpiprocs=
    • プロセスあたりのスレッド数 : ompthreads=
  • 実行条件によって指定するリソース
    • ジョブのタイプ（大容量メモリの場合のみ） : jobtype=
    • GPU数（GPUを使う場合のみ） : ngpus=
  • 例１　通常のジョブ
    • BLAST 1ノード、16CPU、1プロセス、16スレッド、メモリは16コア分（16 x 1.875Gb = 30Gb）を使って計算する
#PBS -l select=1:ncpus=16:mpiprocs=1:ompthreads=16
blastx -db nr -query test.fa -out blastout.txt -outfmt 6 -num_threads 16


  • 例２　大容量メモリが必要な場合　最低64CPU：504Gbメモリから
    • InterProScan　1ノード、64CPU、1プロセス、64スレッド、計算ノード TypeF メモリは64コア分（64 x 7.875Gb = 504Gb）を使って計算する
#PBS -l select=1:ncpus=64:mpiprocs=1:ompthreads=64:jobtype=largemem
interproscan.sh --cpu 16 -i test.pep -d ipres --goterms -f GFF3,HTML,TSV,XML -t n


  • 分子生物学アプリケーションの多くは、複数プロセス立ち上げや、複数マシンにまたがった計算を行いません
    • 複数マシン指定が有効なのは、物理マシンをまたがって並列計算できるアプリケーション (MPI等を使う）のみ
  • 使えるメモリ量はCPU数と計算ノードタイプに依存し、メモリ量を指定することはできません。
  • メモリを余分に使おうとしてプロセスが落ちることはありません（biasとの相違点）
  • キュー名の指定はありません


  • PBSコマンドとの対応表
PBSコマンド RCCSコマンド 説明
qsub file_name jsub file_name ジョブを投入する
qstat -u my_account jobinfo 自分のジョブの状態を表示
qstat -Q jobinfo -s キューの詳細を表示
qstat jobinfo -a 全てのジョブを表示（-g で同グループのみを表示）
qdel jobID jdel jobID 指定したIDのジョブを削除
qhold jobID jhold jobID 指定したIDの待機中ジョブを実行されないようにホールド
qrls jobID jrls jobID ホールド状態のジョブをリリース（実行待ち状態にする）
tracejob jobID joblog 終了したジョブの履歴を表示（CPU点数も表示）

CPU点数について

  • RCCSでは「CPU点数制」を採用しています。詳しくはこちら
  • 施設利用(A)では8万点（年間）までの申請ができます。
    • 目安として、8万点 は CPU9個（メモリは x 1.875Gb = 16.9Gb）を365日休まず動かせるくらいです。
    • RCCSでは、リソースはコア単位（大きなジョブはノード単位）で管理されるため、CPUを使わなくてもメモリを多く使うジョブはその分点数を消費します。
点数の例：
    • diamond blastx：nr-aa検索、 クエリDNA配列：96,706件、クエリファイルサイズ183MB
    • 1ノード、16コア指定
    • 所要時間:73:54:05
    • 消費点数：1,182点
#PBS -l select=1:ncpus=16:mpiprocs=1:ompthreads=16
diamond blastx --db nr --query exons.fa --out out.tab --outfmt 6 --threads 16 --sensitive
    • InterProScan クエリDNA配列：115,079件、クエリファイルサイズ227MB
    • 1ノード、64コア指定、largemem
    • 所要時間：16:30:22
    • 消費点数：990点
#PBS -l select=1:ncpus=64:mpiprocs=64:ompthreads=1:jobtype=largemem
interproscan.sh --cpu 64 -i ./exons.fa -d ./ipres --goterms -f GFF3,HTML,TSV,XML -t n
    • AlphaFold 複合体予測、FULLデータベース、3,397アミノ酸
    • 1ノード、128CPU、8GPU
    • 所要時間：10:15:47
    • 消費点数：6,239点
#PBS -l select=1:ncpus=128:mpiprocs=1:ompthreads=128:ngpus=8
af2_wrapper.sh -o result -m multimer -f af.fasta -s 1 -g
  • これまでにグループで消費したCPU点数を表示
showlim -c
  • これまでにグループで消費したCPU点数をメンバーごとに表示
showlim -c -m
  • 過去のジョブが消費してきた点数を表示
joblog
8万点以上が申請できる施設利用(B)は、次年度後期分が6月に募集開始されます。申請時には必要点数の見積もりと積算根拠が必要になるので、まずは(A)で利用して実績を積んでください。

利用できるストレージ容量について

  • ストレージ制限は１メンバーあたり500Gbです。それ以上が必要な場合は申請時にその理由を記述してください。
  • CPU点数、ディスク容量の追加申請もできます。資源追加申請ページ

グループメンバーのストレージ使用量と残量を表示 

showlim -d -m

定期メンテナンス

  • 原則として毎月第一月曜日はメンテナンスのため１日（9:00〜17:00）ログインできなくなります。
  • 年度の変わり目は数日停止します。今年は2024年4月1日〜4月4日が停止期間でした。

報告書について

  • 年度の変わり目ごとに報告書を提出する必要があります。
  • 2024年6月1日締切
「https://biaswiki.nibb.ac.jp/menu/index.php?title=RCCS&oldid=1419」から取得