Rucio Rule

データセットやコンテナのコピーの仕方。
保存しておきたい自分の出力ファイルを残したり、テープにしかないデータセットやコンテナ、例えば、RAWファイルをディスクに取って来たりする時に便利。

https://rucio-ui.cern.ch/r2d2
で、右上のNew requestをクリック。

1. Select Data Identifiers (DIDs)のData patternに

data15_13TeV.*270441*express*.RAW*

と入力し、Searchをクリック、
該当するデータセットもしくはコンテナが表示されるので、
それをクリック、もしくはSelect Allをクリックし、
Continueをクリック。

2. Select Rucio Storage Elements (RSEs)のRSE (expression)に、例えば

CERN

と打つと、自動的にリストが表示されるので、例えば、
CERN-PROD_SCRATCHDISK
をクリックし、Check Quotaをクリックし、Continueをクリック。

3. Optionsで
Lifetimeを15 (days)から適当に変更して、Continueをクリック。

4. SummaryでSubmit requestをクリックし、リクエストが完了する。

https://rucio-ui.cern.ch/r2d2
に戻ると、replicationの状況が見えます。

ATLAS日本グループの人は TOKYO-LCG2_LOCALGROUPDISK に数か月の長期間ファイルを置くことができます。

データセットのうち特定のファイルのみを使いたい場合

まず適当な自分用の空のデータセットを作る。

rucio add-dataset user.oda.testSepecificFile_v2

それに、使いたいファイルを入れる。

rucio attach user.oda.testSepecificFile_v2 data15_13TeV.00284484.physics_Main.daq.RAW._lb0005._SFO-1._0001.data
rucio attach user.oda.testSepecificFile_v2 data15_13TeV.00284484.physics_Main.daq.RAW._lb0005._SFO-1._0002.data

データセットの中身を確認。

rucio list-files user.oda.testSepecificFile_v2
+-----------------------------------------------------------------------------------+--------------------------------------+-------------+------------+----------+
| SCOPE:NAME                                                                        | GUID                                 | ADLER32     | FILESIZE   |   EVENTS |
|-----------------------------------------------------------------------------------+--------------------------------------+-------------+------------+----------|
| data15_13TeV:data15_13TeV.00284484.physics_Main.daq.RAW._lb0005._SFO-1._0001.data | 20000AD8-B281-E511-B338-44A8420A7771 | ad:11c3e6b1 | 2.6 GB     |     2839 |
| data15_13TeV:data15_13TeV.00284484.physics_Main.daq.RAW._lb0005._SFO-1._0002.data | DEEF4DE1-B281-E511-A309-44A8420A7771 | ad:a9bbb525 | 2.6 GB     |     2816 |
+-----------------------------------------------------------------------------------+--------------------------------------+-------------+------------+----------+
Total files : 2
Total size : 5242807240
Total events : 5655

それらのファイルが既にディスク上にあれば

rucio get user.oda.testSepecificFile_v2

で取れます。pandaジョブも通常のデータセットと同じように投げられます。

ディスク上にない場合は、Rucio Ruleでuser.oda.testSepecificFile_v2をどこかのディスクにコピーすれば良いです。

データセットのうち特定のファイルのみを使いたい場合(2)

Run 309390 LB 110 - 113 のphysics_MainのRAWファイルだけ使いたい場合

setupATLAS
lsetup emi
voms-proxy-init -voms atlas
lsetup rucio

でRucioを設定して、

# Check RAW dataset of physics_Main stream run 309390

rucio ls data16_13TeV.*309390*Main*.RAW

+---------------------------------------------------------+--------------+
| SCOPE:NAME                                              | [DID TYPE]   |
|---------------------------------------------------------+--------------|
| data16_13TeV:data16_13TeV.00309390.physics_Main.daq.RAW | DATASET      |
+---------------------------------------------------------+--------------+
# Show files in the dataset

rucio list-files data16_13TeV:data16_13TeV.00309390.physics_Main.daq.RAW
# Show files of LB 110-113 only in the dataset

rucio list-files data16_13TeV:data16_13TeV.00309390.physics_Main.daq.RAW | grep 'lb011[0-3]'
# Create my own dataset

rucio add-dataset user.oda.data16_13TeV.00309390.physics_Main.daq.RAW._lb0110_lb0113
# Create a shell script to attach files LB 110-113 to my own dataset

rucio list-files data16_13TeV:data16_13TeV.00309390.physics_Main.daq.RAW | grep 'lb011[0-3]' | awk '{print"rucio attach user.oda.data16_13TeV.00309390.physics_Main.daq.RAW._lb0110_lb0113 "$2}' > tmp.sh
# Run the shell script

sh ./tmp.sh

で、必要なファイルだけのデータセットを作る。

最初のRucio Ruleの使い方に従って、Rucio Ruleで、例えば、CERN-PROD_SCRATCHDISKへのコピーする。


トップ   編集 凍結解除 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2017-02-23 (木) 17:59:58 (509d)