CERN Virtual Machine File System

Installation of CVMFS 2.7 on CC7 CERN CentOS 7 on 2020-01-23

最新のCVMFSのバージョンは2.7 https://cvmfs.readthedocs.io/en/stable/index.html

FronTier Squidを入れろということなので、 https://twiki.cern.ch/twiki/bin/view/Frontier/InstallSquid に従う。

rpm -Uvh http://frontier.cern.ch/dist/rpms/RPMS/noarch/frontier-release-1.1-1.noarch.rpm
yum install frontier-squid
chkconfig frontier-squid on
squid -k parse
squid -z
service httpd start
service frontier-squid start

以後自動的にスタートするように。

systemctl enable httpd.service
systemctl enable frontier-squid.service
wget http://frontier.cern.ch/dist/fnget.py
chmod +x fnget.py
./fnget.py --url=http://cmsfrontier.cern.ch:8000/FrontierProd/Frontier --sql="select 1 from dual"
export http_proxy=http://localhost:3128
./fnget.py --url=http://cmsfrontier.cern.ch:8000/FrontierProd/Frontier --sql="select 1 from dual"

設定はできた模様。

次にCVMFSの設定 https://cvmfs.readthedocs.io/en/stable/index.html

yum install cvmfs cvmfs-config-default cvmfs-auto-setup
yum install https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest.noarch.rpm

autofsを使うつもりで

/etc/auto.master.d/cvmfs.autofs に

/cvmfs /etc/auto.cvmfs

と書いた。

mkdir /cvmfs
chmod 777 /cvmfs
mkdir /cvmfs/cache
chmod 777 /cvmfs/cache
mkdir /cvmfs/cache/cvmfs2
chmod 777 /cvmfs/cache/cvmfs2
chcon -Rv --type=cvmfs_cache_t /cvmfs

でディレクトリを作り、root以外でも書けるようにして、タイプを設定した。

/etc/cvmfs/default.local に

CVMFS_REPOSITORIES=atlas.cern.ch,atlas-condb.cern.ch,atlas-nightlies.cern.ch,sft.cern.ch
CVMFS_CACHE_BASE=/cvmfs/cache/cvmfs2
CVMFS_QUOTA_LIMIT=200000
CVMFS_HTTP_PROXY=DIRECT
# CVMFS_HTTP_PROXY="http://localhost:3128"

を記入した。まだsquidは使わない。

autofsを使うと、以下の cvmfs_config chksetup が上手く行かない(volumeがゼロだと言われる)ので、autofsは使わない。

# service autofs start

autofsを止めた。

systemctl disable autofs.service

マウントポイントを作り、マウントした。

mkdir /cvmfs/atlas.cern.ch
mount -t cvmfs atlas.cern.ch /cvmfs/atlas.cern.ch
mkdir /cvmfs/atlas-condb.cern.ch
mount -t cvmfs atlas-condb.cern.ch /cvmfs/atlas-condb.cern.ch
mkdir /cvmfs/atlas-nightlies.cern.ch
mount -t cvmfs atlas-nightlies.cern.ch /cvmfs/atlas-nightlies.cern.ch
mkdir /cvmfs/sft.cern.ch
mount -t cvmfs sft.cern.ch /cvmfs/sft.cern.ch

毎回マウントするわけにもいかないので、/etc/fstabに以下を加えた。

... ...
atlas.cern.ch           /cvmfs/atlas.cern.ch    cvmfs   defaults        0 0
atlas-condb.cern.ch     /cvmfs/atlas-condb.cern.ch    cvmfs   defaults        0 0
atlas-nightlies.cern.ch /cvmfs/atlas-nightlies.cern.ch    cvmfs   defaults        0 0
sft.cern.ch             /cvmfs/sft.cern.ch      cvmfs   defaults        0 0
mount -a

で反映できる。

設定の確認1

cvmfs_config chksetup
Warning: autofs service is not running
Warning: failed to access http://cvmfs-s1fnal.opensciencegrid.org/cvmfs/atlas.cern.ch/.cvmfspublished through proxy DIRECT
Warning: failed to use Geo-API with cvmfs-s1fnal.opensciencegrid.org
Warning: failed to access http://cvmfs-s1fnal.opensciencegrid.org/cvmfs/atlas-condb.cern.ch/.cvmfspublished through proxy DIRECT
Warning: failed to use Geo-API with cvmfs-s1fnal.opensciencegrid.org
Warning: failed to access http://cernvmfs.gridpp.rl.ac.uk/cvmfs/atlas-nightlies.cern.ch/.cvmfspublished through proxy DIRECT
Warning: failed to access http://cvmfs-s1fnal.opensciencegrid.org/cvmfs/atlas-nightlies.cern.ch/.cvmfspublished through proxy DIRECT
Warning: failed to use Geo-API with cvmfs-s1fnal.opensciencegrid.org
Warning: failed to access http://cvmfs-s1fnal.opensciencegrid.org/cvmfs/sft.cern.ch/.cvmfspublished through proxy DIRECT
Warning: failed to use Geo-API with cvmfs-s1fnal.opensciencegrid.org

Warningは出ているが、どうすれば良いのかわからない。

設定の確認2

cvmfs_config probe
Probing /cvmfs/atlas.cern.ch... Failed!
Probing /cvmfs/atlas-condb.cern.ch... Failed!
Probing /cvmfs/atlas-nightlies.cern.ch... Failed!
Probing /cvmfs/sft.cern.ch... Failed!

と最初は出ていたが、いろいろ設定を変えたら、

Probing /cvmfs/atlas.cern.ch... OK
Probing /cvmfs/atlas-condb.cern.ch... OK
Probing /cvmfs/atlas-nightlies.cern.ch... OK
Probing /cvmfs/sft.cern.ch... OK

になった。

その後一般ユーザーで

export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
alias setupATLAS='source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh'
setupATLAS
asetup Athena master latest
Reco_tf.py --AMI q431

をしたら、問題なく実行できた!でもやはり初回は遅い。

コンディションデータベースへのアクセスが時間が掛るので、 用意したlocalhostのFronTierを使うようにする。

export FRONTIER_SERVER="(proxyurl=http://localhost:3128)"$FRONTIER_SERVER

データベース読み込みにかかる時間が30分くらいが10分以下になったような気がする。

Installation of CVMFS to SLC 6.5 64-bit machine in 2014

Download and install the following 3 packages from the following web page.

Alternatively you can install them by

yum install cvmfs-keys cvmfs cvmfs-init-scripts

Configuration of CVMFS

Create or edit the following file

/etc/cvmfs/default.local

to put just two lines.

CVMFS_REPOSITORIES=atlas.cern.ch,atlas-condb.cern.ch,grid.cern.ch
CVMFS_HTTP_PROXY=DIRECT

Then, run the following command:

cvmfs_config probe

And, you will see.

Probing /cvmfs/atlas.cern.ch... OK
Probing /cvmfs/atlas-condb.cern.ch... OK
Probing /cvmfs/grid.cern.ch... OK

You can use the following commands to reconfigure cvmfs (as far as I did):

cvmfs_config umount
cvmfs_config wipecache
cvmfs_config probe

Use setupATLAS, for example

You can use the setupATLAS command by

export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
alias setupATLAS='source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh'
setupATLAS # For the first time execution, you should wait for ~20 minutes.

Change quota

https://twiki.cern.ch/twiki/bin/view/AtlasComputing/Cvmfs21#Machines_which_have_limited_spac /etc/cvmfs/default.conf

CVMFS_QUOTA_LIMIT=20000
df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_lambda-lv_root
                      50G   11G   36G  24% /
tmpfs                 3.7G   84K  3.7G   1% /dev/shm
/dev/sda1             485M   82M  378M  18% /boot
/dev/mapper/vg_lambda-lv_home
                     970G  6.2G  915G   1% /home
AFS                   8.6G     0  8.6G   0% /afs
cvmfs2                 20G  3.5G   17G  18% /cvmfs/atlas.cern.ch
cvmfs2                 20G  3.5G   17G  18% /cvmfs/atlas-condb.cern.ch
cvmfs2                 20G  3.5G   17G  18% /cvmfs/sft.cern.ch
cvmfs2                 20G  3.5G   17G  18% /cvmfs/atlas-nightlies.cern.ch

トップ   編集 凍結解除 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-01-28 (火) 17:31:57 (310d)