search

데이터 전송 및 데이터셋 요청

데이터 파일을 전송하는 방법과 CMS 데이터셋 전송을 요청하는 방법을 알려드립니다.

CMS Tier-3 컴퓨팅 환경에 대한 설명 중 gsiftp와 xroot 프로토콜에 관한 설명을 드렸습니다. 연구자 분들은 언제 어느때이건 본인에게 필요한 파일을 Tier-3로 전송할 수 있습니다.

hashtag
1. 데이터 전송

hashtag
데이터 파일의 위치를 정확히 알 때

데이터 파일의 위치를 정확하게 알고 있을 경우에는 데이터 전송을 매우 빠르고 쉽게 처리할 수 있습니다. 다음 명령어로 데이터를 전송할 수 있습니다.

xrdcp root://[source of data file]//[Path of source data file [Dest]

xrdcp root://eoscms.cern.ch//store/mc/SAM/GenericTTbar/AODSIM/CMSSW_9_2_6_91X_mcRun1_realistic_v2-v1/00000/CE860B10-5D76-E711-BCA8-FA163EAA761A.root .

## xrdcp는 -r (하위 디렉토리 포함) 기능이 지원됩니다.
xrdcp root://eoscms.cern.ch//store/mc/SAM/GenericTTbar/AODSIM/CMSSW_9_2_6_91X_mcRun1_realistic_v2-v1/00000 .
circle-exclamation

수신과 송신처는 local 디렉토리 혹은 XRootD 서버여야 합니다.

hashtag
데이터 파일의 위치를 알지 못할 때

데이터 파일의 위치를 알지 못할 때에는 데이터의 위치를 찾아서 전송을 하거나 데이터 파일의 위치와 상관 없이 CMS AAA(Any Data, Anytime, Anywhere) 기능을 이용하여 데이터를 전송할 수 있습니다.

hashtag
데이터 파일 찾기

데이터 파일의 위치를 찾기 위해서는 dasgoclient 혹은 DAS 홈페이지를 사용하시는 것이 가장 편리합니다.

T1_RU_JINR_Disk T1_US_FNAL_Buffer T1_US_FNAL_MSS T2_KR_KISTI T2_US_Purdue T2_US_Wisconsin T3_KR_KISTI

저장된 사이트의 이름을 확인하였으며 해당 사이트의 prefix를 확인합니다.

위 경우 xrootd 프로토콜은

root://xrootd.rcac.purdue.edu//store/$1arrow-up-right

인 것을 알 수 있습니다. 해당 prefix를 이용하여 파일을 전송해봅시다.

hashtag
데이터 자동 탐색 기능(CMS AAA) 사용하기

CMS AAA 기능을 사용하면 사이트의 탐색 없이 파일을 전송할 수 있습니다. 고정된 접두어(root://cmsxrootd.fnal.gov)를 사용하여 파일을 전송합니다.

circle-info

현재 CMS AAA는 가장 빠른 사이트를 검색하는 등의 추가적인 기능이 제공되지 않고 있습니다. 따라서, 국내에 있는 다른 사이트에서 파일을 전송하고 싶어도 유럽이나 미국에서 파일을 전송할 가능성이 있습니다. 전송 받을 파일이 많아지면 데이터를 직접 탐색하여 접두어를 넣어 파일을 전송하도록 합시다.

hashtag
2. 데이터셋 전송 요청

hashtag
(1) Rucio (For Public Dataset)

현재 rucio 명령어를 통해 데이터를 전송하려면 T3_KR_KISTI에 대한 공간 쿼터를 할당 받아야 합니다. 혹시 쿼터가 필요한 분들은 다음 정보를 포함하여 이메일로 요청envelope하시기 바랍니다.

  1. 요청하는 사용자의 "CERN Computing ID"

  2. 요청하는 쿼터 용량

  3. 쿼터 요청하는 사이트 (T2 또는 T3)

  • 다음 명령어로 rucio 명령어를 사용 가능하도록 설정합니다. (rucioenv 명령어로 대체 가)

  • 아래 명령어로 데이터셋 전송 요청을 진행합니다.

  • 아래 명령어로 데이터셋 전송 상태를 확인행합니다

  • 출력형식

    • [rucio ID as HexCode] [User] cms:[DataSet] [Status/ OK, REPL,STUCK] [Tier Center] [COPIES]

      • OK : 전송완료

      • REPL : 전송 중

      • STUCK : 전송 실패 혹은 전송 작업 승인 대기

20e8a18cb7e04a75b8d8106baf4ece01 geonmo cms:/gluinoGMSB_M3000_ctau10000p0_TuneCP2_13TeV_pythia8/RunIISummer16NanoAODv7-PUMoriond17_Nano02Apr2020_102X_mcRun2_asymptotic_v8-v1/NANOAODSIM OK[9/0/0] T3_KR_KISTI 1

  • 총 9개의 파일 중 9개 전송 완료 [OK:9, REPL: 0, STUCK:0]

hashtag
(2) xrdDownload.py (for User Dataset)

개인 사용자가 만들어서 publish한 dataset은 아직 rucio를 통해 전송이 불가능합니다. 이에 따라, 각 파일들을 쉽게 전송할 수 있는 스크립트를 제공하고 있습니다. 아래 절차대로 데이터 전송 작업을 진행하시기 바랍니다.

  • hep-toolsarrow-up-right Git 저장소로부터 dataset2filelist.sh와 xrdDownload.py 를 본인의 PATH 경로로 다운로드 받습니다.

  • dataset2filelist.sh 를 이용하여 다운로드 받으려는 데이터셋들의 개별 파일 목록을 작성합니다.

dataset2filelist.sh <from dataset list file> <to data list result file>

  • xrdDownload.py 스크립트에 해당 파일리스트를 이용하여 전송을 합니다.

-i <Data list file> : 데이터 파일 리스트를 지정합니다. 복사 과정 중에 이미 전송된 파일들의 경우 자동으로 빠지기 때문에 전체 리스트를 넣으면 됩니다.

-p <num of parallel> : 동시에 전송할 파일 개수를 지정합니다. 4개가 적당하며 6개 이상부터는 후반에 에러가 발생할 확률이 높습니다. 네트워크 상태에 따라 선택하면 됩니다.

circle-info

xrdDownload.py는 기존 파일의 크기를 이용하여 상태를 확인합니다. 따라서, 일부만 전송되었거나 전송되지 않은 파일들만 전송을 시도하기 때문에 도중에 작업을 취소한 후에 다시 시작할 수 있습니다.

hashtag
3. 전송 요청한 데이터셋 삭제 (쿼터 회복)

rucio 로 전송한 데이터셋은 rucio delete-rule 명령어로 삭제가 가능합니다. 단, 다른 사용자가 같은 데이터셋을 신청한 상태라면 데이터셋 자체는 삭제되지 않습니다. 하지만, 쿼터는 복구되므로 필요한 쿼터를 확보할 수 있습니다.

hashtag
4. rucio 사용량 및 쿼터 확인

rucio를 호라용하실 때 사용량 및 쿼터 용량 확인이 필요하신 경우가 있습니다. 아래와 같이 확인하시기 바랍니다.

hashtag
(1) 쿼터 확인

hashtag
(2) 사용량 확인

Previouscreate-batch를 이용한 배치 작업 수행Next스토리지 접근 방법

Last updated