A12 通过job-ID快速进入计算目录

发表于 更新于 分类于 阅读次数： Disqus：

通过job-ID快速进入计算目录，可以有效地避免狂输cd命令，提高我们的计算效率。本节我们通过在国科智算超算中心的演示，介绍一个Slurm任务管理系统，保存任务ID，计算目录，并快速根据ID进入计算目录的方法。

核心思想：

有很多种方法可以实现：通过Job-ID进入计算目录的办法。这里只介绍本节的思路。

  • 通过squeue 命令获取用户所有的任务的ID；
  • 通过scontrol 命令获取所有ID对应的计算目录
  • 将计算ID，以及对应的目录保存到一个txt文件中。
  • 通过在~/.bashrc中使用scource命令，激活bash脚本中进入目录的操作。

之所以将计算目录保存到txt文件中，是因为如果计算已经完成的话，则不可以通过scontrol命令来获取目录，这时候，我们就可以在txt文件中查找相应的信息。

准备流程

按照流程操作，每一步都很重要，漏掉的话，可能会导致功能无法实现。

1 下载脚本：

将ent.sh 和job_check.py复制到~/bin 目录下，赋予可执行权限。

1
2
gkzshpc101@login02:~/bin$ chmod  u+x ent.sh
gkzshpc101@login02:~/bin$ chmod  u+x job_check.py

2 在bin目录下创建一个：job-check的目录，以及在该目录中创建一个空的job_list.txt文件，用来存储我们的任务信息。

1
gkzshpc101@login02:~/bin$ mkdir job_check && touch job_check/job_list.txt

3 修改job_check.py脚本中

1）13行中的账户信息，gkzshpc101改成你自己的账户

2） 32行中的那个目录信息，改成下面目录输出的。

1
2
3
gkzshpc101@login02:~/bin$ cd job_check 
gkzshpc101@login02:~/bin/job_check$ pwd
/public1/home/gkzshpc101/bin/job_check
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#!/usr/bin/env python
'''
This script is used to
1) record the job_ID and directories
2) print the job path from the job_ID
'''
from subprocess import Popen, PIPE
import numpy as np
import sys

def get_id():
    list_j = [] # list for the job_ID
    process = Popen(['squeue', '-lu',  'gkzshpc101'], stdout=PIPE, stderr=PIPE)
    stdout, stderr = process.communicate()
    list_out =  stdout.split('\n')[2:]
    for i in range(0, len(list_out)-1):
        list_j.append(list_out[i].split()[0])
    return list_j

def get_dir(job_id):
    job_dir = None
    command = 'scontrol show job ' + job_id
    process1 = Popen(command, shell = True,  stdout=PIPE, stderr=PIPE)
    stdout1, stderr1 = process1.communicate()
    for i in stdout1.split('\n'):
        if 'WorkDir' in i:
            #job_dir.append(i.split('=')[1])
            job_dir = i.split('=')[1]
    return job_dir

id_dict = {}
with  open('/public1/home/gkzshpc101/bin/job_check/job_list.txt', 'a+') as file_in:
    lines = file_in.readlines()
    for line in lines:
        key = line.split(':')[0]
        value = line.split(':')[1]
        id_dict[key] = value

    list_j = get_id()

    for i in list_j:
        if i not in id_dict.keys():
            id_dict[i] = get_dir(i)
            file_in.write(i + ':' + get_dir(i) + '\n')

job_id = sys.argv[1]

for i in id_dict.keys():
    if job_id in i:
        print(id_dict.get(i).strip())

1
2
3
4
#!/usr/bin/env bash
pwd_work=$(job_check.py $1)
echo $pwd_work
cd $pwd_work

4 修改~/.bashrc文件，添加下面这一行：

1
alias ent='source ~/bin/ent.sh '

source 一下~/.bashrc文件： . ~/.bashrc

运行实例：

1
2
3
4
5
6
7
8
9
10
11
12
13
gkzshpc101@login02:~/test_ncore/test1/14$ ls
INCAR  KPOINTS POSCAR  POTCAR vasp.sh
gkzshpc101@login02:~/test_ncore/test1/14$ sbatch  vasp.sh
Submitted batch job 14999
gkzshpc101@login02:~/test_ncore/test1/14$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
             14999 operation     vasp gkzshpc1  R       0:02      1 c0077
gkzshpc101@login02:~/test_ncore/test1/14$ cd 
gkzshpc101@login02:~$ ent 999
/public1/home/gkzshpc101/test_ncore/test1/14
gkzshpc101@login02:~/test_ncore/test1/14$ ls
CHG  CHGCAR  CONTCAR  DOSCAR  EIGENVAL  IBZKPT  INCAR  KPOINTS  OSZICAR  OUTCAR  PCDAT  POSCAR  POTCAR  REPORT  vasp.out  vasprun.xml  vasp.sh  WAVECAR  XDATCAR
gkzshpc101@login02:~/test_ncore/test1/14$