9.2.1 山东大学计算环境¶

9.2.1.1 登录节点¶

登录节点是用户使用计算平台的唯一接口。用户在登录节点编辑文件、调试程序、提交作业。用户使用账号和密码连接登录节点成功后，即可使用相应的计算资源。

注意

登录节点目前只能在学校网络或者登录学校 VPN 后访问。

序号	登录节点操作系统	域名	备注
1	CentOS Linux release 7.8 x86_64	login01.hepg.sdu.edu.cn	外网直接登录
2	CentOS Linux release 7.8 x86_64	login02.hepg.sdu.edu.cn	外网直接登录
3	CentOS Linux release 7.8 x86_64	login03.hepg.sdu.edu.cn	login01、login02 内网跳转

9.2.1.2 SSH 登录集群¶

本节分别介绍 Linux、Windows 和 macOS 环境下如何通过 SSH 登录集群。

Linux 下登录集群¶

Linux 下最方便的是通过终端直接 ssh 登录到集群。

ssh username@login01.hepg.sdu.edu.cn

macOS 下登录集群¶

macOS 下登录集群的方式参考 Linux 下的登录方式。

Windows 下登录集群¶

Windows 下没有原生的 SSH 客户端，需要安装第三方软件。Windows 10 中带有原生 SSH 客户端，可通过"添加功能"启用 OpenSSH。

SSH 客户端¶

Windows 下有很多 SSH 客户端软件，下面是一些比较常用的：

Putty - 老牌的 SSH 客户端，十分小巧。
MobaXterm - 带有 Xserver 和 SSH，支持标签页。
Solar Putty - 支持标签页的 Putty。
WinSCP - 非常好用的 SSH 客户端。
Bitvise SSH - SSH Client 免费。
Xshell - 商业软件，有免费的个人和教育版。
SSH Shell Client
WSL for Windows - Windows 10 的优选之一，可以完整使用 Linux 终端环境。

登录示例¶

下面以 Putty 为例，说明如何登录集群。

从官网下载安装包安装。
打开 Putty，在 Host Name 那里填上 user@hostname，端口 Port 一般为 22。填写好后可以点击下面的 Save 保存会话。如有保存会话，可以选中会话，点击 Load。如图所示。
若想使用密钥登录，在 Connection → SSH → Auth 里，填写自己的密钥路径，如图红框内所示。
登录集群。点击下方的 Open。首次连接会提示服务器指纹，选择是或否："是"将保存指纹，"否"则不保存。保存后登录同一台服务器将不再提示（如果提示，则表示服务器指纹发生了变化，可能是重装系统所致）。

图 9.2.1-1 忽略连接中可能的警告提示

若没有选择密钥登录，则会要求输入密码。

输入用户名密码登录服务器

密码修改¶

密码修改需要在登录节点上执行，会话过程如下：

ssh username@login03
username@login03's password: 
Last failed login: Fri Jun  6 15:35:30 CST 2025 from 10.200.4.16 on ssh:notty
There was 1 failed login attempt since the last successful login.
kpasswd
Password for username@SDUKRB5: 
Enter new password: 
Enter it again: 
Password changed.

数据拷贝迁移¶

如果需要从原有集群，或者远程服务器拷贝数据到当前目录，可以参考如下命令：

rsync -avz /sourcedir .

rsync 多种用法参考链接。

9.2.1.3 作业提交与管理¶

集群使用 HTCondor 作为作业调度系统，HTCondor 支持高通量计算（High Throughput Computing），具有快速吞吐计算任务的特点，适合当前计算环境。目前集群资源如下：

资源类型	资源数量	备注
CPU	约1000核
GPU	暂无

队列及时长信息如下：

组	组 quota	default quota	mid quota	long quota
bes3	384	350	20	10
sdu	644	600	30	14
belle	280

作业提交¶

提交作业前，准备一个 jdl 作业描述文件，jdl 文件里需要指明作业脚本路径、标准输出和标准错误文件，提交该 jdl 文件即可。例如：

已知作业脚本 job.sh（脚本内容为示例，以实际作业为准）：

#!/bin/bash


echo "This job is running on $(hostname)."


echo "We're doing a simple operation:"
result=$(expr 1 + 1)
echo " 1+1=$result"


echo "Job Done!"

注意

该脚本必须有可执行权限，设置脚本可执行权限：

chmod 755 job.sh

编写作业描述文件 job.jdl：

# do not change
universe = vanilla

# set the job script
executable = job.sh

# set output and error file name
output = job.sh.out.$(Cluster).$(Process)
error = job.sh.err.$(Cluster).$(Process)

# set the resource needs
# set the number of cpu core
#request_cpus = 2
# set the number of gpu card
#request_gpus = 2
# set the size of memory, unit is MB
#request_memory = 4000

# set experiment, group, walltime
+HepJob_Experiment = "SDU"
+HepJob_RealGroup = "sdu"
# if not use test or short walltime,
# keep it same with HepJob_RealGroup
+HepJob_VirtualGroup = "sdu"
# walltime need to select from 'default' or 'long'
+HepJob_Walltime = "default"
# combine the attributes above
accounting_group = SDU.sdu.default
#accounting_group = SDU.sdu.long

# select from AlmaLinux9 or CentOS7
+HepJob_RequestOS = "AlmaLinux9"

# do not change
+HepJob_SiteName = "sdu"

# 'True' means allow to propagate environments
getenv = True

# do not change
queue

其中，universe 属性没有特别需要，不必修改；executable 属性为作业脚本路径；output 属性为标准输出文件，error 属性为标准错误文件；最后一行以 queue 结尾，无特别需要，不必修改。

涉及到队列或排队时长的内容，需根据实际情况调整：

+HepJob_RealGroup = "bes3"
+HepJob_VirtualGroup = "bes3"
+HepJob_Walltime = "default"
accounting_group = BESIII.bes3.default

运行命令 condor_submit 提交作业：

condor_submit job.jdl

作业状态查询¶

查询指定用户作业，例如，查询用户 xiaoming 的作业：

condor_q xiaoming

查询指定 ID 作业，例如，查询 ID 为 1001 的作业：

condor_q 1001

如果作业状态为 'H'，表明作业被挂起，可使用如下命令查看挂起原因：

condor_q 1001 -hold

作业删除¶

删除指定用户作业，例如，删除用户 xiaoming 的作业：

condor_rm xiaoming

删除指定 ID 作业，例如，删除 ID 为 1001 的作业：

condor_rm 1001

HepJob 作业工具¶

使用 HepJob 工具提交作业，无需准备 job description 文件。

提交作业，需使用 -g 参数指定组：
```
hep_sub job.sh -g sdu
```
详细 hepjob 命令参考 9.1.1 HTCondor 作业。

其它¶

详细 HTCondor 使用说明，参考：HTCondor Users Manual。

更多示例参考：CondorSubmitFile 示例。

9.2.1.4 文件存储服务¶

用户文件存储¶

本集群使用 Lustre 作为文件存储管理系统。Lustre 是一个开源、可扩展的高性能面向对象的并行文件系统，被广泛应用于超级计算平台。在全球的超级计算机中有超过 70% 使用了 Lustre 文件系统。Lustre 由元数据服务器（MDS）、对象存储服务器（OSS）以及客户端组成。通过元数据服务器，Lustre 将所有对象存储服务器上存储设备组成统一的存储空间，提供给客户端挂载，完全兼容 POSIX 语义。Lustre 具有很强的可扩展性，能够轻松管理数十 PB 的存储空间，且具有极高的性能，聚合带宽能够达到每秒几十甚至上百 GB，因此其在高性能计算领域获得广泛应用。但是，由于 Lustre 元数据服务器的限制，在管理海量小文件时不具有优势，且不支持纠删码、副本等功能，因此 Lustre 文件系统被主要用于海量的实验数据存储。

当前 Lustre 文件系统的信息如表 9.2.1-1 所示：

目录	用途	访问入口（客户端）	空间大小	用户空间限额
/sdufs	实验数据、用户数据	所有节点	336TB
/sdufs2	实验数据、用户数据	所有节点	460TB
/belle2fs/home	用户数据	所有节点	650TB	每人5G
/belle2fs/bes3	bes3实验数据	所有节点	250TB	7TB
/belle2fs/belle2	belle2实验数据	所有节点	200TB	14TB
/belle2fs/sdu_hep	hep实验数据	所有节点	45TB	每人500G

表 9.2.1-1 Lustre 文件系统信息说明

用户查看目录使用配额¶

在特定目录下，对任意一个普通文件（非目录）执行命令 lsattr -p，查看该目录的 project id：
```
lsattr -p nohup.out
```
输出示例：
```
1097 -----------------P nohup.out
```
发现这个目录的 project id 是 1097。

执行命令 lfs quota -p 1097 /belle2fs，查看该目录的配额使用情况：

lfs quota -p 1097 -h /belle2fs

输出示例：

Disk quotas for prj 1097 (pid 1097):
    Filesystem    used   quota   limit   grace   files   quota   limit   grace
     /belle2fs  1.362T*    50G     50G       -  293249       0       0       -

CVMFS 软件文件存储¶

CernVM-FS 文件系统提供可伸缩、可靠和低维护的软件分发服务，帮助高能物理在用于运行数据处理应用程序的全球分布式计算基础设施上部署软件。CernVM-FS 实现为用户空间中的 POSIX 只读文件系统（FUSE 模块）。文件和目录驻留在标准 web 服务器上，并挂载在通用名称空间 /cvmfs 中，供用户作业读取软件，保证集群作业的正常运行。

CVMFS 系统当前拥有多个软件卷，为不同实验作业提供软件环境，具体卷信息如表 9.2.1-2 所示：

路径	用途
/cvmfs/bes3.ihep.ac.cn	提供bes3所需的软件库
/cvmfs/bes.ihep.ac.cn	提供bes所需的软件库
/cvmfs/cepc.ihep.ac.cn	提供cepc实验所需的数据分析软件
/cvmfs/dcomputing.ihep.ac.cn	提供分布式计算实验所需的数据分析软件
/cvmfs/gluex.ihep.ac.cn	提供gluex实验所需的数据数据分析软件
/cvmfs/heps_ap.ihep.ac.cn	提供HEPS实验所需的数据数据分析软件
/cvmfs/juno.ihep.ac.cn	提供juno实验所需的数据分析软件
/cvmfs/lhaaso.ihep.ac.cn	提供lhaaso实验所需的数据分析软件
/cvmfs/mlgpu.ihep.ac.cn	提供gpu机器学习相关软件
/cvmfs/container.ihep.ac.cn	提供容器运行环境

表 9.2.1-2 CVMFS 软件卷概况

9.2.1.5 站点监控服务¶

站点资源监控（SDU Resource Monitor）：链接
站点运行监控（SDU Operational Monitor）：链接

常见问题（FAQ）¶

见常见问题。

🤖 AI 助手