9.2.2 兰州大学计算环境¶

9.2.2.1 账户申请¶

兰州大学计算集群用户管理采用申请审核制，用户可通过该链接填写个人信息申请开通相关账户，账户有效期为一年。如遇到任何问题请联系管理员 lzuhep_exp_pub@outlook.com。

9.2.2.2 登录节点¶

兰州大学计算集群登录节点为用户使用计算平台的唯一接口。用户在登录节点编辑文件、调试程序、提交作业。目前登录节点支持用户使用账号密码或 SSH 密钥登录。

序号	登录节点操作系统	数量	域名
1	AlmaLinux 9.4 (64 bit)	1	lzulogin01.hep.lzu.edu.cn
2	AlmaLinux 9.4 (64 bit)	1	lzulogin02.hep.lzu.edu.cn
3	AlmaLinux 9.4 (64 bit)	1	lzulogin03.hep.lzu.edu.cn
4	AlmaLinux 9.4 (64 bit)	1	lzulogin04.hep.lzu.edu.cn

用户通过 username@lzulogin.hep.lzu.edu.cn 登录集群后，将自动分配到当前负载最低的登录节点。

9.2.2.3 密码修改¶

密码口令安全防范要求：

（1）不要使用弱口令。应使用 4 种以上类型字符（大小写字母、数字、特殊字符）、至少 10 位的口令。且不要包含用户名、个人信息、常见单词、简单字母序列、数字序列或键盘按键序列。

（2）不要在所外公共信息系统（比如微信、QQ、各类网站或 APP 等）使用和站点账户一样的口令。

（3）定期修改口令，至少每半年一次。

（4）不得将账号口令借给他人使用。

在登录节点上执行 kpasswd 命令以修改密码。

注意

若需重置密码，请联系管理员 lzuhep_wangyh@lzu.edu.cn。

9.2.2.4 作业提交与管理¶

兰州大学计算集群使用 HTCondor 作为作业调度系统，HTCondor 集群支持高通量计算（High Throughput Computing），具有快速吞吐计算任务的特点，适合高能物理计算环境。以下为作业交互基本使用方法，更详细的使用说明参考 9.1.1 HTCondor 作业。

加载服务器作业所需环境¶

为使用 HTCondor 作业调度系统，推荐用户将如下命令添加至个人 ~/.bashrc 中：

export PATH=/cvmfs/common.ihep.ac.cn/software/hepjob/bin/:$PATH      # 加载 hepjob 工具
export PATH=/cvmfs/container.ihep.ac.cn/bin:$PATH                    # 加载容器环境

注意

建议用户将需要长时间运行（1 小时以上）的程序以作业形式提交到计算队列。提交作业前，必须加载作业环境。

CPU 作业提交¶

hep_sub job.sh             # 默认提交方式（推荐）
hep_sub job.sh -os SL7     # 提交运行在 SL7 操作系统的作业
hep_sub job.sh -g lzuhep   # 指定作业提交的组信息

GPU 作业提交¶

hep_sub job.sh -gpu 1 -cpu 1   # 提交作业到 GPU 节点，并指定使用 1 张 GPU 卡、1 个 CPU 线程

注意

gpu01 节点加载有两张 NVIDIA RTX2080 Ti 显卡，仅供用户前台调试 GPU 作业使用。

作业状态查询¶

hep_q -u username          # 查询当前用户下的所有作业
hep_q -i 9527.0            # 查询作业号为 9527.0 的作业状态

作业删除¶

hep_rm 9527.0              # 删除 JobID 为 9527.0 的作业
hep_rm -a                  # 删除当前用户的全部作业
hep_rm 9527.0 -forcex      # 强制删除作业
hep_rm 9527                # 批量删除 9527.x 对应的作业

作业 hold 处理¶

hep_q -u username -hold    # 查询当前用户 hold 作业的原因
hep_release -a             # 释放用户当前 hold 作业重新进入作业队列

作业时长¶

作业时长限制默认为 100 小时，如预期超过 100 小时，须指定长作业队列。

hep_sub job.sh -wt long    # 指定提交长作业队列，限制 30 天

注意

如需要提交大量长作业到队列，请提前联系管理员进行调度，以防极端调度情况发生。

作业内存¶

作业内存限制默认是 3GB，可指定内存大小。

hep_sub job.sh -mem 3000    # 指定作业内存占用，3000 代表 3G

作业线程¶

CPU 作业默认为单线程。

hep_sub job.sh -cpu 1       # 指定线程数

注意

作业无法跨计算节点调度，故单个作业指定线程数不能超过该计算节点的线程总数。

利用全局变量获取作业信息¶

以下全局变量可加入作业脚本中，使其输出作业信息：

$_CONDOR_IHEP_JOB_ID         # 作业 ID
$_CONDOR_IHEP_REMOTE_HOST    # 作业运行节点
$CUDA_VISIBLE_DEVICES        # GPU 信息
$_CONDOR_AssignedGPUs        # GPU 信息

9.2.2.5 文件存储服务¶

用户文件存储¶

目录	用途	访问入口（客户端）	限额大小
/lzufs/home/USERNAME	用户 HOME 目录	所有节点	200G
/lzufs/user/USERNAME	用户个人数据	所有节点	21TB

CVMFS 软件文件存储¶

CernVM-FS 文件系统提供可伸缩、可靠和低维护的软件分发服务，帮助高能物理在用于运行数据处理应用程序的全球分布式计算基础设施上部署软件。CernVM-FS 实现为用户空间中的 POSIX 只读文件系统（FUSE 模块）。文件和目录驻留在标准 web 服务器上，并挂载在通用名称空间 /cvmfs 中，供用户作业读取软件，保证集群作业的正常运行。

CVMFS 系统当前拥有多个软件卷，为不同实验作业提供软件环境，具体卷信息如表 9.2.2-1 所示：

路径	用途
/cvmfs/bes3.ihep.ac.cn	提供bes3所需的软件库
/cvmfs/bes.ihep.ac.cn	提供bes所需的软件库
/cvmfs/cepc.ihep.ac.cn	提供cepc实验所需的数据分析软件
/cvmfs/dcomputing.ihep.ac.cn	提供分布式计算实验所需的数据分析软件
/cvmfs/gluex.ihep.ac.cn	提供gluex实验所需的数据数据分析软件
/cvmfs/heps_ap.ihep.ac.cn	提供HEPS实验所需的数据数据分析软件
/cvmfs/juno.ihep.ac.cn	提供juno实验所需的数据分析软件
/cvmfs/lhaaso.ihep.ac.cn	提供lhaaso实验所需的数据分析软件
/cvmfs/mlgpu.ihep.ac.cn	提供gpu机器学习相关软件
/cvmfs/lhcb.cern.ch	提供lhcb所需软件库

表 9.2.2-1 CVMFS 软件卷概况

常见问题（FAQ）¶

见常见问题。

🤖 AI 助手