12.12 HERD¶

12.12.1 概况¶

服务类型	资源量	说明
登录节点	lxlogin.ihep.ac.cn
计算资源	804 核（可共享使用空闲或远程资源）	HTCondor: HepJob
VNC等服务	herdtb01	使用容器
home目录	/afs/ihep.ac.cn/users/	500MB
工作目录	/herdfs/data, /herdfs/user	详见 12.12.3 存储目录

12.12.2 账号申请¶

申请计算集群账号

请参考 4.1 账号申请，得到 HERD 实验计算负责人同意后，用户可获得 AFS 账号。

12.12.3 存储目录¶

用户可用的存储目录分为两种，一种为计算集群提供的公共存储空间，另一种为 HERD 项目自有的存储空间。可用的公共存储空间包括 AFS 目录下的个人用户目录（限额 500M）等。

HERD 项目自有的存储空间有两部分：

存储路径	配额	特点	使用说明
/herdfs/data	不同项目需求动态控制	工作目录，大容量	用户目录在 USER 下建立，data 下不允许擅自建目录
/herdfs/user	—	用户目录	存放个人文件

12.12.4 作业管理¶

HERD 使用 HepJob 工具集进行作业管理。HepJob 是对 HTCondor 原生命令的封装，针对高能所集群做了优化，用户应当使用 HepJob 而非 HTCondor 原生命令。

环境设置¶

将 HepJob 命令目录加入 PATH：

export PATH=/cvmfs/common.ihep.ac.cn/software/hepjob/bin:$PATH

作业提交：`hep_sub`¶

hep_sub -g herd job.sh

常用参数：

参数	说明
`-g herd`	指定使用 HERD 组的计算资源
`-o <file>`	标准输出文件（默认 `作业名.out`）
`-e <file>`	标准错误文件（默认 `作业名.err`）
`-n <N>`	批量提交 N 个作业
`-mem <MB>`	申请内存大小（MB）
`-np <N>`	申请核数（MPI 作业用）
`-os <ver>`	指定操作系统版本（如 SL7）

注意

作业脚本（如 job.sh）必须具有可执行权限。使用 chmod +x job.sh 赋予权限。

作业查询：`hep_q`¶

# 查看当前用户所有作业
hep_q

# 查看指定用户的作业
hep_q -u <username>

# 查看指定作业号
hep_q -i 3745232.1

# 查看正在运行的作业
hep_q -run

输出字段说明：JOBID 作业号，OWNER 所属用户，SUBMITTED 提交时间，RUN_TIME 运行时长，ST 状态（I=idle, R=running），PRI 优先级，SIZE 虚拟内存占用，CMD 作业程序名。

作业删除：`hep_rm`¶

# 删除指定作业
hep_rm 3745232.1

# 删除整个作业簇
hep_rm 3745232

# 同时删除多个作业
hep_rm 3745232 3745233.0

# 删除当前用户所有作业
hep_rm -a

# 强制删除 X 状态作业
hep_rm -a -forcex

提示

所有 HepJob 命令均支持 -h 查看帮助，例如 hep_sub -h。

使用本地资源¶

提交作业到高能所本地集群（默认方式）：

hep_sub -g herd job.sh

不指定 -rmt 参数时，作业默认调度到高能所本地的 HTCondor 计算节点（herdws001-012，共 804 核）。

使用东莞资源¶

提交作业到东莞站点，使用 -rmt 参数指定远程站点：

hep_sub -g herd -rmt job.sh

查询命令和删除命令，同样在默认命令基础上，添加 -rmt 参数。

东莞站点提供额外的计算资源，适用于本地集群繁忙或需要更大规模计算的任务。

12.12.5 网格认证¶

HERD 使用 INDIGO IAM 进行网格认证管理，地址：https://herd-iam.ihep.ac.cn。

IAM 支持 OIDC/WLCG Token、SAML/eduGain、IHEP-SSO 以及 X.509 证书 + VOMS 代理多种认证方式。

注册 IAM 账号¶

访问 https://herd-iam.ihep.ac.cn
选择登录方式（推荐 IHEP-SSO 或 eduGain）
填写注册表单，提交后等待管理员审批
审批通过后即可登录 IAM 获取 Token 或 VOMS 代理

获取 Token / VOMS 代理¶

WLCG Token：IAM 默认支持 WLCG JWT Profile，可在 Web 界面直接生成
VOMS 代理：VOMS AA 服务地址 herd-iam.ihep.ac.cn:8443，VO 名 herd

12.12.6 网格数据管理¶

HERD 网格数据管理基于 Rucio 系统：https://herd-rucio.ihep.ac.cn。

Rucio 用于 HERD 实验数据集的注册、分发、复制和生命周期管理。目前面向生产用户开放。

环境初始化¶

source /cvmfs/herd.ihep.ac.cn/grid/env.sh

常用操作¶

# 列出可用 RSE（存储端点）
rucio list-rses

# 列出数据集
rucio list-dids --filter type=DATASET

# 下载数据
rucio download <dataset>

存储端点¶

HERD 网格存储端点由各合作站点提供，管理员联系 zhangxuantong@ihep.ac.cn 注册 SE 到 Rucio。

12.12.7 软件与环境¶

HERD 离线软件 HERDOS 已部署在 CVMFS 上，包含探测器模拟（Geant4）、数字化、重建、分析等完整工具链。

通过 CVMFS 使用¶

# CentOS 7 / AlmaLinux 9
source /cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/ExternalLibs/bashrc.sh

版本	环境命令
v00-10	`source /cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/setup.sh`
v00-06	`source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-06/setup.sh`
v00-05	`source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-05/setup.sh`

详细发布说明参见 /cvmfs/herd.ihep.ac.cn/HERDOS/README。

自行编译¶

git clone git@code.ihep.ac.cn:herdos/offline.git
cd offline
git checkout v00-10
./build_RelWithDebInfo.sh
source install/setup.sh

12.12.8 其他管理服务¶

HERD 提供以下辅助管理服务，运行在 herdtb01 节点上，均以容器方式部署：

服务	说明
VNC	远程图形桌面，用于 ROOT/Geant4 可视化等

注意

如想新增更多服务，请联系 HERD 计算管理员。

12.12.9 服务支持¶

HERD 计算管理员：

管理员	邮箱
姜晓巍	jiangxw@ihep.ac.cn
张玄同	zhangxuantong@ihep.ac.cn

常见问题（FAQ）¶

见常见问题。

🤖 AI 助手