12.6 CMS¶

12.6.1 概况¶

资源类型	资源量	说明
登录节点	lxlogin.ihep.ac.cn	通用登录节点
HTCondor	T2: 1728 cores / T3: 836 cores	T2 与 ATLAS 共享 endpoint，HTCondor-CE v24
Slurm	1×A100 + V100 共享池 + RTX 5090 节点	cmsgpu 组，详见 9.1.2 Slurm 作业
home目录	/afs/ihep.ac.cn/users/	500MB，详见 8.2 AFS 文件存储
工作目录	T2 EOS: 1.7 PB / T3 publicfs: 849.1 TB	cceos.ihep.ac.cn，详见 8.3 Lustre 文件存储、8.4 EOS 文件存储

12.6.2 登录与认证¶

登录方式：

ssh lxlogin.ihep.ac.cn

网格认证：

2023 年起，CMS 逐步从 X.509 证书切换到 WLCG Token 认证。CERN CMS IAM 已上线：https://cms-auth.web.cern.ch
IHEP T2 的 HTTP/XRootD/HTCondor 均已支持 Token 认证。GSI（voms-proxy-init）已逐步淘汰。

12.6.3 Tier3 本地计算¶

CMS 本地计算资源 836 cores，由 HTCondor 统一管理，通过登录 lxlogin 使用。

HTCondor 作业提交：

condor_submit submit -group cms

T3 站点运行状况（2025 数据）：

完成作业数：~11,192,024（同比 -8.0%）
CPU 时：~3,788,453 小时（同比 +141.0%）

12.6.4 Tier3 本地存储¶

公共数据区域¶

/publicfs/cms

总容量 849.1 TB（Lustre 文件系统），当前使用率约 97%，接近满载。可用时间 >99%。

查看使用情况：

lfs quota -u <afs_username> /publicfs

公共软件区域¶

/afs/ihep.ac.cn/soft/CMS/
/cvmfs/cms.cern.ch/（由 CERN 维护）

个人数据存储区域¶

目录	空间配额	特点	备注
`/afs/ihep.ac.cn/users/<username>`	500MB	备份，登录和计算节点可读	存放个人配置、脚本
`/workfs/cms/<username>`	5GB / 5万文件	备份，登录可读写，计算节点只读	存放重要个人文件
`/scratchfs/cms/<username>`	500GB / 保留 2 周	登录和计算节点均可读写	存放临时文件

12.6.5 Tier2 网格计算¶

系统： HTCondor-CE + Batch HTCondor，HTCondor 已升级至 v24。

注意

旧文档中提到的 CreamCE 系统已于 2023 年全面下线，现统一使用 HTCondor-CE。

资源： 1728 cores（48.6k HS23），与 ATLAS 共享同一个 CE endpoint。

T2 站点运行状况（2025 数据）：

完成作业数：~2,933,904（同比 -46.3%，主要因 CMS 作业类型转为 analysis）
CPU 时：~3,139,908 小时（同比 +4.8%）
数据上传：158.0 TB（同比 -51.5%）
数据下载：779.7 TB（同比 -28.5%）

站点可用性/可靠性： 在 CMS 全球 49 个 T2 站点中排名第 15 位（2025.7-2026.7）。

修购项目（2023 年获批，2024 年 12 月完成）：

资源类型	升级前	升级后	倍数
T2 CPU	420 cores	1728 cores	3.8x
T2 存储	673.5 TB	1.7 PB	2.5x

12.6.6 Tier2 网格存储¶

系统： EOS 存储（shared instance 与 ATLAS、Belle2、Biomend、OPS 共用）。

注意

2023 年 5 月，T2 存储从 DPM 迁移至 EOS（dCache/SRM 已下线）。旧地址 ccsrm.ihep.ac.cn 已替换为 cceos.ihep.ac.cn。

资源： 1.7 PB 总量

中心管理数据（central managed）：~540 TB
用户数据区（user data）：~350 TB 上限，当前使用 ~216.3 TB（61.8%）

T2 存储 EOS 访问：

EOS XRootD 地址：root://cceos.ihep.ac.cn:1094/

EOS WebDAV 地址：https://cceos.ihep.ac.cn:9000/eos/ihep/cms/

常用命令：

# 网格工具访问（推荐）
gfal-ls root://cceos.ihep.ac.cn:1094//store/user/
gfal-ls https://cceos.ihep.ac.cn:9000/eos/ihep/cms/store/user/

# xrdfs 访问
xrdfs root://cceos.ihep.ac.cn:1094/ ls /store/

# davix-ls 访问
davix-ls https://cceos.ihep.ac.cn:9000/eos/ihep/cms/store/

# EOS 客户端访问（需先设置环境变量）
export EOS_MGM_URL=root://cceos.ihep.ac.cn:1094
eos ls /store/

用户空间配额策略（2026 年更新）：

条件	配额
用户空间使用 < 9 TB	无配额限制（默认）
使用超过 9 TB	次日早 08:00 自动施加 9 TB 配额
超配额	邮件通知，请及时清理
持续超配额 ~6 个月	按文件创建时间从旧到新清理

12.6.7 网格作业提交¶

CMSSW 环境设置¶

export VO_CMS_SW_DIR=/cvmfs/cms.cern.ch/
source $VO_CMS_SW_DIR/cmsset_default.sh

# 查看已安装的 CMSSW 版本号
scramv1 list -c CMSSW

# 首次使用，创建本地 CMSSW 目录
scramv1 project CMSSW CMSSW_X_Y_Z

# 初始化 runtime 环境
cd CMSSW_X_Y_Z/src/
eval `scramv1 runtime -sh`

CRAB 作业提交¶

source /cvmfs/cms.cern.ch/crab/crab.(c)sh

# 创建并提交作业
crab submit [-c <CRAB-configuration-file>]

# 查看作业状态
crab status [-d] <CRAB-project-directory>

# 取回作业 log 和结果
crab getlog [-d] <CRAB-project-directory>

T2/T3 双向数据访问（2025 新增）¶

T3 作业访问 T2 数据：在 hep_sub 中添加证书选项，使 T3 作业可通过 XRootD 协议访问 T2 EOS 存储。
```
hep_sub --in <your voms proxy> --cert <your job>
```
T2 作业访问 T3 数据：在 http://ccs.ihep.ac.cn/jeeplus/a 关联 CERN 个人证书后，T2 作业可通过 XRootD proxy 访问 T3 数据。

12.6.8 GPU 资源¶

CMS 优先 GPU¶

项目	说明
资源	1×NVIDIA A100 GPU，cmsgpu 组优先访问
管理	Slurm 共享池（含 V100 GPU），QOS: `cmsnormal`
适用场景	需要较高数值精度的科学计算/HPC 任务
申请	在 https://ink.ihep.ac.cn/dashed 申请 cmsgpu 组审批
提交	`#SBATCH --qos=cmsnormal`

IHEP-AI 共享 GPU 平台¶

项目	说明
资源	Slurm 集群：2×8-GPU RTX 5090 节点；Kubernetes 集群：1×8-GPU RTX 5090 节点
管理	hepai 组
适用场景	AI 训练、大模型工作负载（混合精度）
申请	申请 hepai 组审批
平台	https://ai.ihep.ac.cn

Slurm 使用文档：9.1.2 Slurm 作业

12.6.9 注意事项¶

/publicfs/cms 当前使用率约 97%，请及时清理不再需要的文件释放空间。
/workfs 在计算节点上为只读，运行的作业无法写入此目录，需指定作业输出到 /scratchfs。
单一目录下建议文件数不超过 1000 个，大量文件请创建子目录分类存放。
T2 EOS 用户存储超过 9 TB 将被自动限制，留意 CERN 邮箱的配额提醒邮件。
网格证书（X.509）正在被 WLCG Token 取代，新用户建议直接使用 Token 认证。
更多问题请联系站点协调人：zhangxuantong@ihep.ac.cn。

常见问题（FAQ）¶

见常见问题。

🤖 AI 助手