3. 计算资源总览¶
本章用于帮助用户在开始提交作业前快速判断:应该登录哪个入口、使用哪类计算资源、申请哪个用户组,以及后续应该阅读哪一章的详细说明。
使用建议
登录节点用于登录、编辑文件、调试小程序、准备数据和提交作业。正式计算任务应提交到 HTCondor 或 Slurm 作业系统,不应直接在登录节点长时间运行。
3.1 如何选择计算资源¶
| 需求场景 | 推荐资源 | 说明 | 详细文档 |
|---|---|---|---|
| 登录集群、编辑脚本、查看结果 | 登录节点 | 只用于交互操作和作业提交 | SSH 登录 |
| 大量相互独立的单核/串行作业 | HTCondor | 适合高通量作业,如批量数据处理、参数扫描 | HTCondor 作业 |
| 多核并行、MPI、长时间或明确申请节点资源的作业 | Slurm CPU | 适合高性能计算和并行计算 | Slurm 作业 |
| GPU 计算、机器学习、GPU 加速模拟 | Slurm GPU | 需要显式申请 GPU 资源,按组和队列策略使用 | Slurm 作业 |
| 量子线路 GPU 模拟 | 量子计算 GPU 资源 | 需要加入 QC 用户组,使用量子计算软件环境 |
量子计算 |
| 实验专用流程或专用软件 | 实验对应资源 | 不同实验可能有专用目录、软件和提交规范 | 支持实验 |
| 校外或合作单位站点资源 | 分布式站点 | 适用于对应合作站点的作业提交和数据处理 | 分布式站点 |
3.2 登录节点¶
登录节点是用户进入计算环境的统一入口。用户通常在登录节点完成以下操作:
- 登录集群;
- 编辑和调试脚本;
- 查看文件和作业结果;
- 加载软件环境;
- 提交、查看和取消作业。
常用登录入口包括:
| 入口 | 主要用途 |
|---|---|
lxlogin.ihep.ac.cn |
主要公共登录入口 |
lhmtlogin.lhaaso.ihep.ac.cn |
LHAASO 相关登录入口 |
hlogin.ihep.ac.cn |
HXMT 相关登录入口 |
登录方式和客户端配置请参考 SSH 登录。
3.3 本地计算资源¶
HTCondor 集群¶
HTCondor 面向高通量计算,适合运行大量相互独立的串行作业。典型场景包括:
- 大批量数据处理;
- 多个输入文件的独立分析;
- 参数扫描;
- 单核或少量资源需求的作业。
HTCondor 作业通常通过 hep_sub、hep_q、hep_rm 等命令提交、查询和删除。详细说明见 HTCondor 作业。
Slurm CPU 集群¶
Slurm CPU 集群面向高性能计算,适合需要明确申请 CPU 核数、内存、运行时间、分区或队列的任务。典型场景包括:
- 多核并行计算;
- MPI 作业;
- 需要较长运行时间的计算任务;
- 需要按实验组资源策略运行的作业。
详细说明见 Slurm 作业。
Slurm GPU 集群¶
GPU 资源适合能够利用 GPU 加速的程序,例如深度学习、GPU 加速模拟、部分科学计算程序等。GPU 作业需要在脚本中显式申请 GPU,并使用对应的分区、账户和 QOS。
使用 GPU 前,建议先确认:
- 程序是否真正支持 GPU;
- 所属用户组是否有 GPU 资源授权;
- 需要的 CUDA、驱动、深度学习框架或实验软件是否已经加载;
- 输入输出目录是否适合计算节点读写。
详细说明见 Slurm 作业。
3.4 分布式站点资源¶
部分合作单位部署了分布式计算站点,用户可根据所属实验或合作项目使用相应站点资源。当前手册保留的分布式站点包括:
分布式站点通常有各自的登录入口、账户要求、作业提交方式和存储目录。使用前请先阅读对应站点说明。
3.5 账号、用户组与资源授权¶
计算资源通常按用户组或实验组授权。用户申请账号或申请加入辅组时,应根据实际需求选择所属应用或资源组。
常见流程:
- 申请统一认证账号和集群账号;
- 根据所属实验或应用申请对应用户组;
- 如需使用额外资源,申请加入辅组;
- 获得授权后,在对应集群或队列中提交作业。
账号申请和辅组申请见 用户账号申请。
3.6 与存储资源的关系¶
计算作业能否稳定运行,不只取决于 CPU 或 GPU,也取决于数据目录是否适合计算节点访问。
一般建议:
- 登录配置、小文件和重要个人配置放在 AFS;
- 作业临时文件和中间结果放在适合计算节点读写的工作目录或临时目录;
- 实验数据放在实验指定的数据目录;
- 长期归档数据使用磁带库等长期存储;
- 大量小文件建议先打包,减少对并行文件系统的压力。
详细说明见 存储与文件。
3.7 常用入口¶
| 任务 | 入口 |
|---|---|
| 申请账号 | 用户账号申请 |
| 登录集群 | SSH 登录 |
| 查看文件系统 | 存储与文件 |
| 提交 HTCondor 作业 | HTCondor 作业 |
| 提交 Slurm 作业 | Slurm 作业 |
| 使用量子计算资源 | 量子计算 |
| 查看实验专用说明 | 支持实验 |
| 常见问题 | FAQ |
常见问题(FAQ)¶
见常见问题。
有问题?输入后跳转到对话页继续交流