主页

在Slurm中以Master和Worker模式运行自定义程序

超算集群采用的Slurm集群资源管理器默认是为MPI应用设计,但当需要以Master-Worker主从模式运行自定义的分布式计算程序时,需要利用一些技巧进行处理。本文提供了两个适用于主从模式的通用Slurm作业脚本,可以分别启动自定义的主节点程序与从节点程序。 该脚本由两个子脚本slurm-job-script.sh以及driver-script.py组成,其中slurm-job-script.sh是一个bash脚本,用于让Slurm管理器启动作业,driver-script.py是一个Python脚本,用于具体的启动分布式计算作业。 使用方法 将slurm-job-script.sh和driver-script.py两个脚本文件放到同一个目录下。 slurm-job-scri...

阅读更多

本科毕业设计/大学生创新训练计划技术指导

在进行本科毕业设计、大学生创新训练计划时,需要提前学习和掌握部分课堂中不会教、但对于后续研究工作开展非常必要的技术知识。目前包括Linux编程环境配置、C/C++语言系列、Java语言系列、分布式计算、图计算、大数据技术等。

阅读更多

英文论文翻译指导

在将一篇英文论文翻译成中文时,需要注意专业术语的使用、规范的书面语写作,以及格式与排版问题。同时给出翻译过程中常见问题的对策。

阅读更多

在超算(HPC)集群中运行Spark作业

高性能计算(HPC)中经常需要使用到超算集群。超算集群多采用Slurm作为集群资源管理器,对用户提交的计算作业(job)统筹分配计算节点并在远程节点上启动计算进程。 但Spark官方仅支持Standalone、YARN、Mesos、K8s等部署方式,其不适应HPC集群中基于Slurm的以作业为单位的管理方式。 为了在HPC环境下利用大数据软件栈,劳伦斯利物浦国家实验室(LLNL)开发的Magpie项目提供了在HPC环境下通过Slurm、Moab等集群管理器运行大数据系统的脚本。 Magpie项目的官方文档精确而简洁,适合对HPC环境很了解的专业用户阅读与使用,但对于初学者上手有难度。 本教程的目标是面向初学者介绍如何利用Magpie项目在HPC环境中启动和运行Spark作业。

阅读更多

发明专利申请交底书撰写指导

发明专利申请的交底书用于对拟申请专利的技术方法进行描述,便于专利代理将其转换成可以提交的专利申请书。专利申请交底书不同于论文,有其特定的写作风格与结构。

阅读更多

Summary of Query Graphs in Subgraph Matching Research

This blog summarizes the query graphs that are frequently used in isomorphism-based subgraph matching algorithm/system research. The surveyed literature is listed in the “Reference” section. Problem Definition of Isomorphism-based Subgraph Matching Given a single large data graph $D$ and a small query graph $q$, the target of subgraph isomorph...

阅读更多

Summary of Graph Datasets in Subgraph Matching Research

This blog summarizes the data graphs that are frequently used in isomorphism-based subgraph matching algorithm/system research. The surveyed literature is listed in the “Reference” section. Problem Definition of Isomorphism-based Subgraph Matching Given a single large data graph $D$ and a small query graph $q$, the target of subgraph isomorphi...

阅读更多