在Slurm中以Master和Worker模式运行自定义程序
超算集群采用的Slurm集群资源管理器默认是为MPI应用设计,但当需要以Master-Worker主从模式运行自定义的分布式计算程序时,需要利用一些技巧进行处理。本文提供了两个适用于主从模式的通用Slurm作业脚本,可以分别启动自定义的主节点程序与从节点程序。
该脚本由两个子脚本slurm-job-script.sh以及driver-script.py组成,其中slurm-job-script.sh是一个bash脚本,用于让Slurm管理器启动作业,driver-script.py是一个Python脚本,用于具体的启动分布式计算作业。
使用方法
将slurm-job-script.sh和driver-script.py两个脚本文件放到同一个目录下。
slurm-job-scri...
本科毕业设计/大学生创新训练计划技术指导
在进行本科毕业设计、大学生创新训练计划时,需要提前学习和掌握部分课堂中不会教、但对于后续研究工作开展非常必要的技术知识。目前包括Linux编程环境配置、C/C++语言系列、Java语言系列、分布式计算、图计算、大数据技术等。
在超算(HPC)集群中运行Spark作业
高性能计算(HPC)中经常需要使用到超算集群。超算集群多采用Slurm作为集群资源管理器,对用户提交的计算作业(job)统筹分配计算节点并在远程节点上启动计算进程。
但Spark官方仅支持Standalone、YARN、Mesos、K8s等部署方式,其不适应HPC集群中基于Slurm的以作业为单位的管理方式。
为了在HPC环境下利用大数据软件栈,劳伦斯利物浦国家实验室(LLNL)开发的Magpie项目提供了在HPC环境下通过Slurm、Moab等集群管理器运行大数据系统的脚本。
Magpie项目的官方文档精确而简洁,适合对HPC环境很了解的专业用户阅读与使用,但对于初学者上手有难度。
本教程的目标是面向初学者介绍如何利用Magpie项目在HPC环境中启动和运行Spark作业。
Summary of Query Graphs in Subgraph Matching Research
This blog summarizes the query graphs that are frequently used in isomorphism-based subgraph matching algorithm/system research. The surveyed literature is listed in the “Reference” section.
Problem Definition of Isomorphism-based Subgraph Matching
Given a single large data graph $D$ and a small query graph $q$, the target of subgraph isomorph...
Summary of Graph Datasets in Subgraph Matching Research
This blog summarizes the data graphs that are frequently used in isomorphism-based subgraph matching algorithm/system research. The surveyed literature is listed in the “Reference” section.
Problem Definition of Isomorphism-based Subgraph Matching
Given a single large data graph $D$ and a small query graph $q$, the target of subgraph isomorphi...
共计 21 篇文章,3 页。