MPI ALELEON Supercomputer
Halaman ini menjelaskan teknis menjalankan program MPI di ALELEON Supercomputer.
Open MPI UCX ALELEON Supercomputer
ALELEON Supercompter menggunakan Open MPI yang telah dioptimasi untuk arsitektur AMD Zen2. Berikut adalah sintak standar menjalankan program MPI di ALELEON Supercomputer melalui SLURM:
mpirun -np $SLURM_NTASKS --mca pml ucx --mca osc ucx <program-MPI>
Keterangan:
- Variabel $SLURM_NTASKS menangkap jumlah ntasks (CPU) pada SLURM Submit Script sehingga user tidak perlu memasukkan jumlah proses MPI secara manual.
- Flag --mca pml ucx --mca osc ucx menjalankan Open MPI pada jaringan RDMA melalui protokol UCX (Unified Communication-X) untuk menghasilkan performa terbaik.
Bagaimana SLURM ALELEON Membagi Core Fisik dan Thread
SLURM ALELEON Supercomputer menjalankan proses Open MPI untuk selalu mengisi penuh core thread per core fisik, contoh:
- 32 proses MPI dijalankan oleh 16 core fisik / 32 core thread CPU.
- 64 proses MPI dijalankan oleh 32 core fisik / 64 core thread CPU.
- dst ...
Pembagian ini didasarkan pada pengelompokan core CPU pada grup CCX dan CCD AMD Zen2 supaya memastikan penyebaran proses MPI selalu berdekatan antar grup CCX / CCD (tightly coupled) dan menghasilkan performa terbaik. Semua software komputasi ALELEON Supercomputer telah dioptimasi untuk berjalan dengan skema ini.
Kelipatan 2 atau 4 untuk Jumlah ntasks (Alokasi CPU)
Berdasarkan jumlah core dan grup pada gambar skema CPU diatas, kami menyarankan untuk memilih ntasks (alokasi CPU) dengan kelipatan 2 atau 4 untuk memastikan proses MPI mengisi grup CCX dan CCD yang berdekatan.
(Versi Mudah) Memilih Jumlah Alokasi Komputasi SLURM untuk Job MPI
Bagian ini menjelaskan bagaimana karakteristik SLURM ALELEON Supercomputer secara otomatis menjalankan alokasi komputasi core CPU, memori RAM, dan GPU untuk job MPI .
Menjalankan job MPI satu node dan multi-node secara otomatis
SLURM ALELEON secara otomatis dapat menjalankan job MPI baik secara satu node atau multi-node berdasarkan jumlah ntasks dengan pembagian berikut:
| Jumlah ntasks | Jumlah node (nodes) yang dipilih SLURM secara otomatis | |
|---|---|---|
| epyc (CPU)
*jumlah node naik setiap kelipatan 128 |
ampere (GPU)
*maks 32 core | |
| 1 - 32 | 1 | 1 |
| 33 - 128 | 1 | X |
| 129 - 256 | 2 | X |
| 257 - 384 | 3 | X |
Sehingga secara mudahnya, user cukup mendefinisikan jumlah ntasks tanpa perlu mengatur jumlah nodes.
#SBATCH --ntasks=
#SBATCH --mem=
# dan parameter SBATCH lainnya ...
# alur jalannya program ...
mpirun -np $SLURM_NTASKS --mca pml ucx --mca osc ucx <program-MPI>
---
SBATCH mem = alokasi RAM per node
Parameter SBATCH mem mengalokasikan jumlah RAM per node baik pada job MPI satu node dan multi-node.
- Ambil contoh alokasi SBATCH berikut dimana menggunakan 2 node. SLURM akan memesan RAM 64GB per node sehingga total 128GB untuk 2 node.
#SBATCH --ntasks=192
#SBATCH --mem=64GB
# ntasks 192 menggunakan 2 node secara otomatis
# Dengan alokasi RAM 64GB per node sehingga total 128GB untuk 2 node
Job MPI mempunyai kapasitas mem maksimal:
- Compute Node CPU (epyc): 240GB (per node).
- Compute Node GPU (ampere): 120GB
---
Menjalankan Job Hybrid MPI / OpenMP
coming soon
(Versi Advanced) Memilih Jumlah Alokasi Komputasi SLURM untuk Job MPI
coming soon
Menjalankan MPI pada Core Fisik
Akan tetapi, apabila user tetap ingin menjalankan program MPI sepenuhnya pada core fisik (contoh ketika mengetahui bahwa file input nya berjalan optimal di core fisik) maka harus mengalokasikan jumlah SBATCH ntasks 2 kali lipat dari proses MPI yang mau dijalankan. Contoh:
#SBATCH --ntasks=64 mpirun -np 32 --mca pml ucx --mca osc ucx //// # Peringatan: sistem akan tetap menghitung 64 core thread sebagai penghitungan CPU Core Hour!
