Menggunakan ALELEON Supercomputer via Terminal
0 - Pendahuluan
Tutorial ini menjabarkan cara klasik menggunakan ALELEON Supercomputer via tampilan terminal.
Kompetensi User
User dapat penggunaan terminal Linux:
- Familiar dengan perintah dasar Linux seperti cd, ls, mkdir, cp, mv, rm, cat, less, wget, dan lainnya.
- Familiat dengan shell text editor sesuai referensi penggunaan masing-masing (contoh nano, vim, vi, emacs).
Persetujuan Prefix
Simbol $ menandakan perintah terminal, sedangkan tanda bracket <> menandakan parameter input yang ditulis oleh user:
$ command <input-yang-ditulis-user>
1 - Login SSH
SIlahkan gunakan software shell sesuai preferensi masing-masing user untuk login SSH (contoh: PuTTY, Windows Terminal / Powershell, MobaXTerm, Terminal Linux, Terminal MacOS, dll). User melakukan login SSH setelah terhubung dengan koneksi VPN EFISON dengan kredensial:
| Username dan password | Diberikan admin ALELEON |
| Host untuk user Windows / MacOS | aleleon.hpc
|
| Host untuk user Linux | 10.192.50.10
|
| Port | 22
|
| Kondisi user | Perintah SSH |
|---|---|
| SSH dari OS Windows / MacOS | $ ssh <username>@aleleon.hpc
|
| SSH dari OS Linux | $ ssh <username>@10.192.50.10
|
ALELEON Supercomputer juga mendukung SSH X11 untuk tampilan grafis. Berikut adalah panduan untuk melakukan SSH X11:
| Dari OS | Metode |
|---|---|
| Linux | $ ssh -X <username>@10.192.50.10
|
| Windows | EFISON merekomendasikan software MobaXTerm Home Edition |
| MacOS | $ ssh -Y <username>@aleleon.hpc
|
2A - Selamat Datang di Login Node
Setelah login, user masuk ke Login Node untuk berinteraksi dengan ALELEON Supercomputer. Pada Login Node, user dapat melakukan kegiatan manajemen data, download / upload, compiling, menyiapkan job komputasi, dan submit job komputasi (job submission) yang akan dijalankan oleh Compute Node.
|
Sementara itu Compute Node berperan untuk menjalankan job komputasi semua user yang disubmit melalui SLURM. Tutorial dijelaskan pada bagian 3.
2B - Mengakses Software di Login Node dengan Module Environment
Apabila user ingin mengakses software yang terinstal di ALELEON Supercomputer pada Login Node (untuk keperluan selain menjalankan komputasi), user dapat menggunakan Module Environment.
3 - Menjalankan Komputasi ke Compute Node via SLURM
User menjalankan job komputasi melalui SLURM, yaitu program manajemen untuk menjalankan komputasi user pada Compute Node sekaligus mengatur antrian antar job.
---
Menyiapkan File Input Komputasi
User dapat langsung menjalankan komputasi di direktori HOME masing-masing. User dapat melakukan upload file komputasi ke ALELEON Supercomputer melalui:
- Aplikasi FTP seperti FileZilla atau lainnya.
- Menggunakan EFIRO Files melalui menu
Files > Home Directory
---
Menggunakan SLURM
Berikut adalah perintah dasar esensial bagi user dalam menggunakan SLURM untuk job submission:
Menjalankan job komputasi
$ sbatch <SLURM-script>
|
Melihat status antrian job
$ squeue
|
Membatalkan job SLURM yang sedang berjalan dengan nomor job ID.
$ scancel <job-ID>
|
5 - Contoh Menggunakan SLURM
Contoh user akan menjalankan program bernama 'skripsi'.
| 1 | User menyiapkan file untuk menjalankan program 'skripsi'. |
| 2 | User membuat SLURM script yang berisikan alokasi resources dan perintah untuk menjalankan program 'skripsi'.
$ ls skripsi slurm-skripsi |
| 3 | Jalankan SLURM submission script tersebut dengan perintah sbatch. Perhatikan user mendapatkan nomor ID dari job tersebut.
$ sbatch slurm-skripsi Submitted batch job 231 |
| 4 | User dapat melihat status jalannya job masing-masing dengan perintah squeue -u $USER. Keterangan dari kolom ST (STATUS) adalah R (RUNNING), menandakan program kerjaan-skripsi user sedang berjalan di Compute Node.
$ squeue -u $USER
Mon Mar 22 10:43:22 2021
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
231 epyc slurm-sc olala01 R 2:00 1 epyc001
|
Apabila user ingin membatalkan job komputasi yang tengah berjalan via SLURM, gunakan perintah scancel <job-ID>, contoh:
$ scancel 231 | |
| 5 | Job selesai bila sudah tidak terlihat di daftar squeue. Lihat apakah job menghasilkan output yang diinginkan atau tidak.
$ ls skripsi slurm-skripsi result-231.txt revisiii.txt |
6 - Memonitor Jalannya Job dengan squeue
User dapat memantau status jalannya job atau melihat antrian job dengan perintah squeue. Info esensial untuk user adalah bagian STATE dan NODELIST(REASON).
- STATE (ST) memberikan kondisi jalannya program user.
- NODELIST(REASON) memberikan detail verbose status jalannya program user.
| STATE | Kepanjangan | Penjelasan |
|---|---|---|
| R | RUN | Job berjalan |
| PD | PENDING | Job tertahan, lihat keterangan NODELIST |
| CG | COMPLETING | Job selesai dan dalam proses clean-up SLURM |
| CA | CANCELED | Job dibatalkan oleh user |
| PR | PREEMPETED | Job dibatalkan oleh sys-admin Aleleon, alasan akan dikabarkan melalui email |
| S | SUSPENDED | Job ditahan oleh sys-admin Aleleon |
Pada saat job berjalan (RUNNING) maka NODELIST akan menampilkan info nama node tempat job berjalan. Sementara itu NODELIST akan memberikan alasan verbose pada saat job tidak berjalan. Berikut adalah daftar NODELIST yang bisa terjadi di ALELEON Supercomputer:
| NODELIST | Penjelasan |
|---|---|
| Resources
Priority |
Job menunggu alokasi resources (CPU, RAM, GPU) yang dipesan oleh SLURM submission script user |
| AssocMaxWallDurationPerJobLimit | Job tidak dapat berjalan karena melewati batas walltime maksimum partisi |
| QOSMaxCpuPerUserLimit | Job melewati batas alokasi CPU user (lihat laman QOS User untuk penjelasan lebih lanjut). |
User dapat lapor ke admin EFISON apabila menjumpai NODELIST yang tidak terdapat pada daftar diatas ketika job user tidak berjalan.
