Komputasi dengan Container Apptainer

Halaman ini menjelaskan langkah menjalankan komputasi di ALELEON Supercomputer dengan image container melalui platform [Apptainer]. ALELEON Supercomputer dapat menyediakan dan menjalankan image container untuk komputasi berbagai bidang.

Langkah Menjalankan Komputasi

Terdapat 2 langkah utama:

1. Memilih image container yang digunakan.
2. Melengkapi (apabila dibutuhkan) dan menjalankan image container sesuai ketentuannya.

Pilihan Image Container

Tersedia pilihan image berikut yang dapat dipilih sesuai preferensi user:

(klik expand / kembangkan)

Image Siap Pakai

Image siap pakai yang dapat diakses global oleh semua user. Permohonan menyediakan image hubungi support@efisonlt.com.

Daftar Image Siap Pakai ALELEON Supercomputer
Gunakan info ini untuk menjalankan image container.
Nama Image	Support Hardware & Platform
	CPU	GPU	OMP	MPI	Python	Jupyter
PyTorch - NVIDIA NGC release 23.08 direktori dan nama $NVCONT/NGC_PyTorch_r23.08.sif Info detail [PyTorch r23.08 docs]	V	V	V	V	V	V
PyTorch - NVIDIA NGC release 24.04 direktori dan nama $NVCONT/NGC_PyTorch_r24.04.sif Info detail [PyTorch r24.04 docs]	V	V	V	V	V	V
TensorFlow - NVIDIA NGC release 24.04 direktori dan nama $NVCONT/NGC_TensorFlow_r24.04.sif Info detail [TensorFlow r24.04 docs]	V	V	V	V	V	V
AnteChamber PYthon Parser interfacE (ACPYPE) 2023.10.27 direktori dan nama $SCONT/acpype-2023.10.27.sif Info detail [Official ACYPE doc]	V	X	X	X	V	X
---

User Melakukan Pull Image

User dapat melakukan pull image dari container registry apapun dengan langkah:

Langkah Pull Image Container dengan Apptainer
Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Aktifkan modul Apptainer: $ ml apptainer
2
Lakukan pull dengan format: Platform Perintah Docker $ apptainer pull docker://[image-pull-tag] Shub $ apptainer pull shub://[image-pull-tag] OCI compatible $ apptainer pull oras://[image-pull-tag] Contoh pull image [PyTorch 25.01-py3 dari NVIDIA NGC Catalog]: $ apptainer pull docker://nvcr.io/nvidia/pytorch:25.01-py3
3
ALELEON membutuhkan nama dan direktori file image untuk menjalankan image. Mohon user memperhatikan hal tersebut.
---

Note:

• User menaruh image di HOME dimana mengkonsumsi storage.
• Idealnya user mengetahui langkah menggunakan container tersebut.
• Dapat berdiskusi dengan tim admin terkait pilihan menjalankan komputasi.

Melengkapi atau Modifikasi Image (Apabila Butuh)

Dalam ranah tertentu, user dapat melengkapi atau memodifikasi image apabila dibutuhkan dengan menambah instalasi package di dalamnya.

• Package terinstal dan terisolasi di direktori HOME user.

Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Aktifkan modul Apptainer: $ ml apptainer
2
Pilih skenario yang sesuai dengan image yang akan dimodifikasi: (klik expand / kembangkan) Image basis Python - menambah package dengan pip 1 Jalankan image container dengan perintah: $ apptainer run [direktori-dan-nama-image].sif Apabila butuh GPU NVIDIA saat instalasi package, tambahkan flag --nv: $ apptainer run --nv [direktori-dan-nama-image].sif 2 Lakukan instalasi library dengan pip > python -m pip install [nama-package] Apabila membutuhkan update pip, jalankan: > python -m pip install --upgrade pip 3 Untuk keluar dari container, jalankan: > exit
---

Limitasi Menjalankan Image Container

Terdapat beberapa limitasi yang perlu menjadi pertimbangan user:

1. Image container tidak dapat mengakses modul software ALELEON Supercomputer karena berada di "ruang kerja" yang berbeda.
2. User yang menyediakan image sendiri harus memastikan bahwa isi image dapat menjalankan komputasi user.

Pilihan Menjalankan Komputasi

User dapat menjalankan Apptainer dengan pilihan berikut. Sesuaikan dengan peruntukan image.

(klik expand / kembangkan)

Berjalan di Login Node

Opsi ini hanya untuk container dengan tujuan pre-processing ringan karena login node mempunyai spesifikasi terbatas dan tidak ditujukan untuk menjalankan komputasi.

• Opsi ini tidak menggunakan kredit Core Hour.

Langkah Menjalankan Apptainer di Login Node
Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Aktifkan modul Apptainer: $ ml apptainer
2
Jalankan image container dengan perintah: $ apptainer run [direktori-dan-nama-image].sif
3
Untuk keluar dari container, jalankan: > exit
---

Sesi Jupyter

Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].

• Perhatikan image container harus mempunyai package Jupyter di dalamnya.

Langkah Sesi Jupyter dengan Apptainer
1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: Choose Jupyter version Pilih sesuai preferensi user, Jupyter Lab atau Notebook Partition Pilih sesuai kebutuhan: torti -> interactive node CPU tilla -> interactive node GPU Number of CPU thread(s) Alokasi core CPU, range 2 - 32 untuk torti dan tilla. Amount of memory/RAM (GB) Alokasi RAM dalam satuan GB, range 1 - 64 untuk torti dan tilla. Number of GPUs Jumlah GPU, isi angka 1 apabila pakai tilla Number of hours Waktu maksimal sesi Jupyter, range 1 - 72 untuk torti dan tilla. Form CPU, RAM, GPU, dan hours mempunyai limit berdasarkan: Sisa Core Hour user dan Fair Usage Limit. Spesifikasi sistem dan software komputasi. Langkah melihat limit: Buka menu Clusters > Aleleon Shell Access Jalankan perintah: $ slimit-python Choose how to launch Jupyter Pilih sesuai keinginan: Container -> menggunakan image siap pakai dari ALELEON. Custom container -> menggunakan image yang dipull / buat user. Diikuti dengan pilih image atau menyediakan direktori & nama image user. Software Modules Kosongkan karena image container tidak dapat mengakses modul software. Environment setup Memuat environment variable, isi apabila ada. Additional Jupyter arguments Memuat argumen tambahan Jupyter, isi apabila ada. Email address Notifikasi email untuk status mulai dan selesainya Jupyter. Isi apabila berkenan.
5
Klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter siap diakses.
6
Apabila status Running, klik tombol Connect to Jupyter. Sistem mulai menghitung Core Hour! Untuk menghentikan sesi yang sedang running, klik tombol Cancel
7
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
8
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: Menu My Interactive Sessions pada homepage EFIRO. Kolom Active interactive sessions pada homepage EFIRO.
---

Batch Job

Menjalankan container siap jalan melalui manajemen Slurm di [compute node] kemudian user menunggu hingga selesai. Catatan:

• Untuk komputasi Python: opsi ini hanya dapat menjalankan file Python (.py) siap jalan tanpa interaksi user.
• Perhatikan ada kemungkinan tidak semua image container dapat berjalan dengan opsi ini.

Langkah Batch Job Apptainer di Terminal
Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Siapkan image container dan file komputasi yang dibutuhkan. User dapat upload / download file dengan software FTP. User web EFIRO juga dapat gunakan app Home Directory
2A
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi. Nama file bebas dengan format .sh, contoh submit.sh
Contoh template Submit Script Ikuti petunjuk NOTES dan alur script di dalamnya. Klik expand / kembangkan Template submit script Apptainer versi CPU
Template submit script Apptainer versi GPU
Info script lebih detail lihat Submit Script ALELEON Supercomputer. Untuk SBATCH notifikasi email status jalannya job lihat Slurm Jojo.
2B
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan: Sisa Core Hour user dan Fair Usage Limit. Spesifikasi sistem dan software komputasi. Untuk melihat limit, jalankan perintah: $ slimit-python
3
Jalankan job komputasi dengan perintah: $ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh
4
User dapat melihat status jalannya job dengan perintah: $ squeue -ul $USER Kolom ST atau STATE menunjukkan status jalannya job. STATE Penjelasan R (RUN) Job berjalan PD (PENDING) Job tertahan, lihat NODELIST(REASON) CG (COMPLETING) Job selesai dan dalam proses clean-up CA (CANCELED) Job dibatalkan user PR (PREEMPETED) Job dibatalkan admin, alasan dikabarkan via email S (SUSPENDED) Job ditahan admin, alasan dikabarkan via email
Apabila user ingin menghentikan job yang berjalan, jalankan perintah: $ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231
---

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com