Komputasi dengan Container Apptainer

Halaman ini menjelaskan bagaimana menggunakan container image untuk menjalankan komputasi di ALELEON Supercomputer dengan platform [Apptainer].

Laman ini merupakan bagian laman -> Komputasi Python

Fungsi Spesifik

ALELEON Supercomputer dapat menyediakan dan menjalankan image container untuk komputasi berbagai bidang. Pada umumnya, setiap image container menjalankan fungsi atau aplikasi spesifik.

Langkah Menjalankan Komputasi

Terdapat 2 langkah utama:

1. Memilih image container yang digunakan.
2. Melengkapi (apabila dibutuhkan) dan menjalankan image container sesuai ketentuannya.

Pilihan Image Container

ALELEON Supercomputer menyediakan tiga pilihan image sebagai berikut. SIlahkan pilih yang sesuai dengan kebutuhan user.

1. Image siap pakai.
2. User melakukan pull image sendiri.
3. User membuat atau modifikasi image dengan definition files Apptainer.

Opsi Image Siap Pakai

Image ini disediakan oleh admin EFISON. Permohonan menyediakan / pembuatan image dapat menghubungi admin di support@efisonlt.com.

Daftar Image Siap Pakai

Keterangan image	Support Hardware & Software					Opsi Menjalankan Komputasi
Nama dan direktori Image	CPU	GPU	OMP	MPI	Python
PyTorch NVIDIA NGC release 23.08
$NVCONT/NGC_PyTorch_r23.08.sif	V	V	V	V	V	Sesi interaktif Jupyter
Package PyTorch dengan akselerasi GPU NVIDIA. Detail image lihat [PyTorch r23.08 docs].
PyTorch NVIDIA NGC release 24.04
$NVCONT/NGC_PyTorch_r24.04.sif	V	V	V	V	V	Sesi interaktif Jupyter
Package PyTorch dengan akselerasi GPU NVIDIA. Detail image lihat [PyTorch r24.04 docs].
TensorFlow NVIDIA NGC 24.04
$NVCONT/NGC_TensorFlow_r24.04.sif	V	V	V	V	V	Sesi interaktif Jupyter
Package TensorFlow dengan akselerasi GPU NVIDIA. Detail image lihat [TensorFlow r24.04 docs].
AnteChamber PYthon Parser interfacE (ACPYPE) 2023.10.27
$SCONT/acpype-2023.10.27.sif	V	X	X	X	V	Pre-processing login node
Package Python untuk menggunakan Antechamber. Pranala lanjut lihat [Official ACYPE doc].

User Melakukan Pull Image

Langkah Melakukan Pull Image dengan Apptainer
1
Masuk ke terminal melalui Login SSH atau Login ke web EFIRO; Buka pinned apps Aleleon Shell Access Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer: $ module load apptainer
3
Lakukan pull dengan rumus: $ apptainer pull docker://[image-tag] Contoh pull imafe TensorFlow 24.01-tf2-py3 dari NVIDIA NGC Catalog: $ apptainer pull docker://nvcr.io/nvidia/tensorflow:24.04-tf2-py3

• User membuat image sendiri:

Langkah Membuat Image Container dengan Apptainer
1
Masuk ke terminal melalui Login SSH atau Login ke web EFIRO; Buka pinned apps Aleleon Shell Access Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer: $ module load apptainer
3
Buat sandbox dengan image sif: $ apptainer build --sandbox [sandbox-dir] [image-name].sif
4
Jalankan sanbox dengan memperbolehkan modifikasi $ apptainer run --fakeroot --writeable [sandbox-dir]
5
Lakukan modifikasi sesuai keinginan user Apptainer> [command-untuk-modifikasi...] Apptainer> exit
6
Bangun image baru dari sandbox tersebut: $ apptainer build [image-name].sif [sandbox-dir]

Instalasi Library Python pada Image Container

User dapat menambah library Python pada image container (apabila dibutuhkan) dimana terinstal pada HOME user.

• Disarankan melakukan instalasi library melalui langkah ini sebelum memulai sesi Jupyter karena tidak menghabiskan Core Hour.

Langkah Instalasi Package ke Image Container
1
Masuk ke terminal melalui Login SSH atau Login ke web EFIRO; Buka pinned apps Aleleon Shell Access Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer: $ module load apptainer
3
Muat image container dengan rumus: $ apptainer run [alamat-direktori-dan-nama-image].sif Apabila butuh GPU NVIDIA saat instalasi package, tambahkan flag --nv: $ apptainer run --nv [alamat-direktori-dan-nama-image].sif
Untuk image global dari ALELEON, direktori dan nama image adalah: /comp/containers/nvidia/[nama-image].sif Contoh:/comp/containers/nvidia/pytorch_23.08-py3.sif
4A
Lakukan instalasi library dengan pip $ python -m pip install [nama-package]
4B
Apabila membutuhkan update pip, jalankan: $ python -m pip install --upgrade pip Instalasi update ini dilakukan pada HOME user.

Sesi Jupyter dengan Container

Langkah Interactive Job Sesi Jupyter dengan Container
1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: Choose Jupyter version Pilih sesuai preferensi user, Jupyter Lab atau Notebook Partition -> pilih sesuai kebutuhan: torti -> CPU saja tilla -> CPU dan GPU Formulir alokasi komputasi Partition torti tilla Number of CPU core(s) 1 - 32 Amount of memory/RAM (GB) 1 - 64 Number of GPUs - 1 Number of hours 1 - 72 Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila: Alokasi CPU * hours > sisa CPU Core Hour Alokasi GPU * hours > sisa GPU Hour apabila memilih tilla. Cek sisa Core Hour dengan: Buka menu Clusters -> ALELEON Shell Access Jalankan perintah $ sausage Choose how to launch Jupyter -> silahkan pilih: Container -> menggunakan image siap pakai dari ALELEON Custom container -> menggunakan image yang dipull / buat user Pilih image atau menyediakan direktori & nama image user Software modules -> kosongkan Environment setup Memuat environment variable, isi apabila ada Additional Jupyter arguments Memuat argument tambahan Jupyter, isi apabila ada Email address Notifikasi email untuk status mulai dan selesainya sesi Jupyter. Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter siap diakses. Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter. Sistem mulai menghitung Core Hour! Sesi Jupyter siap diakses. Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: Menu My Interactive Sessions pada homepage EFIRO. Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com