Komputasi Python dengan Container Apptainer

Halaman ini menjelaskan komputasi Python dengan container Apptainer di ALELEON Supercomputer. Apptainer (dahulu Singularity) adalah container yang dirancang untuk sistem superkomputer / HPC.

Langkah Menjalankan Komputasi dan Limitasi

Terdapat 3 langkah utama:

1. Memilih atau menyiapkan image container yang digunakan.
2. Melengkapi image container dengan Python package apabila dibutuhkan.
3. Saat ini container hanya dapat dijalankan dengan app Jupyter pada interactive node.

Pilihan Image Container

ALELEON Supercomputer menyediakan tiga pilihan yaitu:

• Image global siap pakai yang disediakan ALELEON Supercomputer
• User melakukan pull image dari container registry
• User membuat image sendiri

Image Global

Adalah image container yang disediakan oleh ALELEON Supercomputer dan siap pakai untuk sesi interaktif Jupyter:

Daftar Image Global yang tersedia
Nama Image	Keterangan
pytorch_23.08-py3.sif	Pytorch dari NVIDIA NGC Catalog
tensorflow2.13_jupyter_cuda.sif	TensorFlow 2.13 custom dari admin ALELEON

Melakukan Pull Image

User dapat melakukan pull image dari container registry manapun.

Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user:

• Diakses melalui login SSH, atau
• Pada web EFIRO, buka app Aleleon Shell Access

Langkah Melakukan Pull Image dengan Apptainer
1
Muat modul Apptainer: $ module load apptainer
2
Lakukan pull dengan rumus: $ apptainer pull docker://[image-tag] Contoh pull TensorFlow 24.01-tf2-py3 dari NVIDIA NGC Catalog: $ apptainer pull docker://nvcr.io/nvidia/tensorflow:24.04-tf2-py3

Membuat Image Sendiri

User juga dapat membuat image sendiri melalui sandbox Apptainer di ALELEON Supercomputer.

• Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user.

Langkah Membuat Image Container dengan Apptainer
1
Muat modul Apptainer: $ module load apptainer
2
Buat sandbox dengan image sif: $ apptainer build --sandbox [sandbox-dir] [image-name].sif
3
Jalankan sanbox dengan memperbolehkan modifikasi $ apptainer run --fakeroot --writeable [sandbox-dir]
4
Lakukan modifikasi sesuai keinginan user Apptainer> [command-untuk-modifikasi...] Apptainer> exit
5
Bangun image baru dari sandbox tersebut: $ apptainer build [image-name].sif [sandbox-dir]

Instalasi Python Package pada Image Container

User dapat menambah Python package pada image container dimana terinstal pada HOME user.

Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user:

• Diakses melalui login SSH, atau
• Pada web EFIRO, buka app Aleleon Shell Access

Langkah Instalasi Package ke Image Container
1
Muat modul Apptainer: $ module load apptainer
2
Muat image container dengan rumus: $ apptainer run [alamat-direktori-dan-nama-image].sif Apabila butuh GPU NVIDIA saat instalasi package, tambahkan flag --nv: $ apptainer run --nv [alamat-direktori-dan-nama-image].sif
Apabila menggunakan image global yang disediakan, nama image menjadi: /comp/containers/nvidia/[nama-image].sif Contoh ->/comp/containers/nvidia/pytorch_23.08-py3.sif
3
Lakukan instalasi package dengan pip $ pip install [nama-package]

Sesi Jupyter dengan Container

Langkah Interactive Job Sesi Jupyter dengan Container
1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka app Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: Choose Jupyter version pilih sesuai preferensi user, Jupyter Lab atau Notebook Partition -> pilih sesuai kebutuhan: torti -> CPU saja tilla -> CPU dan GPU Alokasi komputasi torti tilla Number of CPU core(s) 1 - 32 Amount of memory/RAM (GB) 1 - 64 Number of GPUs - 1 Number of hours 1 - 72 Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila: Alokasi CPU * hours > sisa CPU Core Hour Alokasi GPU * hours > sisa GPU Hour Cek sisa Core Hour dengan: Buka app di homepage EFIRO Jalankan perintah sausage Choose how to launch Jupyter -> silahkan pilih: Container -> menggunakan image siap pakai dari ALELEON Custom container -> menggunakan image yang dipull / buat user Choose Anaconda version Pilih versi yang digunakan untuk membuat conda env user Pilih image atau menyediakan direktori & nama image Software modules -> kosongkan Environment setup Memuat environment variable, isi apabila ada Additional Jupyter arguments Memuat argument tambahan Jupyter, isi apabila ada Email address Notifikasi email untuk status mulai dan selesainya sesi Jupyter. Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter siap diakses. Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter. Sistem mulai menghitung Core Hour! Sesi Jupyter siap diakses. Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: Menu My Interactive Sessions pada homepage EFIRO. Kolom Active interactive sessions pada homepage EFIRO.