Komputasi Python dengan Container Apptainer: Perbedaan antara revisi

Dari ALELEON by EFISON
k (WilsonLisan memindahkan halaman ATEST3 ke Komputasi Python dengan Container Apptainer tanpa membuat pengalihan: versi final penjelasan baru apptainer Python)
(menambah bagian support dan kembali ke halaman utama)
Baris 2: Baris 2:


Halaman ini menjelaskan komputasi Python dengan container Apptainer di ALELEON Supercomputer. Apptainer (dahulu Singularity) adalah container yang dirancang untuk sistem superkomputer / HPC.
Halaman ini menjelaskan komputasi Python dengan container Apptainer di ALELEON Supercomputer. Apptainer (dahulu Singularity) adalah container yang dirancang untuk sistem superkomputer / HPC.
{| class="wikitable"
!''Kembali ke halaman utama ->'' [[Komputasi Python]]
|}


== '''Langkah Menjalankan Komputasi dan Limitasi''' ==
== '''Langkah Menjalankan Komputasi dan Limitasi''' ==
Baris 212: Baris 215:
*Kolom '''<code>Active interactive sessions</code>''' pada homepage EFIRO.
*Kolom '''<code>Active interactive sessions</code>''' pada homepage EFIRO.
|}
|}
=='''Pelaporan Kendala dan Support'''==
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
[[Berkas:Wiki-pelaporankendala.jpg|1000x1000px|link=https://efisonlt.com/aleleonbugreport]]
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
'''support@efisonlt.com'''

Revisi per 15 Mei 2024 10.53

Python apptainer logo.png

Halaman ini menjelaskan komputasi Python dengan container Apptainer di ALELEON Supercomputer. Apptainer (dahulu Singularity) adalah container yang dirancang untuk sistem superkomputer / HPC.

Kembali ke halaman utama -> Komputasi Python

Langkah Menjalankan Komputasi dan Limitasi

Terdapat 3 langkah utama:

  1. Memilih atau menyiapkan image container yang digunakan.
  2. Melengkapi image container dengan Python package apabila dibutuhkan.
  3. Saat ini container hanya dapat dijalankan dengan app Jupyter New Pinnedapps jupyter.png pada interactive node.

Pilihan Image Container

ALELEON Supercomputer menyediakan tiga pilihan yaitu:

  • Image global siap pakai yang disediakan ALELEON Supercomputer
  • User melakukan pull image dari container registry
  • User membuat image sendiri

Image Global

Adalah image container yang disediakan oleh ALELEON Supercomputer dan siap pakai untuk sesi interaktif Jupyter:

Daftar Image Global yang tersedia
Nama Image Keterangan
pytorch_23.08-py3.sif Pytorch dari NVIDIA NGC Catalog
tensorflow2.13_jupyter_cuda.sif TensorFlow 2.13 custom dari admin ALELEON

Melakukan Pull Image

User dapat melakukan pull image dari container registry manapun.

Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user:

  • Diakses melalui login SSH, atau
  • Pada web EFIRO, buka app Aleleon Shell Access Pinnedapps terminal.png
Langkah Melakukan Pull Image dengan Apptainer
1
Muat modul Apptainer:

$ module load apptainer

2
Lakukan pull dengan rumus:

$ apptainer pull docker://[image-tag]

Contoh pull TensorFlow 24.01-tf2-py3 dari NVIDIA NGC Catalog:

$ apptainer pull docker://nvcr.io/nvidia/tensorflow:24.04-tf2-py3

Membuat Image Sendiri

User juga dapat membuat image sendiri melalui sandbox Apptainer di ALELEON Supercomputer.

  • Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user.
Langkah Membuat Image Container dengan Apptainer
1
Muat modul Apptainer:

$ module load apptainer

2
Buat sandbox dengan image sif:

$ apptainer build --sandbox [sandbox-dir] [image-name].sif

3
Jalankan sanbox dengan memperbolehkan modifikasi

$ apptainer run --fakeroot --writeable [sandbox-dir]

4
Lakukan modifikasi sesuai keinginan user
Apptainer> [command-untuk-modifikasi...]
Apptainer> exit
5
Bangun image baru dari sandbox tersebut:

$ apptainer build [image-name].sif [sandbox-dir]

Instalasi Package Python pada Image Container

User dapat menambah package Python pada image container dimana terinstal pada HOME user.

Kegiatan ini dilakukan pada terminal dan tidak mengurangi Core Hour user:

  • Diakses melalui login SSH, atau
  • Pada web EFIRO, buka app Aleleon Shell Access Pinnedapps terminal.png
Langkah Instalasi Package ke Image Container
1
Muat modul Apptainer:

$ module load apptainer

2
Muat image container dengan rumus:

$ apptainer run [alamat-direktori-dan-nama-image].sif

Apabila butuh GPU NVIDIA saat instalasi package, tambahkan flag --nv:

$ apptainer run --nv [alamat-direktori-dan-nama-image].sif

Apabila menggunakan image global yang disediakan, nama image menjadi:

/comp/containers/nvidia/[nama-image].sif

Contoh ->/comp/containers/nvidia/pytorch_23.08-py3.sif

3
Lakukan instalasi package dengan pip

$ pip install [nama-package]

Sesi Jupyter dengan Container

Langkah Interactive Job Sesi Jupyter dengan Container

Efirojupyterlab.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka app Jupyter New Pinnedapps jupyter.png di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
  • Choose Jupyter version
    • pilih sesuai preferensi user, Jupyter Lab atau Notebook
  • Partition -> pilih sesuai kebutuhan:
    • torti -> CPU saja
    • tilla -> CPU dan GPU
Alokasi komputasi torti tilla
Number of CPU core(s) 1 - 32
Amount of memory/RAM (GB) 1 - 64
Number of GPUs - 1
Number of hours 1 - 72
Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:
  • Alokasi CPU * hours > sisa CPU Core Hour
  • Alokasi GPU * hours > sisa GPU Hour

Cek sisa Core Hour dengan:

  1. Buka app Pinnedapps terminal.png di homepage EFIRO
  2. Jalankan perintah sausage
  • Choose how to launch Jupyter -> silahkan pilih:
    • Container -> menggunakan image siap pakai dari ALELEON
    • Custom container -> menggunakan image yang dipull / buat user
  • Choose Anaconda version
    • Pilih versi yang digunakan untuk membuat conda env user
  • Pilih image atau menyediakan direktori & nama image
  • Software modules -> kosongkan
  • Environment setup
    • Memuat environment variable, isi apabila ada
  • Additional Jupyter arguments
    • Memuat argument tambahan Jupyter, isi apabila ada
  • Email address
    • Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
    • Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter.
  • User akan diarahkan ke halaman My Interactive Sessions.
  • Tunggu hingga sesi Jupyter siap diakses.
Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter.
  • Sistem mulai menghitung Core Hour!
Sesi Jupyter siap diakses.
Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
  • Menu My Interactive Sessions pada homepage EFIRO.
  • Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com