Komputasi dengan Container Apptainer: Perbedaan antara revisi

Dari ALELEON by EFISON
(pembaharuan format daftar image siap pakai)
Baris 1: Baris 1:
L[[Berkas:Python apptainer logo.png|nirbing|500x500px]]
[[Berkas:Python apptainer logo.png|nirbing|500x500px]]


Halaman ini menjelaskan komputasi Python dengan container Apptainer di ALELEON Supercomputer. Apptainer (dahulu Singularity) adalah container yang dirancang untuk sistem superkomputer / HPC.
Halaman ini menjelaskan bagaimana menggunakan '''container image untuk menjalankan komputasi''' di ALELEON Supercomputer dengan platform '''[[https://apptainer.org/ Apptainer]].'''
{| class="wikitable"
{| class="wikitable"
!''Laman ini merupakan bagian laman ->'' [[Komputasi Python]]
!''Laman ini merupakan bagian laman ->'' [[Komputasi Python]]
|}
|}


== '''Langkah Menjalankan Komputasi dan Limitasi''' ==
== '''Fungsi Spesifik''' ==
Terdapat 3 langkah utama:
ALELEON Supercomputer dapat menyediakan dan menjalankan image container untuk komputasi berbagai bidang. Pada umumnya, setiap image container menjalankan '''fungsi atau aplikasi spesifik'''.


# Memilih atau menyiapkan image container yang digunakan.
== '''Langkah Menjalankan Komputasi''' ==
# Melengkapi image container dengan instalasi library Python tambahan apabila dibutuhkan.
Terdapat 2 langkah utama:
# Saat ini container hanya dapat dijalankan dengan app '''Jupyter''' [[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]] pada interactive node.
 
# Memilih image container yang digunakan.
# Melengkapi (''apabila dibutuhkan'') dan menjalankan image container sesuai ketentuannya.


== '''Pilihan Image Container''' ==
== '''Pilihan Image Container''' ==
ALELEON Supercomputer menyediakan tiga pilihan image sebagai berikut. SIlahkan pilih yang sesuai dengan kebutuhan user.   
ALELEON Supercomputer menyediakan tiga pilihan image sebagai berikut. SIlahkan pilih yang sesuai dengan kebutuhan user.   


* '''Image siap pakai yang disediakan ALELEON Supercomputer:'''
# Image siap pakai.
# User melakukan pull image sendiri.
# User membuat atau modifikasi image dengan ''definition files'' Apptainer.
 
=== Opsi Image Siap Pakai ===
Image ini disediakan oleh admin EFISON. Permohonan menyediakan / pembuatan image dapat menghubungi admin di '''support@efisonlt.com'''.
{| class="wikitable"
{| class="wikitable"
|+Daftar Image Siap Pakai
|+Daftar Image Siap Pakai
|-
|-
!Nama Image
!Keterangan image
!Keterangan
! colspan="5" |Support Hardware & Software
! rowspan="2" |Opsi Menjalankan Komputasi
|-
!Nama dan direktori Image
!CPU
!GPU
!OMP
!MPI
!Python
|-
! colspan="7" |
|-
! colspan="7" |PyTorch NVIDIA NGC release 23.08
|-
!<code>$NVCONT/'''NGC_PyTorch_r23.08.sif'''</code>
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |
* Sesi interaktif Jupyter
|-
|''Package PyTorch dengan akselerasi GPU NVIDIA.''
* ''Detail image lihat '''[[https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel-23-08.html#rel-23-08 PyTorch r23.08 docs]].'''''
|-
! colspan="7" |PyTorch NVIDIA NGC release 24.04
|-
!<code>$NVCONT/'''NGC_PyTorch_r24.04.sif'''</code>
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |
* Sesi interaktif Jupyter
|-
|''Package PyTorch dengan akselerasi GPU NVIDIA.''
* ''Detail image lihat '''[[https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel-24-04.html#rel-24-04 PyTorch r24.04 docs]].'''''
|-
! colspan="7" |TensorFlow NVIDIA NGC 24.04
|-
!<code>$NVCONT/'''NGC_TensorFlow_r24.04.sif'''</code>
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |V
| rowspan="2" |
* Sesi interaktif Jupyter
|-
|-
|pytorch_23.08-py3.sif
|''Package TensorFlow dengan akselerasi GPU NVIDIA.''
| rowspan="2" |[https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch '''Pytorch dari NVIDIA NGC Catalog''']
* ''Detail image lihat '''[[https://docs.nvidia.com/deeplearning/frameworks/tensorflow-release-notes/rel-24-0.html#rel-24-0 TensorFlow r24.04 docs]].'''''
|-
|-
|pytorch_24.04-py3.sif
! colspan="7" |AnteChamber PYthon Parser interfacE (ACPYPE) 2023.10.27
|-
|-
|tensorflow_24.04-tf2-py3.sif
!<code>$SCONT/'''acpype-2023.10.27.sif'''</code>
|[https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorflow '''TensorFlow dari NVIDIA NGC Catalog''']
| rowspan="2" |V
| rowspan="2" |X
| rowspan="2" |X
| rowspan="2" |X
| rowspan="2" |V
| rowspan="2" |
* Pre-processing login node
|-
|-
|tensorflow2.13_jupyter_cuda.sif
|''Package Python untuk menggunakan Antechamber.''
|TensorFlow 2.13 custom dari admin ALELEON
* ''Pranala lanjut lihat '''[[https://alanwilter.github.io/acpype/ Official ACYPE doc]]'''.''
|}
|}


* '''User melakukan pull image dari container registry manapun:'''
=== User Melakukan Pull Image ===
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Langkah Melakukan Pull Image dengan Apptainer
!Langkah Melakukan Pull Image dengan Apptainer

Revisi per 31 Januari 2025 07.27

Berkas:Python apptainer logo.png

Halaman ini menjelaskan bagaimana menggunakan container image untuk menjalankan komputasi di ALELEON Supercomputer dengan platform [Apptainer].

Laman ini merupakan bagian laman -> Komputasi Python

Fungsi Spesifik

ALELEON Supercomputer dapat menyediakan dan menjalankan image container untuk komputasi berbagai bidang. Pada umumnya, setiap image container menjalankan fungsi atau aplikasi spesifik.

Langkah Menjalankan Komputasi

Terdapat 2 langkah utama:

  1. Memilih image container yang digunakan.
  2. Melengkapi (apabila dibutuhkan) dan menjalankan image container sesuai ketentuannya.

Pilihan Image Container

ALELEON Supercomputer menyediakan tiga pilihan image sebagai berikut. SIlahkan pilih yang sesuai dengan kebutuhan user.

  1. Image siap pakai.
  2. User melakukan pull image sendiri.
  3. User membuat atau modifikasi image dengan definition files Apptainer.

Opsi Image Siap Pakai

Image ini disediakan oleh admin EFISON. Permohonan menyediakan / pembuatan image dapat menghubungi admin di support@efisonlt.com.

Daftar Image Siap Pakai
Keterangan image Support Hardware & Software Opsi Menjalankan Komputasi
Nama dan direktori Image CPU GPU OMP MPI Python
PyTorch NVIDIA NGC release 23.08
$NVCONT/NGC_PyTorch_r23.08.sif V V V V V
  • Sesi interaktif Jupyter
Package PyTorch dengan akselerasi GPU NVIDIA.
PyTorch NVIDIA NGC release 24.04
$NVCONT/NGC_PyTorch_r24.04.sif V V V V V
  • Sesi interaktif Jupyter
Package PyTorch dengan akselerasi GPU NVIDIA.
TensorFlow NVIDIA NGC 24.04
$NVCONT/NGC_TensorFlow_r24.04.sif V V V V V
  • Sesi interaktif Jupyter
Package TensorFlow dengan akselerasi GPU NVIDIA.
AnteChamber PYthon Parser interfacE (ACPYPE) 2023.10.27
$SCONT/acpype-2023.10.27.sif V X X X V
  • Pre-processing login node
Package Python untuk menggunakan Antechamber.

User Melakukan Pull Image

Langkah Melakukan Pull Image dengan Apptainer
1
Masuk ke terminal melalui Login SSH atau
Pinnedapps terminal.png
Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer:

$ module load apptainer

3
Lakukan pull dengan rumus:

$ apptainer pull docker://[image-tag]

Contoh pull imafe TensorFlow 24.01-tf2-py3 dari NVIDIA NGC Catalog:

$ apptainer pull docker://nvcr.io/nvidia/tensorflow:24.04-tf2-py3

  • User membuat image sendiri:
Langkah Membuat Image Container dengan Apptainer
1
Masuk ke terminal melalui Login SSH atau
Pinnedapps terminal.png
Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer:

$ module load apptainer

3
Buat sandbox dengan image sif:

$ apptainer build --sandbox [sandbox-dir] [image-name].sif

4
Jalankan sanbox dengan memperbolehkan modifikasi

$ apptainer run --fakeroot --writeable [sandbox-dir]

5
Lakukan modifikasi sesuai keinginan user 
Apptainer> [command-untuk-modifikasi...]
Apptainer> exit
6
Bangun image baru dari sandbox tersebut:

$ apptainer build [image-name].sif [sandbox-dir]

Instalasi Library Python pada Image Container

User dapat menambah library Python pada image container (apabila dibutuhkan) dimana terinstal pada HOME user.

  • Disarankan melakukan instalasi library melalui langkah ini sebelum memulai sesi Jupyter karena tidak menghabiskan Core Hour.
Langkah Instalasi Package ke Image Container
1
Masuk ke terminal melalui Login SSH atau
Pinnedapps terminal.png
Kegiatan ini tidak mengurangi Core Hour user.
2
Muat modul Apptainer:

$ module load apptainer

3
Muat image container dengan rumus:

$ apptainer run [alamat-direktori-dan-nama-image].sif

Apabila butuh GPU NVIDIA saat instalasi package, tambahkan flag --nv:

$ apptainer run --nv [alamat-direktori-dan-nama-image].sif

Untuk image global dari ALELEON, direktori dan nama image adalah:

/comp/containers/nvidia/[nama-image].sif

Contoh:/comp/containers/nvidia/pytorch_23.08-py3.sif

4A
Lakukan instalasi library dengan pip

$ python -m pip install [nama-package]

4B
Apabila membutuhkan update pip, jalankan:

$ python -m pip install --upgrade pip

Instalasi update ini dilakukan pada HOME user.

Sesi Jupyter dengan Container

Langkah Interactive Job Sesi Jupyter dengan Container

Efirojupyterlab.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
New Pinnedapps jupyter.png Buka pinned apps Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
  • Choose Jupyter version
    • Pilih sesuai preferensi user, Jupyter Lab atau Notebook
  • Partition -> pilih sesuai kebutuhan:
    • torti -> CPU saja
    • tilla -> CPU dan GPU
Formulir alokasi komputasi Partition
torti tilla
Number of CPU core(s) 1 - 32
Amount of memory/RAM (GB) 1 - 64
Number of GPUs - 1
Number of hours 1 - 72
Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:
  • Alokasi CPU * hours > sisa CPU Core Hour
  • Alokasi GPU * hours > sisa GPU Hour apabila memilih tilla.

Cek sisa Core Hour dengan:

  1. Buka menu Clusters -> ALELEON Shell Access
  2. Jalankan perintah
$ sausage
  • Choose how to launch Jupyter -> silahkan pilih:
    • Container -> menggunakan image siap pakai dari ALELEON
    • Custom container -> menggunakan image yang dipull / buat user
  • Pilih image atau menyediakan direktori & nama image user
  • Software modules -> kosongkan
  • Environment setup
    • Memuat environment variable, isi apabila ada
  • Additional Jupyter arguments
    • Memuat argument tambahan Jupyter, isi apabila ada
  • Email address
    • Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
    • Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter.
  • User akan diarahkan ke halaman My Interactive Sessions.
  • Tunggu hingga sesi Jupyter siap diakses.
Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter.
  • Sistem mulai menghitung Core Hour!
Sesi Jupyter siap diakses.
Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
  • Menu My Interactive Sessions pada homepage EFIRO.
  • Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Komputasi_dengan_Container_Apptainer&oldid=1805"