Komputasi dengan Container Apptainer
Halaman ini menjelaskan langkah menjalankan komputasi di ALELEON Supercomputer dengan image container melalui platform [Apptainer]. ALELEON Supercomputer dapat menyediakan dan menjalankan image container untuk komputasi berbagai bidang.
Wololo!
Perhatikan halaman ini sedang dalam proses revisi penulisan. User disarankan untuk kembali mereferensi halaman ini setelah pesan ini hilang. Terima kasih untuk bersedia menunggu dan mohon maaf atas ketidaknyamanannya.
Standar Kompetensi
Tutorial ini mengasumsikan user:
- Memahami cara kerja sistem container dan image.
- Dalam ranah tertentu mengetahui teknis kompatibilitas software dan hardware.
Langkah Menjalankan Komputasi
Terdapat 2 langkah utama:
- Memilih image container yang digunakan.
- Apabila mampu dan dibutuhkan - melengkapi image container baik secara internal (rebuild) atau eksternal.
- Menjalankan image container sesuai ketentuannya.
Pilihan Image Container
Tersedia pilihan image berikut yang dapat dipilih sesuai preferensi user:
Image Global ALELEON Supercomputer
Image siap pakai yang dapat diakses global oleh semua user.
- Tabel ini menyediakan info dan spesifikasi image esensial untuk penggunaannya di ALELEON Supercomputer.
- Permohonan menyediakan image hubungi support@efisonlt.com.
(klik expand / kembangkan)
- Daftar Image Global ALELEON Supercomputer - | |||||||||
---|---|---|---|---|---|---|---|---|---|
Nama Image | Support Hardware & Platform | ||||||||
![]() |
![]() |
Parallel | Python | ![]() | |||||
PyTorch - NVIDIA NGC release 23.08
|
V | V | V
|
V
|
V
| ||||
PyTorch - NVIDIA NGC release 24.04
|
V | V | V
|
V
|
V
| ||||
TensorFlow - NVIDIA NGC release 24.04
|
V | V | V
|
V
|
V
| ||||
AnteChamber PYthon Parser interfacE (ACPYPE) 2023.10.27
|
V | X | X | X | X | ||||
--- |
User Menyediakan Image
User dapat menyediakan image sendiri dengan melakukan pull image dari container registry melalui Apptainer:
(klik expand / kembangkan)
- Langkah Pull Image Container dengan Apptainer - |
---|
0 |
Menggunakan terminal!
|
1 |
Aktifkan modul Apptainer:
$ ml apptainer |
2 |
Lakukan pull dengan format:
- Platform docker $ apptainer pull docker://[image-pull-tag] - Platform shub $ apptainer pull shub://[image-pull-tag] - Platform OCI compatible $ apptainer pull oras://[image-pull-tag] Contoh pull image [PyTorch - NVIDIA NGC release 25.04]: $ apptainer pull docker://nvcr.io/nvidia/pytorch:25.04-py3 Apptainer akan mengubah image yang di pull ke format
|
--- |
- User menaruh image di HOME dimana mengkonsumsi storage. Untuk memantau penggunaan storage dan besar file lihat [Memantau Penggunaan Storage HOME].
- Apakah image container user cocok atau dapat dijalankan di ALELEON Supercomputer? Lihat [Spesifikasi ALELEON Supercomputer] untuk menyesuaikan kecocokan software dengan hardware ALELEON. User juga dapat berdiskusi dengan tim admin terkait kompatibilitas image container ini.
Melengkapi Image
Dalam ranah teknis tertentu dan apabila dibutuhkan, user dapat memodifikasi atau menambah image container melalui Apptainer. Silahkan pilih kategori berikut:
- Apabila tidak butuh, lanjutkan ke [Pilihan Menjalankan Komputasi]
- [Modifikasi Image Python]
- [Modifikasi Image pada umumnya]
---
Modifikasi Image Berbasis Python
Subbab ini untuk image yang dibuat khusus menjalankan package Python. Dalam ranah tertentu tergantung bagaimana image dikemas, user dapat memodifikasi image dengan menambah instalasi package Python:
- site-packages adalah tempat Python menampung instalasi package user. Info lebih lanjut lihat [Intro: Komputasi Python HPC].
- Image container Python (apabila dikemas dengan benar) dapat mengakomodasi 2 lokasi site-packages:
- Eksternal di HOME user. Cara paling cepat dimana user mengaktifkan containter dan melakukan instalasi package yang otomatis ditampung di HOME user. Perhatikan site-packages eksternal ini bersifat home global yang artinya, contoh:
- User menambah package eksternal di image Python yang berisikan environment Python versi 3.10.
- Maka package ini akan aktif di image Python lain dengan environment Python serupa.
- Lakukan manuver install dan uninstall package eksternal ini dengan bijak.
- Internal di dalam image. User dapat memodifikasi site-packages internal dengan metode [Definition Files Apptainer] yaitu membuat "resep" untuk build ulang image. Cara yang baik secara praktik namun cukup kompleks.
- Eksternal di HOME user. Cara paling cepat dimana user mengaktifkan containter dan melakukan instalasi package yang otomatis ditampung di HOME user. Perhatikan site-packages eksternal ini bersifat home global yang artinya, contoh:
- Silahkan pilih sesuai kebutuhan user:
(klik expand / kembangkan)
- Menambah Package Python Eksternal Image - |
---|
Ketentuan:
Package terisolasi di direktori
|
Menggunakan terminal!
|
1 |
Aktifkan modul Apptainer:
|
2 |
Jalankan image container dengan perintah:
Untuk image dengan isi library NVIDIA CUDA, jalankan:
|
3 |
Instal package dengan pip atau conda sesuai ketersediaan.
Contoh umum instalasi pip > pip install [nama-package] Contoh umum instalasi conda > conda install conda-forge::[nama-package] Daftar package dan tutorial instal lihat: |
4 |
Untuk keluar dari container, jalankan:
|
--- |
Sebelum Menjalankan Container ...
Terdapat beberapa hal yang perlu menjadi pertimbangan user:
- Image container tidak dapat mengakses modul software ALELEON Supercomputer karena berada di "ruang kerja" berbeda.
- User yang hendak menjalankan container di GPU harap memastikan image dilengkapi dengan library NVIDIA yang sesuai.
- Harap memastikan image telah mempunyai semua kebutuhan package untuk komputasi user.
Pilihan Menjalankan Komputasi
User dapat menjalankan Apptainer dengan pilihan berikut. Sesuaikan dengan peruntukan image.
Berjalan di Login Node
Opsi ini hanya untuk container dengan tujuan pre-processing ringan karena login node mempunyai spesifikasi terbatas dan tidak ditujukan untuk menjalankan komputasi.
- Opsi ini tidak menggunakan kredit Core Hour.
Menjalankan Apptainer di Login Node |
---|
Menggunakan terminal!
|
1 |
Aktifkan modul Apptainer:
|
2 |
Jalankan image container dengan perintah:
|
3 |
Untuk keluar dari container, jalankan:
|
--- |
Sesi Jupyter
Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
- Perhatikan image container harus mempunyai package Jupyter di dalamnya.
Langkah Sesi Jupyter dengan Apptainer | ||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||||||||||||||||||
6 | ||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter .
| ||||||||||||||||||||||||||||||||||
7 | ||||||||||||||||||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||||||||||||||||||
8 | ||||||||||||||||||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
| ||||||||||||||||||||||||||||||||||
--- |
Batch Job
Menjalankan container siap jalan melalui manajemen Slurm di [compute node] kemudian user menunggu hingga selesai. Catatan:
- Untuk komputasi Python: opsi ini hanya dapat menjalankan file Python (
.py
) siap jalan tanpa interaksi user. - Perhatikan ada kemungkinan tidak semua image container dapat berjalan dengan opsi ini.
Langkah Batch Job Apptainer di Terminal | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Menggunakan terminal!
| ||||||||||||||||
1 | ||||||||||||||||
Siapkan image container dan file komputasi yang dibutuhkan.
| ||||||||||||||||
2A | ||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| ||||||||||||||||
Contoh template Submit Script
| ||||||||||||||||
| ||||||||||||||||
| ||||||||||||||||
2B | ||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
Untuk melihat limit, jalankan perintah (sementara gunakan): $ slimit-python | ||||||||||||||||
3 | ||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||||
4 | ||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| ||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 | ||||||||||||||||
--- |
Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com