Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (melengkali job komputasi) |
WilsonLisan (bicara | kontrib) (melengkapi heading untuk persiapan hyperlink) |
||
| Baris 7: | Baris 7: | ||
== '''''0. Spesifikasi''''' == | == '''''0. Spesifikasi''''' == | ||
Conda env siap pakai ini dibuat oleh '''tim admin''' ALELEON | Conda env siap pakai ini dibuat oleh '''tim admin''' ALELEON dengan spesifikasi: | ||
* Setiap conda env spesifik menjalankan 1 package utama (contoh TensorFlow, PyTorch, BoltzTraP, dll). | * Setiap conda env spesifik menjalankan 1 package utama (contoh TensorFlow, PyTorch, BoltzTraP, dll). | ||
| Baris 45: | Baris 45: | ||
|} | |} | ||
== '''''2. Daftar Conda Env | == '''''2. Daftar Conda Env Tersedia''''' == | ||
Berikut adalah daftar conda env siap pakai | Berikut adalah daftar conda env siap pakai. | ||
* Cek kelengkapan | * Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | ||
* | * Bila ada kekurangan package, lihat '''<big>[ Subbab 3 ]</big>'''. | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="9" |- | ! colspan="9" |- Daftar Conda Env Tersedia - | ||
|- | |||
| colspan="9" |''Permintaan pembuatan conda env ke tim admin hubungi '''support@efisonlt.com'''.'' | |||
|- | |- | ||
! rowspan="2" |Package Utama | ! rowspan="2" |Package Utama | ||
| Baris 69: | Baris 70: | ||
!Sesi | !Sesi | ||
Jupyter | Jupyter | ||
|- | |- | ||
|'''PyTorch 2.7.1 <small>(CUDA 12.6)</small>''' | |'''PyTorch 2.7.1 <small>(CUDA 12.6)</small>''' | ||
| Baris 85: | Baris 84: | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
|- | |- | ||
!Package terinstal | !Package terinstal | ||
|- | |- | ||
|<syntaxhighlight lang="bash"> | |<syntaxhighlight lang="bash"> | ||
| Baris 460: | Baris 459: | ||
</syntaxhighlight> | </syntaxhighlight> | ||
|} | |} | ||
|- | |- | ||
|'''BoltzTrap2 25.3.1''' | |'''BoltzTrap2 25.3.1''' | ||
| Baris 622: | Baris 619: | ||
|} | |} | ||
== '''''3. <small>(Apabila | == '''''3. <small>(Apabila butuh)</small> Melengkapi Conda Env Siap Pakai''''' == | ||
'''Terdapat dua opsi:''' | '''Terdapat dua opsi:''' | ||
| Baris 628: | Baris 625: | ||
# Melakukan instalasi sendiri. | # Melakukan instalasi sendiri. | ||
''' | '''Instalasi package tambahan ini bersifat''' '''<big>global:</big>''' | ||
# Package terinstal di HOME user. | # Package terinstal di HOME user. | ||
# Contoh user menginstal package di conda env dengan versi Python 3.11 | # Perhatikan kolom '''Versi Python''' di tabel '''[Daftar Conda Env Tersedia].''' | ||
# Contoh user menginstal package di conda env dengan versi Python 3.11: | |||
#* Package tersebut akan aktif di conda env lain dengan versi Python sama. | #* Package tersebut akan aktif di conda env lain dengan versi Python sama. | ||
#* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package tersebut | #* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package tersebut ''tidak cocok'' dengan conda env bersangkutan atau lainnya. | ||
#* Lakukan instalasi dengan bijak. | #* Lakukan instalasi dengan bijak. | ||
'''Dimana user melakukan instalasi package?''' | '''Dimana user melakukan instalasi package?''' | ||
# User '''sesi Jupyter''' dapat melakukan instalasi ''' | # User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.''' | ||
# User yang | # User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node''' melalui langkah berikut: | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
| Baris 672: | Baris 670: | ||
== '''''4. Pilihan Menjalankan Komputasi''''' == | == '''''4. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | ||
*'''<big>[ 4.1 - Berjalan di Login Node ]</big>''' | *'''<big>''[ 4.1 - Berjalan di Login Node ]''</big>''' | ||
**'''Dalam taraf tertentu, user dapat | **'''Dalam taraf tertentu, user dapat menggunakan conda env di login node.''' | ||
***Tidak mengkonsumsi Kredit Core Hour. | ***Tidak mengkonsumsi Kredit Core Hour. | ||
**'''Hanya untuk menjalankan kegiatan non-komputasi, contoh ''pre-processing input''.''' | **'''Hanya untuk menjalankan kegiatan non-komputasi, contoh ''pre-processing input''.''' | ||
***Keperluan komputasi | ***Login node mempunyai spesifikasi terbatas. | ||
***Tim admin berhak menginterupsi | ***Keperluan komputasi gunakan metode batch job / sesi Jupyter. | ||
*'''<big>[ 4.2 - Batch Job ]</big>'''**'''Menjalankan script Python siap jalan tanpa interaksi user di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ||
*'''<big>''[ 4.2 - Batch Job ]''</big>''' | |||
**'''Menjalankan script Python siap jalan tanpa interaksi user <nowiki/>di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | |||
***[[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ***[[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
| Baris 689: | Baris 688: | ||
***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ||
***''user keluar (log out) dari ALELEON.'' | ***''user keluar (log out) dari ALELEON.'' | ||
*'''<big>[ 4.3 - Sesi Jupyter ]</big>''' | *'''<big>''[ 4.3 - Sesi Jupyter ]''</big>''' | ||
**'''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | **'''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | ||
**'''Sesi Jupyter akan berhenti ketika:''' | **'''Sesi Jupyter akan berhenti ketika:''' | ||
| Baris 732: | Baris 731: | ||
$ '''ml unload Anaconda3''' | $ '''ml unload Anaconda3''' | ||
|} | |} | ||
=== 4.2. Batch Job === | |||
=== 4.3. Sesi Jupyter === | |||
== '''''5. Pelaporan Kendala dan Support''''' == | |||
Revisi per 4 Juli 2025 10.30
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.
| Laman ini merupakan bagian laman [Komputasi Python] |
|---|
0. Spesifikasi
Conda env siap pakai ini dibuat oleh tim admin ALELEON dengan spesifikasi:
- Setiap conda env spesifik menjalankan 1 package utama (contoh TensorFlow, PyTorch, BoltzTraP, dll).
- User dapat menambah instalasi package (apabila dibutuhkan) - lihat [ Subbab 3 ].
$
|
Perintah ketika conda env tidak aktif |
|---|---|
(env)$
|
Perintah ketika conda env aktif |
1. Langkah Menjalanlan Komputasi
| Subbab | Langkah |
|---|---|
| [ 2 ] | Lihat conda env tersedia dan spesifikasinya.
|
| [ 3 ] | Apabila dibutuhkan, user dapat menambah instalasi package. |
| [ 4 ] | Menjalankan komputasi dengan pilihan:
|
| [ 5 ] | Support apabila menemui masalah. |
2. Daftar Conda Env Tersedia
Berikut adalah daftar conda env siap pakai.
- Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
- Bila ada kekurangan package, lihat [ Subbab 3 ].
| - Daftar Conda Env Tersedia - | ||||||||
|---|---|---|---|---|---|---|---|---|
| Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com. | ||||||||
| Package Utama
dan terinstal |
Nama Conda Env | Py Package Manager | Versi
Python |
Dukungan Komputasi | ||||
| CPU | GPU | MPI | Batch
Job |
Sesi
Jupyter | ||||
| PyTorch 2.7.1 (CUDA 12.6) | $CENV/pytorch-2.7.1cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
| TensorFlow 2.19 (CUDA 12.5) | $CENV/tensorflow-2.19cuda
|
Anaconda3/2024.02-1
|
3.11 | V | V | V | V | V |
| ||||||||
| BoltzTrap2 25.3.1 | $CENV/boltztrap2-25.3.1
|
Anaconda3/2024.02-1
|
3.11 | V | - | - | V | V |
| ||||||||
3. (Apabila butuh) Melengkapi Conda Env Siap Pakai
Terdapat dua opsi:
- Melalui bantuan / diskusi dengan tim admin, atau
- Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat global:
- Package terinstal di HOME user.
- Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
- Contoh user menginstal package di conda env dengan versi Python 3.11:
- Package tersebut akan aktif di conda env lain dengan versi Python sama.
Ada potensi package tersebut tidak cocok dengan conda env bersangkutan atau lainnya.- Lakukan instalasi dengan bijak.
Dimana user melakukan instalasi package?
- User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
- User yang menjalankan komputasi batch job menginstal package di Login Node melalui langkah berikut:
| - Langkah instalasi package di Login Node - |
|---|
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia yang akan dipakai:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
| Lakukan instalasi package Python yang dibutuhkan: |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
4. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:
- [ 4.1 - Berjalan di Login Node ]
- Dalam taraf tertentu, user dapat menggunakan conda env di login node.
- Tidak mengkonsumsi Kredit Core Hour.
- Hanya untuk menjalankan kegiatan non-komputasi, contoh pre-processing input.
- Login node mempunyai spesifikasi terbatas.
- Keperluan komputasi gunakan metode batch job / sesi Jupyter.
- Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
- Dalam taraf tertentu, user dapat menggunakan conda env di login node.
- [ 4.2 - Batch Job ]
- Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
Perhatikan file .ipynbharus dikonversi ke file.py.- Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.
- Batch job akan berhenti ketika:
- Program komputasi selesai berjalan.
- Program komputasi menyentuh limit waktu yang ditentukan user.
- Program menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya batch job:
- Job tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
- [ 4.3 - Sesi Jupyter ]
- Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
- Sesi Jupyter akan berhenti ketika:
- Waktu sesi habis.
- Sesi dihentikan secara manual oleh user.
- Sesi menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
- Sesi tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
- Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.
- Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.
---
4.1. Berjalan di Login Node
| - Langkah Menjalankan Conda Env di login node -
|
|---|
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia yang akan dipakai:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
| Lakukan kegiatan user dengan conda env ini. |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
