Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (melengkapi daftar conda env) |
WilsonLisan (bicara | kontrib) (mengganti subbab) |
||
Baris 6: | Baris 6: | ||
|} | |} | ||
== ''''' | == '''''1. Spesifikasi''''' == | ||
Spesifikasi conda env siap pakai: | Spesifikasi conda env siap pakai: | ||
Baris 13: | Baris 13: | ||
* Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow). | * Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow). | ||
== ''''' | == '''''2. Langkah Menjalanlan Komputasi''''' == | ||
{| class="wikitable" | {| class="wikitable" | ||
!Subbab | !Subbab | ||
!Langkah | !Langkah | ||
|- | |- | ||
!'''<big>[ | !'''<big>[ 3 ]</big>''' | ||
|Lihat conda env tersedia dan detailnya: | |Lihat conda env tersedia dan detailnya: | ||
* Cek kelengkapan package dan dukungan komputasi. | * Cek kelengkapan package dan dukungan komputasi. | ||
|- | |- | ||
!'''<big>[ | !'''<big>[ 4 ]</big>''' | ||
|''Apabila | |''Apabila butuh'', user dapat melengkapi instalasi package. | ||
|- | |- | ||
!<big>[ | !<big>[ 5 ]</big> | ||
|Menjalankan komputasi dengan pilihan: | |Menjalankan komputasi dengan pilihan: | ||
*'''<big>[ | *'''<big>[ 5.1 ]</big>''' sesi interaktif di Login Node | ||
*'''<big>[ | *'''<big>[ 5.2 ]</big>''' batch job di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute Node]]]''' | ||
*'''<big>[ 5.3 ]</big>''' sesi Jupyter di '''[[https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Interactive_Node Interactive Node]]''' | |||
|} | |} | ||
== ''''' | == '''''3. Daftar Conda Env Tersedia''''' == | ||
Berikut adalah daftar conda env siap pakai. | Berikut adalah daftar conda env siap pakai. | ||
* Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | * Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | ||
* Bila ada kekurangan package, lihat '''<big | * Bila ada kekurangan package, lihat '''<big>[ Subbab 4 ]</big>'''. | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="9" |- Daftar Conda Env Tersedia - | ! colspan="9" |- Daftar Conda Env Tersedia - | ||
Baris 838: | Baris 835: | ||
|} | |} | ||
== ''''' | == '''''4. <small>(Apabila butuh)</small> Melengkapi Conda Env Siap Pakai''''' == | ||
'''Terdapat dua opsi:''' | '''Terdapat dua opsi:''' | ||
Baris 890: | Baris 887: | ||
|} | |} | ||
== ''''' | == '''''5. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan: | Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan: | ||
*'''<big>''[ | *'''<big>''[ 5.1 - Berjalan di Login Node ]''</big>''' | ||
**'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.''' | **'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.''' | ||
***Tidak mengkonsumsi Kredit Core Hour. | ***Tidak mengkonsumsi Kredit Core Hour. | ||
Baris 898: | Baris 895: | ||
***Login node mempunyai spesifikasi terbatas. | ***Login node mempunyai spesifikasi terbatas. | ||
***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ||
*'''<big>''[ | *'''<big>''[ 5.2 - Batch Job di Compute Node ]''</big>''' | ||
**Menjalankan script Python siap jalan di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute | **Menjalankan script Python siap jalan di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute Node]]].''' | ||
***'''<nowiki/>'''[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ***'''<nowiki/>'''[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
*'''<big>''[ | *'''<big>''[ 5.3 - Sesi Jupyter di Interactive Node ]''</big>''' | ||
**Menjalankan sesi Jupyter Lab atau Notebook di '''[<nowiki/>[ | **Menjalankan sesi Jupyter Lab atau Notebook di '''[<nowiki/>[https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Interactive_Node Interactive]<nowiki/> [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Interactive_Node Node]].''' | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Detail batch job dan sesi Jupyter lebih lanjut - | !- Detail batch job dan sesi Jupyter lebih lanjut - | ||
Baris 930: | Baris 927: | ||
**''Lihat status cell / output lainnya.'' | **''Lihat status cell / output lainnya.'' | ||
|} | |} | ||
=== 5.1. Berjalan di Login Node === | |||
=== | |||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Langkah Menjalankan Conda Env di login node - | !- Langkah Menjalankan Conda Env di login node - | ||
Baris 965: | Baris 960: | ||
|} | |} | ||
=== | === 5.2. Batch Job === | ||
== | === 5.3. Sesi Jupyter === |
Revisi terkini sejak 5 Juli 2025 06.37
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.
Laman ini merupakan bagian laman [Komputasi Python] |
---|
1. Spesifikasi
Spesifikasi conda env siap pakai:
- Dibuat oleh tim admin ALELEON Supercomputer.
- Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).
2. Langkah Menjalanlan Komputasi
Subbab | Langkah |
---|---|
[ 3 ] | Lihat conda env tersedia dan detailnya:
|
[ 4 ] | Apabila butuh, user dapat melengkapi instalasi package. |
[ 5 ] | Menjalankan komputasi dengan pilihan:
|
3. Daftar Conda Env Tersedia
Berikut adalah daftar conda env siap pakai.
- Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
- Bila ada kekurangan package, lihat [ Subbab 4 ].
- Daftar Conda Env Tersedia - | ||||||||
---|---|---|---|---|---|---|---|---|
Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com. | ||||||||
Package Utama
dan terinstal |
Nama Conda Env | Py Package Manager | Versi
Python |
Dukungan Komputasi | ||||
CPU | GPU | MPI | Batch
Job |
Sesi
Jupyter | ||||
PyTorch 2.7.1 (ver CUDA 12.6)
|
$CENV/pytorch-2.7.1cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
TensorFlow 2.19 (ver CUDA 12.5)
|
$CENV/tensorflow-2.19cuda
|
Anaconda3/2024.02-1
|
3.11 | V | V | V | V | V |
| ||||||||
Jax 0.6.2 (ver CUDA 12.9)
|
$CENV/jax-0.6.2cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
BoltzTrap2 25.3.1 | $CENV/boltztrap2-25.3.1
|
Anaconda3/2024.02-1
|
3.11 | V | - | - | V | V |
|
4. (Apabila butuh) Melengkapi Conda Env Siap Pakai
Terdapat dua opsi:
- Melalui bantuan / diskusi dengan tim admin, atau
- Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat HOME global:
- Package terinstal di HOME user.
- Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
- Contoh user melengkapi package conda env dengan Python 3.11:
Dimana user melakukan instalasi package?
- User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
- User yang menjalankan komputasi batch job menginstal package di Login Node:
- Langkah instalasi package di Login Node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan instalasi package Python yang dibutuhkan: |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
5. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan:
- [ 5.1 - Berjalan di Login Node ]
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- Tidak mengkonsumsi Kredit Core Hour.
- Keperluan komputasi gunakan batch job / sesi Jupyter.
- Login node mempunyai spesifikasi terbatas.
- Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- [ 5.2 - Batch Job di Compute Node ]
- Menjalankan script Python siap jalan di [Compute Node].
- [ 5.3 - Sesi Jupyter di Interactive Node ]
- Menjalankan sesi Jupyter Lab atau Notebook di [Interactive Node].
- Detail batch job dan sesi Jupyter lebih lanjut - |
---|
Batch Job
|
Sesi Jupyter
|
5.1. Berjalan di Login Node
- Langkah Menjalankan Conda Env di login node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan kegiatan user dengan conda env ini. |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |