Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (melengkapi heading untuk persiapan hyperlink) |
WilsonLisan (bicara | kontrib) (melengkapi hyperlink) |
||
Baris 7: | Baris 7: | ||
== '''''0. Spesifikasi''''' == | == '''''0. Spesifikasi''''' == | ||
Spesifikasi conda env siap pakai: | |||
* | * Dibuat oleh '''tim admin''' ALELEON Supercomputer. | ||
* Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow). | |||
== '''''1. Langkah Menjalanlan Komputasi''''' == | == '''''1. Langkah Menjalanlan Komputasi''''' == | ||
Baris 27: | Baris 18: | ||
!Langkah | !Langkah | ||
|- | |- | ||
!'''<big><nowiki>[ 2 ]</nowiki></big>''' | !'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia <nowiki>[ 2 ]</nowiki>]</big>''' | ||
|Lihat conda env tersedia dan | |Lihat conda env tersedia dan detailnya: | ||
* Cek kelengkapan package dan dukungan komputasi. | * Cek kelengkapan package dan dukungan komputasi. | ||
|- | |- | ||
!'''<big><nowiki>[ 3 ]</nowiki></big>''' | !'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ 3 ]</nowiki>]</big>''' | ||
|''Apabila dibutuhkan'', user dapat menambah instalasi package. | |''Apabila dibutuhkan'', user dapat menambah instalasi package. | ||
|- | |- | ||
!<big><nowiki>[ 4 ]</nowiki></big> | !<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4._Pilihan_Menjalankan_Komputasi <nowiki>[ 4 ]</nowiki>]</big> | ||
|Menjalankan komputasi dengan pilihan: | |Menjalankan komputasi dengan pilihan: | ||
*'''<big>[ 4.1 ]</big>''' sesi interaktif di Login Node | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 ]</nowiki>]</big>''' sesi interaktif di Login Node | ||
*'''<big>[ 4.2 ]</big>''' batch job | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 ]</nowiki>]</big>''' batch job | ||
*'''<big>[ 4.3 ]</big>''' sesi Jupyter Notebook / Lab | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 ]</nowiki>]</big>''' sesi Jupyter Notebook / Lab | ||
|- | |- | ||
!<big>[ 5 ]</big> | !<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#5._Pelaporan_Kendala_dan_Support <nowiki>[ 5 ]</nowiki>]</big> | ||
|Support apabila menemui masalah. | |Support apabila menemui masalah. | ||
|} | |} | ||
Baris 49: | Baris 40: | ||
* Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | * Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | ||
* Bila ada kekurangan package, lihat '''<big>[ Subbab 3 ]</big>'''. | * Bila ada kekurangan package, lihat '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ Subbab 3 ]</nowiki>]</big>'''. | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="9" |- Daftar Conda Env Tersedia - | ! colspan="9" |- Daftar Conda Env Tersedia - | ||
Baris 628: | Baris 619: | ||
# Package terinstal di HOME user. | # Package terinstal di HOME user. | ||
# Perhatikan kolom '''Versi Python''' di tabel '''[Daftar Conda Env Tersedia].''' | # Perhatikan kolom '''Versi Python''' di tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | ||
# Contoh user menginstal package di conda env dengan versi Python 3.11: | # Contoh user menginstal package di conda env dengan versi Python 3.11: | ||
#* Package tersebut akan aktif di conda env lain dengan versi Python sama. | #* Package tersebut akan aktif di conda env lain dengan versi Python sama. | ||
Baris 648: | Baris 639: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia yang akan dipakai: | | Pilih dan aktifkan conda env tersedia yang akan dipakai: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | |||
$ '''ml ''[Py Package Manager]''''' | $ '''ml ''[Py Package Manager]''''' | ||
$ '''source activate ''[Nama Conda Env]''''' | $ '''source activate ''[Nama Conda Env]''''' | ||
Baris 670: | Baris 664: | ||
== '''''4. Pilihan Menjalankan Komputasi''''' == | == '''''4. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | ||
*'''<big>''[ 4.1 - Berjalan di Login Node ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 - Berjalan di Login Node ]</nowiki>]''</big>''' | ||
**'''Dalam taraf tertentu, user dapat | **'''Dalam taraf tertentu, user dapat menjalankan conda env di login node.''' | ||
***Tidak mengkonsumsi Kredit Core Hour. | ***Tidak mengkonsumsi Kredit Core Hour. | ||
**'''Hanya untuk | **'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.''' | ||
***Login node mempunyai spesifikasi terbatas. | ***Login node mempunyai spesifikasi terbatas. | ||
***Keperluan komputasi gunakan metode batch job / sesi Jupyter. | ***Keperluan komputasi gunakan metode batch job / sesi Jupyter. | ||
***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ||
*'''<big>''[ 4.2 - Batch Job ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 - Batch Job ]</nowiki>]''</big>''' | ||
**'''Menjalankan script Python siap jalan tanpa interaksi user <nowiki/>di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | **'''Menjalankan script Python siap jalan tanpa interaksi user <nowiki/>di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ||
***[[Berkas:GMB warning wololo.png|nirbing| | ***[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
**'''Batch job akan berhenti ketika:''' | **'''Batch job akan berhenti ketika:''' | ||
Baris 688: | Baris 682: | ||
***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ||
***''user keluar (log out) dari ALELEON.'' | ***''user keluar (log out) dari ALELEON.'' | ||
*'''<big>''[ 4.3 - Sesi Jupyter ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 - Sesi Jupyter ]</nowiki>]''</big>''' | ||
**'''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | **'''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | ||
**'''Sesi Jupyter akan berhenti ketika:''' | **'''Sesi Jupyter akan berhenti ketika:''' | ||
Baris 713: | Baris 707: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia yang akan dipakai: | | Pilih dan aktifkan conda env tersedia yang akan dipakai: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | |||
$ '''ml ''[Py Package Manager]''''' | $ '''ml ''[Py Package Manager]''''' | ||
$ '''source activate ''[Nama Conda Env]''''' | $ '''source activate ''[Nama Conda Env]''''' |
Revisi per 4 Juli 2025 10.44
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.
Laman ini merupakan bagian laman [Komputasi Python] |
---|
0. Spesifikasi
Spesifikasi conda env siap pakai:
- Dibuat oleh tim admin ALELEON Supercomputer.
- Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).
1. Langkah Menjalanlan Komputasi
Subbab | Langkah |
---|---|
[ 2 ] | Lihat conda env tersedia dan detailnya:
|
[ 3 ] | Apabila dibutuhkan, user dapat menambah instalasi package. |
[ 4 ] | Menjalankan komputasi dengan pilihan: |
[ 5 ] | Support apabila menemui masalah. |
2. Daftar Conda Env Tersedia
Berikut adalah daftar conda env siap pakai.
- Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
- Bila ada kekurangan package, lihat [ Subbab 3 ].
- Daftar Conda Env Tersedia - | ||||||||
---|---|---|---|---|---|---|---|---|
Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com. | ||||||||
Package Utama
dan terinstal |
Nama Conda Env | Py Package Manager | Versi
Python |
Dukungan Komputasi | ||||
CPU | GPU | MPI | Batch
Job |
Sesi
Jupyter | ||||
PyTorch 2.7.1 (CUDA 12.6) | $CENV/pytorch-2.7.1cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
TensorFlow 2.19 (CUDA 12.5) | $CENV/tensorflow-2.19cuda
|
Anaconda3/2024.02-1
|
3.11 | V | V | V | V | V |
| ||||||||
BoltzTrap2 25.3.1 | $CENV/boltztrap2-25.3.1
|
Anaconda3/2024.02-1
|
3.11 | V | - | - | V | V |
|
3. (Apabila butuh) Melengkapi Conda Env Siap Pakai
Terdapat dua opsi:
- Melalui bantuan / diskusi dengan tim admin, atau
- Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat global:
- Package terinstal di HOME user.
- Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
- Contoh user menginstal package di conda env dengan versi Python 3.11:
Dimana user melakukan instalasi package?
- User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
- User yang menjalankan komputasi batch job menginstal package di Login Node melalui langkah berikut:
- Langkah instalasi package di Login Node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia yang akan dipakai:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan instalasi package Python yang dibutuhkan: |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
4. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:
- [ 4.1 - Berjalan di Login Node ]
- Dalam taraf tertentu, user dapat menjalankan conda env di login node.
- Tidak mengkonsumsi Kredit Core Hour.
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- Login node mempunyai spesifikasi terbatas.
- Keperluan komputasi gunakan metode batch job / sesi Jupyter.
- Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
- Dalam taraf tertentu, user dapat menjalankan conda env di login node.
- [ 4.2 - Batch Job ]
- Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
- Batch job akan berhenti ketika:
- Program komputasi selesai berjalan.
- Program komputasi menyentuh limit waktu yang ditentukan user.
- Program menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya batch job:
- Job tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- [ 4.3 - Sesi Jupyter ]
- Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
- Sesi Jupyter akan berhenti ketika:
- Waktu sesi habis.
- Sesi dihentikan secara manual oleh user.
- Sesi menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
- Sesi tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
- Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.
- Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.
---
4.1. Berjalan di Login Node
- Langkah Menjalankan Conda Env di login node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia yang akan dipakai:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan kegiatan user dengan conda env ini. |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |