Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (melengkapi heading untuk persiapan hyperlink) |
WilsonLisan (bicara | kontrib) (→4. Pilihan Menjalankan Komputasi: paraphrasing) |
||
(1 revisi perantara oleh pengguna yang sama tidak ditampilkan) | |||
Baris 7: | Baris 7: | ||
== '''''0. Spesifikasi''''' == | == '''''0. Spesifikasi''''' == | ||
Spesifikasi conda env siap pakai: | |||
* | * Dibuat oleh '''tim admin''' ALELEON Supercomputer. | ||
* Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow). | |||
== '''''1. Langkah Menjalanlan Komputasi''''' == | == '''''1. Langkah Menjalanlan Komputasi''''' == | ||
Baris 27: | Baris 18: | ||
!Langkah | !Langkah | ||
|- | |- | ||
!'''<big><nowiki>[ 2 ]</nowiki></big>''' | !'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia <nowiki>[ 2 ]</nowiki>]</big>''' | ||
|Lihat conda env tersedia dan | |Lihat conda env tersedia dan detailnya: | ||
* Cek kelengkapan package dan dukungan komputasi. | * Cek kelengkapan package dan dukungan komputasi. | ||
|- | |- | ||
!'''<big><nowiki>[ 3 ]</nowiki></big>''' | !'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ 3 ]</nowiki>]</big>''' | ||
|''Apabila dibutuhkan'', user dapat menambah instalasi package. | |''Apabila dibutuhkan'', user dapat menambah instalasi package. | ||
|- | |- | ||
!<big><nowiki>[ 4 ]</nowiki></big> | !<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4._Pilihan_Menjalankan_Komputasi <nowiki>[ 4 ]</nowiki>]</big> | ||
|Menjalankan komputasi dengan pilihan: | |Menjalankan komputasi dengan pilihan: | ||
*'''<big>[ 4.1 ]</big>''' sesi interaktif di Login Node | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 ]</nowiki>]</big>''' sesi interaktif di Login Node | ||
*'''<big>[ 4.2 ]</big>''' batch job | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 ]</nowiki>]</big>''' batch job | ||
*'''<big>[ 4.3 ]</big>''' sesi Jupyter Notebook / Lab | *'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 ]</nowiki>]</big>''' sesi Jupyter Notebook / Lab | ||
|- | |- | ||
!<big>[ 5 ]</big> | !<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#5._Pelaporan_Kendala_dan_Support <nowiki>[ 5 ]</nowiki>]</big> | ||
|Support apabila menemui masalah. | |Support apabila menemui masalah. | ||
|} | |} | ||
Baris 49: | Baris 40: | ||
* Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | * Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''. | ||
* Bila ada kekurangan package, lihat '''<big>[ Subbab 3 ]</big>'''. | * Bila ada kekurangan package, lihat '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ Subbab 3 ]</nowiki>]</big>'''. | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="9" |- Daftar Conda Env Tersedia - | ! colspan="9" |- Daftar Conda Env Tersedia - | ||
Baris 71: | Baris 62: | ||
Jupyter | Jupyter | ||
|- | |- | ||
|'''PyTorch 2.7.1 | |'''PyTorch 2.7.1 (ver CUDA 12.6)''' | ||
* ''Support CUDA, MPI, Accelerate, Transformers'' | |||
| rowspan="2" |<code>'''$CENV/pytorch-2.7.1cuda'''</code> | | rowspan="2" |<code>'''$CENV/pytorch-2.7.1cuda'''</code> | ||
| rowspan="2" |<code>Anaconda3/2024.02-1</code> | | rowspan="2" |<code>Anaconda3/2024.02-1</code> | ||
Baris 86: | Baris 78: | ||
!Package terinstal | !Package terinstal | ||
|- | |- | ||
| | | | ||
|} | |} | ||
|- | |- | ||
|'''TensorFlow 2.19 | |'''TensorFlow 2.19 (ver CUDA 12.5)''' | ||
* ''Support CUDA, MPI, Transformers'' | |||
| rowspan="2" |<code>'''$CENV/tensorflow-2.19cuda'''</code> | | rowspan="2" |<code>'''$CENV/tensorflow-2.19cuda'''</code> | ||
| rowspan="2" |<code>Anaconda3/2024.02-1</code> | | rowspan="2" |<code>Anaconda3/2024.02-1</code> | ||
Baris 277: | Baris 96: | ||
!Package terinstal | !Package terinstal | ||
|- | |- | ||
| | | | ||
|} | |} | ||
|- | |||
| | |||
| rowspan="2" | | |||
| rowspan="2" | | |||
| rowspan="2" | | |||
! rowspan="2" | | |||
! rowspan="2" | | |||
! rowspan="2" | | |||
! rowspan="2" | | |||
! rowspan="2" | | |||
|- | |||
| | |||
|- | |- | ||
|'''BoltzTrap2 25.3.1''' | |'''BoltzTrap2 25.3.1''' | ||
Baris 625: | Baris 276: | ||
# Melakukan instalasi sendiri. | # Melakukan instalasi sendiri. | ||
Instalasi package tambahan ini bersifat '''<big>HOME</big>''' '''<big>global:</big>''' | |||
# Package terinstal di HOME user. | # Package terinstal di HOME user. | ||
# Perhatikan kolom '''Versi Python''' di tabel '''[Daftar Conda Env Tersedia].''' | # Perhatikan kolom '''Versi Python''' di tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | ||
# Contoh user | # Contoh user melengkapi package conda env dengan Python 3.11: | ||
#* Package tersebut akan aktif di conda env lain dengan versi Python sama. | #* Package tersebut akan aktif di conda env lain dengan versi Python sama. | ||
#* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package | #* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package ''tidak cocok'' dengan conda env bersangkutan atau lainnya. | ||
#* Lakukan instalasi dengan bijak. | #* Lakukan instalasi dengan bijak. | ||
Baris 637: | Baris 288: | ||
# User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.''' | # User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.''' | ||
# User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node''' | # User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node:''' | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
Baris 648: | Baris 299: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia | | Pilih dan aktifkan conda env tersedia: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | |||
$ '''ml ''[Py Package Manager]''''' | $ '''ml ''[Py Package Manager]''''' | ||
$ '''source activate ''[Nama Conda Env]''''' | $ '''source activate ''[Nama Conda Env]''''' | ||
Baris 669: | Baris 323: | ||
== '''''4. Pilihan Menjalankan Komputasi''''' == | == '''''4. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi | Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan: | ||
*'''<big>''[ 4.1 - Berjalan di Login Node ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 - Berjalan di Login Node ]</nowiki>]''</big>''' | ||
**''' | **'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.''' | ||
***Tidak mengkonsumsi Kredit Core Hour. | ***Tidak mengkonsumsi Kredit Core Hour. | ||
***Login node mempunyai spesifikasi terbatas. | ***Login node mempunyai spesifikasi terbatas. | ||
** | **'''Keperluan komputasi gunakan batch job / sesi Jupyter.''' | ||
***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ||
*'''<big>''[ 4.2 - Batch Job ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 - Batch Job ]</nowiki>]''</big>''' | ||
**'''Menjalankan script Python siap jalan | **'''Menjalankan script Python siap jalan di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ||
***[[Berkas:GMB warning wololo.png|nirbing| | ***'''<nowiki/>'''[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
**'''Batch job | **'''Batch job berhenti ketika:''' | ||
***''Program komputasi selesai berjalan.'' | ***''Program komputasi selesai berjalan.'' | ||
***'' | ***''Job menyentuh limit waktu yang ditentukan user.'' | ||
***'' | ***''Job terkena error sehingga selesai prematur.'' | ||
**'''Koneksi user tidak mempengaruhi jalannya batch job:''' | **'''Koneksi user tidak mempengaruhi jalannya batch job:''' | ||
***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ||
***''user keluar (log out) dari ALELEON.'' | ***''user keluar (log out) dari ALELEON.'' | ||
*'''<big>''[ 4.3 - Sesi Jupyter ]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 - Sesi Jupyter ]</nowiki>]''</big>''' | ||
**'''Menjalankan sesi | **'''Menjalankan sesi Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive]]<nowiki/> [[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|node]]].''' | ||
**'''Sesi Jupyter | **'''Sesi Jupyter berhenti ketika:''' | ||
*** ''Waktu sesi habis.'' | *** ''Waktu sesi habis.'' | ||
***'' | ***''User menghentikan sesi.'' | ||
***''Sesi | ***''Sesi terkena error sehingga selesai prematur.'' | ||
**'''Koneksi user tidak mempengaruhi jalannya sesi Jupyter | **'''Koneksi user tidak mempengaruhi jalannya sesi Jupyter:''' | ||
***''Sesi tidak akan berhenti ketika koneksi user terputus, atau'' | ***''Sesi tidak akan berhenti ketika koneksi user terputus, atau'' | ||
***''user keluar (log out) dari ALELEON.'' | ***''user keluar (log out) dari ALELEON.'' | ||
**'''Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:''' | **'''Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:''' | ||
***''Bisa jadi cell tsb. tidak menampilkan | ***''Bisa jadi cell tsb. tidak menampilkan aktivitas cell.'' | ||
***''Lihat cell | ***''Lihat status cell / output lainnya.'' | ||
--- | --- | ||
Baris 713: | Baris 366: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia | | Pilih dan aktifkan conda env tersedia: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | |||
$ '''ml ''[Py Package Manager]''''' | $ '''ml ''[Py Package Manager]''''' | ||
$ '''source activate ''[Nama Conda Env]''''' | $ '''source activate ''[Nama Conda Env]''''' |
Revisi terkini sejak 4 Juli 2025 18.40
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.
Laman ini merupakan bagian laman [Komputasi Python] |
---|
0. Spesifikasi
Spesifikasi conda env siap pakai:
- Dibuat oleh tim admin ALELEON Supercomputer.
- Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).
1. Langkah Menjalanlan Komputasi
Subbab | Langkah |
---|---|
[ 2 ] | Lihat conda env tersedia dan detailnya:
|
[ 3 ] | Apabila dibutuhkan, user dapat menambah instalasi package. |
[ 4 ] | Menjalankan komputasi dengan pilihan: |
[ 5 ] | Support apabila menemui masalah. |
2. Daftar Conda Env Tersedia
Berikut adalah daftar conda env siap pakai.
- Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
- Bila ada kekurangan package, lihat [ Subbab 3 ].
- Daftar Conda Env Tersedia - | ||||||||
---|---|---|---|---|---|---|---|---|
Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com. | ||||||||
Package Utama
dan terinstal |
Nama Conda Env | Py Package Manager | Versi
Python |
Dukungan Komputasi | ||||
CPU | GPU | MPI | Batch
Job |
Sesi
Jupyter | ||||
PyTorch 2.7.1 (ver CUDA 12.6)
|
$CENV/pytorch-2.7.1cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
TensorFlow 2.19 (ver CUDA 12.5)
|
$CENV/tensorflow-2.19cuda
|
Anaconda3/2024.02-1
|
3.11 | V | V | V | V | V |
| ||||||||
BoltzTrap2 25.3.1 | $CENV/boltztrap2-25.3.1
|
Anaconda3/2024.02-1
|
3.11 | V | - | - | V | V |
|
3. (Apabila butuh) Melengkapi Conda Env Siap Pakai
Terdapat dua opsi:
- Melalui bantuan / diskusi dengan tim admin, atau
- Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat HOME global:
- Package terinstal di HOME user.
- Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
- Contoh user melengkapi package conda env dengan Python 3.11:
Dimana user melakukan instalasi package?
- User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
- User yang menjalankan komputasi batch job menginstal package di Login Node:
- Langkah instalasi package di Login Node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan instalasi package Python yang dibutuhkan: |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
4. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan:
- [ 4.1 - Berjalan di Login Node ]
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- Tidak mengkonsumsi Kredit Core Hour.
- Login node mempunyai spesifikasi terbatas.
- Keperluan komputasi gunakan batch job / sesi Jupyter.
- Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- [ 4.2 - Batch Job ]
- Menjalankan script Python siap jalan di [Compute node].
- Batch job berhenti ketika:
- Program komputasi selesai berjalan.
- Job menyentuh limit waktu yang ditentukan user.
- Job terkena error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya batch job:
- Job tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- [ 4.3 - Sesi Jupyter ]
- Menjalankan sesi Jupyter Lab atau Notebook di [interactive node].
- Sesi Jupyter berhenti ketika:
- Waktu sesi habis.
- User menghentikan sesi.
- Sesi terkena error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya sesi Jupyter:
- Sesi tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
- Bisa jadi cell tsb. tidak menampilkan aktivitas cell.
- Lihat status cell / output lainnya.
---
4.1. Berjalan di Login Node
- Langkah Menjalankan Conda Env di login node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan kegiatan user dengan conda env ini. |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |