Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi

Dari ALELEON by EFISON
 
(8 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 7: Baris 7:


== '''''0. Spesifikasi''''' ==
== '''''0. Spesifikasi''''' ==
Conda env siap pakai ini dibuat oleh '''tim admin''' ALELEON Supercomputer dengan spesifikasi:
Spesifikasi conda env siap pakai:


* Setiap conda env spesifik menjalankan 1 package utama (contoh TensorFlow, PyTorch, BoltzTraP, dll).
* Dibuat oleh '''tim admin''' ALELEON Supercomputer.
* User dapat menambah instalasi package ''<small>(apabila dibutuhkan)</small>'' - lihat '''<big>[ Subbab 3 ]</big>'''.


{| class="wikitable"
* Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).
|+Keterangan simbol perintah terminal
|-
!<code>'''<big>$</big>'''</code>
|Perintah ketika conda env tidak aktif
|-
!'''<code><big><sub>(env)</sub>$</big></code>'''
|Perintah ketika conda env aktif
|}


== '''''1. Langkah Menjalanlan Komputasi''''' ==
== '''''1. Langkah Menjalanlan Komputasi''''' ==
Baris 27: Baris 18:
!Langkah
!Langkah
|-
|-
!'''<big><nowiki>[ 2 ]</nowiki></big>'''
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia <nowiki>[ 2 ]</nowiki>]</big>'''
|Lihat conda env tersedia dan spesifikasinya.
|Lihat conda env tersedia dan detailnya:


* Cek kelengkapan package dan dukungan komputasi.
* Cek kelengkapan package dan dukungan komputasi.
|-
|-
!'''<big><nowiki>[ 3 ]</nowiki></big>'''
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ 3 ]</nowiki>]</big>'''
|''Apabila dibutuhkan'', user dapat menambah instalasi package.
|''Apabila dibutuhkan'', user dapat menambah instalasi package.
|-
|-
!<big><nowiki>[ 4 ]</nowiki></big>
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4._Pilihan_Menjalankan_Komputasi <nowiki>[ 4 ]</nowiki>]</big>
|Menjalankan komputasi dengan pilihan:
|Menjalankan komputasi dengan pilihan:
*'''<big>[ 4.1 ]</big>''' sesi interaktif di Login Node
*'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 ]</nowiki>]</big>''' sesi interaktif di Login Node
*'''<big>[ 4.2 ]</big>''' batch job
*'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 ]</nowiki>]</big>''' batch job
*'''<big>[ 4.3 ]</big>''' sesi Jupyter Notebook / Lab
*'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 ]</nowiki>]</big>''' sesi Jupyter Notebook / Lab
|-
|-
!<big>[ 5 ]</big>
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#5._Pelaporan_Kendala_dan_Support <nowiki>[ 5 ]</nowiki>]</big>
|Support apabila menemui masalah.
|Support apabila menemui masalah.
|}
|}


== '''''2. Daftar Conda Env Siap Pakai''''' ==
== '''''2. Daftar Conda Env Tersedia''''' ==
Berikut adalah daftar conda env siap pakai yang tersedia.
Berikut adalah daftar conda env siap pakai.
 
* ''User dapat melayangkan permintaan pembuatan conda env tertentu ke tim admin melalui '''support@efisonlt.com'''.''


* Cek kelengkapan package dengan ''expand / kembangkan'' tabel '''Package terinstal'''.
* Bila ada kekurangan package, lihat '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#3._(Apabila_butuh)_Melengkapi_Conda_Env_Siap_Pakai <nowiki>[ Subbab 3 ]</nowiki>]</big>'''.
{| class="wikitable"
{| class="wikitable"
! colspan="9" |- Daftar Conda Env Tersedia -
|-
| colspan="9" |''Permintaan pembuatan conda env ke tim admin hubungi '''support@efisonlt.com'''.''
|-
! rowspan="2" |Package Utama
! rowspan="2" |Package Utama
dan terinstal
dan terinstal
Baris 67: Baris 62:
Jupyter
Jupyter
|-
|-
! colspan="9" |''Bidang AI / Machine Learning / Deep Learning''
|'''PyTorch 2.7.1 (ver CUDA 12.6)'''
* ''Support CUDA, MPI, Accelerate, Transformers''
| rowspan="2" |<code>'''$CENV/pytorch-2.7.1cuda'''</code>
| rowspan="2" |<code>Anaconda3/2024.02-1</code>
| rowspan="2" |<big>3.12</big>
! rowspan="2" |V
! rowspan="2" |V
! rowspan="2" |V
! rowspan="2" |V
! rowspan="2" |V
|-
|-
|
|
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!PyTorch
2.7.1 (CUDA 12.6)
|-
|-
!Package terinstal:
!Package terinstal
|-
|-
|<syntaxhighlight lang="bash">
|
_libgcc_mutex 0.1
_openmp_mutex 5.1
absl-py 2.3.1
anyio 4.9.0
argon2-cffi 25.1.0
argon2-cffi-bindings 21.2.0
arrow 1.3.0
asttokens 3.0.0
async-lru 2.0.5
attrs 25.3.0
babel 2.17.0
beautifulsoup4 4.13.4
bleach 6.2.0
bzip2 1.0.8
ca-certificates 2025.2.25
certifi 2025.6.15
cffi 1.17.1
charset-normalizer 3.4.2
comm 0.2.2
contourpy 1.3.2
cycler 0.12.1
debugpy 1.8.14
decorator 5.2.1
defusedxml 0.7.1
executing 2.2.0
expat 2.7.1
fastjsonschema 2.21.1
filelock 3.18.0
fonttools 4.58.4
fqdn 1.5.1
fsspec 2025.5.1
h11 0.16.0
h5py 3.14.0
httpcore 1.0.9
httpx 0.28.1
idna 3.10
ipykernel 6.29.5
ipython 9.4.0
ipython-pygments-lexers 1.1.1
ipywidgets 8.1.7
isoduration 20.11.0
jedi 0.19.2
jinja2 3.1.6
joblib 1.5.1
json5 0.12.0
jsonpointer 3.0.0
jsonschema 4.24.0
jsonschema-specifications 2025.4.1
jupyter 1.1.1
jupyter-client 8.6.3
jupyter-console 6.6.3
jupyter-core 5.8.1
jupyter-events 0.12.0
jupyter-lsp 2.2.5
jupyter-server 2.16.0
jupyter-server-terminals 0.5.3
jupyterlab 4.4.4
jupyterlab-pygments 0.3.0
jupyterlab-server 2.27.3
jupyterlab-widgets 3.0.15
keras 3.10.0
kiwisolver 1.4.8
ld_impl_linux-64 2.40
libffi 3.4.4
libgcc-ng 11.2.0
libgomp 11.2.0
libstdcxx-ng 11.2.0
libuuid 1.41.5
libxcb 1.17.0
markdown-it-py 3.0.0
markupsafe 3.0.2
matplotlib 3.10.3
matplotlib-inline 0.1.7
mdurl 0.1.2
mistune 3.1.3
ml-dtypes 0.5.1
mpi4py 4.1.0
mpmath 1.3.0
namex 0.1.0
nbclient 0.10.2
nbconvert 7.16.6
nbformat 5.10.4
ncurses 6.4
nest-asyncio 1.6.0
networkx 3.5
notebook 7.4.4
notebook-shim 0.2.4
numpy 2.3.1
nvidia-cublas-cu12 12.6.4.1
nvidia-cuda-cupti-cu12 12.6.80
nvidia-cuda-nvrtc-cu12 12.6.77
nvidia-cuda-runtime-cu12 12.6.77
nvidia-cudnn-cu12 9.5.1.17
nvidia-cufft-cu12 11.3.0.4
nvidia-cufile-cu12 1.11.1.6
nvidia-curand-cu12 10.3.7.77
nvidia-cusolver-cu12 11.7.1.2
nvidia-cusparse-cu12 12.5.4.2
nvidia-cusparselt-cu12 0.6.3
nvidia-nccl-cu12 2.26.2
nvidia-nvjitlink-cu12 12.6.85
nvidia-nvtx-cu12 12.6.77
openmpi 5.0.8
openssl 3.0.16
optree 0.16.0
overrides 7.7.0
packaging 25.0
pandas 2.3.0
pandocfilters 1.5.1
parso 0.8.4
pexpect 4.9.0
pillow 11.3.0
pip 25.1
platformdirs 4.3.8
prometheus-client 0.22.1
prompt-toolkit 3.0.51
psutil 7.0.0
pthread-stubs 0.3
ptyprocess 0.7.0
pure-eval 0.2.3
pycparser 2.22
pygments 2.19.2
pyparsing 3.2.3
python 3.12.11
python-dateutil 2.9.0.post0
python-json-logger 3.3.0
pytz 2025.2
pyyaml 6.0.2
pyzmq 27.0.0
readline 8.2
referencing 0.36.2
requests 2.32.4
rfc3339-validator 0.1.4
rfc3986-validator 0.1.1
rich 14.0.0
rpds-py 0.26.0
scikit-learn 1.7.0
scipy 1.16.0
send2trash 1.8.3
setuptools 78.1.1
six 1.17.0
sniffio 1.3.1
soupsieve 2.7
sqlite 3.45.3
stack-data 0.6.3
sympy 1.14.0
terminado 0.18.1
threadpoolctl 3.6.0
tinycss2 1.4.0
tk 8.6.14
torch 2.7.1
torchaudio 2.7.1
torchvision 0.22.1
tornado 6.5.1
traitlets 5.14.3
triton 3.3.1
types-python-dateutil 2.9.0.20250516
typing-extensions 4.14.0
tzdata 2025.2
uri-template 1.3.0
urllib3 2.5.0
wcwidth 0.2.13
webcolors 24.11.1
webencodings 0.5.1
websocket-client 1.8.0
wheel 0.45.1
widgetsnbextension 4.0.14
xorg-libx11 1.8.12
xorg-libxau 1.0.12
xorg-libxdmcp 1.1.5
xorg-xorgproto 2024.1
xz 5.6.4
zlib 1.2.13
</syntaxhighlight>
|}
|}
|<code>'''$CONDAENV/pytorch-2.7.1cuda'''</code>
|-
|<code>Anaconda3/2024.02-1</code>
|'''TensorFlow 2.19 (ver CUDA 12.5)'''
|<big>3.12</big>
* ''Support CUDA, MPI, Transformers''
!V
| rowspan="2" |<code>'''$CENV/tensorflow-2.19cuda'''</code>
!V
| rowspan="2" |<code>Anaconda3/2024.02-1</code>
!V
| rowspan="2" |<big>3.11</big>
!V
! rowspan="2" |V
!V
! rowspan="2" |V
! rowspan="2" |V
! rowspan="2" |V
! rowspan="2" |V
|-
|-
|
|
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!TensorFlow
!Package terinstal
2.19 (CUDA 12.5)
|-
|
|}
|-
|-
!Package terinstal:
|
| rowspan="2" |
| rowspan="2" |
| rowspan="2" |
! rowspan="2" |
! rowspan="2" |
! rowspan="2" |
! rowspan="2" |
! rowspan="2" |
|-
|-
|<syntaxhighlight lang="bash">
|
_libgcc_mutex 0.1
_openmp_mutex 5.1
absl-py 2.3.0
anyio 4.9.0
argon2-cffi 25.1.0
argon2-cffi-bindings 21.2.0
arrow 1.3.0
asttokens 3.0.0
astunparse 1.6.3
async-lru 2.0.5
attrs 25.3.0
babel 2.17.0
beautifulsoup4 4.13.4
bleach 6.2.0
bzip2 1.0.8
ca-certificates 2025.2.25
certifi 2025.6.15
cffi 1.17.1
charset-normalizer 3.4.2
comm 0.2.2
contourpy 1.3.2
cycler 0.12.1
debugpy 1.8.14
decorator 5.2.1
defusedxml 0.7.1
executing 2.2.0
expat 2.7.1
fastjsonschema 2.21.1
flatbuffers 25.2.10
fonttools 4.58.4
fqdn 1.5.1
gast 0.6.0
google-pasta 0.2.0
grpcio 1.73.1
h11 0.16.0
h5py 3.14.0
httpcore 1.0.9
httpx 0.28.1
idna 3.10
ipykernel 6.29.5
ipython 9.4.0
ipython-pygments-lexers 1.1.1
ipywidgets 8.1.7
isoduration 20.11.0
jedi 0.19.2
jinja2 3.1.6
joblib 1.5.1
json5 0.12.0
jsonpointer 3.0.0
jsonschema 4.24.0
jsonschema-specifications 2025.4.1
jupyter 1.1.1
jupyter-client 8.6.3
jupyter-console 6.6.3
jupyter-core 5.8.1
jupyter-events 0.12.0
jupyter-lsp 2.2.5
jupyter-server 2.16.0
jupyter-server-terminals 0.5.3
jupyterlab 4.4.4
jupyterlab-pygments 0.3.0
jupyterlab-server 2.27.3
jupyterlab-widgets 3.0.15
keras 3.10.0
kiwisolver 1.4.8
ld_impl_linux-64 2.40
libclang 18.1.1
libffi 3.4.4
libgcc-ng 11.2.0
libgomp 11.2.0
libstdcxx-ng 11.2.0
libuuid 1.41.5
libxcb 1.17.0
markdown 3.8.2
markdown-it-py 3.0.0
markupsafe 3.0.2
matplotlib 3.10.3
matplotlib-inline 0.1.7
mdurl 0.1.2
mistune 3.1.3
ml-dtypes 0.5.1
mpi4py 4.1.0
namex 0.1.0
nbclient 0.10.2
nbconvert 7.16.6
nbformat 5.10.4
ncurses 6.4
nest-asyncio 1.6.0
notebook 7.4.4
notebook-shim 0.2.4
numpy 2.1.3
nvidia-cublas-cu12 12.5.3.2
nvidia-cuda-cupti-cu12 12.5.82
nvidia-cuda-nvcc-cu12 12.5.82
nvidia-cuda-nvrtc-cu12 12.5.82
nvidia-cuda-runtime-cu12 12.5.82
nvidia-cudnn-cu12 9.3.0.75
nvidia-cufft-cu12 11.2.3.61
nvidia-curand-cu12 10.3.6.82
nvidia-cusolver-cu12 11.6.3.83
nvidia-cusparse-cu12 12.5.1.3
nvidia-nccl-cu12 2.23.4
nvidia-nvjitlink-cu12 12.5.82
openmpi 5.0.8
openssl 3.0.16
opt-einsum 3.4.0
optree 0.16.0
overrides 7.7.0
packaging 25.0
pandas 2.3.0
pandocfilters 1.5.1
parso 0.8.4
pexpect 4.9.0
pillow 11.3.0
pip 25.1
platformdirs 4.3.8
prometheus-client 0.22.1
prompt-toolkit 3.0.51
protobuf 5.29.5
psutil 7.0.0
pthread-stubs 0.3
ptyprocess 0.7.0
pure-eval 0.2.3
pycparser 2.22
pygments 2.19.2
pyparsing 3.2.3
python 3.11.13
python-dateutil 2.9.0.post0
python-json-logger 3.3.0
pytz 2025.2
pyyaml 6.0.2
pyzmq 27.0.0
readline 8.2
referencing 0.36.2
requests 2.32.4
rfc3339-validator 0.1.4
rfc3986-validator 0.1.1
rich 14.0.0
rpds-py 0.26.0
scikit-learn 1.7.0
scipy 1.16.0
seaborn 0.13.2
send2trash 1.8.3
setuptools 78.1.1
six 1.17.0
sniffio 1.3.1
soupsieve 2.7
sqlite 3.45.3
stack-data 0.6.3
tensorboard 2.19.0
tensorboard-data-server 0.7.2
tensorflow 2.19.0
tensorflow-io-gcs-filesystem 0.37.1
termcolor 3.1.0
terminado 0.18.1
threadpoolctl 3.6.0
tinycss2 1.4.0
tk 8.6.14
tornado 6.5.1
traitlets 5.14.3
types-python-dateutil 2.9.0.20250516
typing-extensions 4.14.0
tzdata 2025.2
uri-template 1.3.0
urllib3 2.5.0
wcwidth 0.2.13
webcolors 24.11.1
webencodings 0.5.1
websocket-client 1.8.0
werkzeug 3.1.3
wheel 0.45.1
widgetsnbextension 4.0.14
wrapt 1.17.2
xorg-libx11 1.8.12
xorg-libxau 1.0.12
xorg-libxdmcp 1.1.5
xorg-xorgproto 2024.1
xz 5.6.4
zlib 1.2.13
</syntaxhighlight>
|}
|<code>'''$CONDAENV/tensorflow-2.19cuda'''</code>
|<code>Anaconda3/2024.02-1</code>
|<big>3.11</big>
!V
!V
!V
!V
!V
|-
|-
! colspan="9" |''Bidang Komputasi Saintifik''
|'''BoltzTrap2 25.3.1'''
| rowspan="2" |<code>'''$CENV/boltztrap2-25.3.1'''</code>
| rowspan="2" |<code>Anaconda3/2024.02-1</code>
| rowspan="2" |<big>3.11</big>
! rowspan="2" |V
! rowspan="2" |-
! rowspan="2" |-
! rowspan="2" |V
! rowspan="2" |V
|-
|-
|
|
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!BoltTraP2
!Package terinstal
25.3.1
|-
!Package terinstal:
|-
|-
|<syntaxhighlight lang="bash">
|<syntaxhighlight lang="bash">
Baris 611: Baris 268:
</syntaxhighlight>
</syntaxhighlight>
|}
|}
|<code>'''$CONDAENV/boltztrap2-25.3.1'''</code>
|<code>Anaconda3/2024.02-1</code>
|<big>3.11</big>
!V
!-
!-
!V
!V
|}
|}
== '''''3. <small>(Apabila butuh)</small> Melengkapi Conda Env Siap Pakai''''' ==
'''Terdapat dua opsi:'''
# Melalui bantuan / diskusi dengan tim admin, atau
# Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat '''<big>HOME</big>''' '''<big>global:</big>'''
# Package terinstal di HOME user.
# Perhatikan kolom '''Versi Python''' di tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].'''
# Contoh user melengkapi package conda env dengan Python 3.11: 
#* Package tersebut akan aktif di conda env lain dengan versi Python sama.
#* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package ''tidak cocok'' dengan conda env bersangkutan atau lainnya.
#* Lakukan instalasi dengan bijak.
'''Dimana user melakukan instalasi package?'''
# User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.'''
# User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node:'''
{| class="wikitable mw-collapsible mw-collapsed"
!- Langkah instalasi package di Login Node -
|-
|[[Berkas:EOD Apps Shell full.png|kiri|nirbing|101x101px]]'''''Menggunakan terminal!'''''
*''User EFIRO klik app '''<code>Aleleon Shell Access</code>'''''
*''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
|-
!<big><code>-/ 1 /-</code></big>
|-
| Pilih dan aktifkan conda env tersedia:
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].'''
$ '''ml ''[Py Package Manager]'''''
$ '''source activate ''[Nama Conda Env]'''''
''<small>- Contoh mengaktifkan conda env PyTorch 2.7.1:</small>''
<small>$ ml Anaconda3/2024.02-1
$ source activate $CENV/pytorch-2.7.1cuda</small>
|-
!<big><code>-/ 2 /-</code></big>
|-
|Lakukan instalasi package Python yang dibutuhkan:
*Lihat '''[[https://wiki.efisonlt.com/wiki/Daftar_Instalasi_Package_Python#Instalasi_Package_Umum_dengan_pip_/_conda Instalasi Package Umum dengan pip / conda]]'''
|-
!<big><code>-/ 3 /-</code></big>
|-
|Jika sudah selesai, praktik baik menonaktifkan conda env:
$ '''conda deactivate'''
$ '''ml unload Anaconda3'''
|}
== '''''4. Pilihan Menjalankan Komputasi''''' ==
Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan:
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 - Berjalan di Login Node ]</nowiki>]''</big>'''
**'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.'''
***Tidak mengkonsumsi Kredit Core Hour.
***Login node mempunyai spesifikasi terbatas.
**'''Keperluan komputasi gunakan batch job / sesi Jupyter.'''
***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 - Batch Job ]</nowiki>]''</big>'''
**'''Menjalankan script Python siap jalan di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].'''
***'''<nowiki/>'''[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.''
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.''
**'''Batch job berhenti ketika:'''
***''Program komputasi selesai berjalan.''
***''Job menyentuh limit waktu yang ditentukan user.''
***''Job terkena error sehingga selesai prematur.''
**'''Koneksi user tidak mempengaruhi jalannya batch job:'''
***''Job tidak akan berhenti ketika koneksi user terputus, atau''
***''user keluar (log out) dari ALELEON.''
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 - Sesi Jupyter ]</nowiki>]''</big>'''
**'''Menjalankan sesi Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive]]<nowiki/> [[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|node]]].'''
**'''Sesi Jupyter berhenti ketika:'''
*** ''Waktu sesi habis.''
***''User menghentikan sesi.''
***''Sesi terkena error sehingga selesai prematur.''
**'''Koneksi user tidak mempengaruhi jalannya sesi Jupyter:'''
***''Sesi tidak akan berhenti ketika koneksi user terputus, atau''
***''user keluar (log out) dari ALELEON.''
**'''Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:'''
***''Bisa jadi cell tsb. tidak menampilkan aktivitas cell.''
***''Lihat status cell / output lainnya.''
---
=== 4.1. Berjalan di Login Node ===
{| class="wikitable mw-collapsible mw-collapsed"
!- Langkah Menjalankan Conda Env di login node -
[[Berkas:Sbatch terminal display rev2.png|tepi|400x400px]]
|-
|[[Berkas:EOD Apps Shell full.png|kiri|nirbing|101x101px]]'''''Menggunakan terminal!'''''
*''User EFIRO klik app '''<code>Aleleon Shell Access</code>'''''
*''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
|-
!<big><code>-/ 1 /-</code></big>
|-
| Pilih dan aktifkan conda env tersedia:
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].'''
$ '''ml ''[Py Package Manager]'''''
$ '''source activate ''[Nama Conda Env]'''''
''<small>- Contoh mengaktifkan conda env PyTorch 2.7.1:</small>''
<small>$ ml Anaconda3/2024.02-1
$ source activate $CENV/pytorch-2.7.1cuda</small>
|-
!<big><code>-/ 2 /-</code></big>
|-
|Lakukan kegiatan user dengan conda env ini.
|-
!<big><code>-/ 3 /-</code></big>
|-
|Jika sudah selesai, praktik baik menonaktifkan conda env:
$ '''conda deactivate'''
$ '''ml unload Anaconda3'''
|}
=== 4.2. Batch Job ===
=== 4.3. Sesi Jupyter ===
== '''''5. Pelaporan Kendala dan Support''''' ==

Revisi terkini sejak 4 Juli 2025 18.40

Logo Python Anaconda Mamba ALELEON tp.png

Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.

Laman ini merupakan bagian laman [Komputasi Python]

0. Spesifikasi

Spesifikasi conda env siap pakai:

  • Dibuat oleh tim admin ALELEON Supercomputer.
  • Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).

1. Langkah Menjalanlan Komputasi

Subbab Langkah
[ 2 ] Lihat conda env tersedia dan detailnya:
  • Cek kelengkapan package dan dukungan komputasi.
[ 3 ] Apabila dibutuhkan, user dapat menambah instalasi package.
[ 4 ] Menjalankan komputasi dengan pilihan:
[ 5 ] Support apabila menemui masalah.

2. Daftar Conda Env Tersedia

Berikut adalah daftar conda env siap pakai.

  • Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
  • Bila ada kekurangan package, lihat [ Subbab 3 ].
- Daftar Conda Env Tersedia -
Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com.
Package Utama

dan terinstal

Nama Conda Env Py Package Manager Versi

Python

Dukungan Komputasi
CPU GPU MPI Batch

Job

Sesi

Jupyter

PyTorch 2.7.1 (ver CUDA 12.6)
  • Support CUDA, MPI, Accelerate, Transformers
 $CENV/pytorch-2.7.1cuda Anaconda3/2024.02-1 3.12 V V V V V
Package terinstal
TensorFlow 2.19 (ver CUDA 12.5)
  • Support CUDA, MPI, Transformers
 $CENV/tensorflow-2.19cuda Anaconda3/2024.02-1 3.11 V V V V V
Package terinstal
BoltzTrap2 25.3.1 $CENV/boltztrap2-25.3.1 Anaconda3/2024.02-1 3.11 V - - V V
Package terinstal 
_libgcc_mutex 0.1
_openmp_mutex 5.1
anyio 4.9.0
argon2-cffi 25.1.0
argon2-cffi-bindings 21.2.0
arrow 1.3.0
ase 3.25.0
asttokens 3.0.0
async-lru 2.0.5
attrs 25.3.0
babel 2.17.0
beautifulsoup4 4.13.4
bleach 6.2.0
boltztrap2 25.3.1
bzip2 1.0.8
ca-certificates 2025.2.25
certifi 2025.6.15
cffi 1.17.1
cftime 1.6.4.post1
charset-normalizer 3.4.2
comm 0.2.2
contourpy 1.3.2
cycler 0.12.1
cython 3.1.2
debugpy 1.8.14
decorator 5.2.1
defusedxml 0.7.1
executing 2.2.0
expat 2.7.1
fastjsonschema 2.21.1
fonttools 4.58.4
fqdn 1.5.1
h11 0.16.0
httpcore 1.0.9
httpx 0.28.1
idna 3.10
ipykernel 6.29.5
ipython 9.3.0
ipython-pygments-lexers 1.1.1
ipywidgets 8.1.7
isoduration 20.11.0
jedi 0.19.2
jinja2 3.1.6
json5 0.12.0
jsonpointer 3.0.0
jsonschema 4.24.0
jsonschema-specifications 2025.4.1
jupyter 1.1.1
jupyter-client 8.6.3
jupyter-console 6.6.3
jupyter-core 5.8.1
jupyter-events 0.12.0
jupyter-lsp 2.2.5
jupyter-server 2.16.0
jupyter-server-terminals 0.5.3
jupyterlab 4.4.3
jupyterlab-pygments 0.3.0
jupyterlab-server 2.27.3
jupyterlab-widgets 3.0.15
kiwisolver 1.4.8
ld_impl_linux-64 2.40
libffi 3.4.4
libgcc-ng 11.2.0
libgomp 11.2.0
libstdcxx-ng 11.2.0
libuuid 1.41.5
libxcb 1.17.0
markupsafe 3.0.2
matplotlib 3.10.3
matplotlib-inline 0.1.7
mistune 3.1.3
nbclient 0.10.2
nbconvert 7.16.6
nbformat 5.10.4
ncurses 6.4
nest-asyncio 1.6.0
netcdf4 1.7.2
notebook 7.4.3
notebook-shim 0.2.4
numpy 2.3.1
openssl 3.0.16
overrides 7.7.0
packaging 25.0
pandocfilters 1.5.1
parso 0.8.4
pexpect 4.9.0
pillow 11.2.1
pip 25.1
platformdirs 4.3.8
prometheus-client 0.22.1
prompt-toolkit 3.0.51
psutil 7.0.0
pthread-stubs 0.3
ptyprocess 0.7.0
pure-eval 0.2.3
pycparser 2.22
pygments 2.19.2
pyparsing 3.2.3
python 3.11.13
python-dateutil 2.9.0.post0
python-json-logger 3.3.0
pyyaml 6.0.2
pyzmq 27.0.0
readline 8.2
referencing 0.36.2
requests 2.32.4
rfc3339-validator 0.1.4
rfc3986-validator 0.1.1
rpds-py 0.25.1
scipy 1.16.0
send2trash 1.8.3
setuptools 78.1.1
six 1.17.0
sniffio 1.3.1
soupsieve 2.7
spglib 2.6.0
sqlite 3.45.3
stack-data 0.6.3
terminado 0.18.1
tinycss2 1.4.0
tk 8.6.14
tornado 6.5.1
traitlets 5.14.3
types-python-dateutil 2.9.0.20250516
typing-extensions 4.14.0
tzdata 2025b
uri-template 1.3.0
urllib3 2.5.0
wcwidth 0.2.13
webcolors 24.11.1
webencodings 0.5.1
websocket-client 1.8.0
wheel 0.45.1
widgetsnbextension 4.0.14
xorg-libx11 1.8.12
xorg-libxau 1.0.12
xorg-libxdmcp 1.1.5
xorg-xorgproto 2024.1
xz 5.6.4
zlib 1.2.13

3. (Apabila butuh) Melengkapi Conda Env Siap Pakai

Terdapat dua opsi:

  1. Melalui bantuan / diskusi dengan tim admin, atau
  2. Melakukan instalasi sendiri.

Instalasi package tambahan ini bersifat HOME global:

  1. Package terinstal di HOME user.
  2. Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
  3. Contoh user melengkapi package conda env dengan Python 3.11:
    • Package tersebut akan aktif di conda env lain dengan versi Python sama.
    • GMB warning wololo.png Ada potensi package tidak cocok dengan conda env bersangkutan atau lainnya.
    • Lakukan instalasi dengan bijak.

Dimana user melakukan instalasi package?

  1. User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
  2. User yang menjalankan komputasi batch job menginstal package di Login Node:
- Langkah instalasi package di Login Node -
EOD Apps Shell full.png
Menggunakan terminal!
  • User EFIRO klik app Aleleon Shell Access
  • atau menu Apps > Aleleon Shell Access
-/ 1 /-
Pilih dan aktifkan conda env tersedia: 
$ ml [Py Package Manager]
$ source activate [Nama Conda Env]

- Contoh mengaktifkan conda env PyTorch 2.7.1:
$ ml Anaconda3/2024.02-1
$ source activate $CENV/pytorch-2.7.1cuda
-/ 2 /-
Lakukan instalasi package Python yang dibutuhkan:
-/ 3 /-
Jika sudah selesai, praktik baik menonaktifkan conda env: 
$ conda deactivate
$ ml unload Anaconda3

4. Pilihan Menjalankan Komputasi

Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan:

  • [ 4.1 - Berjalan di Login Node ]
    • Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
      • Tidak mengkonsumsi Kredit Core Hour.
      • Login node mempunyai spesifikasi terbatas.
    • Keperluan komputasi gunakan batch job / sesi Jupyter.
      • Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
  • [ 4.2 - Batch Job ]
    • Menjalankan script Python siap jalan di [Compute node].
      • GMB warning wololo.png Perhatikan file .ipynb harus dikonversi ke file .py.
      • Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.
    • Batch job berhenti ketika:
      • Program komputasi selesai berjalan.
      • Job menyentuh limit waktu yang ditentukan user.
      • Job terkena error sehingga selesai prematur.
    • Koneksi user tidak mempengaruhi jalannya batch job:
      • Job tidak akan berhenti ketika koneksi user terputus, atau
      • user keluar (log out) dari ALELEON.
  • [ 4.3 - Sesi Jupyter ]
    • Menjalankan sesi Jupyter Lab atau Notebook di [interactive node].
    • Sesi Jupyter berhenti ketika:
      • Waktu sesi habis.
      • User menghentikan sesi.
      • Sesi terkena error sehingga selesai prematur.
    • Koneksi user tidak mempengaruhi jalannya sesi Jupyter:
      • Sesi tidak akan berhenti ketika koneksi user terputus, atau
      • user keluar (log out) dari ALELEON.
    • Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
      • Bisa jadi cell tsb. tidak menampilkan aktivitas cell.
      • Lihat status cell / output lainnya.

---

4.1. Berjalan di Login Node

- Langkah Menjalankan Conda Env di login node -

Sbatch terminal display rev2.png

EOD Apps Shell full.png
Menggunakan terminal!
  • User EFIRO klik app Aleleon Shell Access
  • atau menu Apps > Aleleon Shell Access
-/ 1 /-
Pilih dan aktifkan conda env tersedia: 
$ ml [Py Package Manager]
$ source activate [Nama Conda Env]

- Contoh mengaktifkan conda env PyTorch 2.7.1:
$ ml Anaconda3/2024.02-1
$ source activate $CENV/pytorch-2.7.1cuda
-/ 2 /-
Lakukan kegiatan user dengan conda env ini.
-/ 3 /-
Jika sudah selesai, praktik baik menonaktifkan conda env: 
$ conda deactivate
$ ml unload Anaconda3

4.2. Batch Job

4.3. Sesi Jupyter

5. Pelaporan Kendala dan Support

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)&oldid=2041"