Komputasi Python dengan Conda Environment (Siap Pakai): Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (melengkapi hyperlink) |
WilsonLisan (bicara | kontrib) (melengkapi daftar conda env) |
||
(1 revisi perantara oleh pengguna yang sama tidak ditampilkan) | |||
Baris 62: | Baris 62: | ||
Jupyter | Jupyter | ||
|- | |- | ||
|'''PyTorch 2.7.1 | |'''PyTorch 2.7.1 (ver CUDA 12.6)''' | ||
* ''feat. CUDA, MPI, Accelerate, Transformers'' | |||
| rowspan="2" |<code>'''$CENV/pytorch-2.7.1cuda'''</code> | | rowspan="2" |<code>'''$CENV/pytorch-2.7.1cuda'''</code> | ||
| rowspan="2" |<code>Anaconda3/2024.02-1</code> | | rowspan="2" |<code>Anaconda3/2024.02-1</code> | ||
Baris 81: | Baris 82: | ||
_openmp_mutex 5.1 | _openmp_mutex 5.1 | ||
absl-py 2.3.1 | absl-py 2.3.1 | ||
accelerate 1.8.1 | |||
anyio 4.9.0 | anyio 4.9.0 | ||
argon2-cffi 25.1.0 | argon2-cffi 25.1.0 | ||
Baris 111: | Baris 113: | ||
h11 0.16.0 | h11 0.16.0 | ||
h5py 3.14.0 | h5py 3.14.0 | ||
hf-xet 1.1.5 | |||
httpcore 1.0.9 | httpcore 1.0.9 | ||
httpx 0.28.1 | httpx 0.28.1 | ||
huggingface-hub 0.33.2 | |||
idna 3.10 | idna 3.10 | ||
ipykernel 6.29.5 | ipykernel 6.29.5 | ||
Baris 209: | Baris 213: | ||
readline 8.2 | readline 8.2 | ||
referencing 0.36.2 | referencing 0.36.2 | ||
regex 2024.11.6 | |||
requests 2.32.4 | requests 2.32.4 | ||
rfc3339-validator 0.1.4 | rfc3339-validator 0.1.4 | ||
Baris 214: | Baris 219: | ||
rich 14.0.0 | rich 14.0.0 | ||
rpds-py 0.26.0 | rpds-py 0.26.0 | ||
safetensors 0.5.3 | |||
scikit-learn 1.7.0 | scikit-learn 1.7.0 | ||
scipy 1.16.0 | scipy 1.16.0 | ||
Baris 228: | Baris 234: | ||
tinycss2 1.4.0 | tinycss2 1.4.0 | ||
tk 8.6.14 | tk 8.6.14 | ||
tokenizers 0.21.2 | |||
torch 2.7.1 | torch 2.7.1 | ||
torchaudio 2.7.1 | torchaudio 2.7.1 | ||
torchvision 0.22.1 | torchvision 0.22.1 | ||
tornado 6.5.1 | tornado 6.5.1 | ||
tqdm 4.67.1 | |||
traitlets 5.14.3 | traitlets 5.14.3 | ||
transformers 4.53.1 | |||
triton 3.3.1 | triton 3.3.1 | ||
types-python-dateutil 2.9.0.20250516 | types-python-dateutil 2.9.0.20250516 | ||
Baris 254: | Baris 263: | ||
|} | |} | ||
|- | |- | ||
|'''TensorFlow 2.19 | |'''TensorFlow 2.19 (ver CUDA 12.5)''' | ||
* ''feat. CUDA, MPI, Transformers'' | |||
| rowspan="2" |<code>'''$CENV/tensorflow-2.19cuda'''</code> | | rowspan="2" |<code>'''$CENV/tensorflow-2.19cuda'''</code> | ||
| rowspan="2" |<code>Anaconda3/2024.02-1</code> | | rowspan="2" |<code>Anaconda3/2024.02-1</code> | ||
Baris 271: | Baris 281: | ||
_libgcc_mutex 0.1 | _libgcc_mutex 0.1 | ||
_openmp_mutex 5.1 | _openmp_mutex 5.1 | ||
absl-py 2.3. | absl-py 2.3.1 | ||
anyio 4.9.0 | anyio 4.9.0 | ||
argon2-cffi 25.1.0 | argon2-cffi 25.1.0 | ||
Baris 297: | Baris 307: | ||
expat 2.7.1 | expat 2.7.1 | ||
fastjsonschema 2.21.1 | fastjsonschema 2.21.1 | ||
filelock 3.18.0 | |||
flatbuffers 25.2.10 | flatbuffers 25.2.10 | ||
fonttools 4.58. | fonttools 4.58.5 | ||
fqdn 1.5.1 | fqdn 1.5.1 | ||
fsspec 2025.5.1 | |||
gast 0.6.0 | gast 0.6.0 | ||
google-pasta 0.2.0 | google-pasta 0.2.0 | ||
Baris 305: | Baris 317: | ||
h11 0.16.0 | h11 0.16.0 | ||
h5py 3.14.0 | h5py 3.14.0 | ||
hf-xet 1.1.5 | |||
httpcore 1.0.9 | httpcore 1.0.9 | ||
httpx 0.28.1 | httpx 0.28.1 | ||
huggingface-hub 0.33.2 | |||
idna 3.10 | idna 3.10 | ||
ipykernel 6.29.5 | ipykernel 6.29.5 | ||
Baris 403: | Baris 417: | ||
readline 8.2 | readline 8.2 | ||
referencing 0.36.2 | referencing 0.36.2 | ||
regex 2024.11.6 | |||
requests 2.32.4 | requests 2.32.4 | ||
rfc3339-validator 0.1.4 | rfc3339-validator 0.1.4 | ||
Baris 408: | Baris 423: | ||
rich 14.0.0 | rich 14.0.0 | ||
rpds-py 0.26.0 | rpds-py 0.26.0 | ||
safetensors 0.5.3 | |||
scikit-learn 1.7.0 | scikit-learn 1.7.0 | ||
scipy 1.16.0 | scipy 1.16.0 | ||
send2trash 1.8.3 | send2trash 1.8.3 | ||
setuptools 78.1.1 | setuptools 78.1.1 | ||
Baris 427: | Baris 442: | ||
tinycss2 1.4.0 | tinycss2 1.4.0 | ||
tk 8.6.14 | tk 8.6.14 | ||
tokenizers 0.21.2 | |||
tornado 6.5.1 | tornado 6.5.1 | ||
tqdm 4.67.1 | |||
traitlets 5.14.3 | traitlets 5.14.3 | ||
transformers 4.53.1 | |||
types-python-dateutil 2.9.0.20250516 | types-python-dateutil 2.9.0.20250516 | ||
typing-extensions 4.14. | typing-extensions 4.14.1 | ||
tzdata 2025.2 | tzdata 2025.2 | ||
uri-template 1.3.0 | uri-template 1.3.0 | ||
Baris 447: | Baris 465: | ||
xorg-xorgproto 2024.1 | xorg-xorgproto 2024.1 | ||
xz 5.6.4 | xz 5.6.4 | ||
zlib 1.2.13 | |||
</syntaxhighlight> | |||
|} | |||
|- | |||
|'''Jax 0.6.2 (ver CUDA 12.9)''' | |||
* ''feat. Flax, mpi4jax, Transformers'' | |||
| rowspan="2" |<code>'''$CENV/jax-0.6.2cuda'''</code> | |||
| rowspan="2" |<code>Anaconda3/2024.02-1</code> | |||
| rowspan="2" |<big>3.12</big> | |||
! rowspan="2" |V | |||
! rowspan="2" |V | |||
! rowspan="2" |V | |||
! rowspan="2" |V | |||
! rowspan="2" |V | |||
|- | |||
| | |||
{| class="wikitable mw-collapsible mw-collapsed" | |||
!Package terinstal | |||
|- | |||
|<syntaxhighlight lang="bash"> | |||
_libgcc_mutex 0.1 | |||
_openmp_mutex 5.1 | |||
absl-py 2.3.1 | |||
anyio 4.9.0 | |||
argon2-cffi 25.1.0 | |||
argon2-cffi-bindings 21.2.0 | |||
arrow 1.3.0 | |||
asttokens 3.0.0 | |||
async-lru 2.0.5 | |||
attrs 25.3.0 | |||
babel 2.17.0 | |||
beautifulsoup4 4.13.4 | |||
bleach 6.2.0 | |||
bzip2 1.0.8 | |||
ca-certificates 2025.2.25 | |||
certifi 2025.6.15 | |||
cffi 1.17.1 | |||
charset-normalizer 3.4.2 | |||
chex 0.1.89 | |||
comm 0.2.2 | |||
contourpy 1.3.2 | |||
cycler 0.12.1 | |||
debugpy 1.8.14 | |||
decorator 5.2.1 | |||
defusedxml 0.7.1 | |||
etils 1.12.2 | |||
executing 2.2.0 | |||
expat 2.7.1 | |||
fastjsonschema 2.21.1 | |||
filelock 3.18.0 | |||
flax 0.10.7 | |||
fonttools 4.58.5 | |||
fqdn 1.5.1 | |||
fsspec 2025.5.1 | |||
h11 0.16.0 | |||
h5py 3.14.0 | |||
hf-xet 1.1.5 | |||
httpcore 1.0.9 | |||
httpx 0.28.1 | |||
huggingface-hub 0.33.2 | |||
humanize 4.12.3 | |||
idna 3.10 | |||
importlib-resources 6.5.2 | |||
ipykernel 6.29.5 | |||
ipython 9.4.0 | |||
ipython-pygments-lexers 1.1.1 | |||
ipywidgets 8.1.7 | |||
isoduration 20.11.0 | |||
jax 0.6.2 | |||
jax-cuda12-pjrt 0.6.2 | |||
jax-cuda12-plugin 0.6.2 | |||
jaxlib 0.6.2 | |||
jedi 0.19.2 | |||
jinja2 3.1.6 | |||
joblib 1.5.1 | |||
json5 0.12.0 | |||
jsonpointer 3.0.0 | |||
jsonschema 4.24.0 | |||
jsonschema-specifications 2025.4.1 | |||
jupyter 1.1.1 | |||
jupyter-client 8.6.3 | |||
jupyter-console 6.6.3 | |||
jupyter-core 5.8.1 | |||
jupyter-events 0.12.0 | |||
jupyter-lsp 2.2.5 | |||
jupyter-server 2.16.0 | |||
jupyter-server-terminals 0.5.3 | |||
jupyterlab 4.4.4 | |||
jupyterlab-pygments 0.3.0 | |||
jupyterlab-server 2.27.3 | |||
jupyterlab-widgets 3.0.15 | |||
keras 3.10.0 | |||
kiwisolver 1.4.8 | |||
ld_impl_linux-64 2.40 | |||
libffi 3.4.4 | |||
libgcc-ng 11.2.0 | |||
libgomp 11.2.0 | |||
libstdcxx-ng 11.2.0 | |||
libuuid 1.41.5 | |||
libxcb 1.17.0 | |||
markdown-it-py 3.0.0 | |||
markupsafe 3.0.2 | |||
matplotlib 3.10.3 | |||
matplotlib-inline 0.1.7 | |||
mdurl 0.1.2 | |||
mistune 3.1.3 | |||
ml-dtypes 0.5.1 | |||
mpi4jax 0.7.2 | |||
mpi4py 4.1.0 | |||
msgpack 1.1.1 | |||
namex 0.1.0 | |||
nbclient 0.10.2 | |||
nbconvert 7.16.6 | |||
nbformat 5.10.4 | |||
ncurses 6.4 | |||
nest-asyncio 1.6.0 | |||
notebook 7.4.4 | |||
notebook-shim 0.2.4 | |||
numpy 2.3.1 | |||
nvidia-cublas-cu12 12.9.1.4 | |||
nvidia-cuda-cupti-cu12 12.9.79 | |||
nvidia-cuda-nvcc-cu12 12.9.86 | |||
nvidia-cuda-nvrtc-cu12 12.9.86 | |||
nvidia-cuda-runtime-cu12 12.9.79 | |||
nvidia-cudnn-cu12 9.10.2.21 | |||
nvidia-cufft-cu12 11.4.1.4 | |||
nvidia-cusolver-cu12 11.7.5.82 | |||
nvidia-cusparse-cu12 12.5.10.65 | |||
nvidia-nccl-cu12 2.27.5 | |||
nvidia-nvjitlink-cu12 12.9.86 | |||
nvidia-nvshmem-cu12 3.3.9 | |||
openmpi 5.0.8 | |||
openssl 3.0.16 | |||
opt-einsum 3.4.0 | |||
optax 0.2.5 | |||
optree 0.16.0 | |||
orbax-checkpoint 0.11.18 | |||
overrides 7.7.0 | |||
packaging 25.0 | |||
pandas 2.3.0 | |||
pandocfilters 1.5.1 | |||
parso 0.8.4 | |||
pexpect 4.9.0 | |||
pillow 11.3.0 | |||
pip 25.1 | |||
platformdirs 4.3.8 | |||
prometheus-client 0.22.1 | |||
prompt-toolkit 3.0.51 | |||
protobuf 6.31.1 | |||
psutil 7.0.0 | |||
pthread-stubs 0.3 | |||
ptyprocess 0.7.0 | |||
pure-eval 0.2.3 | |||
pycparser 2.22 | |||
pygments 2.19.2 | |||
pyparsing 3.2.3 | |||
python 3.12.11 | |||
python-dateutil 2.9.0.post0 | |||
python-json-logger 3.3.0 | |||
pytz 2025.2 | |||
pyyaml 6.0.2 | |||
pyzmq 27.0.0 | |||
readline 8.2 | |||
referencing 0.36.2 | |||
regex 2024.11.6 | |||
requests 2.32.4 | |||
rfc3339-validator 0.1.4 | |||
rfc3986-validator 0.1.1 | |||
rich 14.0.0 | |||
rpds-py 0.26.0 | |||
safetensors 0.5.3 | |||
scikit-learn 1.7.0 | |||
scipy 1.16.0 | |||
send2trash 1.8.3 | |||
setuptools 78.1.1 | |||
simplejson 3.20.1 | |||
six 1.17.0 | |||
sniffio 1.3.1 | |||
soupsieve 2.7 | |||
sqlite 3.45.3 | |||
stack-data 0.6.3 | |||
tensorstore 0.1.76 | |||
terminado 0.18.1 | |||
threadpoolctl 3.6.0 | |||
tinycss2 1.4.0 | |||
tk 8.6.14 | |||
tokenizers 0.21.2 | |||
toolz 1.0.0 | |||
tornado 6.5.1 | |||
tqdm 4.67.1 | |||
traitlets 5.14.3 | |||
transformers 4.53.1 | |||
treescope 0.1.9 | |||
types-python-dateutil 2.9.0.20250516 | |||
typing-extensions 4.14.1 | |||
tzdata 2025.2 | |||
uri-template 1.3.0 | |||
urllib3 2.5.0 | |||
wcwidth 0.2.13 | |||
webcolors 24.11.1 | |||
webencodings 0.5.1 | |||
websocket-client 1.8.0 | |||
wheel 0.45.1 | |||
widgetsnbextension 4.0.14 | |||
xorg-libx11 1.8.12 | |||
xorg-libxau 1.0.12 | |||
xorg-libxdmcp 1.1.5 | |||
xorg-xorgproto 2024.1 | |||
xz 5.6.4 | |||
zipp 3.23.0 | |||
zlib 1.2.13 | zlib 1.2.13 | ||
</syntaxhighlight> | </syntaxhighlight> | ||
Baris 616: | Baris 844: | ||
# Melakukan instalasi sendiri. | # Melakukan instalasi sendiri. | ||
Instalasi package tambahan ini bersifat '''<big>HOME</big>''' '''<big>global:</big>''' | |||
# Package terinstal di HOME user. | # Package terinstal di HOME user. | ||
# Perhatikan kolom '''Versi Python''' di tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | # Perhatikan kolom '''Versi Python''' di tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | ||
# Contoh user | # Contoh user melengkapi package conda env dengan Python 3.11: | ||
#* Package tersebut akan aktif di conda env lain dengan versi Python sama. | #* Package tersebut akan aktif di conda env lain dengan versi Python sama. | ||
#* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package | #* [[Berkas:GMB warning wololo.png|nirbing|30x30px]] Ada potensi package ''tidak cocok'' dengan conda env bersangkutan atau lainnya. | ||
#* Lakukan instalasi dengan bijak. | #* Lakukan instalasi dengan bijak. | ||
Baris 628: | Baris 856: | ||
# User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.''' | # User '''sesi Jupyter''' dapat melakukan instalasi '''pada sesi notebook.''' | ||
# User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node''' | # User yang menjalankan komputasi '''batch job''' menginstal package '''di Login Node:''' | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
Baris 639: | Baris 867: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia | | Pilih dan aktifkan conda env tersedia: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | * Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | ||
Baris 663: | Baris 891: | ||
== '''''4. Pilihan Menjalankan Komputasi''''' == | == '''''4. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi | Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan: | ||
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 - Berjalan di Login Node ]</nowiki>]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.1._Berjalan_di_Login_Node <nowiki>[ 4.1 - Berjalan di Login Node ]</nowiki>]''</big>''' | ||
**''' | **'''Hanya untuk kegiatan non-komputasi, contoh ''pre-processing input''.''' | ||
***Tidak mengkonsumsi Kredit Core Hour. | ***Tidak mengkonsumsi Kredit Core Hour. | ||
**''' | **'''Keperluan komputasi gunakan batch job / sesi Jupyter.''' | ||
***Login node mempunyai spesifikasi terbatas. | ***Login node mempunyai spesifikasi terbatas. | ||
***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ***Tim admin berhak menginterupsi kegiatan user yang memberatkan login node. | ||
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 - Batch Job ]</nowiki>]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.2._Batch_Job <nowiki>[ 4.2 - Batch Job ]</nowiki>]''</big>''' | ||
** | **Menjalankan script Python siap jalan di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ||
***[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ***'''<nowiki/>'''[[Berkas:GMB warning wololo.png|nirbing|30x30px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ***''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
*'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 - Sesi Jupyter ]</nowiki>]''</big>''' | *'''<big>''[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#4.3._Sesi_Jupyter <nowiki>[ 4.3 - Sesi Jupyter ]</nowiki>]''</big>''' | ||
** | **Menjalankan sesi Jupyter Lab atau Notebook di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive]]<nowiki/> [[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|node]]].''' | ||
**'''Sesi Jupyter | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Detail batch job dan sesi Jupyter lebih lanjut - | |||
|- | |||
|'''<big>Batch Job</big>''' | |||
*'''Batch job berhenti ketika:''' | |||
**''Program komputasi selesai berjalan.'' | |||
**''Job menyentuh limit waktu yang ditentukan user.'' | |||
**''Job terkena error sehingga selesai prematur.'' | |||
*'''Koneksi user tidak mempengaruhi jalannya batch job:''' | |||
**''Job tidak akan berhenti ketika koneksi user terputus, atau'' | |||
**''user keluar (log out) dari ALELEON.'' | |||
|- | |||
|'''<big>Sesi Jupyter</big>''' | |||
*'''Sesi Jupyter berhenti ketika:''' | |||
** ''Waktu sesi habis.'' | |||
**''User menghentikan sesi.'' | |||
**''Sesi terkena error sehingga selesai prematur.'' | |||
*'''Koneksi user tidak mempengaruhi jalannya sesi Jupyter:''' | |||
**''Sesi tidak akan berhenti ketika koneksi user terputus, atau'' | |||
**''user keluar (log out) dari ALELEON.'' | |||
*'''Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:''' | |||
**''Bisa jadi cell tsb. tidak menampilkan aktivitas cell.'' | |||
**''Lihat status cell / output lainnya.'' | |||
|} | |||
--- | --- | ||
Baris 707: | Baris 943: | ||
!<big><code>-/ 1 /-</code></big> | !<big><code>-/ 1 /-</code></big> | ||
|- | |- | ||
| Pilih dan aktifkan conda env tersedia | | Pilih dan aktifkan conda env tersedia: | ||
* Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' | * Lihat tabel '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Siap_Pakai)#2._Daftar_Conda_Env_Tersedia Daftar Conda Env Tersedia]].''' |
Revisi terkini sejak 5 Juli 2025 03.15
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.
Laman ini merupakan bagian laman [Komputasi Python] |
---|
0. Spesifikasi
Spesifikasi conda env siap pakai:
- Dibuat oleh tim admin ALELEON Supercomputer.
- Setiap conda env spesifik menjalankan 1 package utama (contoh: TensorFlow).
1. Langkah Menjalanlan Komputasi
Subbab | Langkah |
---|---|
[ 2 ] | Lihat conda env tersedia dan detailnya:
|
[ 3 ] | Apabila dibutuhkan, user dapat menambah instalasi package. |
[ 4 ] | Menjalankan komputasi dengan pilihan: |
[ 5 ] | Support apabila menemui masalah. |
2. Daftar Conda Env Tersedia
Berikut adalah daftar conda env siap pakai.
- Cek kelengkapan package dengan expand / kembangkan tabel Package terinstal.
- Bila ada kekurangan package, lihat [ Subbab 3 ].
- Daftar Conda Env Tersedia - | ||||||||
---|---|---|---|---|---|---|---|---|
Permintaan pembuatan conda env ke tim admin hubungi support@efisonlt.com. | ||||||||
Package Utama
dan terinstal |
Nama Conda Env | Py Package Manager | Versi
Python |
Dukungan Komputasi | ||||
CPU | GPU | MPI | Batch
Job |
Sesi
Jupyter | ||||
PyTorch 2.7.1 (ver CUDA 12.6)
|
$CENV/pytorch-2.7.1cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
TensorFlow 2.19 (ver CUDA 12.5)
|
$CENV/tensorflow-2.19cuda
|
Anaconda3/2024.02-1
|
3.11 | V | V | V | V | V |
| ||||||||
Jax 0.6.2 (ver CUDA 12.9)
|
$CENV/jax-0.6.2cuda
|
Anaconda3/2024.02-1
|
3.12 | V | V | V | V | V |
| ||||||||
BoltzTrap2 25.3.1 | $CENV/boltztrap2-25.3.1
|
Anaconda3/2024.02-1
|
3.11 | V | - | - | V | V |
|
3. (Apabila butuh) Melengkapi Conda Env Siap Pakai
Terdapat dua opsi:
- Melalui bantuan / diskusi dengan tim admin, atau
- Melakukan instalasi sendiri.
Instalasi package tambahan ini bersifat HOME global:
- Package terinstal di HOME user.
- Perhatikan kolom Versi Python di tabel [Daftar Conda Env Tersedia].
- Contoh user melengkapi package conda env dengan Python 3.11:
Dimana user melakukan instalasi package?
- User sesi Jupyter dapat melakukan instalasi pada sesi notebook.
- User yang menjalankan komputasi batch job menginstal package di Login Node:
- Langkah instalasi package di Login Node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan instalasi package Python yang dibutuhkan: |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |
4. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi, pilih sesuai kebutuhan:
- [ 4.1 - Berjalan di Login Node ]
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- Tidak mengkonsumsi Kredit Core Hour.
- Keperluan komputasi gunakan batch job / sesi Jupyter.
- Login node mempunyai spesifikasi terbatas.
- Tim admin berhak menginterupsi kegiatan user yang memberatkan login node.
- Hanya untuk kegiatan non-komputasi, contoh pre-processing input.
- [ 4.2 - Batch Job ]
- Menjalankan script Python siap jalan di [Compute node].
- [ 4.3 - Sesi Jupyter ]
- Menjalankan sesi Jupyter Lab atau Notebook di [interactive node].
- Detail batch job dan sesi Jupyter lebih lanjut - |
---|
Batch Job
|
Sesi Jupyter
|
---
4.1. Berjalan di Login Node
- Langkah Menjalankan Conda Env di login node - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Pilih dan aktifkan conda env tersedia:
$ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda |
-/ 2 /-
|
Lakukan kegiatan user dengan conda env ini. |
-/ 3 /-
|
Jika sudah selesai, praktik baik menonaktifkan conda env:
$ conda deactivate $ ml unload Anaconda3 |