Komputasi Python dengan Conda Environment (Siap Pakai)

Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) yang tersedia atau siap pakai di ALELEON Supercomputer.

Laman ini merupakan bagian laman [Komputasi Python]

0. Spesifikasi

Conda env siap pakai ini dibuat oleh tim admin ALELEON Supercomputer dengan spesifikasi:

• Setiap conda env spesifik menjalankan 1 package utama (contoh TensorFlow, PyTorch, BoltzTraP, dll).
• User dapat menambah instalasi package (apabila dibutuhkan) - lihat [ Subbab 3 ].

Keterangan simbol perintah terminal

$	Perintah ketika conda env tidak aktif
(env)$	Perintah ketika conda env aktif

1. Langkah Menjalanlan Komputasi

Subbab	Langkah
[ 2 ]	Lihat conda env tersedia dan spesifikasinya. Cek kelengkapan package dan dukungan komputasi.
[ 3 ]	Apabila dibutuhkan, user dapat menambah instalasi package.
[ 4 ]	Menjalankan komputasi dengan pilihan: [ 4.1 ] sesi interaktif di Login Node [ 4.2 ] batch job [ 4.3 ] sesi Jupyter Notebook / Lab
[ 5 ]	Support apabila menemui masalah.

2. Daftar Conda Env Siap Pakai

Berikut adalah daftar conda env siap pakai yang tersedia.

• Cek kelengkapan conda env dengan expand / kembangkan tabel "Package terinstal".
• Apabila ada package yang kurang, user dapat melakukan instalasi dengan detail [ Subbab 3 ].

User dapat melayangkan permintaan pembuatan conda env ke tim admin melalui support@efisonlt.com.

- -
Package Utama dan terinstal	Nama Conda Env	Py Package Manager	Versi Python	Dukungan Komputasi
				CPU	GPU	MPI	Batch Job	Sesi Jupyter
Bidang AI / Machine Learning / Deep Learning
PyTorch 2.7.1 (CUDA 12.6)	$CENV/pytorch-2.7.1cuda	Anaconda3/2024.02-1	3.12	V	V	V	V	V
Package terinstal: _libgcc_mutex 0.1 _openmp_mutex 5.1 absl-py 2.3.1 anyio 4.9.0 argon2-cffi 25.1.0 argon2-cffi-bindings 21.2.0 arrow 1.3.0 asttokens 3.0.0 async-lru 2.0.5 attrs 25.3.0 babel 2.17.0 beautifulsoup4 4.13.4 bleach 6.2.0 bzip2 1.0.8 ca-certificates 2025.2.25 certifi 2025.6.15 cffi 1.17.1 charset-normalizer 3.4.2 comm 0.2.2 contourpy 1.3.2 cycler 0.12.1 debugpy 1.8.14 decorator 5.2.1 defusedxml 0.7.1 executing 2.2.0 expat 2.7.1 fastjsonschema 2.21.1 filelock 3.18.0 fonttools 4.58.4 fqdn 1.5.1 fsspec 2025.5.1 h11 0.16.0 h5py 3.14.0 httpcore 1.0.9 httpx 0.28.1 idna 3.10 ipykernel 6.29.5 ipython 9.4.0 ipython-pygments-lexers 1.1.1 ipywidgets 8.1.7 isoduration 20.11.0 jedi 0.19.2 jinja2 3.1.6 joblib 1.5.1 json5 0.12.0 jsonpointer 3.0.0 jsonschema 4.24.0 jsonschema-specifications 2025.4.1 jupyter 1.1.1 jupyter-client 8.6.3 jupyter-console 6.6.3 jupyter-core 5.8.1 jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter-server 2.16.0 jupyter-server-terminals 0.5.3 jupyterlab 4.4.4 jupyterlab-pygments 0.3.0 jupyterlab-server 2.27.3 jupyterlab-widgets 3.0.15 keras 3.10.0 kiwisolver 1.4.8 ld_impl_linux-64 2.40 libffi 3.4.4 libgcc-ng 11.2.0 libgomp 11.2.0 libstdcxx-ng 11.2.0 libuuid 1.41.5 libxcb 1.17.0 markdown-it-py 3.0.0 markupsafe 3.0.2 matplotlib 3.10.3 matplotlib-inline 0.1.7 mdurl 0.1.2 mistune 3.1.3 ml-dtypes 0.5.1 mpi4py 4.1.0 mpmath 1.3.0 namex 0.1.0 nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4 ncurses 6.4 nest-asyncio 1.6.0 networkx 3.5 notebook 7.4.4 notebook-shim 0.2.4 numpy 2.3.1 nvidia-cublas-cu12 12.6.4.1 nvidia-cuda-cupti-cu12 12.6.80 nvidia-cuda-nvrtc-cu12 12.6.77 nvidia-cuda-runtime-cu12 12.6.77 nvidia-cudnn-cu12 9.5.1.17 nvidia-cufft-cu12 11.3.0.4 nvidia-cufile-cu12 1.11.1.6 nvidia-curand-cu12 10.3.7.77 nvidia-cusolver-cu12 11.7.1.2 nvidia-cusparse-cu12 12.5.4.2 nvidia-cusparselt-cu12 0.6.3 nvidia-nccl-cu12 2.26.2 nvidia-nvjitlink-cu12 12.6.85 nvidia-nvtx-cu12 12.6.77 openmpi 5.0.8 openssl 3.0.16 optree 0.16.0 overrides 7.7.0 packaging 25.0 pandas 2.3.0 pandocfilters 1.5.1 parso 0.8.4 pexpect 4.9.0 pillow 11.3.0 pip 25.1 platformdirs 4.3.8 prometheus-client 0.22.1 prompt-toolkit 3.0.51 psutil 7.0.0 pthread-stubs 0.3 ptyprocess 0.7.0 pure-eval 0.2.3 pycparser 2.22 pygments 2.19.2 pyparsing 3.2.3 python 3.12.11 python-dateutil 2.9.0.post0 python-json-logger 3.3.0 pytz 2025.2 pyyaml 6.0.2 pyzmq 27.0.0 readline 8.2 referencing 0.36.2 requests 2.32.4 rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 14.0.0 rpds-py 0.26.0 scikit-learn 1.7.0 scipy 1.16.0 send2trash 1.8.3 setuptools 78.1.1 six 1.17.0 sniffio 1.3.1 soupsieve 2.7 sqlite 3.45.3 stack-data 0.6.3 sympy 1.14.0 terminado 0.18.1 threadpoolctl 3.6.0 tinycss2 1.4.0 tk 8.6.14 torch 2.7.1 torchaudio 2.7.1 torchvision 0.22.1 tornado 6.5.1 traitlets 5.14.3 triton 3.3.1 types-python-dateutil 2.9.0.20250516 typing-extensions 4.14.0 tzdata 2025.2 uri-template 1.3.0 urllib3 2.5.0 wcwidth 0.2.13 webcolors 24.11.1 webencodings 0.5.1 websocket-client 1.8.0 wheel 0.45.1 widgetsnbextension 4.0.14 xorg-libx11 1.8.12 xorg-libxau 1.0.12 xorg-libxdmcp 1.1.5 xorg-xorgproto 2024.1 xz 5.6.4 zlib 1.2.13
TensorFlow 2.19 (CUDA 12.5)	$CENV/tensorflow-2.19cuda	Anaconda3/2024.02-1	3.11	V	V	V	V	V
Package terinstal _libgcc_mutex 0.1 _openmp_mutex 5.1 absl-py 2.3.0 anyio 4.9.0 argon2-cffi 25.1.0 argon2-cffi-bindings 21.2.0 arrow 1.3.0 asttokens 3.0.0 astunparse 1.6.3 async-lru 2.0.5 attrs 25.3.0 babel 2.17.0 beautifulsoup4 4.13.4 bleach 6.2.0 bzip2 1.0.8 ca-certificates 2025.2.25 certifi 2025.6.15 cffi 1.17.1 charset-normalizer 3.4.2 comm 0.2.2 contourpy 1.3.2 cycler 0.12.1 debugpy 1.8.14 decorator 5.2.1 defusedxml 0.7.1 executing 2.2.0 expat 2.7.1 fastjsonschema 2.21.1 flatbuffers 25.2.10 fonttools 4.58.4 fqdn 1.5.1 gast 0.6.0 google-pasta 0.2.0 grpcio 1.73.1 h11 0.16.0 h5py 3.14.0 httpcore 1.0.9 httpx 0.28.1 idna 3.10 ipykernel 6.29.5 ipython 9.4.0 ipython-pygments-lexers 1.1.1 ipywidgets 8.1.7 isoduration 20.11.0 jedi 0.19.2 jinja2 3.1.6 joblib 1.5.1 json5 0.12.0 jsonpointer 3.0.0 jsonschema 4.24.0 jsonschema-specifications 2025.4.1 jupyter 1.1.1 jupyter-client 8.6.3 jupyter-console 6.6.3 jupyter-core 5.8.1 jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter-server 2.16.0 jupyter-server-terminals 0.5.3 jupyterlab 4.4.4 jupyterlab-pygments 0.3.0 jupyterlab-server 2.27.3 jupyterlab-widgets 3.0.15 keras 3.10.0 kiwisolver 1.4.8 ld_impl_linux-64 2.40 libclang 18.1.1 libffi 3.4.4 libgcc-ng 11.2.0 libgomp 11.2.0 libstdcxx-ng 11.2.0 libuuid 1.41.5 libxcb 1.17.0 markdown 3.8.2 markdown-it-py 3.0.0 markupsafe 3.0.2 matplotlib 3.10.3 matplotlib-inline 0.1.7 mdurl 0.1.2 mistune 3.1.3 ml-dtypes 0.5.1 mpi4py 4.1.0 namex 0.1.0 nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4 ncurses 6.4 nest-asyncio 1.6.0 notebook 7.4.4 notebook-shim 0.2.4 numpy 2.1.3 nvidia-cublas-cu12 12.5.3.2 nvidia-cuda-cupti-cu12 12.5.82 nvidia-cuda-nvcc-cu12 12.5.82 nvidia-cuda-nvrtc-cu12 12.5.82 nvidia-cuda-runtime-cu12 12.5.82 nvidia-cudnn-cu12 9.3.0.75 nvidia-cufft-cu12 11.2.3.61 nvidia-curand-cu12 10.3.6.82 nvidia-cusolver-cu12 11.6.3.83 nvidia-cusparse-cu12 12.5.1.3 nvidia-nccl-cu12 2.23.4 nvidia-nvjitlink-cu12 12.5.82 openmpi 5.0.8 openssl 3.0.16 opt-einsum 3.4.0 optree 0.16.0 overrides 7.7.0 packaging 25.0 pandas 2.3.0 pandocfilters 1.5.1 parso 0.8.4 pexpect 4.9.0 pillow 11.3.0 pip 25.1 platformdirs 4.3.8 prometheus-client 0.22.1 prompt-toolkit 3.0.51 protobuf 5.29.5 psutil 7.0.0 pthread-stubs 0.3 ptyprocess 0.7.0 pure-eval 0.2.3 pycparser 2.22 pygments 2.19.2 pyparsing 3.2.3 python 3.11.13 python-dateutil 2.9.0.post0 python-json-logger 3.3.0 pytz 2025.2 pyyaml 6.0.2 pyzmq 27.0.0 readline 8.2 referencing 0.36.2 requests 2.32.4 rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 14.0.0 rpds-py 0.26.0 scikit-learn 1.7.0 scipy 1.16.0 seaborn 0.13.2 send2trash 1.8.3 setuptools 78.1.1 six 1.17.0 sniffio 1.3.1 soupsieve 2.7 sqlite 3.45.3 stack-data 0.6.3 tensorboard 2.19.0 tensorboard-data-server 0.7.2 tensorflow 2.19.0 tensorflow-io-gcs-filesystem 0.37.1 termcolor 3.1.0 terminado 0.18.1 threadpoolctl 3.6.0 tinycss2 1.4.0 tk 8.6.14 tornado 6.5.1 traitlets 5.14.3 types-python-dateutil 2.9.0.20250516 typing-extensions 4.14.0 tzdata 2025.2 uri-template 1.3.0 urllib3 2.5.0 wcwidth 0.2.13 webcolors 24.11.1 webencodings 0.5.1 websocket-client 1.8.0 werkzeug 3.1.3 wheel 0.45.1 widgetsnbextension 4.0.14 wrapt 1.17.2 xorg-libx11 1.8.12 xorg-libxau 1.0.12 xorg-libxdmcp 1.1.5 xorg-xorgproto 2024.1 xz 5.6.4 zlib 1.2.13
Bidang Komputasi Saintifik
BoltzTrap2 25.3.1	$CENV/boltztrap2-25.3.1	Anaconda3/2024.02-1	3.11	V	-	-	V	V
Package terinstal _libgcc_mutex 0.1 _openmp_mutex 5.1 anyio 4.9.0 argon2-cffi 25.1.0 argon2-cffi-bindings 21.2.0 arrow 1.3.0 ase 3.25.0 asttokens 3.0.0 async-lru 2.0.5 attrs 25.3.0 babel 2.17.0 beautifulsoup4 4.13.4 bleach 6.2.0 boltztrap2 25.3.1 bzip2 1.0.8 ca-certificates 2025.2.25 certifi 2025.6.15 cffi 1.17.1 cftime 1.6.4.post1 charset-normalizer 3.4.2 comm 0.2.2 contourpy 1.3.2 cycler 0.12.1 cython 3.1.2 debugpy 1.8.14 decorator 5.2.1 defusedxml 0.7.1 executing 2.2.0 expat 2.7.1 fastjsonschema 2.21.1 fonttools 4.58.4 fqdn 1.5.1 h11 0.16.0 httpcore 1.0.9 httpx 0.28.1 idna 3.10 ipykernel 6.29.5 ipython 9.3.0 ipython-pygments-lexers 1.1.1 ipywidgets 8.1.7 isoduration 20.11.0 jedi 0.19.2 jinja2 3.1.6 json5 0.12.0 jsonpointer 3.0.0 jsonschema 4.24.0 jsonschema-specifications 2025.4.1 jupyter 1.1.1 jupyter-client 8.6.3 jupyter-console 6.6.3 jupyter-core 5.8.1 jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter-server 2.16.0 jupyter-server-terminals 0.5.3 jupyterlab 4.4.3 jupyterlab-pygments 0.3.0 jupyterlab-server 2.27.3 jupyterlab-widgets 3.0.15 kiwisolver 1.4.8 ld_impl_linux-64 2.40 libffi 3.4.4 libgcc-ng 11.2.0 libgomp 11.2.0 libstdcxx-ng 11.2.0 libuuid 1.41.5 libxcb 1.17.0 markupsafe 3.0.2 matplotlib 3.10.3 matplotlib-inline 0.1.7 mistune 3.1.3 nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4 ncurses 6.4 nest-asyncio 1.6.0 netcdf4 1.7.2 notebook 7.4.3 notebook-shim 0.2.4 numpy 2.3.1 openssl 3.0.16 overrides 7.7.0 packaging 25.0 pandocfilters 1.5.1 parso 0.8.4 pexpect 4.9.0 pillow 11.2.1 pip 25.1 platformdirs 4.3.8 prometheus-client 0.22.1 prompt-toolkit 3.0.51 psutil 7.0.0 pthread-stubs 0.3 ptyprocess 0.7.0 pure-eval 0.2.3 pycparser 2.22 pygments 2.19.2 pyparsing 3.2.3 python 3.11.13 python-dateutil 2.9.0.post0 python-json-logger 3.3.0 pyyaml 6.0.2 pyzmq 27.0.0 readline 8.2 referencing 0.36.2 requests 2.32.4 rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rpds-py 0.25.1 scipy 1.16.0 send2trash 1.8.3 setuptools 78.1.1 six 1.17.0 sniffio 1.3.1 soupsieve 2.7 spglib 2.6.0 sqlite 3.45.3 stack-data 0.6.3 terminado 0.18.1 tinycss2 1.4.0 tk 8.6.14 tornado 6.5.1 traitlets 5.14.3 types-python-dateutil 2.9.0.20250516 typing-extensions 4.14.0 tzdata 2025b uri-template 1.3.0 urllib3 2.5.0 wcwidth 0.2.13 webcolors 24.11.1 webencodings 0.5.1 websocket-client 1.8.0 wheel 0.45.1 widgetsnbextension 4.0.14 xorg-libx11 1.8.12 xorg-libxau 1.0.12 xorg-libxdmcp 1.1.5 xorg-xorgproto 2024.1 xz 5.6.4 zlib 1.2.13

3. (Apabila dibutuhkan) Melengkapi Conda Env

Terdapat dua opsi:

1. Melalui bantuan / diskusi dengan tim admin, atau
2. Melakukan instalasi sendiri.

Perhatikan instalasi package ini bersifat global:

1. Package terinstal di HOME user.
2. Contoh user menginstal package di conda env dengan versi Python 3.11 (perhatikan kolom Versi Python di atas):
   • Package tersebut akan aktif di conda env lain dengan versi Python sama.
   • Ada potensi package tersebut tidak cocok dengan conda env bersangkutan atau lainnya.
   • Lakukan instalasi dengan bijak.

Dimana user melakukan instalasi package?

1. User sesi Jupyter dapat melakukan instalasi di dalam sesi notebook.
2. User yang akan menjalankan komputasi batch job menginstal package di Login Node melalui langkah berikut:

- Langkah instalasi package di Login Node -
Menggunakan terminal! User EFIRO klik app Aleleon Shell Access atau menu Apps > Aleleon Shell Access
-/ 1 /-
Pilih dan aktifkan conda env tersedia yang akan dipakai: $ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda
-/ 2 /-
Lakukan instalasi package Python yang dibutuhkan: Lihat [Instalasi Package Umum dengan pip / conda]
-/ 3 /-
Jika sudah selesai, praktik baik menonaktifkan conda env: $ conda deactivate $ ml unload Anaconda3

4. Pilihan Menjalankan Komputasi

Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:

• [ 4.1 - Berjalan di Login Node ]
  • Dalam taraf tertentu, user dapat mengaktifkan dan menggunakan conda env di login node.
    • Tidak mengkonsumsi Kredit Core Hour.
    • Perhatikan login node mempunyai spesifikasi terbatas.
  • Hanya untuk menjalankan kegiatan non-komputasi, contoh pre-processing input.
    • Keperluan komputasi lakukan metode batch job / sesi Jupyter dibawah ini.
    • Tim admin berhak menginterupsi dan mematikan kegiatan user yang memberatkan login node.
• [ 4.2 - Batch Job ]**Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
  • • Perhatikan file .ipynb harus dikonversi ke file .py.
    • Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.
  • Batch job akan berhenti ketika:
    • Program komputasi selesai berjalan.
    • Program komputasi menyentuh limit waktu yang ditentukan user.
    • Program menjumpai error sehingga selesai prematur.
  • Koneksi user tidak mempengaruhi jalannya batch job:
    • Job tidak akan berhenti ketika koneksi user terputus, atau
    • user keluar (log out) dari ALELEON.
• [ 4.3 - Sesi Jupyter ]
  • Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
  • Sesi Jupyter akan berhenti ketika:
    • Waktu sesi habis.
    • Sesi dihentikan secara manual oleh user.
    • Sesi menjumpai error sehingga selesai prematur.
  • Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
    • Sesi tidak akan berhenti ketika koneksi user terputus, atau
    • user keluar (log out) dari ALELEON.
  • Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
    • Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.
    • Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.

---

4.1. Berjalan di Login Node

- Langkah Menjalankan Conda Env di login node -
Menggunakan terminal! User EFIRO klik app Aleleon Shell Access atau menu Apps > Aleleon Shell Access
-/ 1 /-
Pilih dan aktifkan conda env tersedia yang akan dipakai: $ ml [Py Package Manager] $ source activate [Nama Conda Env] - Contoh mengaktifkan conda env PyTorch 2.7.1: $ ml Anaconda3/2024.02-1 $ source activate $CENV/pytorch-2.7.1cuda
-/ 2 /-
Lakukan kegiatan user dengan conda env ini.
-/ 3 /-
Jika sudah selesai, praktik baik menonaktifkan conda env: $ conda deactivate $ ml unload Anaconda3