Komputasi Python dengan Conda Environment: Perbedaan antara revisi

Revisi per 16 Mei 2025 10.42

Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment di ALELEON Supercomputer.

Laman ini merupakan bagian laman [Komputasi Python]

Langkah Menjalankan Komputasi

Terdapat tiga langkah utama:

Buat conda environment untuk menampung instalasi package.
Instal package Python yang diperlukan di conda env tersebut.
Menggunakan conda env tersebut untuk menjalankan komputasi.

Spesifikasi

Tutorial ini memandu membuat conda environment dengan site-packages terisolasi di dalamnya.

Keterangan simbol perintah terminal
`$`	Perintah ketika conda env tidak aktif
`_(env)$`	Perintah ketika conda env aktif

Membuat Conda Environment

ALELEON Supercomputer menyediakan pilihan Python Package Manager (PPM) berikut untuk membuat conda environment. Pilih sesuai preferensi user:

Anaconda: PPM Python paling banyak digunakan dimana saat ini menjadi standar industri.
Mamba: PPM Python alternatif Anaconda versi open-source yang dikembangkan komunitas.

(klik expand / kembangkan)

- Membuat conda env dengan Anaconda -

Menggunakan terminal!

User EFIRO klik app Aleleon Shell Access
atau menu Apps > Aleleon Shell Access

---| 1 |---

Pilih dan aktifkan modul Anaconda untuk membuat conda env:

Ingat atau catat modul Anaconda yang dipakai.
Kedepannya digunakan untuk mengaktifkan conda env ini.

$ module load [nama-modul-anaconda]

Daftar nama modul Anaconda 3
Versi	Nama Modul	Versi Py default
2024-02-1	`Anaconda3/2024.02-1`	3.11.7
2023.07-2	`Anaconda3/2023.07-2`	3.11.4
2022.05	`Anaconda3/2022.05`	3.9.12
2021.05	`Anaconda3/2021.05`	3.8.8
2020.11	`Anaconda3/2020.11`	3.8.5

---| 2 |---

Package apa yang akan diinstal user di conda env ini?

Beberapa package membutuhkan Python versi spesifik

Gunakan opsi 3B untuk membuat conda env.

Update 29 April 2025

Package yang diketahui butuh Python versi spesifik
Package	Versi Python
TensorFlow	Lihat [TensorFlow Tested Build Configurations]
PyTorch	3.9 - 3.12
AutoGluon	3.9 - 3.12

---| 3 |---

Buat conda env dengan opsi:

3A - Conda env kosong dengan Python 3 versi terbaru (3.13):

$ conda create -n [nama-conda-env] pip

Contoh dengan nama 'skripsi' 
$ conda create -n skripsi pip

3B - Conda env kosong dengan Python versi tertentu:

$ conda create -n [nama-conda-env] python=[versi]

Contoh dengan Python 3.10 
$ conda create -n skripsi python=3.10

Saran

Pilih nama conda env yang mengandung unsur nama modul:

Untuk mengingat modul yang digunakan membuat conda env.
Contoh user memilih modul Anaconda3/2024-02-1
Gunakan nama conda env seperti A2024-skripsi

---

- Membuat conda env dengan Mamba -

Menggunakan terminal!

User EFIRO klik app Aleleon Shell Access
atau menu Apps > Aleleon Shell Access

---| 1 |---

Pilih dan aktifkan modul Mamba untuk membuat conda env:

Ingat atau catat modul Mamba yang dipakai.
Kedepannya digunakan untuk mengaktifkan conda env ini.

$ module load [nama-modul-mamba]

Daftar nama modul Mamba
Versi	Nama Modul	Versi Py default
23.11.0-0	`Mamba/23.11.0-0`	3.10.13

---| 2 |---

Package apa yang akan diinstal user di conda env ini?

Beberapa package membutuhkan Python versi spesifik

Gunakan opsi 3B untuk membuat conda env.

Update 29 April 2025

Package yang diketahui butuh Python versi spesifik
Package	Versi Python
TensorFlow	Lihat [TensorFlow Tested Build Configurations]
PyTorch	3.9 - 3.12
AutoGluon	3.9 - 3.12

---| 3 |---

Buat conda env dengan opsi:

3A - Conda env kosong dengan Python 3 versi terbaru (3.13):

$ mamba create -n [nama-conda-env] pip

Contoh dengan nama 'skripsi' 
$ mamba create -n skripsi pip

3B - Conda env kosong dengan Python versi tertentu:

$ mamba create -n [nama-conda-env] python=[versi]

Contoh dengan Python 3.10 
$ mamba create -n skripsi python=3.10

Saran

Pilih nama conda env yang mengandung unsur nama modul:

Untuk mengingat modul yang digunakan membuat conda env.
Contoh user memilih modul Mamba/23.11.0-0
Gunakan nama conda env seperti M23-skripsi

---

Mengaktifkan Conda Env dan Instalasi Package

Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:

Batch job -> supaya script Python berjalan tanpa error missing package.
Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.

Instalasi ini berjalan di login node sehingga tidak mengkonsumsi Core Hour.

Mengaktifkan Conda Environment
Menggunakan terminal! User EFIRO klik app `Aleleon Shell Access` atau menu `Apps > Aleleon Shell Access`
---\| 1 \|---
Muat modul PPM yang digunakan untuk membuat conda env: $ module load [Anaconda-atau-Mamba ....]
---\| 2 \|---
Aktifkan conda env dengan perintah `source`: $ source activate [nama-conda-env] Apabila lupa dengan nama conda env, cari dengan: $ conda env list
---\| 3A \|---
Pilih panduan instalasi package yang dibutuhkan
Lihat laman [Daftar Instalasi Package Python] Halaman terpisah karena daftar terlalu panjang ._.
---\| 3B \|---
Khusus user yang membuat conda env dengan Mamba
Untuk menggunakan sesi komputasi Jupyter, instal package: _(env)$ pip install jupyter jupyterlab
---\| 4 \|---
Apabila hendak menonaktfkan conda env: _(env)$ conda deactivate

Pilihan Menjalankan Komputasi

Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:

Jenis Komputasi	Berjalan di
[Batch job] Menjalankan script Python siap jalan yang tidak membutuhkan interaksi user. Perhatikan file `.ipynb` harus dikonversi ke file `.py`. Job dijalankan oleh Slurm, user menunggu hingga selesai. Koneksi user tidak mempengaruhi jalannya job, contoh: Job tidak akan berhenti ketika koneksi user terputus, atau User keluar (log out) dari ALELEON. Job akan berhenti ketika: Program komputasi selesai berjalan. Program menjumpai error sehingga selesai prematur.	[Compute node]: Partisi epyc Partisi ampere
[Sesi Jupyter] Menjalankan sesi interaktif Jupyter Lab atau Notebook. Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh: Sesi tidak akan berhenti ketika koneksi user terputus, atau User keluar (log out) dari ALELEON. Sesi Jupyter akan berhenti ketika: Waktu sesi habis. Sesi dihentikan secara manual oleh user. Sesi menjumpai error sehingga selesai prematur.	[interactive node]: Partisi torti Partisi tilla

---

Menjalankan Package Python versi GPU?

Perhatikan hal berikut apabila user menginstal package Python versi CUDA dan hendak menggunakan compute / interactive node GPU:

Package membutuhkan jenis dan versi library NVIDIA sesuai seperti CUDA, cuDNN untuk dapat berjalan di GPU NVIDIA.
Umumnya (walau tidak semua) package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:

Mengecek Kelengkapan Package NVIDIA

Menggunakan terminal!

User EFIRO klik app Aleleon Shell Access
atau menu Apps > Aleleon Shell Access

---| 1 |---

[Aktifkan conda env] yang akan digunakan.

---| 2 |---

Cek ketersediaan library CUDA di conda env tersebut:

- Apabila instal package dengan pip
_(env)$ pip list | grep cuda

- Apabila instal package dengan conda
_(env)$ conda list | grep cuda

---| 3A |---

Apabila ada output:

Conda env siap digunakan.

User tidak perlu memuat modul CUDA.

---| 3B |---

Apabila tidak ada output:

User harus memuat modul CUDA dengan ketentuan:

Perhatikan versi CUDA yang dibutuhkan package.
Lihat dokumentasi package tersebut.

(klik expand / kembangkan)

- Tutorial memuat dan daftar modul CUDA -
Opsi Batch Job
Tambah perintah berikut pada submit script: ... # Memuat modul module load ${PM} module load [Nama-modul-CUDA] ...
Opsi Sesi Jupyter
Isi nama modul pada kolom Software Modules

DAFTAR MODUL CUDA ALELEON
Versi CUDA	Nama modul CUDA
11.2	`cuda/11.2-cuDNN8.1.1`
11.6	`cuda/11.6-cuDNN8.3.3`
11.8	`cuda/11.8-cuDNN8.6.0`
12.0	`cuda/12.0-cuDNN8.7.0`
12.1	`cuda/12.1-cuDNN8.8.1`
12.3	`cuda/12.3-cuDNN8.9.6`
12.4	`cuda/12.4-cuDNN9.2.1`
12.5	`cuda/12.5-cuDNN9.2.1`
Permintaan instalasi CUDA versi lain: Hubungi tim admin di support@efisonlt.com
---

---

Batch Job

menjalankan script Python siap jalan yang tidak membutuhkan interaksi user melalui manajemen Slurm di [compute node].

Perhatikan file .ipynb harus dikonversi ke file .py.
Tersedia dua pilihan tampilan yaitu terminal dan web EFIRO. Pilih sesuai keinginan.

(klik expand / kembangkan)

- Langkah Batch Job di Terminal -

Tutorial ini mengasumsikan user familiar dengan terminal Linux

Menggunakan terminal!

User EFIRO klik app Aleleon Shell Access
atau menu Apps > Aleleon Shell Access

---| 0 |---

Apakah bisa menjalankan job?

User dengan Kredit Core Hour disarankan cek kuota terlebih dulu:

$ sausage

Untuk akun institusi ikuti petunjuk support EFISON.
Detail limit alokasi komputasi job lihat langkah 2B.
Bila butuh tambah kuota, lihat [top up Kredit Core Hour].

---| 1 |---

Lakukan persiapan:

Pastikan package lengkap pada conda env yang akan digunakan:

Package tidak lengkap akan menyebabkan job gagal berjalan.

Siapkan file komputasi yang dibutuhkan:

Upload / download file lihat [Upload / Dow nload File HOME]

Untuk mencegah batch job mengacu site-packages yang salah:

1 - Apabila conda env aktif, keluar:
(env)$ conda deactivate
 
2 - Menonaktifkan modul Package Python:
$ ml unload Anaconda Mamba

Apabila ada pesan ini, abaikan:
the module ... cannot be unloaded because it was not loaded

---| 2A |---

Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi:

Nama file bebas dengan format .sh, contoh submit.sh
Biasanya submit script berada satu folder dengan file komputasi.

$ nano submit.sh
atau vim

Contoh template Submit Script:

Ikuti petunjuk NOTES dan alur script di dalamnya.

Klik expand / kembangkan

- Template submit script Conda Environment versi CPU -

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Python dengan Conda Environment (CPU) | rev.210125
#
# NOTES:
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah melengkapi conda environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log
#SBATCH --error=error-%j.txt

# Input nama modul package manager yang digunakan untuk membuat
# conda env user. Daftar nama:
# Anaconda3/2020.11   || Anaconda3/2021.05   || Anaconda3/2022.05 ||
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0   ||
PM="////"

# Nama conda environment yang digunakan
CONDA_NAME="////"

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul
module load ${PM}

# Mengaktifkan Conda Environment
source activate ${CONDA_NAME}

# Tuliskan perintah menjalankan komputasi Python user
# contoh -> python3 [nama-file-python]
////

- Template submit script conda environment versi GPU -

Note:

Perhatikan apakah perlu memuat modul CUDA?
Info detail lihat [Menjalankan Package Python Versi GPU?]
- Apabila butuh, isi nama modul CUDA sebagai berikut:

...
module load ${PM}
module load [Nama-modul-CUDA]
...

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Python dengan Conda Environment (GPU) | rev.210125
#
# NOTES:
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah melengkapi conda environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Partisi compute node GPU
#SBATCH --partition=ampere

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah GPU
#SBATCH --gpus=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log
#SBATCH --error=error-%j.txt

# Input nama modul package manager yang digunakan untuk membuat
# conda env user. Daftar nama:
# Anaconda3/2020.11   || Anaconda3/2021.05   || Anaconda3/2022.05 ||
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0   ||
PM="////"

# Nama conda environment yang digunakan
CONDA_NAME="////"

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul
module load ${PM} 

# Mengaktifkan Conda Environment
source activate ${CONDA_NAME}

# Tuliskan perintah menjalankan komputasi Python user
# contoh -> python3 [nama-file-python]
////

Detail Submit Script lihat [Submit Script ALELEON Supercomputer]

Untuk SBATCH notifikasi email status jalannya job lihat [Slurm Jojo]

---| 2B |---

SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:

Sisa Core Hour user dan [Fair Usage Limit]
Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut:

$ slimit-python

Note untuk saat ini:

Jalankan ketika tidak ada job user yang berjalan atau antri.
Sementara berlaku untuk akun perseorangan saja.

---| 3 |---

Jalankan job dengan perintah:

$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh

---| 4 |---

User dapat melihat status jalannya job dengan perintah:

$ squeue -ul $USER

Apabila tidak ada di squeue artinya job bersangkutan telah berakhir.
Jalankan ketika tidak ada job user yang berjalan atau antri.
Sementara berlaku untuk akun perseorangan saja.

Kolom ST atau STATE menunjukkan status jalannya job:
STATE	Penjelasan
`R (RUN)`	Job berjalan
`PD (PENDING)`	Job tertahan, lihat [Daftar Job Reason]
`CG (COMPLETING)`	Job selesai dan dalam proses clean-up
`CA (CANCELED)`	Job dibatalkan user
`PR (PREEMPETED)`	Job dibatalkan admin, alasan dikabarkan via email
`S (SUSPENDED)`	Job ditahan admin, alasan dikabarkan via email

---| 5 |---

User dapat memantau file output dengan perintah Unix seperti:

ls, cat, more, tail, dll

---| 6 |---

Apabila user ingin menghentikan job yang berjalan, jalankan perintah:

$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231

---

- Langkah Batch Job di web EFIRO -

---| 0 |---

Apakah bisa menjalankan job?

User dengan Kredit Core Hour disarankan cek kuota terlebih dulu:

Buka menu Apps > Aleleon Shell Access
Jalankan:

$ sausage

Untuk akun institusi ikuti petunjuk support EFISON.
Detail limit alokasi komputasi job lihat langkah 5B.
Bila butuh tambah kuota, lihat [top up Kredit Core Hour].

---| 1 |---

[Login ke web EFIRO] ALELEON Supercomputer.

---| 2 |---

	Klik app `Job Composer` di homepage EFIRO. atau menu `Apps > Job Composer`

Pilih menu New Job > From Template

---| 3 |---

Buat ruang job untuk menjalankan komputasi:

Pilih template Anaconda Python yang diinginkan:
Nama Template	Penjelasan
Conda Environment Python (CPU)	Menjalankan conda env pada CPU
Conda Environment Python (GPU)	Menjalankan conda env pada GPU

Kemudian Isi Job Name dan klik Create New Job

---| 4 |---

Lakukan persiapan:

Pastikan package lengkap pada conda env yang akan digunakan:

Package tidak lengkap akan menyebabkan job gagal berjalan.
Akses terminal apabila butuh via menu Open Terminal

Siapkan file komputasi yang dibutuhkan di ruang job:

Pastikan ruang job yang dipilih adalah yang akan digunakan.

Upload / download / edit file via menu Edit Files

Upload / download file tunggal diatas 2GB gunakan [software FTP]

---| 5A |---

Lengkapi Submit Script melalui tombol Open Editor

Submit script adalah 'formulir' untuk menjalankan job komputasi.
Ikuti petunjuk NOTES dan alur script di dalamnya.
Klik Save setiap kali mengubah script.

Bagi yang memilih template GPU:

Perhatikan apakah perlu memuat modul CUDA?

Info detail lihat [Menjalankan Package Python Versi GPU?]
- Apabila butuh, isi nama modul CUDA sebagai berikut:

...
module load ${PM}
module load [Nama-modul-CUDA]
...

Detail Submit Script lihat [Submit Script ALELEON Supercomputer]

Untuk SBATCH notifikasi email status jalannya job lihat [Slurm Jojo]

---| 5B |---

SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:

Sisa Core Hour user dan [Fair Usage Limit]
Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut:

$ slimit-python

Note untuk saat ini:

Jalankan ketika tidak ada job user yang berjalan atau antri.
Sementara berlaku untuk akun perseorangan saja.

---| 6 |---

Jalankan job dengan klik tombol Submit

Jalankan ketika tidak ada job user yang berjalan atau antri.
Sementara berlaku untuk akun perseorangan saja.

Kolom Status menunjukkan status jalannya job:
Status	Arti
Not Submitted	Job belum pernah dijalankan.
Running	Job berjalan.
Queue	Job mengantri dan belum berjalan.
Completed	Job selesai berjalan.
Failed	Job berhenti karena error atau di stop user.
Melihat alasan job yang queue:
Buka menu Apps > Active Jobs di homepage EFIRO. Ubah opsi All jobs ke Your Jobs. Klik simbol > untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman Daftar Job Reason ALELEON Supercomputer

---| 7 |---

Lihat output file komputasi pada kolom Folder Contents

Atau dengan membuka menu Edit Files

Kolom Folder Contents

---| 8 |---

Apabila user ingin menghentikan job yang berjalan, klik Stop

---| 9 |---

Untuk menghapus ruang job dan datanya:

Pilih ruang job yang akan dihapus.
Perhatikan opsi ini juga menghapus data di ruang job tersebut.
Klik menu Delete

---

Sesi Jupyter

Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].

(klik expand / kembangkan)

- Langkah Sesi Jupyter -

---| 1 |---

[Login ke web EFIRO] ALELEON Supercomputer.

---| 2 |---

Lakukan persiapan sebelum sesi Jupyter:

Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:

Lengkapi instalasi package pada conda env yang akan dipakai.
Upload file besar lihat [Upload / Download File HOME]
- Direktori standar sesi Jupyter adalah $HOME user.

---| 3 |---

	Klik app `Jupyter` di homepage EFIRO. atau menu `Apps > Jupyter`

---| 4 |---

Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:

`Choose Jupyter version`
Pilih sesuai preferensi user, `Jupyter Lab` atau `Notebook`

`Partition`
Pilih sesuai kebutuhan: `torti` -> interactive node CPU `tilla` -> interactive node GPU

`Number of CPU thread(s)`
Alokasi core CPU, range `2 - 32`

`Amount of memory/RAM (GB)`
Alokasi RAM dalam satuan GB, range `1 - 64`

`Number of GPUs` (apabila pilih partition tilla)
Jumlah GPU, isi angka `1`

`Number of hours`
Waktu maksimal sesi Jupyter, range `1 - 72`
Apakah bisa menjalankan sesi Jupyter?
Form CPU, GPU, dan hours punya limit berdasarkan: Sisa Core Hour user dan [Fair Usage Limit] Untuk melihat limit: Buka menu `Apps > Aleleon Shell Access` Jalankan perintah: $ sausage Ketentuan sesi Jupyter dapat berjalan: sisa CCH > number of CPU threads X number of hours sisa GH > number of GPU X number of hours

`Choose how to launch Jupyter`
Pilih `Anaconda/Mamba`

`Choose Anaconda/Mamba version`
Pilih versi yang digunakan untuk membuat conda env user.

`Conda/Mamba environment directory`
Isi nama conda env user, contoh: `skripsi`

`Software Modules`
Memuat modul software diluar conda env user , isi apabila ada.
Bagi user yang memilih partition tilla: Perhatikan apakah perlu memuat modul CUDA? Info detail lihat [Menjalankan Package Python Versi GPU?] Apabila butuh, isi form ini dengan nama modul CUDA.

`Environment setup`
Memuat environment variable, isi apabila ada.

`Additional Jupyter arguments`
Memuat argumen tambahan Jupyter, isi apabila ada.

`Email address`
Notifikasi email untuk status mulai dan selesainya Jupyter. Isi apabila berkenan.

---| 5 |---

Klik tombol Launch untuk memulai sesi Jupyter:

User akan diarahkan ke halaman My Interactive Sessions
Tunggu hingga sesi Jupyter siap diakses.

---| 6 |---

Apabila status Running, klik tombol Connect to Jupyter

Sistem mulai menghitung Core Hour!
Sesi akan terus berjalan selama waktu sesi masih ada.
Untuk menghentikan sesi yang running, klik tombol Cancel

---| 7 |---

Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.

Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook

Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab

---| 8 |---

User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:

Menu My Interactive Sessions
Kolom Active interactive sessions di homepage EFIRO.

---

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com

Article tools

Perkakas pribadi

Navigasi

Perkakas

Komputasi Python dengan Conda Environment: Perbedaan antara revisi

Revisi per 16 Mei 2025 10.42

Daftar isi

Langkah Menjalankan Komputasi

Spesifikasi

Membuat Conda Environment

Mengaktifkan Conda Env dan Instalasi Package

Pilihan Menjalankan Komputasi

Menjalankan Package Python versi GPU?

Batch Job

Sesi Jupyter

Pelaporan Kendala dan Support

@@ Baris 40: / Baris 40: @@
 * ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 |Pilih dan aktifkan modul Anaconda untuk membuat conda env:
@@ Baris 75: / Baris 75: @@
 |}
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 |[[Berkas:GMB warning wololo.png|nirbing|50x50px]] ''Package apa yang akan diinstal user di conda env ini?''
@@ Baris 97: / Baris 97: @@
 |}
 |-
-! <big>3</big>
+! <big><nowiki>---| 3 |---</nowiki></big>
 |-
 !Buat conda env dengan opsi:
@@ Baris 134: / Baris 134: @@
 * ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 |Pilih dan aktifkan modul Mamba untuk membuat conda env:
@@ Baris 153: / Baris 153: @@
 |}
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 |[[Berkas:GMB warning wololo.png|nirbing|50x50px]] ''Package apa yang akan diinstal user di conda env ini?''
@@ Baris 175: / Baris 175: @@
 |}
 |-
-! <big>3</big>
+! <big><nowiki>---| 3 |---</nowiki></big>
 |-
 !Buat conda env dengan opsi:
@@ Baris 217: / Baris 217: @@
 * ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 |Muat modul PPM yang digunakan untuk membuat conda env:
   $ '''module load ''[Anaconda-atau-Mamba ....]'''''
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 |Aktifkan conda env dengan perintah '''<big><code>source</code></big>''':
@@ Baris 229: / Baris 229: @@
   $ '''conda env list'''
 |-
-!<big>3A</big>
+!<big><nowiki>---| 3A |---</nowiki></big>
 |-
 !Pilih panduan instalasi package yang dibutuhkan
@@ Baris 236: / Baris 236: @@
 * ''<small>Halaman terpisah karena daftar terlalu panjang</small> ._.''
 |-
-!<big>3B</big>
+!<big><nowiki>---| 3B |---</nowiki></big>
 |-
 !Khusus user yang membuat conda env dengan Mamba
@@ Baris 244: / Baris 244: @@
   <sub>(env)</sub>$ '''pip install jupyter jupyterlab'''
 |-
-!<big>4</big>
+!<big><nowiki>---| 4 |---</nowiki></big>
 |-
 |Apabila hendak menonaktfkan conda env:
@@ Baris 258: / Baris 258: @@
 |'''<big>[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment#Batch_Job Batch job]]</big>'''
 * Menjalankan script Python siap jalan yang tidak membutuhkan interaksi user.
-* [[Berkas:GMB warning wololo.png|nirbing|50x50px]]Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.
+** [[Berkas:GMB warning wololo.png|nirbing|50x50px]]Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.
+** ''Job dijalankan oleh Slurm, user menunggu hingga selesai.''
+*Koneksi user tidak mempengaruhi jalannya job, contoh:
+**''Job tidak akan berhenti ketika koneksi user terputus, atau''
+**''User keluar (log out) dari ALELEON.''
+*Job akan berhenti ketika:
+**''Program komputasi selesai berjalan.''
+**''Program menjumpai error sehingga selesai prematur.''
 |'''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]]:'''
 * Partisi epyc [[Berkas:GMB CPU icon.png|nirbing|50x50px]]
@@ Baris 264: / Baris 272: @@
 |-
 |'''<big>[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment#Sesi_Jupyter Sesi Jupyter]]</big>'''
-* Menjalankan sesi interaktif Jupyter Lab atau Notebook
+* Menjalankan sesi interaktif Jupyter Lab atau Notebook.
+* Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
+**''Sesi tidak akan berhenti ketika koneksi user terputus, atau''
+**''User keluar (log out) dari ALELEON.''
+*Sesi Jupyter akan berhenti ketika:
+**''Waktu sesi habis.''
+**''Sesi dihentikan secara manual oleh user.''
+**''Sesi menjumpai error sehingga selesai prematur.''
 |'''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]]:'''
 * Partisi torti [[Berkas:GMB CPU icon.png|nirbing|50x50px]]
@@ Baris 285: / Baris 301: @@
 * ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 |'''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment#Mengaktifkan_Conda_Env_dan_Instalasi_Package Aktifkan conda env]]''' yang akan digunakan.
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 |Cek ketersediaan library CUDA di conda env tersebut:
@@ Baris 298: / Baris 314: @@
   <sub>(env)</sub>$ '''conda list | grep cuda'''
 |-
-!<big>3A</big>
+!<big><nowiki>---| 3A |---</nowiki></big>
 |-
 !''Apabila ada output:''
@@ Baris 306: / Baris 322: @@
 * User '''tidak perlu memuat modul CUDA.'''
 |-
-!<big>3B</big>
+!<big><nowiki>---| 3B |---</nowiki></big>
 |-
 ![[Berkas:GMB warning wololo.png|nirbing|50x50px]] ''Apabila tidak ada output:''
@@ Baris 388: / Baris 404: @@
 * ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
 |-
-!<big>0</big>
+!<big><nowiki>---| 0 |---</nowiki></big>
 |-
 !Apakah bisa menjalankan job?
@@ Baris 399: / Baris 415: @@
 * Bila butuh tambah kuota, lihat '''[[https://wiki.efisonlt.com/wiki/Core_Hour#Penggunaan_Kredit_Core_Hour top up Kredit Core Hour]].'''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 !Lakukan persiapan:
@@ Baris 417: / Baris 433: @@
   '''''the module ... cannot be unloaded because it was not loaded'''''</small>
 |-
-!<big>2A</big>
+!<big><nowiki>---| 2A |---</nowiki></big>
 |-
 |Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi:
@@ Baris 579: / Baris 595: @@
 *''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]'''''
 |-
-!<big>2B</big>
+!<big><nowiki>---| 2B |---</nowiki></big>
 |-
 |SBATCH komputasi (ntasks, mem, time, dll) '''punya limit''' berdasarkan:
@@ Baris 590: / Baris 606: @@
 *''Sementara berlaku untuk akun perseorangan saja.''
 |-
-!<big>3</big>
+!<big><nowiki>---| 3 |---</nowiki></big>
 |-
 |Jalankan job dengan perintah:
@@ Baris 598: / Baris 614: @@
   $ sbatch submit.sh
 |-
-!<big>4</big>
+!<big><nowiki>---| 4 |---</nowiki></big>
 |-
 |User dapat melihat status jalannya job dengan perintah:
@@ Baris 632: / Baris 648: @@
 |}
 |-
-!<big>5</big>
+!<big><nowiki>---| 5 |---</nowiki></big>
 |-
 |User dapat memantau file output dengan perintah Unix seperti:
@@ Baris 638: / Baris 654: @@
 * '''<code>ls</code>''', '''<code>cat</code>''', '''<code>more</code>''', '''<code>tail</code>''', dll
 |-
-!<big>6</big>
+!<big><nowiki>---| 6 |---</nowiki></big>
 |-
 |Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
@@ Baris 653: / Baris 669: @@
 [[Berkas:Efiro jobcomposer display.png|nirbing|400x400px]]
 |-
-!<big>0</big>
+!<big><nowiki>---| 0 |---</nowiki></big>
 |-
 !Apakah bisa menjalankan job?
@@ Baris 668: / Baris 684: @@
 * Bila butuh tambah kuota, lihat '''[[https://wiki.efisonlt.com/wiki/Core_Hour#Penggunaan_Kredit_Core_Hour top up Kredit Core Hour]].'''
 |-
-!<big>1</big>
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 | [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]]''' ALELEON Supercomputer.
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 |
@@ Baris 684: / Baris 700: @@
 |[[Berkas:Jcnewjobmarked.png|nirbing|170x170px]]Pilih menu <big>'''<code>New Job > From Template</code>'''</big>
 |-
-!<big>3</big>
+!<big><nowiki>---| 3 |---</nowiki></big>
 |-
 !Buat ruang job untuk menjalankan komputasi:
@@ Baris 704: / Baris 720: @@
 [[Berkas:Jctemplate-2.png|nirbing]]
 |-
-!<big>4</big>
+!<big><nowiki>---| 4 |---</nowiki></big>
 |-
 !Lakukan persiapan:
@@ Baris 720: / Baris 736: @@
 [[Berkas:JC job menu.png|nirbing|500x500px]]
 |-
-!<big>5A</big>
+!<big><nowiki>---| 5A |---</nowiki></big>
 |-
 |Lengkapi '''Submit Script''' melalui tombol '''<code><big>Open Editor</big></code>'''
@@ Baris 745: / Baris 761: @@
 *''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]'''''
 |-
-!<big>5B</big>
+!<big><nowiki>---| 5B |---</nowiki></big>
 |-
 |SBATCH komputasi (ntasks, mem, time, dll) '''punya limit''' berdasarkan:
@@ Baris 756: / Baris 772: @@
 *''Sementara berlaku untuk akun perseorangan saja.''
 |-
-!<big>6</big>
+!<big><nowiki>---| 6 |---</nowiki></big>
 |-
 |Jalankan job dengan klik tombol '''<code><big>Submit</big></code>'''
@@ Baris 790: / Baris 806: @@
 |}
 |-
-!'''<big>7</big>'''
+!<big><nowiki>---| 7 |---</nowiki></big>
 |-
 |Lihat output file komputasi pada kolom '''Folder Contents'''
@@ Baris 796: / Baris 812: @@
 [[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>''''']]
 |-
-!<big>8</big>
+!<big><nowiki>---| 8 |---</nowiki></big>
 |-
 |Apabila user ingin menghentikan job yang berjalan, klik '''<code><big>Stop</big></code>'''
 |-
-!<big>9</big>
+!<big><nowiki>---| 9 |---</nowiki></big>
 |-
 |Untuk menghapus ruang job dan datanya:
@@ Baris 819: / Baris 835: @@
 [[Berkas:Efiro jupyter display.png|400x400px]]
 |-
-!'''<big>1</big>'''
+!<big><nowiki>---| 1 |---</nowiki></big>
 |-
 | '''[https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]]''' ALELEON Supercomputer.
 |-
-!<big>2</big>
+!<big><nowiki>---| 2 |---</nowiki></big>
 |-
 !Lakukan persiapan sebelum sesi Jupyter:
@@ Baris 832: / Baris 848: @@
 ** Direktori standar sesi Jupyter adalah $HOME user.
 |-
-!<big>3</big>
+!<big><nowiki>---| 3 |---</nowiki></big>
 |-
 |
@@ Baris 842: / Baris 858: @@
 |}
 |-
-!<big>4</big>
+!<big><nowiki>---| 4 |---</nowiki></big>
 |-
 |Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
@@ Baris 946: / Baris 962: @@
 *
 |-
-!<big>5</big>
+!<big><nowiki>---| 5 |---</nowiki></big>
 |-
 |Klik tombol '''<code><big>Launch</big></code>''' untuk memulai sesi Jupyter:
@@ Baris 953: / Baris 969: @@
 [[Berkas:Jupyternotebookqueue.png|nirbing|500x500px]]
 |-
-!<big>6</big>
+!<big><nowiki>---| 6 |---</nowiki></big>
 |-
 |Apabila status '''Running''', klik tombol '''<code><big>Connect to Jupyter</big></code>'''
@@ Baris 961: / Baris 977: @@
 [[Berkas:Newjupyter120124.png|nirbing|500x500px]]
 |-
-!<big>7</big>
+!<big><nowiki>---| 7 |---</nowiki></big>
 |-
 |Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']]
 |-
-!<big>8</big>
+!<big><nowiki>---| 8 |---</nowiki></big>
 |-
 |User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: