Komputasi Python dengan Conda Environment: Perbedaan antara revisi

Revisi per 6 September 2024 11.25

Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.

Laman ini merupakan bagian laman -> Komputasi Python

Langkah Menjalankan Komputasi

Terdapat dua langkah utama:

Membuat dan menyiapkan conda environment untuk komputasi user.
Memilih metode menjalankan komputasi.

Manajemen Conda Environment

Subbab ini menjelaskan langkah membuat, mengaktifkan, dan melengkapi conda environment.

Kegiatan ini dilakukan di terminal

Masuk ke terminal melalui Login SSH atau

	Login ke web EFIRO; Buka pinned apps `Aleleon Shell Access`

Kegiatan ini tidak mengurangi Core Hour user.

Membuat Conda Environment

1

Pilih dan aktifkan modul Anaconda yang akan digunakan.

$ module load [nama-modul-anaconda]

Daftar nama modul Anaconda
Nama Modul	Versi
Anaconda3/2023.07-2	Anaconda 3 2023.07-2
Anaconda3/2022.05	Anaconda 3 2022.05
Anaconda3/2021.05	Anaconda 3 2021.05
Anaconda3/2020.11	Anaconda 3 2020.11

Ingat pilihan modul untuk mengaktifkan conda env kedepannya.

2

Buat conda env di direktori HOME:

$ conda create --name [nama-conda-env] 

Contoh nama 'skripsi':
$ conda create --name skripsi

3

Aktifkan conda env:

$ source activate [nama-conda-env]

4

Instal library Python yang dibutuhkan dengan pip

$ pip install [nama-library]

Instalasi PyTorch dan TensorFlow lihat subbab:

Instalasi TensorFlow dan PyTorch.

5

Untuk menonaktifkan conda env jalankan perintah:

$ conda deactivate

Tips

Manajemen conda env seperti rename, delete, clone, list, lihat:

Conda Managing Environments

Mengaktifkan Kembali Conda Environment

1
Aktifkan modul Anaconda yang dipakai untuk membuat conda env user: `$ module load [nama-modul-anaconda]`
2
Aktifkan conda env: `$ source activate [nama-conda-env]`
Tips
List conda env yang sebelumnya dibuat apabila lupa namanya: `$ conda env list`

Instalasi TensorFlow dan PyTorch

User dapat menginstal TensorFlow / PyTorch dengan pilihan versi CUDA untuk menggunakan GPU NVIDIA RTX 3090 atau CPU saja.

Instalasi TensorFlow versi CUDA dan CPU lihat dokumentasi Install TensorFlow with pip.
Instalasi PyTorch lihat dokumentasi Start Locally | PyTorch.
- Versi CUDA pilih Package pip dan Compute Platform CUDA.
- Versi CPU pilih Package pip dan Compute Platform CPU.

Perhatikan kebutuhan versi NVIDIA CUDA Toolkit!
Bagi user yang menjalankan TensorFlow / PyTorch versi CUDA: Setiap versi TF / PyTorch membutuhkan CUDA Toolkit versi spesifik. Dokumentasi TF / PyTorch memuat info versi CUDA Toolkit yang dibutuhkan. Ketersediaan CUDA Toolkit ALELEON lihat Modul NVIDIA CUDA Toolkit.

Metode Menjalankan Komputasi

User dapat memilih metode menjalankan komputasi sesuai keinginan: (klik expand / kembangkan)

Job submission terminal
- Berjalan di compute node melalui manajemen Slurm.
- Hanya untuk file Python (py), file ipynb harus diubah ke py.
Job submission web EFIRO
- Berjalan di compute node melalui manajemen Slurm via web EFIRO.
- Hanya untuk file Python (py), file ipynb harus diubah ke py.
Interactive job Jupyter
- Sesi IDE Jupyter Lab atau Notebook.
- Berjalan di interactive node.

Job Submission Terminal

Langkah Job Submission Terminal

1

Login SSH ke ALELEON Supercomputer.

2

Siapkan Conda Env dan file komputasi yang dibutuhkan.

User dapat upload / download file dengan software FTP.

3A

Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.

Nama file bebas dengan format .sh, contoh submit.sh

Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.

Klik expand / kembangkan

Template Submit Script Anaconda Python versi CPU

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (CPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}

Untuk Anaconda versi GPU, apabila user butuh modul CUDA versi spesifik:

Lihat Modul NVIDIA CUDA Toolkit ALELEON Supercomputer.
Ganti nama modul 'cuda' pada line module load cuda

Template Submit Script Anaconda Python versi GPU atau CUDA

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (GPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Menggunakan partisi compute node GPU
#SBATCH --partition=ampere

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah GPU
#SBATCH --gpus=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job 
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul NVIDIA CUDA default 
module load cuda

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}

Info script lebih detail lihat Submit Script ALELEON Supercomputer.
Untuk SBATCH notifikasi email status jalannya job lihat Slurm Jojo.

3B

SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:

Sisa Core Hour user dan Fair Usage Limit.
Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut:

$ slimit-python

4

Jalankan job komputasi dengan perintah:

$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh

5

User dapat melihat status jalannya job dengan perintah:

$ squeue -ul $USER

Kolom ST atau STATE menunjukkan status jalannya job.
STATE	Penjelasan
R (RUN)	Job berjalan
PD (PENDING)	Job tertahan, lihat NODELIST(REASON)
CG (COMPLETING)	Job selesai dan dalam proses clean-up
CA (CANCELED)	Job dibatalkan user
PR (PREEMPETED)	Job dibatalkan admin, alasan dikabarkan via email
S (SUSPENDED)	Job ditahan admin, alasan dikabarkan via email

Apabila user ingin menghentikan job yang berjalan, jalankan perintah:

$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231

Job Submission Web EFIRO

Langkah Job Submission Web EFIRO

1

Login ke web EFIRO ALELEON Supercomputer.

2

Buka pinned apps Job Composer di homepage EFIRO.

Pilih menu New Job -> From Template

3

Pilih template Anaconda Python yang diinginkan:
Nama Template	Penjelasan
Anaconda Python (CPU)	Menjalankan Anaconda Python pada CPU
Anaconda Python (GPU)	Menjalankan Anaconda Python pada GPU

Kemudian Isi Job Name dan klik Create New Job

4

Siapkan file komputasi dan Conda Env yang dibutuhkan:

Upload / download / edit file via menu Edit Files
Akses terminal untuk manajemen Conda Env via menu Open Terminal

5A

Lengkapi Submit Script melalui tombol Open Editor:

Submit script adalah 'formulir' untuk menjalankan job komputasi.
- Ikuti petunjuk NOTES didalamnya.
Klik Save setiap kali mengubah script.

Info script lebih detail lihat Submit Script ALELEON Supercomputer.
Untuk SBATCH notifikasi email status jalannya job lihat Slurm Jojo.

5B

SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:

Sisa Core Hour user dan Fair Usage Limit.
Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah ini via menu Open Terminal:

$ slimit-python

6

Jalankan job dengan klik tombol Submit.

Pantau kolom status yang menjelaskan status jalannya job.
Apabila ingin membatalkan job yang berjalan, klik Stop.

Daftar Status Job
Status	Arti
Not Submitted	Job belum pernah dijalankan.
Running	Job berjalan.
Queue	Job mengantri dan belum berjalan.
Completed	Job selesai berjalan.
Failed	Job berhenti karena error atau di stop user.
Untuk melihat alasan job yang queue: Buka pinned apps Active Jobs di homepage EFIRO. Ubah opsi All jobs ke Your Jobs. Klik simbol > untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman Daftar Reason NODELIST ALELEON Supercomputer.

7

Lihat output file komputasi pada kolom Folder Contents

Atau dengan membuka Edit Files

Kolom Folder Contents.

8

Untuk menghapus ruang job dan datanya:

Pilih ruang job yang akan dihapus.
Klik menu Delete

Interactive Job Jupyter

Langkah Interactive Job Sesi Jupyter

1

Login ke web EFIRO ALELEON Supercomputer.

2

Siapkan Conda Env yang akan digunakan.

Disarankan untuk melengkapi instalasi library sebelum sesi Jupyter.

3

	Buka pinned apps Jupyter di homepage EFIRO.

4

Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:

Choose Jupyter version
- Pilih sesuai preferensi user, Jupyter Lab atau Notebook.
Partition -> pilih sesuai kebutuhan:
- torti -> CPU saja
- tilla -> CPU dan GPU

Formulir alokasi komputasi	Partition
Formulir alokasi komputasi	torti	tilla
Number of CPU core(s)	2 - 32
Amount of memory/RAM	1 - 64
Number of GPUs	-	1
Number of hours	1 - 72
Formulir alokasi komputasi mempunyai limit berdasarkan: Sisa Core Hour user dan Fair Usage Limit. Spesifikasi sistem dan software komputasi. Langkah melihat limit: Buka menu Clusters > Aleleon Shell Access Jalankan perintah: $ slimit-python

Choose how to launch Jupyter -> Anaconda
Choose Anaconda version
- Idealnya pilih versi yang dipakai untuk membuat Conda Env user.
- Apabila lupa, gunakan Anaconda terbaru.
Conda environment directory
- Isi nama Conda Env user yang akan digunakan.
Software modules
- Membuat modul software, isi apabila ada.
- Apabila menggunakan tilla, isi modul NVIDIA CUDA yang sesuai.
  - Nama modul lihat Modul NVIDIA CUDA Toolkit ALELEON.

Environment setup
- Memuat environment variable, isi apabila ada.
Additional Jupyter arguments
- Memuat argument tambahan Jupyter, isi apabila ada.
Email address
- Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
- Isi apabila berkenan.

5

Klik tombol Launch untuk memulai sesi Jupyter.

User akan diarahkan ke halaman My Interactive Sessions.
Tunggu hingga sesi Jupyter siap diakses.

6

Apabila status Running, klik tombol Connect to Jupyter.

Sistem mulai menghitung Core Hour!
Untuk menghentikan sesi yang sedang running, klik tombol Cancel

7

Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.

Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook

Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab

8

User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:

Menu My Interactive Sessions pada homepage EFIRO.
Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com

@@ Baris 14: / Baris 14: @@
 # Memilih metode menjalankan komputasi.
-== '''Membuat Conda Environment (Conda Env)''' ==
+== '''Manajemen Conda Environment''' ==
-{| class="wikitable mw-collapsible mw-collapsed"
+Subbab ini menjelaskan langkah membuat, mengaktifkan, dan melengkapi conda environment.
-!Membuat Conda Environment dan Instalasi Library Python
+{| class="wikitable"
-|-
+!Kegiatan ini dilakukan di terminal
-!1
 |-
 |Masuk ke terminal melalui '''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#Login_SSH Login SSH]''' atau
@@ Baris 28: / Baris 27: @@
 |}
 Kegiatan ini tidak mengurangi Core Hour user.
+|}
+=== Membuat Conda Environment ===
+{| class="wikitable"
 |-
-!2
+!1
 |-
 |Pilih dan aktifkan modul Anaconda yang akan digunakan.
@@ Baris 51: / Baris 54: @@
 |Anaconda 3 2020.11
 |}
-'''''Note''': Apabila bingung memilih versi yang mana, pilih versi terbaru''
+''Ingat pilihan modul untuk mengaktifkan conda env kedepannya.''
+|-
+!2
+|-
+|Buat conda env di direktori HOME:
+ $ '''conda create --name ''[nama-conda-env]'''''
+ ''Contoh nama 'skripsi':''
+ $ conda create --name '''skripsi'''
 |-
 !3
 |-
-|Buat Conda Env di direktori HOME dengan perintah:
+|Aktifkan conda env:
- $ '''conda create --name ''[nama-conda-env]'' pip'''
+<code>$ '''source activate ''[nama-conda-env]'''''</code>
- ''Contoh dengan nama 'skripsi'''
- $ conda create --name '''skripsi''' pip
 |-
 !4
 |-
-|Aktifkan Conda Env dengan perintah:
+|Instal library Python yang dibutuhkan dengan '''<code>pip</code>'''
- $ '''source activate ''[nama-conda-env]'''''
+<code>$ '''pip install ''[nama-library]'''''</code>
- ''Contoh:''
+Instalasi PyTorch dan TensorFlow lihat subbab:
- $ source activate '''skripsi'''
+* Instalasi TensorFlow dan PyTorch.
 |-
 !5
 |-
-|Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>'''
+|Untuk menonaktifkan conda env jalankan perintah:
-* Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip].
+<code>$ '''conda deactivate'''</code>
-* Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip].
 |-
-!6
+!Tips
 |-
-|Untuk menonaktifkan Conda Env jalankan perintah:
+|Manajemen conda env seperti rename, delete, clone, list, lihat:
-<code>$ '''conda deactivate'''</code>
+* [https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html '''Conda Managing Environments''']
 |}
-{| class="wikitable mw-collapsible mw-collapsed"
-!Manajemen Conda Environment
+=== Mengaktifkan Kembali Conda Environment ===
+{| class="wikitable"
 |-
-!a
+!1
 |-
-|'''Mengaktifkan Conda Env yang telah dibuat:'''
+|Aktifkan modul Anaconda yang dipakai untuk membuat conda env user:
-# Idealnya muat modul Anaconda yang dipakai untuk membuat conda env.
+<code>$ '''module load ''[nama-modul-anaconda]'''''</code>
-#* ''Apabila lupa, bisa gunakan modul Anaconda terbaru.''
-# Aktifkan conda env dengan perintah:
- $ '''source activate ''[nama-conda-env]'''''
 |-
-!b
+!2
 |-
-|'''Melihat daftar Conda Env yang telah dibuat:'''
+|Aktifkan conda env:
- '''$ conda env list'''
+<code>$ '''source activate ''[nama-conda-env]'''''</code>
 |-
-!c
+!Tips
 |-
-|'''Mengubah nama Conda Env:'''
+|List conda env yang sebelumnya dibuat apabila lupa namanya:
- $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]'''''
+<code>$ '''conda env list'''</code>
+|}
- ''Contoh mengubah nama env skripsi ke tesis''
- $ conda rename -n skripsi tesis
+=== Instalasi TensorFlow dan PyTorch ===
+User dapat menginstal TensorFlow / PyTorch dengan pilihan versi CUDA untuk menggunakan GPU NVIDIA RTX 3090 atau CPU saja.
+* Instalasi TensorFlow versi CUDA dan CPU lihat dokumentasi [https://www.tensorflow.org/install/pip '''Install TensorFlow with pip'''].
+* Instalasi PyTorch lihat dokumentasi [https://pytorch.org/get-started/locally/ '''Start Locally | PyTorch'''].
+** Versi CUDA pilih Package '''pip''' dan Compute Platform '''CUDA'''.
+** Versi CPU pilih Package '''pip''' dan Compute Platform '''CPU'''.
+{| class="wikitable"
 |-
-!d
+!Perhatikan kebutuhan versi NVIDIA CUDA Toolkit!
 |-
-|'''Menghapus Conda Env:'''
+|Bagi user yang menjalankan TensorFlow / PyTorch versi CUDA:
-<code>$ '''conda remove -n ''[nama-conda-env]'' --all'''</code>
+* Setiap versi TF / PyTorch membutuhkan CUDA Toolkit versi spesifik.
+* Dokumentasi TF / PyTorch memuat info versi CUDA Toolkit yang dibutuhkan.
+* Ketersediaan CUDA Toolkit ALELEON lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Modul_NVIDIA_CUDA_Toolkit_(Standalone) '''Modul NVIDIA CUDA Toolkit'''].
 |}
 == '''Metode Menjalankan Komputasi''' ==
 User dapat memilih metode menjalankan komputasi sesuai keinginan: ''<small>(klik expand / kembangkan)</small>''
@@ Baris 209: / Baris 227: @@
 {| class="wikitable mw-collapsible mw-collapsed"
-!Template Submit Script Anaconda Python versi GPU
+!Template Submit Script Anaconda Python versi GPU atau CUDA
 |-
 |<syntaxhighlight lang="bash">

Article tools

Perkakas pribadi

Navigasi

Perkakas