Komputasi Python dengan Conda Environment: Perbedaan antara revisi

Dari ALELEON by EFISON
Baris 386: Baris 386:
|-
|-
|4
|4
|[[Berkas:Jctemplate-1.png|nir|jmpl|Pilih template '''Anaconda Python''' yang diinginkan]]
|[[Berkas:Jctemplate-1.png|nir|jmpl|Pilih template '''Anaconda Python''' yang diinginkan|400x400px]]
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Template yang tersedia
! colspan="2" |Template yang tersedia
Baris 402: Baris 402:
|-
|-
|5
|5
|[[Berkas:Jcjoboption3.png|nirbing|600x600px]]Upload dan edit file untuk menjalankan komputasi pada '''<code>Edit Files</code>'''.
|[[Berkas:Jcjoboption3.png|nir|jmpl|400x400px|Upload dan edit file untuk menjalankan komputasi pada '''<code>Edit Files</code>'''.  


* Untuk upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
* Apabila butuh akses terminal untuk edit conda env buka <code>'''Open Terminal'''</code>.
* Apabila butuh akses terminal untuk edit conda env buka <code>'''Open Terminal'''</code>.
* Upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
 
]]
|-
|-
|6
|6
|[[Berkas:Jceditor3.png|al=|nirbing|500x500px]]Lengkapi
|[[Berkas:Jceditor3.png|al=|nir|jmpl|400x400px|Lengkapi '''submit script,''' yaitu 'formulir' untuk menjalankan job komputasi melalui menu '''<code>Open Editor</code>'''.
 
* Ikuti petunjuk NOTES di dalamnya.
* Klik '''<code>Save</code>''' setiap kali mengubah script.
* Info script lebih detail lihat '''[[Submit Script ALELEON Supercomputer]]'''.
 
]]
|-
|-
|
|

Revisi per 4 April 2024 08.15

Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.

Berkas:Pythonanaconda.png

Langkah Menjalankan Komputasi

Terdapat dua langkah utama:

  1. Membuat dan menyiapkan conda environment untuk komputasi user.
  2. Memilih metode menjalankan komputasi.

Membuat Conda Environment

Kegiatan ini dilakukan pada terminal:

  • Diakses melalui login SSH, atau
  • Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment
1 Pilih dan aktifkan modul Anaconda yang akan digunakan.

$ module load [nama-modul-anaconda]

Daftar nama modul Anaconda
Nama Modul Versi
Anaconda3/2023.07-2 Anaconda 3 2023.07-2
Anaconda3/2022.05 Anaconda 3 2022.05
Anaconda3/2021.05 Anaconda 3 2021.05
Anaconda3/2020.11 Anaconda 3 2020.11
2 Buat conda env di direktori HOME dan aktifkan dengan perintah: 
$ conda create --name [nama-conda-env] pip

Contoh nama 'skripsi'
$ conda create --name skripsi pip
Mengaktifkan Conda Environment dan Instalasi Package
0 Aktifkan modul Anaconda yang digunakan untuk membuat conda env user.
1 Aktifkan conda env dengan perintah: 
$ source activate [nama-conda-env]

Contoh mengaktifkan conda env 'skripsi'
$ source activate skripsi
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:

$ conda env list

2 Lakukan instalasi package Python yang dibutuhkan dengan pip
3 Untuk menonaktifkan conda env jalankan perintah:

$ conda deactivate

Manajemen Conda Environment
1 Deactivate conda env untuk melakukan manajemen dibawah ini.
2 Untuk mengubah nama conda env: 
$ conda rename -n [nama-saat-ini] [nama-baru]

Contoh mengubah nama env skripsi ke tesis
$ conda rename -n skripsi tesis
Untuk menghapus conda env:

$ conda remove -n <nama-conda-env> --all

Metode Menjalankan Komputasi

User dapat memilih metode menjalankan komputasi sesuai keinginan:

  • Job submission di terminal
  • Job submission di web EFIRO
  • Interactive job Jupyter Lab / Notebook

Job Submission Terminal

Ketentuan:

  1. Menjalankan file Python di terminal dengan scheduler SLURM.
    • File ipynb harus dikonversi ke file Python.
  2. Berjalan di Compute Node.
  3. Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal

Sbatch Terminal.png

1 Login SSH ke ALELEON Supercomputer.
2 Siapkan conda env dan file komputasi yang dibutuhkan.
3 Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
  • Nama file bebas dengan format .sh, contoh submit.sh
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Anaconda Python di CPU 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (CPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}
Anaconda Python di GPU 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (GPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Menggunakan partisi compute node GPU
#SBATCH --partition=ampere

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah GPU
#SBATCH --gpus=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job 
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul NVIDIA CUDA default 
module load cuda

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}

Info script lebih detail lihat Submit Script ALELEON Supercomputer.

Panduan nilai maksimal alokasi komputasi SBATCH
Pada akun perseorangan, SLURM akan menahan job apabila:
  • ntasks * time (jam) lebih besar dari sisa CPU Core Hour user
  • gpus * time (jam) lebih besar dari sisa GPU Hour user

Cek sisa kredit dengan perintah sausage

Limitasi fair policy usage untuk menjaga kualitas layanan:
ntasks mem gpus time
128 128GB 2 72:00:00

User dapat mengajukan permintaan membuka limitasi melalui form ini.

Versi CPU:
Node ntasks mem gpus time
normal 128 240GB - 72:00:00
high-mem* 500GB

*Tambahkan parameter #SBATCH --nodelist=epyc001

Versi GPU:
ntasks mem gpus time
32 120GB 2 72:00:00
Versi MPI (dengan MPI4PY):
ntasks mem gpus time
384 240GB - 72:00:00

Ketika ntasks lebih dari 128:

  • SLURM otomatis menjalankan job pada multi-node.
  • Mem mengalokasikan memori RAM per-node.
  • Info detail buka laman MPI ALELEON Supercomputer.
4 Jalankan job komputasi dengan perintah: 
$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh
5 User dapat melihat status jalannya job dengan perintah:

$ squeue -ul $USER

Berikut daftar ST (STATE) yang menunjukkan status jalannya job:

STATE Penjelasan
R (RUN) Job berjalan
PD (PENDING) Job tertahan, lihat NODELIST(REASON)
CG (COMPLETING) Job selesai dan dalam proses clean-up
CA (CANCELED) Job dibatalkan user
PR (PREEMPETED) Job dibatalkan admin, alasan dikabarkan via email
S (SUSPENDED) Job ditahan admin, alasan dikabarkan via email
6 Apabila user ingin menghentikan job yang berjalan, jalankan perintah: 
$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231

Job Submission Web EFIRO

Ketentuan:

  1. Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
    • File ipynb harus dikonversi ke file Python.
  2. Berjalan di Compute Node.
Langkah Job Submission Web EFIRO

Efirojobcomposer3.png

1 Login ke web EFIRO ALELEON Supercomputer.
2
Buka app Job Composer di pinned apps
3
Pilih menu New Job -> From Template
4
Pilih template Anaconda Python yang diinginkan
Template yang tersedia
Nama Template Penjelasan
Anaconda Python (CPU) Menjalankan Anaconda Python versi CPU
Anaconda Python (GPU) Menjalankan Anaconda Python versi GPU
Isi Job Name kemudian klik Create New Job
5
Upload dan edit file untuk menjalankan komputasi pada Edit Files. * Untuk upload file tunggal diatas 2GB gunakan software FTP. * Apabila butuh akses terminal untuk edit conda env buka Open Terminal.
6
Lengkapi submit script, yaitu 'formulir' untuk menjalankan job komputasi melalui menu Open Editor. * Ikuti petunjuk NOTES di dalamnya. * Klik Save setiap kali mengubah script. * Info script lebih detail lihat Submit Script ALELEON Supercomputer.

Interactive Job Jupyter

Ketentuan:

  1. Menjalankan sesi interaktif Jupyter Lab atau Notebook.
  2. Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter

Efirojupyterlab.png

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Komputasi_Python_dengan_Conda_Environment&oldid=1415"