Komputasi Python dengan Conda Environment: Perbedaan antara revisi

Dari ALELEON by EFISON
(edit jc siapkan file komputasi)
(formatting terbaru)
Baris 14: Baris 14:
# Memilih metode menjalankan komputasi.
# Memilih metode menjalankan komputasi.


== '''Membuat Conda Environment''' ==
== '''Membuat Conda Environment (Conda Env)''' ==
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Membuat Conda Environment dan Instalasi Package Python
!Membuat Conda Environment dan Instalasi Library Python
|-
|-
!1
!1
|-
|-
|Masuk ke terminal melalui:
|Masuk ke terminal melalui '''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#Login_SSH Login SSH]''' atau
* '''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#Login_SSH Login SSH]''', atau
{| class="wikitable"
* [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO '''Login ke web EFIRO'''] dan buka pinned apps '''<code>Aleleon Shell Access</code>'''
|[[Berkas:Pinnedapps terminal.png|nirbing|129x129px]]
|
* [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO '''Login ke web EFIRO'''];
* Buka pinned apps '''<code>Aleleon Shell Access</code>'''
|}
Kegiatan ini tidak mengurangi Core Hour user.
Kegiatan ini tidak mengurangi Core Hour user.
|-
|-
Baris 47: Baris 51:
|Anaconda 3 2020.11
|Anaconda 3 2020.11
|}
|}
'''''Note''': Apabila bingung memilih versi yang mana, pilih versi terbaru''
|-
|-
!3
!3
|-
|-
|Buat conda env di direktori HOME dan aktifkan dengan perintah:
|Buat Conda Env di direktori HOME dengan perintah:
  $ '''conda create --name ''[nama-conda-env]'' pip'''
  $ '''conda create --name ''[nama-conda-env]'' pip'''
   
   
Baris 58: Baris 63:
!4
!4
|-
|-
|Aktifkan conda env dengan perintah:  
|Aktifkan Conda Env dengan perintah:  
  $ '''source activate ''[nama-conda-env]'''''
  $ '''source activate ''[nama-conda-env]'''''
   
   
Baris 72: Baris 77:
!6
!6
|-
|-
|Untuk menonaktifkan conda env jalankan perintah:
|Untuk menonaktifkan Conda Env jalankan perintah:
<code>$ '''conda deactivate'''</code>
<code>$ '''conda deactivate'''</code>
|}
|}
Baris 80: Baris 85:
!a
!a
|-
|-
|'''Mengaktifkan conda env yang telah dibuat:'''  
|'''Mengaktifkan Conda Env yang telah dibuat:'''  
# Muat modul Anaconda yang dipakai untuk membuat conda env.
# Idealnya muat modul Anaconda yang dipakai untuk membuat conda env.
# Lakukan source activate.
#* ''Apabila lupa, bisa gunakan modul Anaconda terbaru.''
# Aktifkan conda env dengan perintah:
$ '''source activate ''[nama-conda-env]'''''
|-
|-
!b
!b
|-
|-
|'''Melihat daftar conda env yang telah dibuat:'''  
|'''Melihat daftar Conda Env yang telah dibuat:'''  
  '''$ conda env list'''
  '''$ conda env list'''
|-
|-
!c
!c
|-
|-
|'''Mengubah nama conda env:'''
|'''Mengubah nama Conda Env:'''
  $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]'''''
  $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]'''''
   
   
Baris 99: Baris 106:
!d
!d
|-
|-
|'''Menghapus conda env:'''  
|'''Menghapus Conda Env:'''  
<code>$ '''conda remove -n ''<nama-conda-env>'' --all'''</code>
<code>$ '''conda remove -n ''[nama-conda-env]'' --all'''</code>
|}
|}


== '''Metode Menjalankan Komputasi''' ==
== '''Metode Menjalankan Komputasi''' ==
User dapat memilih metode menjalankan komputasi sesuai keinginan:  
User dapat memilih metode menjalankan komputasi sesuai keinginan: ''<small>(klik expand / kembangkan)</small>''


* '''Job submission terminal'''  
* '''Job submission terminal'''  
Baris 127: Baris 134:
!2
!2
|-
|-
|Siapkan conda env dan file komputasi yang dibutuhkan.
|Siapkan Conda Env dan file komputasi yang dibutuhkan.


* User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
* User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
Baris 140: Baris 147:
|-
|-
|Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
|Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
*''<small>Klik expand / kembangkan</small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Template Anaconda Python di CPU
!Template Submit Script Anaconda Python versi CPU
|-
|-
|<syntaxhighlight lang="bash">
|<syntaxhighlight lang="bash">
Baris 195: Baris 203:
</syntaxhighlight>
</syntaxhighlight>
|}
|}
Untuk Anaconda versi GPU, apabila user butuh modul CUDA versi spesifik:
* Lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Modul_NVIDIA_CUDA_Toolkit_(Standalone) '''Modul NVIDIA CUDA Toolkit ALELEON Supercomputer'''].
* Ganti nama modul 'cuda' pada line <code>module load cuda</code>
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Template Anaconda Python di GPU
!Template Submit Script Anaconda Python versi GPU
|-
|-
|<syntaxhighlight lang="bash">
|<syntaxhighlight lang="bash">
Baris 263: Baris 276:
|-
|-
|
|
*''Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].''
*''<small>Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].</small>''
* ''Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].''
* ''<small>Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].</small>''
|-
|-
!3B
!3B
Baris 286: Baris 299:
!5
!5
|-
|-
|User dapat melihat status jalannya job dengan perintah:  
|User dapat melihat status jalannya job dengan perintah:
'''<code>$ squeue -ul $USER</code>'''
'''<code>$ squeue -ul $USER</code>'''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable"
! colspan="2" |Daftar ST (STATE) menunjukkan status jalannya job:
! colspan="2" |''Kolom ST atau STATE menunjukkan status jalannya job.''
|-
|-
!STATE
!STATE
Baris 303: Baris 316:
|Job selesai dan dalam proses clean-up
|Job selesai dan dalam proses clean-up
|-
|-
|CA (CANCELED)
|CA (CANCELED)  
|Job dibatalkan user
|Job dibatalkan user
|-
|-
Baris 334: Baris 347:
!2
!2
|-
|-
|Buka pinned apps '''Job Composer''' [[Berkas:New Pinnedapps jc.png|nirbing|128x128px]] di homepage EFIRO.
|
 
{| class="wikitable"
Pilih menu '''<code>New Job</code>''' -> '''<code>From Template</code>'''
|[[Berkas:New Pinnedapps jc.png|nirbing|128x128px]]
 
|Buka pinned apps '''Job Composer''' di homepage EFIRO.
|-
| colspan="2" |Pilih menu '''<code>New Job</code>''' -> '''<code>From Template</code>'''
[[Berkas:Jcnewjobmarked.png|nirbing|180x180px]]
[[Berkas:Jcnewjobmarked.png|nirbing|180x180px]]
|}
|-
|-
!3
!3
Baris 344: Baris 360:
|
|
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Pilih template Anaconda Python yang diinginkan
! colspan="2" |Pilih template Anaconda Python yang diinginkan:
|-
|-
!Nama Template
!Nama Template
Baris 350: Baris 366:
|-
|-
|Anaconda Python (CPU)
|Anaconda Python (CPU)
|Menjalankan Anaconda Python di CPU
|Menjalankan Anaconda Python pada CPU
|-
|-
|Anaconda Python (GPU)
|Anaconda Python (GPU)
|Menjalankan Anaconda Python di GPU
|Menjalankan Anaconda Python pada GPU
|}
|}
Kemudian Isi '''<code>Job Name</code>''' dan klik '''<code>Create New Job</code>'''
Kemudian Isi '''<code>Job Name</code>''' dan klik '''<code>Create New Job</code>'''
Baris 361: Baris 377:
!4
!4
|-
|-
|Siapkan conda env dan file komputasi yang dibutuhkan.
|Siapkan file komputasi dan Conda Env yang dibutuhkan:
[[Berkas:Jcjoboption.png|nirbing|400x400px]]
*Upload / download / edit file via menu <code>'''Edit Files'''</code>
*Upload file melalui menu '''<code>Edit Files</code>'''
*Akses terminal untuk manajemen Conda Env via menu '''<code>Open Terminal</code>'''
**Untuk upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
[[Berkas:JC job menu.png|nirbing|500x500px]]
*Pembuatan conda env di terminal melalui menu <code>'''Open Terminal'''</code>.
|-
|-
!5A
!5A
|-
|-
|Lengkapi '''Submit Script''' melalui tombol '''<code>Open Editor</code>'''.
|Lengkapi '''Submit Script''' melalui tombol '''<code>Open Editor:</code>'''
*Submit script adalah 'formulir' untuk menjalankan job komputasi.
**Ikuti petunjuk NOTES didalamnya.
*Klik '''<code>Save</code>''' setiap kali mengubah script.
[[Berkas:Jceditor3.png|al=|nirbing|400x400px]]
[[Berkas:Jceditor3.png|al=|nirbing|400x400px]]
* Submit script adalah 'formulir' untuk menjalankan job komputasi.
{| class="wikitable"
* Ikuti petunjuk NOTES didalamnya
* Klik '''<code>Save</code>''' setiap kali mengubah script.
|-
!
|-
|
|
*''Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].''
* ''<small>Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].</small>''
* ''Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].''
*''<small>Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].</small>''
|}
|-
|-
!5B
!5B
|-
|-
|'''SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit''' berdasarkan:  
|SBATCH komputasi (ntasks, mem, time, dll) '''mempunyai limit''' berdasarkan:
 
*Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']].
* Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']].
*Spesifikasi sistem dan software komputasi.
* Spesifikasi sistem dan software komputasi.
Untuk melihat limit, jalankan perintah ini via menu '''<code>Open Terminal</code>''':
 
Untuk melihat limit, jalankan perintah berikut pada terminal:
  '''$ slimit-python'''
  '''$ slimit-python'''
|-
|-
Baris 394: Baris 406:
|-
|-
|Jalankan job dengan klik tombol '''<code>Submit</code>'''.
|Jalankan job dengan klik tombol '''<code>Submit</code>'''.
[[Berkas:Jcsubmit2.png|al=|nirbing|400x400px]]
[[Berkas:JC job runstop.png|al=|nirbing|500x500px]]
* Pantau kolom status yang menjelaskan status jalannya job.
*Pantau kolom status yang menjelaskan status jalannya job.
* Apabila ingin membatalkan job yang berjalan, klik '''<code>Stop</code>'''.
* Apabila ingin membatalkan job yang berjalan, klik '''<code>Stop</code>'''.
* Job completed dapat dijalankan kembali dengan '''<code>Submit</code>'''.
{| class="wikitable"
 
! colspan="2" |Daftar Status Job
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Daftar status job:
|-
|-
!Status
!Status
!Arti
!Arti  
|-
|-
|Not Submitted
| Not Submitted  
|Job belum pernah dijalankan.
|Job belum pernah dijalankan.
|-
|-
|Running
|Running  
|Job berjalan.
|Job berjalan.
|-
|-
Baris 418: Baris 428:
|-
|-
|Failed
|Failed
|Job berhenti di tengah jalan, antara error atau di stop user
|Job berhenti karena error atau di stop user.
|-
|-
| colspan="2" |'''Untuk melihat alasan queue:'''  
| colspan="2" |'''Untuk melihat alasan job yang queue:'''[[Berkas:Active Jobs detail.png|nir|jmpl|300x300px|''Buka pinned apps '''Active Jobs''' di homepage EFIRO. Ubah opsi All jobs ke '''Your Jobs'''. Klik simbol '''>''' untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman [[Daftar Reason NODELIST ALELEON Supercomputer|'''Daftar Reason NODELIST ALELEON Supercomputer''']].'']]
# Buka app '''<code>Active Jobs</code>''' [[Berkas:Pinnedapps activejobs.png|nirbing|127x127px]]di homepage EFIRO.
# [[Berkas:Efiroqueueedit.png|nir|jmpl|''Ubah opsi '''<code>Your jobs</code>''' untuk melihat status job user saja. Klik simbol '''>''' untuk melihat status job pending pada kolom '''Reason'''. Arti reason lihat laman '''[[Daftar Reason NODELIST ALELEON Supercomputer]].''''']]
|}
|}
|-
|-
Baris 430: Baris 438:
*Atau dengan membuka '''<code>Edit Files</code>'''
*Atau dengan membuka '''<code>Edit Files</code>'''
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>'''.'']]
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>'''.'']]
|-
!8
|-
|Untuk menghapus ruang job dan datanya:
*Pilih ruang job yang akan dihapus.
*Klik menu '''<code>Delete</code>'''
[[Berkas:JC delete menu.png|nirbing|500x500px]]
|}
|}


Baris 443: Baris 458:
!2
!2
|-
|-
|Buka pinned apps '''Jupyter''' [[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]] di homepage EFIRO.
|
{| class="wikitable"
|[[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]]
|Buka pinned apps '''Jupyter'''  di homepage EFIRO.
|}
|-
|-
!3
!3
Baris 480: Baris 499:


# Buka app [[Berkas:Pinnedapps terminal.png|nirbing|116x116px]]  di homepage EFIRO
# Buka app [[Berkas:Pinnedapps terminal.png|nirbing|116x116px]]  di homepage EFIRO
# Jalankan perintah '''<code>sausage</code>'''
# Jalankan perintah  
$ '''sausage'''
|}
|}


* '''Choose how to launch Jupyter''' -> Anaconda
* '''Choose how to launch Jupyter''' -> Anaconda
* '''Choose Anaconda version'''
* '''Choose Anaconda version'''
** ''Pilih versi yang digunakan untuk membuat conda env user''
** ''Idealnya pilih versi yang digunakan untuk membuat Conda Env user''
** ''Apabila lupa, gunakan Anaconda terbaru''
* '''Conda environment directory'''
* '''Conda environment directory'''
** ''Isi nama conda env user yang akan digunakan''
** ''Isi nama Conda Env user yang akan digunakan''
* '''Software modules'''  
* '''Software modules'''  
** ''Membuat modul software, isi sesuai kebutuhan user''
** ''Membuat modul software, isi apabila ada.''
** ''Apabila menggunakan tilla, isi modul '''NVIDIA CUDA''' yang sesuai''
** ''Apabila menggunakan '''tilla''', isi modul NVIDIA CUDA yang sesuai.''
{| class="wikitable mw-collapsible mw-collapsed"
*** ''Nama modul lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Modul_NVIDIA_CUDA_Toolkit_(Standalone) '''Modul NVIDIA CUDA Toolkit ALELEON'''].''
|-
 
! colspan="2" |Daftar Software Modules NVIDIA CUDA
|-
!Nama Software Modules
!Versi
|-
|cuda/11.2-cuDNN8.1.1
|CUDA 11.2 + cuDNN 8.1.1
|-
|cuda/11.6-cuDNN8.3.3
|CUDA 11.6 + cuDNN 8.3.3
|-
|cuda/11.8-cuDNN8.6.0
|CUDA 11.8 + cuDNN 8.6.0
|-
|cuda/12.0-cuDNN8.7.0
|CUDA 12.0 + cuDNN 8.7.0
|-
|cuda/12.1-cuDNN8.8.1
|CUDA 12.1 + cuDNN 8.8.1
|-
|cuda/12.3-cuDNN8.9.6
|CUDA 12.3 + cuDNN 8.9.6
|}
*'''Environment setup'''
*'''Environment setup'''
** ''Memuat environment variable, isi apabila ada''
** ''Memuat environment variable, isi apabila ada''

Revisi per 19 Juli 2024 06.02


Berkas:Pythonanaconda.png

Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.

Laman ini merupakan bagian laman -> Komputasi Python

Langkah Menjalankan Komputasi

Terdapat dua langkah utama:

  1. Membuat dan menyiapkan conda environment untuk komputasi user.
  2. Memilih metode menjalankan komputasi.

Membuat Conda Environment (Conda Env)

Membuat Conda Environment dan Instalasi Library Python
1
Masuk ke terminal melalui Login SSH atau
Pinnedapps terminal.png

Kegiatan ini tidak mengurangi Core Hour user.

2
Pilih dan aktifkan modul Anaconda yang akan digunakan.

$ module load [nama-modul-anaconda]

Daftar nama modul Anaconda
Nama Modul Versi
Anaconda3/2023.07-2 Anaconda 3 2023.07-2
Anaconda3/2022.05 Anaconda 3 2022.05
Anaconda3/2021.05 Anaconda 3 2021.05
Anaconda3/2020.11 Anaconda 3 2020.11

Note: Apabila bingung memilih versi yang mana, pilih versi terbaru

3
Buat Conda Env di direktori HOME dengan perintah: 
$ conda create --name [nama-conda-env] pip

Contoh dengan nama 'skripsi'
$ conda create --name skripsi pip
4
Aktifkan Conda Env dengan perintah: 
$ source activate [nama-conda-env]

Contoh:
$ source activate skripsi
5
Lakukan instalasi package Python yang dibutuhkan dengan pip
6
Untuk menonaktifkan Conda Env jalankan perintah:

$ conda deactivate

Manajemen Conda Environment
a
Mengaktifkan Conda Env yang telah dibuat:
  1. Idealnya muat modul Anaconda yang dipakai untuk membuat conda env.
    • Apabila lupa, bisa gunakan modul Anaconda terbaru.
  2. Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env]
b
Melihat daftar Conda Env yang telah dibuat: 
$ conda env list
c
Mengubah nama Conda Env: 
$ conda rename -n [nama-saat-ini] [nama-baru]

Contoh mengubah nama env skripsi ke tesis
$ conda rename -n skripsi tesis
d
Menghapus Conda Env:

$ conda remove -n [nama-conda-env] --all

Metode Menjalankan Komputasi

User dapat memilih metode menjalankan komputasi sesuai keinginan: (klik expand / kembangkan)

  • Job submission terminal
    • Berjalan di compute node melalui manajemen Slurm.
    • Hanya untuk file Python (py), file ipynb harus diubah ke py.
  • Job submission web EFIRO
    • Berjalan di compute node melalui manajemen Slurm via web EFIRO.
    • Hanya untuk file Python (py), file ipynb harus diubah ke py.
  • Interactive job Jupyter

Job Submission Terminal

Langkah Job Submission Terminal

Sbatch Terminal.png

1
Login SSH ke ALELEON Supercomputer.
2
Siapkan Conda Env dan file komputasi yang dibutuhkan.
3A
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
  • Nama file bebas dengan format .sh, contoh submit.sh
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
  • Klik expand / kembangkan
Template Submit Script Anaconda Python versi CPU 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (CPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}

Untuk Anaconda versi GPU, apabila user butuh modul CUDA versi spesifik:

Template Submit Script Anaconda Python versi GPU 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Anaconda Python (GPU)
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah membuat Conda Environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Menggunakan partisi compute node GPU
#SBATCH --partition=ampere

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah GPU
#SBATCH --gpus=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job 
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama Conda Environment yang digunakan
CONDA_NAME=////

# Nama program Python yang dijalankan
INPUT_FILE=////.py

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul NVIDIA CUDA default 
module load cuda

# Mengaktifkan Conda Environment 
module load Anaconda3
source activate ${CONDA}/${CONDA_NAME}

# Menjalankan file Python
python3 ${INPUT_FILE}
3B
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
  • Sisa Core Hour user dan Fair Usage Limit.
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut: 

$ slimit-python
4
Jalankan job komputasi dengan perintah: 
$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh
5
User dapat melihat status jalannya job dengan perintah:

$ squeue -ul $USER

Kolom ST atau STATE menunjukkan status jalannya job.
STATE Penjelasan
R (RUN) Job berjalan
PD (PENDING) Job tertahan, lihat NODELIST(REASON)
CG (COMPLETING) Job selesai dan dalam proses clean-up
CA (CANCELED) Job dibatalkan user
PR (PREEMPETED) Job dibatalkan admin, alasan dikabarkan via email
S (SUSPENDED) Job ditahan admin, alasan dikabarkan via email
Apabila user ingin menghentikan job yang berjalan, jalankan perintah: 
$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231

Job Submission Web EFIRO

Langkah Job Submission Web EFIRO

Efirojobcomposer3.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
New Pinnedapps jc.png Buka pinned apps Job Composer di homepage EFIRO.
Pilih menu New Job -> From Template

Jcnewjobmarked.png

3
Pilih template Anaconda Python yang diinginkan:
Nama Template Penjelasan
Anaconda Python (CPU) Menjalankan Anaconda Python pada CPU
Anaconda Python (GPU) Menjalankan Anaconda Python pada GPU

Kemudian Isi Job Name dan klik Create New Job

Jctemplate-2.png

4
Siapkan file komputasi dan Conda Env yang dibutuhkan:
  • Upload / download / edit file via menu Edit Files
  • Akses terminal untuk manajemen Conda Env via menu Open Terminal

JC job menu.png

5A
Lengkapi Submit Script melalui tombol Open Editor:
  • Submit script adalah 'formulir' untuk menjalankan job komputasi.
    • Ikuti petunjuk NOTES didalamnya.
  • Klik Save setiap kali mengubah script.

5B
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
  • Sisa Core Hour user dan Fair Usage Limit.
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah ini via menu Open Terminal: 

$ slimit-python
6
Jalankan job dengan klik tombol Submit.

  • Pantau kolom status yang menjelaskan status jalannya job.
  • Apabila ingin membatalkan job yang berjalan, klik Stop.
Daftar Status Job
Status Arti
Not Submitted Job belum pernah dijalankan.
Running Job berjalan.
Queue Job mengantri dan belum berjalan.
Completed Job selesai berjalan.
Failed Job berhenti karena error atau di stop user.
Untuk melihat alasan job yang queue:
Buka pinned apps Active Jobs di homepage EFIRO. Ubah opsi All jobs ke Your Jobs. Klik simbol > untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman Daftar Reason NODELIST ALELEON Supercomputer.
7
Lihat output file komputasi pada kolom Folder Contents
  • Atau dengan membuka Edit Files
Kolom Folder Contents.
8
Untuk menghapus ruang job dan datanya:
  • Pilih ruang job yang akan dihapus.
  • Klik menu Delete

JC delete menu.png

Interactive Job Jupyter

Langkah Interactive Job Sesi Jupyter

Efirojupyterlab.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
New Pinnedapps jupyter.png Buka pinned apps Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
  • Choose Jupyter version
    • pilih sesuai preferensi user, Jupyter Lab atau Notebook
  • Partition -> pilih sesuai kebutuhan:
    • torti -> CPU saja
    • tilla -> CPU dan GPU
Alokasi komputasi torti tilla
Number of CPU core(s) 1 - 32
Amount of memory/RAM 1 - 64
Number of GPUs - 1
Number of hours 1 - 72
Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:
  • Alokasi CPU * hours > sisa CPU Core Hour
  • Alokasi GPU * hours > sisa GPU Hour

Cek sisa Core Hour dengan:

  1. Buka app Pinnedapps terminal.png di homepage EFIRO
  2. Jalankan perintah
$ sausage
  • Choose how to launch Jupyter -> Anaconda
  • Choose Anaconda version
    • Idealnya pilih versi yang digunakan untuk membuat Conda Env user
    • Apabila lupa, gunakan Anaconda terbaru
  • Conda environment directory
    • Isi nama Conda Env user yang akan digunakan
  • Software modules
  • Environment setup
    • Memuat environment variable, isi apabila ada
  • Additional Jupyter arguments
    • Memuat argument tambahan Jupyter, isi apabila ada
  • Email address
    • Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
    • Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter.
  • User akan diarahkan ke halaman My Interactive Sessions.
  • Tunggu hingga sesi Jupyter siap diakses.
Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter.
  • Sistem mulai menghitung Core Hour!
Sesi Jupyter siap diakses.
Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
  • Menu My Interactive Sessions pada homepage EFIRO.
  • Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email: 

support@efisonlt.com
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Komputasi_Python_dengan_Conda_Environment&oldid=1609"