Komputasi Python dengan Conda Environment (Mandiri): Perbedaan antara revisi

Dari ALELEON by EFISON
(menambah info conda env GPU)
(→‎0. Standar Kompetensi dan Spesifikasi: menghapus kata standar kompetensi)
 
(76 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:


[[Berkas:Logo Python - Anaconda - Mamba ALELEON.png|400x400px]]
[[Berkas:Logo Python Anaconda Mamba ALELEON tp.png|400x400px]]


Halaman ini menjelaskan menjalankan komputasi Python dengan '''conda environment''' di ALELEON Supercomputer.  
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment '''<big>(conda env)</big>''' di ALELEON Supercomputer yang '''<big>dibuat secara mandiri oleh user</big>''' termasuk instalasi package di dalamnya.  
{| class="wikitable"
{| class="wikitable"
!''Laman ini merupakan bagian laman ->'' [[Komputasi Python]]
!''Laman ini merupakan bagian laman'' [<nowiki/>[[Komputasi Python]]]
|}
|}


== '''Langkah Menjalankan Komputasi''' ==
== '''''0. Spesifikasi''''' ==
Terdapat dua langkah utama:
Tutorial ini mengasumsikan user dapat melakukan atau mau mencoba pembuatan environment - instalasi package Python.


# Membuat conda environment dan instal package yang diperlukan di dalamnya.
=== Spesifikasi ===
# Menjalankan komputasi dengan conda env tersebut.
 
* Tutorial ini memandu membuat conda environment dengan '''site-packages yang terisolasi di dalamnya'''.
* Pembuatan conda env dan instalasi package '''mengkonsumsi storage HOME user.'''
** Pantau konsumsi storage HOME dengan perintah <code>$ '''ncdu $HOME'''</code>


== '''Membangun Conda Environment''' ==
ALELEON Supercomputer menyediakan pilihan package manager Python untuk membuat conda environment. Pilih sesuai preferensi user:
{| class="wikitable"
{| class="wikitable"
|+Keterangan simbol perintah terminal
|-
|-
![[Berkas:Anaconda transparent logo.png|nirbing|130x130px]]
!<code>'''<big>$</big>'''</code>
![[Berkas:Mamba transparent logo.png|nirbing|100x100px]]
|Perintah ketika conda env tidak aktif
|-
|-
|
!'''<code><big><sub>(env)</sub>$</big></code>'''
*PM Python paling banyak digunakan.
|Perintah ketika conda env aktif
*Saat ini menjadi standar industri.
|
*Alternatif Anaconda, dibuat dengan C++.
*Dikembangkan oleh komunitas.
*Dalam beberapa kasus lebih ringan dan cepat.
|}
|}
=== Membuat dan Manajemen Conda Environment ===
 
== '''''1. Langkah Menjalankan Komputasi''''' ==
{| class="wikitable"
{| class="wikitable"
!
!Subbab
!Langkah
|-
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#2._Membuat_Conda_Environment <nowiki>[ 2 ]</nowiki>]</big>'''
|Buat conda env untuk menampung instalasi package.
|-
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#3._Aktivasi_Conda_Env_dan_Instalasi_Package <nowiki>[ 3 ]</nowiki>]</big>'''
|Mengaktifkan conda env dan melakukan instalasi package di dalamnya.
|-
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ 4 ]</nowiki>]</big>
|Pengecekan bagi yang menginstal package Python versi CUDA.
|-
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#5._(Opsional)_Manajemen_Conda_Env <nowiki>[ 5 ]</nowiki>]</big>
|''Opsional, manajemen conda env yang sekiranya berguna.''
|-
|-
|[[Berkas:Icon apps terminal cropped.png|kiri|nirbing|80x80px]]Menggunakan terminal!
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6._Pilihan_Menjalankan_Komputasi <nowiki>[ 6 ]</nowiki>]</big>'''
* User web EFIRO buka app '''<code>Aleleon Shell Access</code>'''.
|Menjalankan komputasi dengan pilihan:
 
* '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.1._Batch_Job <nowiki>[ 6.1 ]</nowiki>]</big>''' batch job
* '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.2._Sesi_Jupyter <nowiki>[ 6.2 ]</nowiki>]</big>''' sesi Jupyter Notebook / Lab
|-
|-
!1
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#7._Pelaporan_Kendala_dan_Support <nowiki>[ 7 ]</nowiki>]</big>
|Support apabila menemui masalah.
|}
 
== '''''2. Membuat Conda Environment''''' ==
Tersedia pilihan '''Python Package Manager (PPM)''' berikut untuk membuat conda env. Pilih sesuai preferensi user:
 
* '''Anaconda:''' PPM Python paling banyak digunakan dan saat ini menjadi standar industri.
* '''Mamba:''' PPM Python alternatif Anaconda versi komunitas.
{| class="wikitable"
!- Langkah Membuat conda env -
|-
|-
|Pilih skenario berikut yang sesuai dengan kebutuhan user:  
|[[Berkas:EOD Apps Shell full.png|kiri|nirbing|101x101px]]'''''Menggunakan terminal!'''''
''<small><code>(klik expand / kembangkan)</code></small>''
* ''User EFIRO klik app '''<code>Aleleon Shell Access</code>'''''
{| class="wikitable mw-collapsible mw-collapsed"
* ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
!Membuat conda env secara umum dengan Anaconda
[[Berkas:Anaconda transparent logo.png|nirbing|90x90px]]
|-
|-
!1
!<big><code>-/ 1 /-</code></big>
|-
|-
|Pilih dan aktifkan modul Anaconda untuk membuat conda env:
|Pilih dan aktifkan modul PPM untuk membuat conda env:
<code>$ '''module load ''[nama-modul-anaconda]'''''</code>
 
* ''Ingat atau catat modul PPM yang dipakai.''
* ''Kedepannya digunakan untuk mengaktifkan conda env ini.''
 
$ '''module load ''[nama-modul-anaconda-atau-mamba]'''''
{| class="wikitable"
{| class="wikitable"
|+Daftar nama modul Anaconda 3
! colspan="3" |- Nama modul Anaconda3 -
[[Berkas:Anaconda transparent logo.png|nirbing|100x100px]]
|-
!Versi
!Versi
!Nama Modul
!Nama Modul
Baris 72: Baris 100:
|<code>'''Anaconda3/2020.11'''</code>
|<code>'''Anaconda3/2020.11'''</code>
|''3.8.5''
|''3.8.5''
|-
! colspan="3" |- Nama modul Mamba -
[[Berkas:Mamba transparent logo.png|nirbing|90x90px]]
|-
|23.11.0-0
|<code>'''Mamba/23.11.0-0'''</code>
|''3.10.13''
|}
|}
|-
|-
! 2
!Saran sebelum langkah 2 ...
|-
| '''Ingat atau catat''' modul Anaconda yang dipakai.
*Kedepannya digunakan untuk mengaktifkan conda env ini.
|-
|-
! 3
|''Pilih nama conda env yang mengandung unsur nama modul:''
* ''Untuk mengingat modul yang digunakan.''
* ''Contoh user memilih modul Anaconda3/2024-02-1''
** ''Gunakan nama conda env seperti <code>'''A2024-skripsi'''</code>''
|-
|-
|Buat conda env di direktori HOME:
! <big><code>-/ 2 /-</code></big>
<code>$ '''conda create -n ''[nama-conda-env]'''''</code>
 
<small>''Contoh nama 'skripsi' ->'' <code>$ conda create -n '''skripsi'''</code></small>
|-
|-
!4
!Buat conda env dengan opsi:
|-
|-
|Aktifkan conda env dengan perintah source:
|'''<big>2A</big> -''' Conda env kosong dengan Python '''versi tertentu''', apabila:
<code>$ '''source activate ''[nama-conda-env]'''''</code>


<small>''Contoh nama 'skripsi' ->'' <code>$ source activate '''skripsi'''</code></small>
* Hendak melakukan instalasi salah satu package berikut:  
|-
!MANAJEMEN ESENSIAL
|-
|
'''-''' Menonaktifkan conda env:
'''<small>(env-user)</small>$ conda deactivate'''
'''-''' Mengaktifkan kembali conda env:
''Lakukan langkah 1 dan 4 diatas''
- Melihat daftar conda env yang dibuat user:
'''$ conda env list'''
- Menghapus conda env:
'''$ conda remove -n ''[nama-conda-env]'' --all'''
- Manajemen lainnya lihat:
'''[[https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html Conda Managing environments]]'''
|-
!---
|}


{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable"
!Membuat conda env secara umum dengan Mamba
|+''Package Python dengan kebutuhan versi Python spesifik''
[[Berkas:Mamba transparent logo.png|nirbing|90x90px]]
!Package
!Versi Python
|-
|-
!1
|TensorFlow
|Lihat '''[[https://www.tensorflow.org/install/source#tested_build_configurations TensorFlow Tested Build Configurations]]'''
|-
|-
|Pilih dan aktifkan modul Mamba untuk membuat conda env:
|PyTorch
<code>$ '''module load ''[nama-modul-mamba]'''''</code>
|3.9 - 3.12
{| class="wikitable"
|+Daftar nama modul Mamba
!Versi
! Nama Modul
!Versi Py default
|-
|-
|23.11.0-0
|AutoGluon
|<code>'''Mamba/23.11.0-0'''</code>
|3.9 - 3.12
|''3.10.13''
|}
|}
''- Anaconda''
$ '''conda create -n ''[nama-conda-env]'' python=''[versi]'''''
''- Mamba''
$ '''mamba create -n ''[nama-conda-env]'' python=''[versi]'''''
<small>''Contoh dengan Python 3.10''</small>
<small>$ conda create -n '''skripsi python=3.10'''</small>
|-
|-
!2
!
|-
|-
|'''Ingat atau catat''' modul Mamba yang dipakai.
|'''<big>2B</big> -''' Conda env kosong dengan Python '''versi 3.12.'''
*Kedepannya digunakan untuk mengaktifkan conda env ini.
* Rekomendasi admin untuk versi Python terstabil saat ini.
|-
! 3
|-
|Buat conda env di direktori HOME:
<code>$ '''mamba create -n ''[nama-conda-env]'''''</code>


<small>''Contoh nama 'skripsi' ->'' <code>$ mamba create -n '''skripsi'''</code></small>
''- Anaconda''
$ '''conda create -n ''[nama-conda-env]'' python=3.12'''
''- Mamba''
$ '''mamba create -n ''[nama-conda-env]'' python=3.12'''
|-
|-
!4
!
|-
|-
|Aktifkan conda env dengan perintah source:
|'''<big>2C</big> -''' Conda env dengan '''file "resep" konfigurasi yml'''
<code>$ '''source activate ''[nama-conda-env]'''''</code>
* File yml disediakan user sendiri.


<small>''Contoh nama 'skripsi' ->'' <code>$ source activate '''skripsi'''</code></small>
''- Anaconda''
|-
  $ '''conda create -f ''[nama-file-yml]''.yml'''
!MANAJEMEN ESENSIAL
|-
|
  '''-''' Menonaktifkan conda env:
'''<small>(env-user)</small>$ conda deactivate'''
'''-''' Mengaktifkan kembali conda env:
''Lakukan langkah 1 dan 4 diatas''
- Melihat daftar conda env yang dibuat user:
'''$ conda env list'''
   
   
  - Menghapus conda env:
  ''- Mamba''
  '''$ conda remove -n ''[nama-conda-env]'' --all'''
  $ '''mamba create -f ''[nama-file-yml]''.yml'''
- Manajemen lainnya lihat:
'''[[https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html Conda Managing environments]]'''
|-
|-
!---
!---
|}
|}
{| class="wikitable mw-collapsible mw-collapsed"
== '''''3. Aktivasi Conda Env dan Instalasi Package''''' ==
!Membuat conda env package gmx_MMPBSA
[[Berkas:GMB warning wololo.png|nirbing|40x40px]] Ada baiknya user melengkapi instalasi package '''sebelum menjalankan komputasi''' karena:
|-
 
|Tool berbasis MMPBSA.py dari AMBER untuk:
# Batch job -> supaya script Python berjalan tanpa error ''missing package''.
# Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.


* Kalkulasi end-state free energy dengan file GROMACS.
Langkah berikut berjalan di login node dan '''tidak mengkonsumsi Core Hour.'''
* Berdasarkan package Python sehingga butuh conda env.
{| class="wikitable"
!- Mengaktifkan dan Instalasi Package Conda Env -
|-
|-
!1
|[[Berkas:EOD Apps Shell full.png|kiri|nirbing|101x101px]]'''''Menggunakan terminal!'''''
* ''User EFIRO klik app '''<code>Aleleon Shell Access</code>'''''
* ''atau menu '''<code>Apps > Aleleon Shell Access</code>'''''
|-
|-
|Muat modul berikut (disarankan pakai Mamba):
!<big><code>-/ 1 /-</code></big>
<code>$ '''ml Mamba/23.11.0-0 OpenMPI/4.1.1-GCC-11.2.0'''</code>
|-
|-
!2
|Muat modul PPM yang digunakan untuk membuat conda env:
$ '''module load ''[nama-modul-anaconda-atau-mamba]'''''
|-
|-
|Buat conda env dengan environment file yang tersedia:
!<big><code>-/ 2 /-</code></big>
'''<code>$ mamba env create -f /comp/condaenv_yml/gmxMMPBSA.yml</code>'''
|-
|-
|Note:
|Aktifkan conda env dengan perintah '''<big><code>source</code></big>''':
 
$ '''source activate ''[nama-conda-env]'''''
* Perintah ini membuat conda env bernama '''<code>gmxMMPBSA</code>.'''
* Conda env ini berisikan dependencies untuk instalasi gmx_MMPBSA:
''- Apabila lupa nama conda env, cari dengan:''
 
$ '''conda env list'''
{| class="wikitable mw-collapsible mw-collapsed"
!Isi conda environment gmxMMPBSA
|-
|-
|
!<big><code>-/ 3 /-</code></big>
* Python 3.11.8
*AmberTools 23.6 versi conda
*Gromacs 2023.4
*MPI4PY 4.0.1 + MPICH 4.2.3
*Numpy 1.26.4
*Matplotlib 3.7.3
*SciPy 1.14.1
*Pandas 1.5.3
*Seaborn 4.2.2
*ParmEd 4.2.2
*PyQt6 6.7.1
|}
|-
|-
!3
|Lakukan instalasi package Python yang dibutuhkan:
|-
|Aktifkan conda env <code>'''gmxMMPBSA'''</code> dan instal package gmx_MMPBSA:
$ '''source activate gmxMMPBSA'''
$ '''python -m pip install gmx_MMPBSA'''
|-
!4
|-
|Conda env siap digunakan untuk komputasi dengan metode:  


* '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Anaconda#Pilihan_Menjalankan_Komputasi Batch Job]]''' - menjalankan komputasi melalui manajemen Slurm.
* Lihat laman '''<big>[<nowiki/>[[Daftar Instalasi Package Python|Dafta]]</big><big>[[Daftar Instalasi Package Python|r Instalasi Package Python]]]</big>'''  
|-
|-
!''Menonaktifkan conda env:''
!<big><code>-/ 4 /-</code></big>
|-
|-
|<code><small>(env-user)$</small> '''conda deactivate'''</code>
!Untuk user yang hendak menggunakan sesi Jupyter
[[Berkas:EOD Apps Jupyter icon.png|nirbing|100x100px]]
|-
|-
!''Mengaktifkan kembali conda env ini:''
|Instal package:
<sub>(env)</sub>$ '''pip install jupyter jupyterlab'''
|-
|-
|
!<big><code>-/ 5 /-</code></big>
$ '''ml Mamba/23.11.0-0'''
$ '''source activate gmxMMPBSA'''
|-
|-
!''Manajemen lainnya:''
|'''Apabila melakukan instalasi package versi CUDA:'''
* Lihat subbab '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ 4 ]</nowiki>]</big>'''
|-
|-
|Manajemen lain seperti rename, delete, clone, export, dll lihat:
!<big><code>-/ 6 /-</code></big>
*'''[[https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html Conda Managing environments]]'''
Untuk opsi menambah instalasi package lihat:
 
* Subbab '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Anaconda#Instalasi_Package_di_Conda_Environment Instalasi Package di Conda Environment]]'''
|-
|-
!---
|Apabila hendak menonaktfkan conda env:
|}
<sub>(env)</sub>$ '''conda deactivate'''
|}
|}


=== Instalasi Package di Conda Environment ===
== '''''4. Instalasi Package Python versi CUDA?''''' ==
Perhatikan hal berikut apabila user menginstal '''package Python versi CUDA''' dan hendak menggunakan '''compute / interactive node GPU''':
# Package membutuhkan jenis dan versi library NVIDIA sesuai seperti '''CUDA, cuDNN''' untuk dapat berjalan di GPU NVIDIA.
# '''''Umumnya (walau tidak semua)''''' package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
# Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:
{| class="wikitable"
{| class="wikitable"
!
!- Melanjutkan langkah 5 di atas  -
|-
|-
|[[Berkas:Icon apps terminal cropped.png|kiri|nirbing|80x80px]]Menggunakan terminal!
!<big><code>-/ 5 /-</code></big>
*User web EFIRO buka app '''<code>Aleleon Shell Access</code>'''.
|-
|-
!1
|Cek ketersediaan library CUDA di conda env:
- Apabila instal package dengan pip
<sub>(env)</sub>$ '''pip list | awk /cuda/'''
- Apabila instal package dengan conda
<sub>(env)</sub>$ '''conda list | awk /cuda/'''
|-
|-
| '''Aktifkan conda env''' yang akan dipakai untuk instalasi package ini.
!''Ada output''
|-
|-
!2
|Conda env siap digunakan.
|-
 
|Pilih tutorial instalasi sesuai kebutuhan:
* User '''tidak perlu memuat modul CUDA.'''
''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Instalasi Package Secara Umum dengan pip / conda -
|-
| colspan="2" |User dapat melakukan instalasi package lainnya dengan pip atau conda
|-
! rowspan="2" |pip
| Contoh umum:
<code><small>(env-user)$</small> '''pip install ''[nama-package]'''''</code>
|-
|Daftar package dan tutorial instal '''pip''' lihat web:
*'''[[https://pypi.org/ PyPI The Python Package Index]]'''.
|-
|-
! colspan="2" |
!''Tidak ada output''
|-
|-
! rowspan="2" |conda
|User '''harus memuat modul CUDA''' ketika menjalankan job:
|Contoh umum:
* Perhatikan versi CUDA '''yang dibutuhkan''' package.
<code><small>(env-user)$</small> '''conda install conda-forge::''[nama-package]'''''</code>
* Langkah ada pada tutorial menjalankan komputasi.
|-
|Daftar package dan tutorial instal conda lihat web:
*'''[[https://conda-forge.org/packages/ Packages in Conda Forge]]'''.
|-
! colspan="2" |---
|}
|}


== '''''5. <small>(Opsional)</small> Manajemen Conda Env''''' ==
Berikut adalah daftar manajemen conda env yang sekiranya berguna:
''<small><code>(klik expand / kembangkan)</code></small>''
=== 5.1. Menghapus Cache Conda dan Package ===
Pembuatan conda env dan instalasi package Python juga mengeluarkan file cache yang apabila dibiarkan akan menumpuk dan menghabiskan ruang storage HOME. User dapat berkala membersihkan cache ini.
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Instalasi Package TensorFlow -
!- Menghapus cache conda dan package -
|-
|-
| colspan="2" |Tersedia dua versi TensorFlow, pilih sesuai kebutuhan:
!<big><code>-/ 1 /-</code></big>
* Versi CPU - berjalan di CPU.
*Versi GPU - berjalan dengan akselerasi GPU NVIDIA dan lib. CUDA.
|-
|-
!Versi
|Muat modul PPM yang digunakan untuk membuat conda env:
!Perintah pip
$ '''module load ''[nama-modul-anaconda-atau-mamba]'''''
|-
|-
|CPU
!<big><code>-/ 2 /-</code></big>
| <code><small>(env-user)$</small> '''python3 -m pip install tensorflow'''</code>
|-
|-
|GPU
!Pilih opsi:
|<code><small>(env-user)$</small> '''python3 -m pip install 'tensorflow[and-cuda]''''</code>
|-
|-
! colspan="2" |---
|
''- Menghapus index dan cache package conda.''
''- Tidak mempengaruhi conda env dan package
''- di dalamnya.''
$ '''conda clean --all'''
''- Menghapus semua cache pip''
$ '''pip cache purge'''
|}
|}


=== 5.2. Menghapus Conda Environment ===
Apabila merasa tidak dibutuhkan, user dapat menghapus conda environment dimana juga meluangkan storage HOME.
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Instalasi Package PyTorch -
!- Menghapus conda environment -
|-
|-
| colspan="2" |Tersedia dua versi PyTorch, pilih sesuai kebutuhan:
!<big><code>-/ 1 /-</code></big>
*Versi CPU - berjalan di CPU.
*Versi GPU - berjalan dengan akselerasi GPU NVIDIA dan lib. CUDA.
|-
|-
!Versi
|Muat modul PPM yang digunakan untuk membuat conda env:
!Perintah pip
$ '''module load ''[nama-modul-anaconda-atau-mamba]'''''
|-
|-
|CPU
!<big><code>-/ 2 /-</code></big>
|<code><small>(env-user)$</small> '''pip3 install torch torchvision torchaudio --index-url <nowiki>https://download.pytorch.org/whl/cpu</nowiki>'''</code>
|-
|-
| GPU - CUDA 11.8
|Hapus conda env dengan:
|<code><small>(env-user)$</small> '''pip3 install torch torchvision torchaudio --index-url <nowiki>https://download.pytorch.org/whl/cu118</nowiki>'''</code>
$ '''conda remove -n ''[nama-conda-env]'' --all'''
|-
|GPU - CUDA 12.1
|<code><small>(env-user)$</small> '''pip3 install torch torchvision torchaudio --index-url <nowiki>https://download.pytorch.org/whl/cu121</nowiki>'''</code>
|-
|GPU - CUDA 12.4
|<code><small>(env-user)$</small> '''pip3 install torch torchvision torchaudio'''</code>
|-
! colspan="2" |---
|}
|}


=== 5.3. Manajemen Conda Environment Lainnya ===
Berikut manajemen conda yang sekiranya berguna:
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Instalasi Package Jupyter untuk user Mamba -
!- Manajemen conda environment lainnya -
|-
|-
|Conda env dari Mamba perlu instalasi package Jupyter untuk menggunakan sesi Jupyter:
|
  <small>(env-user)$</small> '''mamba install -c conda-forge jupyterlab'''
''- Mengganti nama conda env''
  <small>(env-user)$</small> '''mamba install -c conda-forge jupyter'''
  $ '''conda rename -n ''[nama-conda-env-saat-ini] [nama-conda-env-baru]'''''
|-
!---
''- Menduplikat conda env yang ada''
|}
$ '''conda create -n ''[nama-conda-duplikat]'' --clone ''[nama-conda-env-yang-ada]'''''
''- Membuat file konfigurasi yml dari '''conda env yang aktif'''''
  <sub>(env)</sub>$ '''conda env create -f ''[nama-file-yml]''.yml'''
|}
|}


== '''Menjalankan Conda Env dengan GPU?''' ==
== '''''6. Pilihan Menjalankan Komputasi''''' ==
Untuk menjalankan komputasi Python dengan akselerasi GPU, package membutuhkan '''library GPU yang sesuai''' (dimana ALELEON Supercomputer menggunakan '''GPU''' '''NVIDIA''' sehingga butuh library CUDA, cuDNN, dll) . Terdapat dua skenario terkait instalasi package:  
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:  


---
* '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.1._Batch_Job <nowiki>[ 6.1 - Batch Job ]</nowiki>]</big>'''
 
** '''Menjalankan script Python siap jalan tanpa interaksi user di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].'''
=== Instalasi Package Resmi versi NVIDIA / CUDA ===
*** [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.''
Merupakan opsi ideal dimana (biasanya) package akan sekaligus menginstal library NVIDIA yang dibutuhkan sehingga:
*** ''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.''
 
** '''Batch job akan berhenti ketika:'''
* Package siap jalan di GPU NVIDIA.
*** ''Program komputasi selesai berjalan.''
* User '''tidak perlu''' memuat modul software CUDA (perintah <code>'''module load'''</code> di submit script batch job atau kolom '''<code>software modules</code>''' di sesi Jupyter).
***''Program komputasi menyentuh limit waktu yang ditentukan user.''
 
***''Program menjumpai error sehingga selesai prematur.''
Package yang dikonfirmasi masuk golongan ini:  
** '''Koneksi user tidak mempengaruhi jalannya batch job:'''
 
***''Job tidak akan berhenti ketika koneksi user terputus, atau''
* '''[[https://www.tensorflow.org/install/pip TensorFlow versi CUDA]] | [[https://pytorch.org/get-started/locally/ PyTorch versi CUDA]] | [[https://jax.readthedocs.io/en/latest/installation.html Jax versi CUDA]]'''
***''user keluar (log out) dari ALELEON.''
* '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.2._Sesi_Jupyter <nowiki>[ 6.2 - Sesi Jupyter ]</nowiki>]</big>'''
** '''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].'''
** '''Sesi Jupyter akan berhenti ketika:'''
***''Waktu sesi habis.''
***''Sesi dihentikan secara manual oleh user.''
***''Sesi menjumpai error sehingga selesai prematur.''
** '''Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:'''
***''Sesi tidak akan berhenti ketika koneksi user terputus, atau''
***''user keluar (log out) dari ALELEON.''
**'''Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:'''
***''Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.''
***''Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.''


---
---


=== Instalasi Package "Polos" ===
=== 6.1. Batch Job ===
Apabila instalasi package versi NVIDIA / CUDA '''tidak melakukan instalasi ''dependencies'' library NVIDIA''' yang dibutuhkan maka user harus memuat modul software CUDA sebelum menjalankan komputasi dengan ketentuan berikut:
Menjalankan script Python siap jalan tanpa interaksi user di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]]'''.


* Perhatikan versi CUDA yang dibutuhkan. Lihat dokumentasi resmi package tersebut.
* [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.''
* Daftar modul sofware dan tutorial memuat lihat:
* ''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.''
'''Tersedia pilihan tampilan yang dapat dipilih sesuai preferensi user:'''


''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Daftar modul software CUDA ALELEON Supercomputer -
!- Langkah Batch Job di Terminal -
|-
[[Berkas:Sbatch terminal display rev2.png|tepi|400x400px]]
| colspan="2" |'''Bagi yang menjalankan conda env dengan batch job:'''
 
* Tambah perintah berikut pada submit script:
 
...
# Memuat modul
module load ${PM}
'''module load ''[nama-modul-CUDA]'''''
...
|-
| colspan="2" |'''Bagi yang menjalankan conda env dengan sesi Jupyter:'''
* Isi nama modul pada kolom '''<code>Software Modules</code>'''.
|-
|-
! colspan="2" |
!''Tutorial ini mengasumsikan user familiar dengan terminal Linux''
|-
|-
!Versi CUDA
|[[Berkas:EOD Apps Shell full.png|kiri|nirbing|101x101px]]'''''Menggunakan terminal!'''''
!Nama modul CUDA
* ''User EFIRO klik app '''<code>Aleleon Shell Access</code>'''''
* ''atau menu '''<code>Apps > Aleleon Shell Access</code>''''' 
|-
|-
|11.2
!<big><code>-/ 0 /-</code></big>
|<code>cuda/11.2-cuDNN8.1.1</code>
|-
|-
|11.6
!Apakah bisa menjalankan job?
|<code>cuda/11.6-cuDNN8.3.3</code>
|-
|11.8
|<code>cuda/11.8-cuDNN8.6.0</code>
|-
|-
|12.0
|User dengan '''Kredit Core Hour''' disarankan cek kuota terlebih dulu:
|<code>cuda/12.0-cuDNN8.7.0</code>
$ '''sausage'''
|-
|12.1
|<code>cuda/12.1-cuDNN8.8.1</code>
|-
|12.3
|<code>cuda/12.3-cuDNN8.9.6</code>
|-
|12.4
|<code>cuda/12.4-cuDNN9.2.1</code>
|-
|12.5
|<code>cuda/12.5-cuDNN9.2.1</code>
|-
| colspan="2" |Permintaan instalasi CUDA versi lain:


* Hubungi tim admin di '''''support@efisonlt.com'''''.
* Detail limit alokasi komputasi job lihat langkah '''<big>2B</big>'''.
* Layanan gratis.
* Bila butuh tambah kuota, lihat '''[[https://wiki.efisonlt.com/wiki/Core_Hour#Penggunaan_Kredit_Core_Hour top up Kredit Core Hour]].'''
|-
! colspan="2" |---
|}
== '''Pilihan Menjalankan Komputasi''' ==
User dapat menjalankan komputasi dengan conda env melalui pilihan berikut, pilih sesuai kebutuhan:
=== Batch Job ===
Menjalankan script Python siap jalan tanpa interaksi user melalui manajemen Slurm di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|compute node]]].'''
*Perhatikan untuk '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.
*Tersedia dua pilihan tampilan yaitu terminal dan web EFIRO. Pilih sesuai keinginan.
''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
!Langkah Job Submission Slurm di Terminal
[[Berkas:Sbatch terminal display rev2.png|tepi|400x400px]]
|-
|-
| Lakukan [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_Terminal#1_ |[[Berkas:Icon apps terminal cropped.png|kiri|nirbing|80x80px]]Menggunakan terminal!
!<big><code>-/ 1 /-</code></big>
*User web EFIRO buka app '''<code>Aleleon Shell Access</code>'''.
|-
|-
!1
!Lakukan persiapan:
|-
|-
|Siapkan conda env dan file komputasi yang dibutuhkan.
|'''<big>1A</big> -''' '''Pastikan package lengkap pada conda env yang akan digunakan:'''
*User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']].
* Package tidak lengkap akan menyebabkan job gagal berjalan.
*User web EFIRO juga dapat gunakan app '''<code>Home Directory</code>'''
'''<big>1B</big> -''' '''Siapkan file komputasi yang dibutuhkan:'''
* Upload / download file lihat '''[[https://wiki.efisonlt.com/wiki/Manajemen_File_di_ALELEON_Supercomputer#Upload_dan_Download_File Upload / Dow][https://wiki.efisonlt.com/wiki/Manajemen_File_di_ALELEON_Supercomputer#Upload_dan_Download_File nload File HOME]]'''
'''<big>1C</big> -[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Memastikan batch job memuat conda env dengan benar:'''
1 - Nonaktifkan conda env di terminal apabila aktif:
<small>(env)</small>$ '''conda deactivate'''
 
2 - Nonaktifkan modul Package Python:
$ '''ml unload Anaconda Mamba'''
<small>Apabila ada pesan ini, abaikan:
  '''''the module ... cannot be unloaded because it was not loaded'''''</small>
|-
|-
!2A
!<big><code>-/ 2A /-</code></big>
|-
|-
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi.
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi:
*Nama file bebas dengan format .'''<code>sh</code>''', contoh '''<code>submit.sh</code>'''
*Nama file bebas dengan format .sh, contoh '''<code>submit.sh</code>'''
*''Biasanya submit script berada satu folder dengan file komputasi.''
$ '''nano submit.sh'''
''<small>atau vim</small>''
|-
|-
!
!
|-
|-
|Contoh template Submit Script
|Contoh template Submit Script:
*Ikuti petunjuk '''NOTES dan alur script''' di dalamnya.
*Ikuti petunjuk '''NOTES dan alur script''' di dalamnya.
''<small><code>Klik expand / kembangkan</code></small>''
''<small><code>Klik expand / kembangkan</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Template submit script Conda Environment versi CPU
!- Template submit script Conda Environment versi CPU -
[[Berkas:GMB CPU icon.png|nirbing|80x80px]]
|-
|-
|<syntaxhighlight lang="bash" line="1">
|<syntaxhighlight lang="bash" line="1">
Baris 509: Baris 467:
|
|
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Template submit script conda environment versi GPU
!- Template submit script conda environment versi GPU -
[[Berkas:GMB GPU icon.png|nirbing|100x100px]]
|-
|-
|'''Note:'''
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]]'''Apakah perlu memuat modul CUDA <big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?'''
*Muat modul CUDA di submit script untuk komputasi Python GPU.
*'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut:
**Telusuri kebutuhan versi CUDA untuk package user.  
...
**Daftar modul CUDA tersedia di template.
module load ${PM}
**Apabila tidak ada kebutuhan spesifik, pilih versi terbaru.
'''''module load [Nama-modul-CUDA]'''''
*Apabila modul CUDA yang dibutuhkan tidak ada:
...
**Hubungi tim admin di '''support@efisonlt.com''' untuk instalasi.
*Berikut info khusus untuk package tertentu:
''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Bagi user yang menjalankan TensorFlow / PyTorch GPU
|-
|-
|
! colspan="2" |- Daftar modul CUDA ALELEON -
*Membutuhkan library NVIDIA CUDA spesifik untuk berjalan.
|-
**Panduan memuat modul CUDA ada pada template script.
!Versi CUDA
*Kebutuhan TensorFlow GPU lihat '''[[https://www.tensorflow.org/install/pip#linux Install TensorFlow with pip]]'''
!Nama modul CUDA
**Lihat bagian '''Software Requirements''' poin CUDA Toolkit
|-
*Kebutuhan PyTorch GPU mengikuti pilihan instalasi user.
|11.2
*Sesuaikan dengan nama modul CUDA ALELEON (cukup jelas).
|<code>cuda/11.2-cuDNN8.1.1</code>
**Hiraukan versi cuDNN.
|-
|11.6
|<code>cuda/11.6-cuDNN8.3.3</code>
|-
|11.8
|<code>cuda/11.8-cuDNN8.6.0</code>
|-
|12.0
|<code>cuda/12.0-cuDNN8.7.0</code>
|-
|12.1
|<code>cuda/12.1-cuDNN8.8.1</code>
|-
|12.3
|<code>cuda/12.3-cuDNN8.9.6</code>
|-
|12.4
|<code>cuda/12.4-cuDNN9.2.1</code>
|-
|12.5
|<code>cuda/12.5-cuDNN9.2.1</code>
|-
| colspan="2" |Permintaan instalasi CUDA versi lain:
 
* Hubungi tim admin di '''''support@efisonlt.com'''''
|-
|-
!---
! colspan="2" |---
|}
|}
|-
|-
Baris 580: Baris 559:
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0  ||
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0  ||
PM="////"
PM="////"
# Input nama modul NVIDIA CUDA yang sesuai dengan keperluan conda
# env user. Pilihan:
# cuda/11.2-cuDNN8.1.1 || cuda/11.6-cuDNN8.3.3 || cuda/11.8-cuDNN8.6.0 ||
# cuda/12.0-cuDNN8.7.0 || cuda/12.1-cuDNN8.8.1 || cuda/12.3-cuDNN8.9.6 ||
# cuda/12.4-cuDNN9.2.1 || cuda/12.5-cuDNN9.2.1
CUDA="////"


# Nama conda environment yang digunakan
# Nama conda environment yang digunakan
Baris 596: Baris 568:


# Memuat modul
# Memuat modul
module load ${PM} ${CUDA}
module load ${PM}  


# Mengaktifkan Conda Environment
# Mengaktifkan Conda Environment
Baris 606: Baris 578:
</syntaxhighlight>
</syntaxhighlight>
|}
|}
|-
!
|-
|-
|
|
*''<small>Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].</small>''
*''Detail Submit Script lihat '''[<nowiki/>[[Submit Script ALELEON Supercomputer|Subm]]<small><nowiki/></small>[[Submit Script ALELEON Supercomputer|it Script ALELEON Supercomputer]]]'''''
*''<small>Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].</small>''
 
*''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]'''''
|-
|-
!2B
!<big><code>-/ 2B /-</code></big>
|-
|-
|'''SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit''' berdasarkan:
|SBATCH komputasi (ntasks, mem, time, dll) '''punya limit''' berdasarkan:
*Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']].
*Sisa Core Hour user dan '''[<nowiki/>[[Limitasi Fair Usage ALELEON Supercomputer|Fair Usage Limit]]]'''
*Spesifikasi sistem dan software komputasi.
*Spesifikasi sistem dan software komputasi.
Untuk melihat limit, jalankan perintah:
Untuk melihat limit, jalankan perintah berikut:
  '''$ slimit-python'''
  $ '''slimit-python'''
[[Berkas:GMB warning wololo.png|nirbing|40x40px]] '''Note untuk saat ini:'''
*''Jalankan ketika tidak ada job user yang berjalan atau antri.''
*''Sementara berlaku untuk akun perseorangan saja.''
|-
|-
!3
!<big><code>-/ 3 /-</code></big>
|-
|-
|Jalankan job komputasi dengan perintah:
|Jalankan job dengan perintah:
  $ '''sbatch ''[nama-submit-script]'''''
  $ '''sbatch ''[nama-submit-script]'''''
   
   
  <small>''Contoh:''
  ''Contoh:''
  $ sbatch submit.sh</small>
  $ sbatch submit.sh
|-
|-
!4
!<big><code>-/ 4 /-</code></big>
|-
|-
|User dapat melihat status jalannya job dengan perintah:
|User dapat melihat status jalannya job dengan perintah:
'''<code>$ squeue -ul $USER</code>'''
$ '''squeue -ul $USER'''
 
* ''Apabila tidak ada di squeue artinya job bersangkutan telah berakhir.''
* ''Job berakhir ketika:''
** ''Komputasi selesai atau ada error sehingga selesai prematur.''
** ''Job menyentuh walltime yang didefinisikan user di SBATCH time.''
 
{| class="wikitable"
{| class="wikitable"
! colspan="2" |''Kolom ST atau STATE menunjukkan status jalannya job.''
|+Kolom ST atau STATE menunjukkan status jalannya job:
|-
|-
!STATE
!STATE
!Penjelasan
!Penjelasan
|-
|-
|R (RUN)
|<code>'''R (RUN)'''</code>
|Job berjalan
|Job berjalan
|-
|-
|PD (PENDING)
|<code>'''PD (PENDING)'''</code>
|Job tertahan, lihat [[Daftar Reason NODELIST ALELEON Supercomputer|'''NODELIST(REASON)''']]
|Job tertahan, lihat '''[<nowiki/>[[Daftar Job Reason ALELEON Supercomputer|Daftar Job Reason]]]'''
|-
|-
|CG (COMPLETING)
|<code>'''CG (COMPLETING)'''</code>
|Job selesai dan dalam proses clean-up
|Job selesai dan dalam proses clean-up
|-
|-
|CA (CANCELED)
|<code>'''CA (CANCELED)'''</code>
|Job dibatalkan user
|Job dibatalkan user
|-
|-
|PR (PREEMPETED)
|<code>'''PR (PREEMPETED)'''</code>
|Job dibatalkan admin, alasan dikabarkan via email
|Job dibatalkan admin, alasan dikabarkan via email
|-
|-
|S (SUSPENDED)
|<code>'''S (SUSPENDED)'''</code>
|Job ditahan admin, alasan dikabarkan via email
|Job ditahan admin, alasan dikabarkan via email
|}
|}
|-
|-
!
!<big><code>-/ 5 /-</code></big>
|-
|User dapat memantau file output dengan perintah Unix seperti:
 
* '''<code>ls</code>''', '''<code>cat</code>''', '''<code>more</code>''', '''<code>tail</code>''', dll
|-
!<big><code>-/ 6 /-</code></big>
|-
|-
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
  '''$ scancel ''[job-ID]'''''
  '''$ scancel ''[job-ID]'''''
   
   
  <small>''Job ID ada pada squeue diatas.''
  ''Job ID ada pada squeue diatas.''
  contoh membatalkan job ID 231:
  contoh membatalkan job ID 231:
  $ scancel 231</small>
  $ '''scancel 231'''
|-
|-
!---
!---
|}
|}
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Langkah Job Submission Slurm di web EFIRO
!- Langkah Batch Job di web EFIRO -
[[Berkas:Efiro jobcomposer display.png|nirbing|400x400px]]
[[Berkas:Efiro jobcomposer display.png|nirbing|400x400px]]
|-
|-
!1
!<big><code>-/ 0 /-</code></big>
|-
!Apakah bisa menjalankan job?
|-
|-
| [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer.
|User dengan '''Kredit Core Hour''' disarankan cek kuota terlebih dulu:
 
# Buka menu '''<big><code>Apps > Aleleon Shell Access</code></big>'''
# Jalankan:
 
$ '''sausage'''
 
* Detail limit alokasi komputasi job lihat langkah '''<big>5B</big>'''.
* Bila butuh tambah kuota, lihat '''[[https://wiki.efisonlt.com/wiki/Core_Hour#Penggunaan_Kredit_Core_Hour top up Kredit Core Hour]].'''
|-
|-
!2
!<big><code>-/ 1 /-</code></big>
|-
|-
|[[Berkas:New Pinnedapps jc.png|nirbing|128x128px]]Buka pinned apps '''Job Composer''' di homepage EFIRO.
| [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]]''' ALELEON Supercomputer.
Pilih menu '''<code>New Job</code>''' -> '''<code>From Template</code>'''
|-
!<big><code>-/ 2 /-</code></big>
|-
|
{| class="wikitable"
|[[Berkas:EOD Apps Job Composer full.png|nirbing|126x126px]]
|Klik app '''<code><big>Job Composer</big></code>''' di homepage EFIRO.


[[Berkas:Jcnewjobmarked.png|nirbing|180x180px]]
* ''atau'' menu '''<big><code>Apps > Job Composer</code></big>'''
|}
|-
|[[Berkas:Jcnewjobmarked.png|nirbing|170x170px]]Pilih menu <big>'''<code>New Job > From Template</code>'''</big>
|-
!<big><code>-/ 3 /-</code></big>
|-
|-
!3
!Buat ruang job untuk menjalankan komputasi:
|-
|-
|
|
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Pilih template Anaconda Python yang diinginkan:
|+Pilih template Anaconda Python yang diinginkan:
|-
|-
!Nama Template
!Nama Template
Baris 696: Baris 707:
|Conda Environment Python (GPU)
|Conda Environment Python (GPU)
|Menjalankan conda env pada GPU
|Menjalankan conda env pada GPU
|}Kemudian Isi '''<code>Job Name</code>''' dan klik '''<code>Create New Job</code>'''
|}Kemudian Isi '''Job Name''' dan klik '''<code><big>Create New Job</big></code>'''


[[Berkas:Jctemplate-2.png|nirbing]]
[[Berkas:Jctemplate-2.png|nirbing]]
|-
|-
!4
!<big><code>-/ 4 /-</code></big>
|-
|-
|Siapkan file komputasi dan conda env yang dibutuhkan:
!Lakukan persiapan:
*Upload / download / edit file via menu <code>'''Edit Files'''</code>
|-
*Akses terminal untuk manajemen conda env via menu '''<code>Open Terminal</code>'''
|'''<big>4A</big> -''' '''Pastikan package lengkap pada conda env yang akan digunakan:'''
* Package tidak lengkap akan menyebabkan job gagal berjalan.
* Akses terminal apabila butuh via menu '''<code><big>Open Terminal</big></code>'''
'''<big>4B</big> -''' '''Siapkan file komputasi yang dibutuhkan di ruang job:'''
 
* ''Pastikan ruang job yang dipilih adalah yang akan digunakan.''
 
*Upload / download / edit file via menu <code>'''<big>Edit Files</big>'''</code>
 
*Upload / download file tunggal diatas 2GB gunakan '''[[https://wiki.efisonlt.com/wiki/Manajemen_File_di_ALELEON_Supercomputer#Upload_/_Download_Ruang_Job_Composer software FTP]]'''
[[Berkas:JC job menu.png|nirbing|500x500px]]
[[Berkas:JC job menu.png|nirbing|500x500px]]
|-
|-
!5A
!<big><code>-/ 5A /-</code></big>
|-
|-
|Lengkapi '''Submit Script''' melalui tombol '''<code>Open Editor:</code>'''
|Lengkapi '''Submit Script''' melalui tombol '''<code><big>Open Editor</big></code>'''
*Submit script adalah 'formulir' untuk menjalankan job komputasi.
*Submit script adalah 'formulir' untuk menjalankan job komputasi.
**Ikuti petunjuk '''NOTES dan alur script''' didalamnya.
* Ikuti petunjuk '''NOTES dan alur script''' di dalamnya.
*Klik '''<code>Save</code>''' setiap kali mengubah script.
*Klik '''<code><big>Save</big></code>''' setiap kali mengubah script.
*Perhatikan note berikut untuk skenario tertentu:
[[Berkas:Jceditor3.png|al=|nirbing|400x400px]]
''<small><code>Klik expand / kembangkan</code></small>''
|-
!
|-
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]] '''Bagi yang memilih template GPU:'''
* Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?'''
*'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut:
 
...
module load ${PM}
'''''module load [Nama-modul-CUDA]'''''
...
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Bagi user yang menjalankan conda env di GPU
|-
|-
|'''Note:'''
! colspan="2" |- Daftar modul CUDA ALELEON -
*Muat modul CUDA di submit script untuk memanfaatkan GPU.
|-
**Telusuri kebutuhan versi CUDA untuk package user.  
!Versi CUDA
**Daftar modul CUDA tersedia di template.
!Nama modul CUDA
**Apabila tidak ada kebutuhan spesifik, pilih versi terbaru.
|-
*Apabila modul CUDA yang dibutuhkan tidak ada:
|11.2
**Hubungi tim admin di '''support@efisonlt.com''' untuk instalasi.
|<code>cuda/11.2-cuDNN8.1.1</code>
*Berikut info khusus untuk package tertentu:
|-
''<small><code>(klik expand / kembangkan)</code></small>''
|11.6
{| class="wikitable mw-collapsible mw-collapsed"
|<code>cuda/11.6-cuDNN8.3.3</code>
!Bagi user yang menjalankan TensorFlow / PyTorch GPU
|-
|11.8
|<code>cuda/11.8-cuDNN8.6.0</code>
|-
|12.0
|<code>cuda/12.0-cuDNN8.7.0</code>
|-
|12.1
|<code>cuda/12.1-cuDNN8.8.1</code>
|-
|12.3
|<code>cuda/12.3-cuDNN8.9.6</code>
|-
|12.4
|<code>cuda/12.4-cuDNN9.2.1</code>
|-
|12.5
|<code>cuda/12.5-cuDNN9.2.1</code>
|-
|-
|
| colspan="2" |Permintaan instalasi CUDA versi lain:
*Membutuhkan library NVIDIA CUDA spesifik untuk berjalan.
 
**Panduan memuat modul CUDA ada pada template script.
* Hubungi tim admin di '''''support@efisonlt.com'''''
*Kebutuhan TensorFlow GPU lihat '''[[https://www.tensorflow.org/install/pip#linux Install TensorFlow with pip]]'''
**Lihat bagian '''Software Requirements''' poin CUDA Toolkit
*Kebutuhan PyTorch GPU mengikuti pilihan instalasi user.
*Sesuaikan dengan nama modul CUDA ALELEON (cukup jelas).
**Hiraukan versi cuDNN.
|-
|-
!---
! colspan="2" |---
|}
|}
|}[[Berkas:Jceditor3.png|al=|nirbing|400x400px]]
|-
!
|-
|-
|
|
*''<small>Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].</small>''
*''Detail Submit Script lihat '''[<nowiki/>[[Submit Script ALELEON Supercomputer|Subm]]<small><nowiki/></small>[[Submit Script ALELEON Supercomputer|it Script ALELEON Supercomputer]]]'''''
*''<small>Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].</small>''
 
*''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]'''''
|-
|-
!5B
!<big><code>-/ 5B /-</code></big>
|-
|-
|SBATCH komputasi (ntasks, mem, time, dll) '''mempunyai limit''' berdasarkan:
|SBATCH komputasi (ntasks, mem, time, dll) '''punya limit''' berdasarkan:
*Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']].
*Sisa Core Hour user dan '''[<nowiki/>[[Limitasi Fair Usage ALELEON Supercomputer|Fair Usage Limit]]]'''
*Spesifikasi sistem dan software komputasi.
*Spesifikasi sistem dan software komputasi.
Untuk melihat limit, jalankan perintah ini via menu '''<code>Open Terminal</code>''':
Untuk melihat limit, jalankan perintah berikut:
'''$ slimit-python'''  
$ '''slimit-python'''
[[Berkas:GMB warning wololo.png|nirbing|40x40px]] '''Note untuk saat ini:'''
*''Jalankan ketika tidak ada job user yang berjalan atau antri.''
*''Sementara berlaku untuk akun perseorangan saja.''
|-
|-
!6
!<big><code>-/ 6 /-</code></big>
|-
|-
|Jalankan job dengan klik tombol '''<code>Submit</code>'''.
|Jalankan job dengan klik tombol '''<code><big>Submit</big></code>'''
[[Berkas:JC job runstop.png|al=|nirbing|500x500px]]
[[Berkas:JC job runstop.png|al=|nirbing|400x400px]]
*Pantau kolom status yang menjelaskan status jalannya job.
 
*Apabila ingin membatalkan job yang berjalan, klik '''<code>Stop</code>'''.
*''Job berakhir '''(Status completed)''' ketika:''
** ''Komputasi selesai atau ada error sehingga selesai prematur.''
** ''Job menyentuh walltime yang didefinisikan user di SBATCH time.''
 
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Daftar Status Job
|+Kolom Status menunjukkan status jalannya job:
|-
|-
!Status
!Status
!Arti
!Arti
|-
|-
|Not Submitted
|'''Not Submitted'''
|Job belum pernah dijalankan.
|Job belum pernah dijalankan.
|-
|-
|Running
|'''Running'''
|Job berjalan.
|Job berjalan.
|-
|-
|Queue
| '''Queue'''
|Job mengantri dan belum berjalan.
|Job mengantri dan belum berjalan.
|-
|-
|Completed
|'''Completed'''
|Job selesai berjalan.
| Job selesai berjalan.
|-
|-
|Failed
|'''Failed'''
|Job berhenti karena error atau di stop user.
|Job berhenti karena error atau di stop user.
|-
|-
| colspan="2" |'''Untuk melihat alasan job yang queue:'''[[Berkas:Active Jobs detail.png|nir|jmpl|300x300px|''Buka pinned apps '''Active Jobs''' di homepage EFIRO. Ubah opsi All jobs ke '''Your Jobs'''. Klik simbol '''>''' untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman [[Daftar Reason NODELIST ALELEON Supercomputer|'''Daftar Reason NODELIST ALELEON Supercomputer''']].'']]
! colspan="2" |'''Melihat alasan job yang queue:'''
|-
| colspan="2" |[[Berkas:Active Jobs detail.png|nirbing|400x400px]]
 
* Buka menu '''<big><code>Apps > Active Jobs</code></big>'''  
* Ubah opsi '''<big><code>All Jobs</code></big>''' ke <big><code>'''Your Jobs'''</code></big>.
* Klik simbol '''<code><big>></big></code>''' pada job status pending dan lihat kolom '''Reason'''.
* Arti reason lihat laman '''[[Daftar Job Reason ALELEON Supercomputer|[Daftar Job Reason ALELEON]]]'''  
|}
|}
|-
|-
!7
!<big><code>-/ 7 /-</code></big>
|-
|Lihat output file komputasi pada kolom '''Folder Contents'''
*Atau dengan membuka menu '''<code><big>Edit Files</big></code>'''
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>''''']]
|-
|-
|Lihat output file komputasi pada kolom '''<code>Folder Contents</code>'''
!<big><code>-/ 8 /-</code></big>
*Atau dengan membuka '''<code>Edit Files</code>'''
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>'''.'']]
|-
|-
!8
|Apabila user ingin menghentikan job yang berjalan, klik '''<code><big>Stop</big></code>'''
|-
!<big><code>-/ 9 /-</code></big>
|-
|-
|Untuk menghapus ruang job dan datanya:
|Untuk menghapus ruang job dan datanya:
*Pilih ruang job yang akan dihapus.
*Pilih ruang job yang akan dihapus.
*Klik menu '''<code>Delete</code>'''
*Perhatikan opsi ini juga '''menghapus data di ruang job tersebut.'''
[[Berkas:JC delete menu.png|nirbing|500x500px]]
*Klik menu '''<code><big>Delete</big></code>'''
[[Berkas:JC delete menu.png|nirbing|400x400px]]
|-
|-
!---
!---
|}
|}


=== Sesi Jupyter ===
=== 6.2. Sesi Jupyter ===
Menjalankan sesi interaktif Jupyter Lab atau Notebook di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].'''
Menjalankan sesi interaktif Jupyter Lab atau Notebook di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].'''
''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Langkah Sesi Jupyter
!- Langkah Sesi Jupyter -
[[Berkas:Efiro jupyter display.png|400x400px]]
[[Berkas:Efiro jupyter display.png|400x400px]]
|-
|-
!1
!<big><code>-/ 1 /-</code></big>
|-
|-
| '''[https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer.
| '''[https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]]''' ALELEON Supercomputer.
|-
|-
!2
!<big><code>-/ 2 /-</code></big>
|-
|-
|Siapkan '''conda environment''' yang akan digunakan.
!Lakukan persiapan sebelum sesi Jupyter:
*Jangan lupa instal package Jupyter untuk conda env dari Mamba
|-
|-
|Untuk sesi Jupyter efektif terkait batasan waktu dan konsumsi Core Hour:
|'''Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:'''
*Disarankan melengkapi instalasi package sebelum sesi Jupyter.
* Lengkapi instalasi package pada conda env yang akan dipakai.
*Hindari instalasi package besar selama sesi Jupyter.
** [[Berkas:GMB warning wololo.png|nirbing|50x50px]] ''Pastikan package jupyter dan jupyterlab telah terinstal.''
* Upload file besar lihat '''[[https://wiki.efisonlt.com/wiki/Manajemen_File_di_ALELEON_Supercomputer Upload / Download File HOME]]'''
** Direktori standar sesi Jupyter adalah $HOME user.
|-
|-
!3
!<big><code>-/ 3 /-</code></big>
|-
|-
|
|
{| class="wikitable"
{| class="wikitable"
|[[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]]
|[[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]]
|Buka pinned apps '''Jupyter'''  di homepage EFIRO.
|Klik app '''<code><big>Jupyter</big></code>'''  di homepage EFIRO.
 
* ''atau'' menu '''<big><code>Apps > Jupyter</code></big>'''
|}
|}
|-
|-
!4
!<big><code>-/ 4 /-</code></big>
|-
|-
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
{| class="wikitable"
{| class="wikitable"
!<code>''Choose Jupyter version''</code>
!<code>''<big>Choose Jupyter version</big>''</code>
|-
|-
|Pilih sesuai preferensi user, <code>Jupyter Lab</code> atau <code>Notebook</code>
|Pilih sesuai preferensi user, <code>Jupyter Lab</code> atau <code>Notebook</code>
Baris 838: Baris 904:
!
!
|-
|-
!''<code>Partition</code>''
!''<code><big>Partition</big></code>''
|-
|-
|Pilih sesuai kebutuhan:
|Pilih sesuai kebutuhan:
*<code>torti</code> -> interactive node CPU
*<code>'''torti'''</code> -> interactive node CPU [[Berkas:GMB CPU icon.png|nirbing|60x60px]]
*<code>tilla</code> -> interactive node GPU
*<code>'''tilla'''</code> -> interactive node GPU [[Berkas:GMB GPU icon.png|nirbing|90x90px]]
|-
|-
!
!
|-
|-
!<code>''Number of CPU thread(s)''</code>
!<code>''<big>Number of CPU thread(s)</big>''</code>
|-
|-
|Alokasi core CPU, range <code>2 - 32</code> untuk torti dan tilla.
|Alokasi core CPU, range <code><big>'''2 - 32'''</big></code>
|-
|-
!
!
|-
|-
!<code>''Amount of memory/RAM (GB)''</code>
!<code>''<big>Amount of memory/RAM (GB)</big>''</code>
|-
|-
|Alokasi RAM dalam satuan GB, range <code>1 - 64</code> untuk torti dan tilla.
|Alokasi RAM dalam satuan GB, range <code><big>'''1 - 64'''</big></code>
|-
|-
!
!
|-
|-
!''<code>Number of GPUs</code>''
!''<code><big>Number of GPUs</big></code> (apabila pilih partition tilla)''
|-
|-
|Jumlah GPU, isi angka <code>1</code> apabila pakai tilla
|Jumlah GPU, isi angka <code><big>'''1'''</big></code>
|-
|-
!
!
|-
|-
!''<code>Number of hours</code>''
!''<code><big>Number of hours</big></code>''
|-
|-
|Waktu maksimal sesi Jupyter, range <code>1 - 72</code> untuk torti dan tilla'''.'''
|Waktu maksimal sesi Jupyter, range <code><big>'''1 - 72'''</big></code>
|-
|-
!
![[Berkas:GMB warning wololo.png|nirbing|50x50px]] Apakah bisa menjalankan sesi Jupyter?
|-
|-
|'''Form CPU, RAM, GPU, dan hours mempunyai limit''' berdasarkan:
|Form CPU, GPU, dan hours '''punya limit''' berdasarkan:
*Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']].
*Sisa Core Hour user dan '''[<nowiki/>[[Limitasi Fair Usage ALELEON Supercomputer|Fair Usage Limit]]]'''  
*Spesifikasi sistem dan software komputasi.
Untuk melihat limit:
Langkah melihat limit:
 
*Buka menu '''Clusters > Aleleon Shell Access'''
* Buka menu '''<code><big>Apps > Aleleon Shell Access</big></code>'''
[[Berkas:Shellaccess.png|nirbing|200x200px]]
* Jalankan perintah:
*Jalankan perintah:
  $ '''sausage'''
  '''$ slimit-python'''
* Ketentuan sesi Jupyter dapat berjalan:
sisa CCH > number of CPU threads X number of hours
sisa GH > number of GPU X number of hours
|-
|-
!
!
|-
|-
!''<code>Choose how to launch Jupyter</code>''
!''<code><big>Choose how to launch Jupyter</big></code>''
|-
|-
|Pilih <code>Anaconda/Mamba</code>
|Pilih <code>'''Anaconda/Mamba'''</code>
|-
|-
!
!
|-
|-
!''<code>Choose Anaconda/Mamba version</code>''
!''<code><big>Choose Anaconda/Mamba version</big></code>''
|-
|-
|Pilih versi yang digunakan untuk membuat conda env user.
|Pilih versi yang digunakan untuk membuat conda env user.
Baris 893: Baris 961:
!
!
|-
|-
!''<code>Conda/Mamba environment directory</code>''
!''<code><big>Conda/Mamba environment directory</big></code>''
|-
|-
|Isi nama conda env user, contoh: <code>skripsi</code>
|Isi nama conda env user, contoh: <code>skripsi</code>
Baris 899: Baris 967:
!
!
|-
|-
!''<code>Software Modules</code>''
!''<code><big>Software Modules</big></code>''
|-
|-
|Memuat modul software diluar conda env user , ''isi apabila ada''.
|Memuat modul software diluar conda env user , ''isi apabila ada''.
*Perhatikan note berikut bagi yang memilih '''partition tilla''':
|-
''<small><code>Klik expand / kembangkan</code></small>''
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]] Bagi user yang memilih '''partition tilla''':
 
* Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?'''
* '''''Apabila butuh''''', isi form ini dengan nama modul CUDA.
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!User tilla dan software modules NVIDIA CUDA
|-
|-
|'''Note:'''
! colspan="2" |- Daftar modul CUDA ALELEON -
*Muat modul CUDA untuk memanfaatkan GPU di Tilla.
|-
**Telusuri kebutuhan versi CUDA untuk package user.
*Berikut daftar modul CUDA tersedia:
**Apabila tidak ada kebutuhan spesifik, pilih versi terbaru.
{| class="wikitable"
!Versi CUDA
!Versi CUDA
!Nama modul
!Nama modul CUDA
|-
|-
|11.2
|11.2
Baris 939: Baris 1.005:
|12.5
|12.5
|<code>cuda/12.5-cuDNN9.2.1</code>
|<code>cuda/12.5-cuDNN9.2.1</code>
|}
*Apabila modul CUDA yang dibutuhkan tidak ada:
**Hubungi tim admin di '''support@efisonlt.com''' untuk instalasi.
*Berikut info khusus untuk package tertentu:
''<small><code>(klik expand / kembangkan)</code></small>''
{| class="wikitable mw-collapsible mw-collapsed"
!Bagi user yang menjalankan TensorFlow / PyTorch GPU
|-
|-
|
| colspan="2" |Permintaan instalasi CUDA versi lain:
*Membutuhkan library NVIDIA CUDA spesifik untuk berjalan.
 
**Panduan memuat modul CUDA ada pada template script.
* Hubungi tim admin di '''''support@efisonlt.com'''''
*Kebutuhan TensorFlow GPU lihat '''[[https://www.tensorflow.org/install/pip#linux Install TensorFlow with pip]]'''
**Lihat bagian '''Software Requirements''' poin CUDA Toolkit
*Kebutuhan PyTorch GPU mengikuti pilihan instalasi user.
*Sesuaikan dengan nama modul CUDA ALELEON ''(cukup jelas)''.
|-
|-
!---
! colspan="2" |---
|}
|}
|}
|-
|-
!
!
|-
|-
!''<code>Environment setup</code>''
!''<code><big>Environment setup</big></code>''
|-
|-
|Memuat environment variable, ''isi apabila ada''.
|Memuat environment variable, ''isi apabila ada''.
Baris 967: Baris 1.021:
!
!
|-
|-
!''<code>Additional Jupyter arguments</code>''
!''<code><big>Additional Jupyter arguments</big></code>''
|-
|-
|Memuat argumen tambahan Jupyter, ''isi apabila ada''.
|Memuat argumen tambahan Jupyter, ''isi apabila ada''.
Baris 973: Baris 1.027:
!
!
|-
|-
!''<code>Email address</code>''
!''<code><big>Email address</big></code>''
|-
|-
|Notifikasi email untuk status mulai dan selesainya Jupyter.
|Notifikasi email untuk status mulai dan selesainya Jupyter.
Baris 980: Baris 1.034:
*
*
|-
|-
!5
!<big><code>-/ 5 /-</code></big>
|-
|-
|Klik tombol '''<code>Launch</code>''' untuk memulai sesi Jupyter.
|Klik tombol '''<code><big>Launch</big></code>''' untuk memulai sesi Jupyter:
*User akan diarahkan ke halaman '''<code>My Interactive Sessions</code>'''.
*User akan diarahkan ke halaman '''<code><big>My Interactive Sessions</big></code>'''
*Tunggu hingga sesi Jupyter siap diakses.
*Tunggu hingga sesi Jupyter siap diakses.
[[Berkas:Jupyternotebookqueue.png|nirbing|500x500px]]
[[Berkas:Jupyternotebookqueue.png|nirbing|500x500px]]
|-
|-
!6
!<big><code>-/ 6 /-</code></big>
|-
|-
|Apabila status '''Running''', klik tombol '''<code>Connect to Jupyter</code>'''.
|Apabila status '''Running''', klik tombol '''<code><big>Connect to Jupyter</big></code>'''
*Sistem mulai menghitung Core Hour!
*[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Sistem mulai menghitung Core Hour!
*Untuk menghentikan sesi yang sedang running, klik tombol '''<code>Cancel</code>'''
*Sesi akan terus berjalan selama '''waktu sesi masih ada'''.
*Untuk menghentikan sesi yang running, klik tombol '''<code><big>Cancel</big></code>'''
[[Berkas:Newjupyter120124.png|nirbing|500x500px]]
[[Berkas:Newjupyter120124.png|nirbing|500x500px]]
|-
|-
!7
!<big><code>-/ 7 /-</code></big>
|-
|-
|Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']]
|Gunakan kernel '''Python 3 (ipykernel)''' untuk sesi Jupyter.
|-
|-
!8
!<big><code>-/ 8 /-</code></big>
|-
|-
|User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|'''Sesi Jupyter tidak terputus ketika:'''
*Menu '''<code>My Interactive Sessions</code>''' pada homepage EFIRO.
* Koneksi user terputus saat sesi Jupyter.
*Kolom '''<code>Active interactive sessions</code>''' pada homepage EFIRO.
* User keluar / log out dari sesi Jupyter dan web EFIRO.
'''User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:'''
*Menu '''<code><big>My Interactive Sessions</big></code>'''  
*Kolom '''<code><big>Active interactive sessions</big></code>''' di homepage EFIRO.
[[Berkas:GMB warning wololo.png|nirbing|50x50px]] '''Ketika user keluar saat ada cell berjalan dan kembali masuk:'''
 
* Bisa jadi cell tersebut tidak menampilkan proses jalannya komputasi.
* Lihat cell berikutnya apakah belum / sedang / selesai berjalan.
|-
|-
!---
!---
|}
|}
=='''Pelaporan Kendala dan Support'''==
=='''''7. Pelaporan Kendala dan Support'''''==
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.


Baris 1.013: Baris 1.075:
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
  '''support@efisonlt.com'''
  '''support@efisonlt.com'''
== '''''Kontributor''''' ==
EFISON turut mengucapakan terima kasih spesial kepada:
# '''[[https://sadasa.id/ Sadasa Aacademy]]''' untuk pengujian semua tutorial di laman ini.

Revisi terkini sejak 4 Juli 2025 02.48

Logo Python Anaconda Mamba ALELEON tp.png

Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) di ALELEON Supercomputer yang dibuat secara mandiri oleh user termasuk instalasi package di dalamnya.

Laman ini merupakan bagian laman [Komputasi Python]

0. Spesifikasi

Tutorial ini mengasumsikan user dapat melakukan atau mau mencoba pembuatan environment - instalasi package Python.

Spesifikasi

  • Tutorial ini memandu membuat conda environment dengan site-packages yang terisolasi di dalamnya.
  • Pembuatan conda env dan instalasi package mengkonsumsi storage HOME user.
    • Pantau konsumsi storage HOME dengan perintah $ ncdu $HOME
Keterangan simbol perintah terminal
$ Perintah ketika conda env tidak aktif
(env)$ Perintah ketika conda env aktif

1. Langkah Menjalankan Komputasi

Subbab Langkah
[ 2 ] Buat conda env untuk menampung instalasi package.
[ 3 ] Mengaktifkan conda env dan melakukan instalasi package di dalamnya.
[ 4 ] Pengecekan bagi yang menginstal package Python versi CUDA.
[ 5 ] Opsional, manajemen conda env yang sekiranya berguna.
[ 6 ] Menjalankan komputasi dengan pilihan:
[ 7 ] Support apabila menemui masalah.

2. Membuat Conda Environment

Tersedia pilihan Python Package Manager (PPM) berikut untuk membuat conda env. Pilih sesuai preferensi user:

  • Anaconda: PPM Python paling banyak digunakan dan saat ini menjadi standar industri.
  • Mamba: PPM Python alternatif Anaconda versi komunitas.
- Langkah Membuat conda env -
EOD Apps Shell full.png
Menggunakan terminal!
  • User EFIRO klik app Aleleon Shell Access
  • atau menu Apps > Aleleon Shell Access
-/ 1 /-
Pilih dan aktifkan modul PPM untuk membuat conda env:
  • Ingat atau catat modul PPM yang dipakai.
  • Kedepannya digunakan untuk mengaktifkan conda env ini.
$ module load [nama-modul-anaconda-atau-mamba]
- Nama modul Anaconda3 -

Anaconda transparent logo.png

Versi Nama Modul Versi Py default
2024-02-1 Anaconda3/2024.02-1 3.11.7
2023.07-2 Anaconda3/2023.07-2 3.11.4
2022.05 Anaconda3/2022.05 3.9.12
2021.05 Anaconda3/2021.05 3.8.8
2020.11 Anaconda3/2020.11 3.8.5
- Nama modul Mamba -

Mamba transparent logo.png

23.11.0-0 Mamba/23.11.0-0 3.10.13
Saran sebelum langkah 2 ...
Pilih nama conda env yang mengandung unsur nama modul:
  • Untuk mengingat modul yang digunakan.
  • Contoh user memilih modul Anaconda3/2024-02-1
    • Gunakan nama conda env seperti A2024-skripsi
-/ 2 /-
Buat conda env dengan opsi:
2A - Conda env kosong dengan Python versi tertentu, apabila:
  • Hendak melakukan instalasi salah satu package berikut:
Package Python dengan kebutuhan versi Python spesifik
Package Versi Python
TensorFlow Lihat [TensorFlow Tested Build Configurations]
PyTorch 3.9 - 3.12
AutoGluon 3.9 - 3.12 
- Anaconda
$ conda create -n [nama-conda-env] python=[versi]

- Mamba
$ mamba create -n [nama-conda-env] python=[versi]

Contoh dengan Python 3.10 
$ conda create -n skripsi python=3.10
2B - Conda env kosong dengan Python versi 3.12.
  • Rekomendasi admin untuk versi Python terstabil saat ini.
- Anaconda
$ conda create -n [nama-conda-env] python=3.12

- Mamba
$ mamba create -n [nama-conda-env] python=3.12
2C - Conda env dengan file "resep" konfigurasi yml
  • File yml disediakan user sendiri.
- Anaconda
$ conda create -f [nama-file-yml].yml

- Mamba
$ mamba create -f [nama-file-yml].yml
---

3. Aktivasi Conda Env dan Instalasi Package

GMB warning wololo.png Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:

  1. Batch job -> supaya script Python berjalan tanpa error missing package.
  2. Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.

Langkah berikut berjalan di login node dan tidak mengkonsumsi Core Hour.

- Mengaktifkan dan Instalasi Package Conda Env -
EOD Apps Shell full.png
Menggunakan terminal!
  • User EFIRO klik app Aleleon Shell Access
  • atau menu Apps > Aleleon Shell Access
-/ 1 /-
Muat modul PPM yang digunakan untuk membuat conda env: 
$ module load [nama-modul-anaconda-atau-mamba]
-/ 2 /-
Aktifkan conda env dengan perintah source: 
$ source activate [nama-conda-env]

- Apabila lupa nama conda env, cari dengan:
$ conda env list
-/ 3 /-
Lakukan instalasi package Python yang dibutuhkan:
-/ 4 /-
Untuk user yang hendak menggunakan sesi Jupyter

EOD Apps Jupyter icon.png

Instal package: 
(env)$ pip install jupyter jupyterlab
-/ 5 /-
Apabila melakukan instalasi package versi CUDA:
-/ 6 /-
Apabila hendak menonaktfkan conda env: 
(env)$ conda deactivate

4. Instalasi Package Python versi CUDA?

Perhatikan hal berikut apabila user menginstal package Python versi CUDA dan hendak menggunakan compute / interactive node GPU:

  1. Package membutuhkan jenis dan versi library NVIDIA sesuai seperti CUDA, cuDNN untuk dapat berjalan di GPU NVIDIA.
  2. Umumnya (walau tidak semua) package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
  3. Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:
- Melanjutkan langkah 5 di atas -
-/ 5 /-
Cek ketersediaan library CUDA di conda env: 
- Apabila instal package dengan pip
(env)$ pip list | awk /cuda/

- Apabila instal package dengan conda
(env)$ conda list | awk /cuda/
Ada output
Conda env siap digunakan.
  • User tidak perlu memuat modul CUDA.
Tidak ada output
User harus memuat modul CUDA ketika menjalankan job:
  • Perhatikan versi CUDA yang dibutuhkan package.
  • Langkah ada pada tutorial menjalankan komputasi.

5. (Opsional) Manajemen Conda Env

Berikut adalah daftar manajemen conda env yang sekiranya berguna:

(klik expand / kembangkan)

5.1. Menghapus Cache Conda dan Package

Pembuatan conda env dan instalasi package Python juga mengeluarkan file cache yang apabila dibiarkan akan menumpuk dan menghabiskan ruang storage HOME. User dapat berkala membersihkan cache ini.

- Menghapus cache conda dan package -
-/ 1 /-
Muat modul PPM yang digunakan untuk membuat conda env: 
$ module load [nama-modul-anaconda-atau-mamba]
-/ 2 /-
Pilih opsi: 
- Menghapus index dan cache package conda.
- Tidak mempengaruhi conda env dan package 
- di dalamnya.
$ conda clean --all

- Menghapus semua cache pip
$ pip cache purge

5.2. Menghapus Conda Environment

Apabila merasa tidak dibutuhkan, user dapat menghapus conda environment dimana juga meluangkan storage HOME.

- Menghapus conda environment -
-/ 1 /-
Muat modul PPM yang digunakan untuk membuat conda env: 
$ module load [nama-modul-anaconda-atau-mamba]
-/ 2 /-
Hapus conda env dengan: 
$ conda remove -n [nama-conda-env] --all

5.3. Manajemen Conda Environment Lainnya

Berikut manajemen conda yang sekiranya berguna:

- Manajemen conda environment lainnya - 
- Mengganti nama conda env
$ conda rename -n [nama-conda-env-saat-ini] [nama-conda-env-baru]

- Menduplikat conda env yang ada
$ conda create -n [nama-conda-duplikat] --clone [nama-conda-env-yang-ada]

- Membuat file konfigurasi yml dari conda env yang aktif
(env)$ conda env create -f [nama-file-yml].yml

6. Pilihan Menjalankan Komputasi

Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:

  • [ 6.1 - Batch Job ]
    • Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
      • GMB warning wololo.png Perhatikan file .ipynb harus dikonversi ke file .py.
      • Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.
    • Batch job akan berhenti ketika:
      • Program komputasi selesai berjalan.
      • Program komputasi menyentuh limit waktu yang ditentukan user.
      • Program menjumpai error sehingga selesai prematur.
    • Koneksi user tidak mempengaruhi jalannya batch job:
      • Job tidak akan berhenti ketika koneksi user terputus, atau
      • user keluar (log out) dari ALELEON.
  • [ 6.2 - Sesi Jupyter ]
    • Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
    • Sesi Jupyter akan berhenti ketika:
      • Waktu sesi habis.
      • Sesi dihentikan secara manual oleh user.
      • Sesi menjumpai error sehingga selesai prematur.
    • Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
      • Sesi tidak akan berhenti ketika koneksi user terputus, atau
      • user keluar (log out) dari ALELEON.
    • Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
      • Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.
      • Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.

---

6.1. Batch Job

Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].

  • GMB warning wololo.png Perhatikan file .ipynb harus dikonversi ke file .py.
  • Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.

Tersedia pilihan tampilan yang dapat dipilih sesuai preferensi user:

(klik expand / kembangkan)

- Langkah Batch Job di Terminal -

Sbatch terminal display rev2.png

Tutorial ini mengasumsikan user familiar dengan terminal Linux
EOD Apps Shell full.png
Menggunakan terminal!
  • User EFIRO klik app Aleleon Shell Access
  • atau menu Apps > Aleleon Shell Access
-/ 0 /-
Apakah bisa menjalankan job?
User dengan Kredit Core Hour disarankan cek kuota terlebih dulu: 
$ sausage
-/ 1 /-
Lakukan persiapan:
1A - Pastikan package lengkap pada conda env yang akan digunakan:
  • Package tidak lengkap akan menyebabkan job gagal berjalan.

1B - Siapkan file komputasi yang dibutuhkan:

1C -GMB warning wololo.png Memastikan batch job memuat conda env dengan benar: 

1 - Nonaktifkan conda env di terminal apabila aktif:
(env)$ conda deactivate
 
2 - Nonaktifkan modul Package Python:
$ ml unload Anaconda Mamba

Apabila ada pesan ini, abaikan:
 the module ... cannot be unloaded because it was not loaded
-/ 2A /-
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi:
  • Nama file bebas dengan format .sh, contoh submit.sh
  • Biasanya submit script berada satu folder dengan file komputasi.
$ nano submit.sh
atau vim
Contoh template Submit Script:
  • Ikuti petunjuk NOTES dan alur script di dalamnya.

Klik expand / kembangkan

- Template submit script Conda Environment versi CPU -

GMB CPU icon.png 

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Python dengan Conda Environment (CPU) | rev.210125
#
# NOTES:
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah melengkapi conda environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log
#SBATCH --error=error-%j.txt

# Input nama modul package manager yang digunakan untuk membuat
# conda env user. Daftar nama:
# Anaconda3/2020.11   || Anaconda3/2021.05   || Anaconda3/2022.05 ||
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0   ||
PM="////"

# Nama conda environment yang digunakan
CONDA_NAME="////"

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul
module load ${PM}

# Mengaktifkan Conda Environment
source activate ${CONDA_NAME}

# Tuliskan perintah menjalankan komputasi Python user
# contoh -> python3 [nama-file-python]
////
- Template submit script conda environment versi GPU -

GMB GPU icon.png

GMB warning wololo.pngApakah perlu memuat modul CUDA [ Subbab 4 ]?
  • Apabila butuh, isi nama modul CUDA pada script sebagai berikut:
...
module load ${PM}
module load [Nama-modul-CUDA]
...
- Daftar modul CUDA ALELEON -
Versi CUDA Nama modul CUDA
11.2 cuda/11.2-cuDNN8.1.1
11.6 cuda/11.6-cuDNN8.3.3
11.8 cuda/11.8-cuDNN8.6.0
12.0 cuda/12.0-cuDNN8.7.0
12.1 cuda/12.1-cuDNN8.8.1
12.3 cuda/12.3-cuDNN8.9.6
12.4 cuda/12.4-cuDNN9.2.1
12.5 cuda/12.5-cuDNN9.2.1
Permintaan instalasi CUDA versi lain:
  • Hubungi tim admin di support@efisonlt.com
--- 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# Python dengan Conda Environment (GPU) | rev.210125
#
# NOTES:
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# 3. Pastikan user sudah melengkapi conda environment.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH dan file input
# -----------------------------------------------------

# Partisi compute node GPU
#SBATCH --partition=ampere

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah GPU
#SBATCH --gpus=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log
#SBATCH --error=error-%j.txt

# Input nama modul package manager yang digunakan untuk membuat
# conda env user. Daftar nama:
# Anaconda3/2020.11   || Anaconda3/2021.05   || Anaconda3/2022.05 ||
# Anaconda3/2023.07-2 || Anaconda3/2024.02-1 || Mamba/23.11.0-0   ||
PM="////"

# Nama conda environment yang digunakan
CONDA_NAME="////"

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul
module load ${PM} 

# Mengaktifkan Conda Environment
source activate ${CONDA_NAME}

# Tuliskan perintah menjalankan komputasi Python user
# contoh -> python3 [nama-file-python]
////
  • Untuk SBATCH notifikasi email status jalannya job lihat [Slurm Jojo]
-/ 2B /-
SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:
  • Sisa Core Hour user dan [Fair Usage Limit]
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut: 

$ slimit-python

GMB warning wololo.png Note untuk saat ini:

  • Jalankan ketika tidak ada job user yang berjalan atau antri.
  • Sementara berlaku untuk akun perseorangan saja.
-/ 3 /-
Jalankan job dengan perintah: 
$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh
-/ 4 /-
User dapat melihat status jalannya job dengan perintah: 
$ squeue -ul $USER
  • Apabila tidak ada di squeue artinya job bersangkutan telah berakhir.
  • Job berakhir ketika:
    • Komputasi selesai atau ada error sehingga selesai prematur.
    • Job menyentuh walltime yang didefinisikan user di SBATCH time.
Kolom ST atau STATE menunjukkan status jalannya job:
STATE Penjelasan
R (RUN) Job berjalan
PD (PENDING) Job tertahan, lihat [Daftar Job Reason]
CG (COMPLETING) Job selesai dan dalam proses clean-up
CA (CANCELED) Job dibatalkan user
PR (PREEMPETED) Job dibatalkan admin, alasan dikabarkan via email
S (SUSPENDED) Job ditahan admin, alasan dikabarkan via email
-/ 5 /-
User dapat memantau file output dengan perintah Unix seperti:
  • ls, cat, more, tail, dll
-/ 6 /-
Apabila user ingin menghentikan job yang berjalan, jalankan perintah: 
$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231
---
- Langkah Batch Job di web EFIRO -

Efiro jobcomposer display.png

-/ 0 /-
Apakah bisa menjalankan job?
User dengan Kredit Core Hour disarankan cek kuota terlebih dulu:
  1. Buka menu Apps > Aleleon Shell Access
  2. Jalankan:
$ sausage
-/ 1 /-
[Login ke web EFIRO] ALELEON Supercomputer.
-/ 2 /-
EOD Apps Job Composer full.png Klik app Job Composer di homepage EFIRO.
  • atau menu Apps > Job Composer
Jcnewjobmarked.pngPilih menu New Job > From Template
-/ 3 /-
Buat ruang job untuk menjalankan komputasi:
Pilih template Anaconda Python yang diinginkan:
Nama Template Penjelasan
Conda Environment Python (CPU) Menjalankan conda env pada CPU
Conda Environment Python (GPU) Menjalankan conda env pada GPU
Kemudian Isi Job Name dan klik Create New Job

Jctemplate-2.png

-/ 4 /-
Lakukan persiapan:
4A - Pastikan package lengkap pada conda env yang akan digunakan:
  • Package tidak lengkap akan menyebabkan job gagal berjalan.
  • Akses terminal apabila butuh via menu Open Terminal

4B - Siapkan file komputasi yang dibutuhkan di ruang job:

  • Pastikan ruang job yang dipilih adalah yang akan digunakan.
  • Upload / download / edit file via menu Edit Files
  • Upload / download file tunggal diatas 2GB gunakan [software FTP]

JC job menu.png

-/ 5A /-
Lengkapi Submit Script melalui tombol Open Editor
  • Submit script adalah 'formulir' untuk menjalankan job komputasi.
  • Ikuti petunjuk NOTES dan alur script di dalamnya.
  • Klik Save setiap kali mengubah script.

GMB warning wololo.png Bagi yang memilih template GPU:
  • Apakah perlu memuat modul CUDA [ Subbab 4 ]?
  • Apabila butuh, isi nama modul CUDA pada script sebagai berikut:
...
module load ${PM}
module load [Nama-modul-CUDA]
...
- Daftar modul CUDA ALELEON -
Versi CUDA Nama modul CUDA
11.2 cuda/11.2-cuDNN8.1.1
11.6 cuda/11.6-cuDNN8.3.3
11.8 cuda/11.8-cuDNN8.6.0
12.0 cuda/12.0-cuDNN8.7.0
12.1 cuda/12.1-cuDNN8.8.1
12.3 cuda/12.3-cuDNN8.9.6
12.4 cuda/12.4-cuDNN9.2.1
12.5 cuda/12.5-cuDNN9.2.1
Permintaan instalasi CUDA versi lain:
  • Hubungi tim admin di support@efisonlt.com
---
  • Untuk SBATCH notifikasi email status jalannya job lihat [Slurm Jojo]
-/ 5B /-
SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:
  • Sisa Core Hour user dan [Fair Usage Limit]
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut: 

$ slimit-python

GMB warning wololo.png Note untuk saat ini:

  • Jalankan ketika tidak ada job user yang berjalan atau antri.
  • Sementara berlaku untuk akun perseorangan saja.
-/ 6 /-
Jalankan job dengan klik tombol Submit

  • Job berakhir (Status completed) ketika:
    • Komputasi selesai atau ada error sehingga selesai prematur.
    • Job menyentuh walltime yang didefinisikan user di SBATCH time.
Kolom Status menunjukkan status jalannya job:
Status Arti
Not Submitted Job belum pernah dijalankan.
Running Job berjalan.
Queue Job mengantri dan belum berjalan.
Completed Job selesai berjalan.
Failed Job berhenti karena error atau di stop user.
Melihat alasan job yang queue:
Active Jobs detail.png
  • Buka menu Apps > Active Jobs
  • Ubah opsi All Jobs ke Your Jobs.
  • Klik simbol > pada job status pending dan lihat kolom Reason.
  • Arti reason lihat laman [Daftar Job Reason ALELEON]
-/ 7 /-
Lihat output file komputasi pada kolom Folder Contents
  • Atau dengan membuka menu Edit Files
Kolom Folder Contents
-/ 8 /-
Apabila user ingin menghentikan job yang berjalan, klik Stop
-/ 9 /-
Untuk menghapus ruang job dan datanya:
  • Pilih ruang job yang akan dihapus.
  • Perhatikan opsi ini juga menghapus data di ruang job tersebut.
  • Klik menu Delete

JC delete menu.png

---

6.2. Sesi Jupyter

Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].

(klik expand / kembangkan)

- Langkah Sesi Jupyter -

Efiro jupyter display.png

-/ 1 /-
[Login ke web EFIRO] ALELEON Supercomputer.
-/ 2 /-
Lakukan persiapan sebelum sesi Jupyter:
Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:
  • Lengkapi instalasi package pada conda env yang akan dipakai.
    • GMB warning wololo.png Pastikan package jupyter dan jupyterlab telah terinstal.
  • Upload file besar lihat [Upload / Download File HOME]
    • Direktori standar sesi Jupyter adalah $HOME user.
-/ 3 /-
New Pinnedapps jupyter.png Klik app Jupyter di homepage EFIRO.
  • atau menu Apps > Jupyter
-/ 4 /-
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
Choose Jupyter version
Pilih sesuai preferensi user, Jupyter Lab atau Notebook
Partition
Pilih sesuai kebutuhan:
  • torti -> interactive node CPU GMB CPU icon.png
  • tilla -> interactive node GPU GMB GPU icon.png
Number of CPU thread(s)
Alokasi core CPU, range 2 - 32
Amount of memory/RAM (GB)
Alokasi RAM dalam satuan GB, range 1 - 64
Number of GPUs (apabila pilih partition tilla)
Jumlah GPU, isi angka 1
Number of hours
Waktu maksimal sesi Jupyter, range 1 - 72
GMB warning wololo.png Apakah bisa menjalankan sesi Jupyter?
Form CPU, GPU, dan hours punya limit berdasarkan:

Untuk melihat limit:

  • Buka menu Apps > Aleleon Shell Access
  • Jalankan perintah:
$ sausage
  • Ketentuan sesi Jupyter dapat berjalan:
sisa CCH > number of CPU threads X number of hours
sisa GH > number of GPU X number of hours
Choose how to launch Jupyter
Pilih Anaconda/Mamba
Choose Anaconda/Mamba version
Pilih versi yang digunakan untuk membuat conda env user.
Conda/Mamba environment directory
Isi nama conda env user, contoh: skripsi
Software Modules
Memuat modul software diluar conda env user , isi apabila ada.
GMB warning wololo.png Bagi user yang memilih partition tilla:
  • Apakah perlu memuat modul CUDA [ Subbab 4 ]?
  • Apabila butuh, isi form ini dengan nama modul CUDA.
- Daftar modul CUDA ALELEON -
Versi CUDA Nama modul CUDA
11.2 cuda/11.2-cuDNN8.1.1
11.6 cuda/11.6-cuDNN8.3.3
11.8 cuda/11.8-cuDNN8.6.0
12.0 cuda/12.0-cuDNN8.7.0
12.1 cuda/12.1-cuDNN8.8.1
12.3 cuda/12.3-cuDNN8.9.6
12.4 cuda/12.4-cuDNN9.2.1
12.5 cuda/12.5-cuDNN9.2.1
Permintaan instalasi CUDA versi lain:
  • Hubungi tim admin di support@efisonlt.com
---
Environment setup
Memuat environment variable, isi apabila ada.
Additional Jupyter arguments
Memuat argumen tambahan Jupyter, isi apabila ada.
Email address
Notifikasi email untuk status mulai dan selesainya Jupyter.
  • Isi apabila berkenan.
-/ 5 /-
Klik tombol Launch untuk memulai sesi Jupyter:
  • User akan diarahkan ke halaman My Interactive Sessions
  • Tunggu hingga sesi Jupyter siap diakses.

Jupyternotebookqueue.png

-/ 6 /-
Apabila status Running, klik tombol Connect to Jupyter
  • GMB warning wololo.png Sistem mulai menghitung Core Hour!
  • Sesi akan terus berjalan selama waktu sesi masih ada.
  • Untuk menghentikan sesi yang running, klik tombol Cancel

Newjupyter120124.png

-/ 7 /-
Gunakan kernel Python 3 (ipykernel) untuk sesi Jupyter.
-/ 8 /-
Sesi Jupyter tidak terputus ketika:
  • Koneksi user terputus saat sesi Jupyter.
  • User keluar / log out dari sesi Jupyter dan web EFIRO.

User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:

  • Menu My Interactive Sessions
  • Kolom Active interactive sessions di homepage EFIRO.

GMB warning wololo.png Ketika user keluar saat ada cell berjalan dan kembali masuk:

  • Bisa jadi cell tersebut tidak menampilkan proses jalannya komputasi.
  • Lihat cell berikutnya apakah belum / sedang / selesai berjalan.
---

7. Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email: 

support@efisonlt.com

Kontributor

EFISON turut mengucapakan terima kasih spesial kepada:

  1. [Sadasa Aacademy] untuk pengujian semua tutorial di laman ini.
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Komputasi_Python_dengan_Conda_Environment_(Mandiri)&oldid=2025"