ATEST: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Job Submission Web EFIRO: test) |
WilsonLisan (bicara | kontrib) (test) |
||
Baris 254: | Baris 254: | ||
* gpus * time (jam) lebih besar dari sisa GPU Hour user | * gpus * time (jam) lebih besar dari sisa GPU Hour user | ||
Cek sisa | Cek sisa Core Hour dengan perintah '''<code>sausage</code>''' di terminal. | ||
|- | |- | ||
|'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan:''' | |'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan:''' | ||
Baris 331: | Baris 331: | ||
|User dapat melihat status jalannya job dengan perintah: | |User dapat melihat status jalannya job dengan perintah: | ||
'''<code>$ squeue -ul $USER</code>''' | '''<code>$ squeue -ul $USER</code>''' | ||
{| class="wikitable" | {| class="wikitable mw-collapsible mw-collapsed" | ||
|+ | |+ | ||
! colspan="2" |Daftar ST (STATE) yang menunjukkan status jalannya job: | ! colspan="2" |Daftar ST (STATE) yang menunjukkan status jalannya job: | ||
Baris 377: | Baris 377: | ||
|- | |- | ||
|'''1''' | |'''1''' | ||
|[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|'''Login ke web EFIRO''' ALELEON Supercomputer. | |[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|_Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | ||
|- | |- | ||
|'''2''' | |'''2''' | ||
Baris 419: | Baris 419: | ||
* gpus * time (jam) lebih besar dari sisa GPU Hour user | * gpus * time (jam) lebih besar dari sisa GPU Hour user | ||
Cek sisa | Cek sisa Core Hour dengan perintah '''<code>sausage</code>''' di menu <code>'''Open Terminal'''</code> | ||
|- | |- | ||
|'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan:''' | |'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan:''' | ||
Baris 534: | Baris 534: | ||
[[Berkas:Efirojupyterlab.png|400x400px]] | [[Berkas:Efirojupyterlab.png|400x400px]] | ||
|- | |- | ||
| | |1 | ||
| | |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|_Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | ||
|- | |||
|2 | |||
|Buka app '''<code>Jupyter</code>''' di Pinned Apps.[[Berkas:Pinnedapps jupyter.png|nir|jmpl|141x141px]] | |||
|- | |||
|3 | |||
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | |||
* '''Choose Jupyter version''' | |||
** ''pilih sesuai preferensi user, Jupyter Lab atau Notebook'' | |||
* '''Partition''' -> ''pilih sesuai kebutuhan:'' | |||
** torti -> CPU saja | |||
** tilla -> CPU dan GPU | |||
{| class="wikitable" | |||
!Alokasi komputasi | |||
!torti | |||
!tilla | |||
|- | |||
|Number of CPU core(s) | |||
| colspan="2" |1 - 32 | |||
|- | |||
|Amount of memory/RAM | |||
| colspan="2" |1 - 64 | |||
|- | |||
|Number of GPUs | |||
| - | |||
|1 | |||
|- | |||
|Number of hours | |||
| colspan="2" |1 - 72 | |||
|- | |- | ||
| | | colspan="3" |'''Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:''' | ||
| | * Alokasi CPU * hours lebih besar dari sisa CPU Core Hour user. | ||
* Alokasi GPU * hours lebih besar dari sisa GPU Hour user. | |||
Cek sisa Core Hour dengan: | |||
# Buka app '''<code>Aleleon Shell Access</code>''' pada homepage EFIRO | |||
# Jalankan perintah '''<code>sausage</code>''' | |||
|} | |||
* '''Choose how to launch Jupyter''' -> Anaconda | |||
* '''Choose Anaconda version''' | |||
** ''Pilih versi yang digunakan untuk membuat conda env user'' | |||
* '''Conda environment directory''' | |||
** ''Isi nama conda env user yang akan digunakan'' | |||
* '''Software modules''' | |||
** ''Membuat modul software, isi sesuai kebutuhan user'' | |||
** ''Apabila menggunakan tilla, isi modul '''NVIDIA CUDA''' yang sesuai'' | |||
* '''Environment setup''' | |||
** ''Memuat environment variable, isi apabila ada'' | |||
* '''Additional Jupyter arguments''' | |||
** Memuat argument tambahan Jupyter, isi apabila ada | |||
* '''Email address''' | |||
** ''Notifikasi email untuk status mulai dan selesainya sesi Jupyter.'' | |||
** ''Isi apabila berkenan.'' | |||
|- | |- | ||
| | | | ||
| | | | ||
|} | |} |
Revisi per 4 April 2024 09.29
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pilih dan aktifkan modul Anaconda yang akan digunakan.
| |||||||||||
| ||||||||||||
2 | Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package | |
---|---|
0 | Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 | Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
| |
2 | Lakukan instalasi package Python yang dibutuhkan dengan pip
|
3 | Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment | |
---|---|
1 | Deactivate conda env untuk melakukan manajemen dibawah ini. |
2 | Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login SSH ke ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | Siapkan conda env dan file komputasi yang dibutuhkan.
| |||||||||||||||||||||||||||||||||||||||||
3 | Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| |||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||
4 | Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | |||||||||||||||||||||||||||||||||||||||||
5 | User dapat melihat status jalannya job dengan perintah:
| |||||||||||||||||||||||||||||||||||||||||
6 | Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login ke web EFIRO ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | Buka app Job Composer di Pinned Apps.Pilih menu New Job -> From Template
| |||||||||||||||||||||||||||||||||||||||||
3 | Pilih template Anaconda Python yang diinginkan.
Job Name kemudian klik Create New Job
| |||||||||||||||||||||||||||||||||||||||||
4 | Upload dan edit file untuk menjalankan komputasi pada Edit Files
| |||||||||||||||||||||||||||||||||||||||||
5 | Lengkapi Submit Script melalui tombol Open Editor .
| |||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||
6 | Jalankan job dengan klik tombol Submit .
| |||||||||||||||||||||||||||||||||||||||||
7 | User dapat melihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | |||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | _Login_Web_EFIRO Login ke web EFIRO] ALELEON Supercomputer. | ||||||||||||||||||
2 | Buka app Jupyter di Pinned Apps.
| ||||||||||||||||||
3 | Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||