Menggunakan ALELEON Supercomputer via EFIRO: Perbedaan antara revisi

Dari ALELEON by EFISON
(Overhaul dan paraphrasing EFIRO, update 15/02/2023)
(formatting menghilangkan sub header yang bloated)
Baris 44: Baris 44:
===Clusters > Aleleon Shell Access===
===Clusters > Aleleon Shell Access===
*Halaman terminal Linux (shell) ALELEON Supercomputer. Untuk kegiatan yang membutuhkan terminal.
*Halaman terminal Linux (shell) ALELEON Supercomputer. Untuk kegiatan yang membutuhkan terminal.
[[Berkas:Efiroshell.png|kiri|jmpl|200x200px|'''Terminal ALELEON Supercomputer''']]
[[Berkas:Efiroshell.png|kiri|jmpl|200x200px|''Terminal ALELEON Supercomputer'']]
|-
|-
|
|
Baris 50: Baris 50:
*Menampilkan isi direktori HOME user.
*Menampilkan isi direktori HOME user.
*User dapat melakukan manajemen file seperti upload, download, copy, rename, delete, dll.
*User dapat melakukan manajemen file seperti upload, download, copy, rename, delete, dll.
[[Berkas:Efiroftp3.png|al=|jmpl|'''Halaman Home Directory dan menu manajemen file'''|kiri]]
[[Berkas:Efiroftp3.png|al=|jmpl|''Halaman Home Directory dan menu manajemen file''|kiri]]
|}
|}


Baris 56: Baris 56:
[[Berkas:Slurmm.png|al=|600x600px]]
[[Berkas:Slurmm.png|al=|600x600px]]


'''User menggunakan halaman Jobs > Job Composer''' untuk menjalankan komputasi di Compute Node yang merupakan bagian server utama menjalankan job komputasi user. Halaman Job Composer memvisualisasikan '''SLURM''', yaitu program manajemen untuk mengatur alokasi dan antrian resources job submission user di Compute Node. Berikut adalah langkah mengggunakan Job Composer '''''(klik Expand):'''''
'''User menggunakan halaman <code>Jobs</code> > <code>Job Composer</code>''' untuk menjalankan komputasi di Compute Node yang merupakan bagian server utama menjalankan job komputasi user. Halaman Job Composer memvisualisasikan '''SLURM''', yaitu program manajemen untuk mengatur alokasi dan antrian resources job submission user di Compute Node. Berikut adalah langkah mengggunakan Job Composer''''':'''''
{| class="wikitable mw-collapsible"
{| class="wikitable mw-collapsible"
! colspan="2" |LANGKAH MENGGUNAKAN JOB COMPOSER UNTUK JOB SUBMISSION
! colspan="2" |LANGKAH MENGGUNAKAN JOB COMPOSER UNTUK JOB SUBMISSION
Baris 69: Baris 69:
|-
|-
|'''3A'''
|'''3A'''
|
|'''Berikutnya user memilih template software komputasi yang diinginkan:'''
=== '''Memilih Template Software Komputasi yang diinginkan''' ===
 
* Pilih template job yang diinginkan.
* Pilih template job yang diinginkan.
* Isi '''<code>Job Name</code>''' sesuai keinginan user, kemudian klik '''<code>Create New Job</code>'''.
* Isi '''<code>Job Name</code>''' sesuai keinginan user, kemudian klik '''<code>Create New Job</code>'''.


[[Berkas:Jcselecttemplate3.png|al=|nir|jmpl|Isi atau ganti <code>'''Job Name'''</code> sesuai keinginan user, kemudian klik <code>'''Create New Job'''</code>.]]
[[Berkas:Jcselecttemplate3.png|al=|nir|jmpl|''Isi atau ganti <code>'''Job Name'''</code> sesuai keinginan user, kemudian klik <code>'''Create New Job'''</code>.'']]
{| class="wikitable"
{| class="wikitable"
|'''''Note:'''''  
|'''''Note:'''''  
Baris 86: Baris 84:
|-
|-
|'''4'''
|'''4'''
|
|'''Setelah itu user menyiapkan keperluan untuk menjalankan job seperti upload file input, dll:'''  
=== '''Persiapan untuk Menjalankan Job''' ===
 
[[Berkas:Jcjoboption.png|600x600px]]
[[Berkas:Jcjoboption.png|600x600px]]


Baris 94: Baris 92:
**''Fitur upload pada laman Edit Files '''mempunyai batasan ukuran upload 2GB per file'''. Gunakan [[Upload File dengan Aplikasi FTP|'''aplikasi FTP''']] apabila user hendak mengupload file tunggal diatas 2GB.''  
**''Fitur upload pada laman Edit Files '''mempunyai batasan ukuran upload 2GB per file'''. Gunakan [[Upload File dengan Aplikasi FTP|'''aplikasi FTP''']] apabila user hendak mengupload file tunggal diatas 2GB.''  
*'''<code>Job Options</code>''': Mengganti nama job komputasi
*'''<code>Job Options</code>''': Mengganti nama job komputasi
*'''<code>Open Terminal</code>''': Membuka terminal pada direktori job tersebut, ketika user membutuhkan perintah terminal.
*'''<code>Open Terminal</code>''': Membuka terminal pada direktori job tersebut, ketika user membutuhkan perintah terminal untuk menyiapkan komputasi user.
|-
|-
|'''5A'''
|'''5A'''
|
|'''User melengkapi Submit Script''' yaitu script bash yang berisikan alokasi kebutuhan komputasi (CPU, RAM, walltime, output, dll) dan alur jalannya program komputasi user.
==='''Melengkapi Submit Script Template'''===
 
[[Berkas:Jceditor3.png|al=|nirbing|300x300px]]
[[Berkas:Jceditor3.png|al=|nirbing|300x300px]]


Melalui '''<code>Open Editor</code>''', lengkapi Submit Script dengan mengganti bagian yang di tandai 4 garis miring (////) supaya job dapat berjalan dengan benar.
Melalui '''<code>Open Editor</code>''', lengkapi Submit Script dengan mengganti bagian yang di tandai 4 garis miring (////) supaya job dapat berjalan dengan benar.
*Template menyediakan penjelasan tentang apa dan mana bagian yang harus dilengkapi.
*Template menyediakan penjelasan tentang apa dan mana bagian yang harus dilengkapi.
*'''''Jangan lupa klik <code>Save</code> setiap sekali mengubah script.'''''
*'''''Jangan lupa klik''''' '''<code>Save</code> ''setiap sekali mengubah script.'''''
|-
|-
|'''5B'''
|'''5B'''
|
|'''''Pengenalan dasar Submit Script dan aturan menentukan alokasi kebutuhan komputasi di ALELEON Supercomputer:'''''
==='''Panduan lengkap mengisi Submit Script (Secara Umum):'''===
 
[[Berkas:Wiki-14edit.jpg|al=SLURM Script ALELEON Supercomputer|1000x1000px |link=Submit Script ALELEON Supercomputer ]]
[[Berkas:Wiki-14edit.jpg|al=SLURM Script ALELEON Supercomputer|1000x1000px |link=Submit Script ALELEON Supercomputer ]]
|-
|-
| rowspan="3" |'''6'''
| rowspan="2" |'''6A'''
|
|
==='''Menjalankan Job'''===
Apabila Submit Script sudah diedit sesuai kebutuhan, '''jalankan job dengan klik tombol''' '''<code>Submit</code>'''.
Jalankan job dengan klik tombol '''<code>Submit</code>'''.


[[Berkas:Jcsubmit2.png|al=|nirbing|600x600px]]
[[Berkas:Jcsubmit2.png|al=|nirbing|600x600px]]
Baris 138: Baris 135:
|}
|}
|-
|-
|'''6B'''
|
|
===Stop atau Cancel Job===
Untuk menghentikan job yang tengah berjalan, klik tombol '''<code>Stop</code>.'''
Untuk menghentikan job yang tengah berjalan, klik tombol '''Stop'''.


[[Berkas:Stop.png|nirbing|600x600px]]
[[Berkas:Stop.png|nirbing|600x600px]]
Baris 146: Baris 143:
|'''7A'''
|'''7A'''
|
|
==='''Melihat hasil job yang selesai'''===
Hasil output job yang selesai dapat dilihat pada kolom '''<code>Folder Contents</code>''' atau membuka halaman '''<code>Edit Pages</code>.'''[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''User dapat melihat semua file output yang keluar di kolom'' '''<code>Folder Contents</code>'''''.'']][[Berkas:Jcjoboption3.png|nir|jmpl|''atau dengan membuka menu'' '''<code>Edit Files</code>'''''.'']]
Hasil output job dapat dilihat pada kolom '''<code>Folder Contents</code>''' atau membuka halaman '''<code>Edit Pages</code>.'''[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|User dapat melihat semua file output yang keluar di kolom '''<code>Folder Contents</code>'''.]][[Berkas:Jcjoboption3.png|nir|jmpl|atau dengan membuka menu '''<code>Edit Files</code>'''.]]
|-
|-
|'''7B'''
|'''7B'''
|
|
==='''Submit Ulang Job'''===
User dapat '''menjalankan ulang ruang job yang sama''' (misalkan ketika ada koreksi file input atau Submit Script) dengan mengklik kembali tombol '''<code>Submit</code>'''.
User dapat '''menjalankan ulang ruang job yang sama''' (misalkan ketika ada koreksi file input atau Submit Script) dengan '''mengklik kembali tombol <code>Submit</code>'''.
|}
|}
== '''3B - Menjalankan Sesi Interaktif ALELEON Desktop''' ==
== '''3B - Menjalankan Sesi Interaktif ALELEON Desktop''' ==
Baris 169: Baris 164:


* '''<code>Partition:</code>''' pilih salah satu
* '''<code>Partition:</code>''' pilih salah satu
** Torti: CPU only
** '''<code>Torti</code>''': hanya ada CPU  
** Tilla: ada GPU  
** <code>'''Tilla'''</code>: terdapat tambahan 1x GPU RTX 3090
* '''<code>Number of CPU Cores</code>:''' isi sesuai keinginan user.
* '''<code>Number of CPU Cores</code>:''' isi sesuai keinginan user.
* '''<code>Number of GPUs</code>:''' isi sesuai keinginan user
* '''<code>Number of GPUs</code>:''' isi sesuai keinginan user

Revisi per 15 Februari 2023 05.36

0 - Pendahuluan

Halaman ini menjelaskan penggunaan ALELEON Supercomputer melalui EFIRO: layanan web service dengan grafis (GUI) untuk memvisualisasikan penggunaan ALELEON Supercomputer.

Kompetensi User

EFIRO dapat digunakan untuk user pemula HPC (terutama yang belum bisa atau lancar dalam mengoperasikan terminal Linux). Akan tetapi kami tetap menyarankan untuk perlahan belajar menggunakan terminal Linux.

Sesi Interaktif Services

Selain visualisasi penggunaan HPC pada umumnya (job submission), EFIRO menawarkan fitur sesi interaktif services bagi yang membutuhkan seperti desktop session dengan ALELEON Desktop, Jupyter Notebook / Lab, dll. Lihat subbab 3B dan seterusnya.

1 - Login Web EFIRO

Sebelum login, user harus terhubung ke jaringan VPN ALELEON Supercomputer untuk dapat melakukan login ke ALELEON Supercomputer.

Apabila sudah terhubung ke VPN ALELEON, lakukan tahap berikut:

2 - Halaman Dashboard EFIRO

Setelah login, user masuk ke halaman dashboard EFIRO yang berada di Login Node. Berikut adalah daftar menu beserta penjelasannya (klik Expand atau Kembangkan):

DAFTAR MENU PADA DASHBOARD EFIRO
Efiromenubarbig3.png

Jobs > Job Composer

  • Halaman untuk membuat sesi job submission dan menjalankan komputasi di Compute Node ALELEON Supercomputer.
  • Job Composer berisikan serangkaian template, formulir, dan script untuk menjalankan software komputasi.
  • User dapat melihat semua job yang pernah dijalankan beserta hasilnya pada halaman Job Composer ini.
Halaman Job Composer

Jobs > Active Jobs

  • Menampilkan status dan antrian job komputasi semua user yang sedang berjalan.
  • Terdapat dua opsi yaitu All Jobs untuk melihat antrian semua job dan Your jobs untuk melihat status job user saja.
Halaman Active Jobs

Interactive Apps

  • Menampilkan daftar service software yang bisa diakses secara interaktif (langsung) oleh user.

My Interactive Sessions

  • Menampilkan daftar sesi interaktif user yang sedang aktif dan sudah selesai.

Clusters > Aleleon Shell Access

  • Halaman terminal Linux (shell) ALELEON Supercomputer. Untuk kegiatan yang membutuhkan terminal.
Terminal ALELEON Supercomputer

Files > Home Directory

  • Menampilkan isi direktori HOME user.
  • User dapat melakukan manajemen file seperti upload, download, copy, rename, delete, dll.
Halaman Home Directory dan menu manajemen file

3A - Menjalankan Komputasi ke Compute Node via Job Composer

User menggunakan halaman Jobs > Job Composer untuk menjalankan komputasi di Compute Node yang merupakan bagian server utama menjalankan job komputasi user. Halaman Job Composer memvisualisasikan SLURM, yaitu program manajemen untuk mengatur alokasi dan antrian resources job submission user di Compute Node. Berikut adalah langkah mengggunakan Job Composer:

LANGKAH MENGGUNAKAN JOB COMPOSER UNTUK JOB SUBMISSION
1 Buka menu dashboard EFIRO Jobs > Jobs Composer

2 Pilih New Jobs > From Template

3A Berikutnya user memilih template software komputasi yang diinginkan:
  • Pilih template job yang diinginkan.
  • Isi Job Name sesuai keinginan user, kemudian klik Create New Job.
Isi atau ganti Job Name sesuai keinginan user, kemudian klik Create New Job.
Note:
  • Template job dibuat oleh admin EFISON serta disesuaikan dengan nama software komputasi dan versinya. User dapat meminta bantuan admin untuk pembuatan template melalui email support@efisonlt.com.
3B User dapat melihat daftar lengkap template software komputasi dan tutorial penggunaannya pada ALELEON Supercomputer pada:

Daftar Software Komputasi dan Tutorial Penggunaan

4 Setelah itu user menyiapkan keperluan untuk menjalankan job seperti upload file input, dll:

Jcjoboption.png

Terdapat tiga opsi untuk mempersiapkan job:

  • Edit Files: Manajemen file melakukan upload / download / editing file untuk menjalankan job komputasi user.
    • Fitur upload pada laman Edit Files mempunyai batasan ukuran upload 2GB per file. Gunakan aplikasi FTP apabila user hendak mengupload file tunggal diatas 2GB.
  • Job Options: Mengganti nama job komputasi
  • Open Terminal: Membuka terminal pada direktori job tersebut, ketika user membutuhkan perintah terminal untuk menyiapkan komputasi user.
5A User melengkapi Submit Script yaitu script bash yang berisikan alokasi kebutuhan komputasi (CPU, RAM, walltime, output, dll) dan alur jalannya program komputasi user.

Melalui Open Editor, lengkapi Submit Script dengan mengganti bagian yang di tandai 4 garis miring (////) supaya job dapat berjalan dengan benar.

  • Template menyediakan penjelasan tentang apa dan mana bagian yang harus dilengkapi.
  • Jangan lupa klik Save setiap sekali mengubah script.
5B Pengenalan dasar Submit Script dan aturan menentukan alokasi kebutuhan komputasi di ALELEON Supercomputer:

SLURM Script ALELEON Supercomputer

6A

Apabila Submit Script sudah diedit sesuai kebutuhan, jalankan job dengan klik tombol Submit.

Berikut penjelasan kolom Status, pantau dengan refresh halaman job:
Status Arti
Not Submitted Job belum pernah dijalankan.
Running Job berjalan.
Queue Job mengantri dan belum berjalan.
Completed Job selesai berjalan.
Failed Job berhenti di tengah jalan, Bisa karena di Stop atau Delete oleh user.
6B

Untuk menghentikan job yang tengah berjalan, klik tombol Stop.

Stop.png

7A Hasil output job yang selesai dapat dilihat pada kolom Folder Contents atau membuka halaman Edit Pages.
User dapat melihat semua file output yang keluar di kolom Folder Contents.
atau dengan membuka menu Edit Files.
7B

User dapat menjalankan ulang ruang job yang sama (misalkan ketika ada koreksi file input atau Submit Script) dengan mengklik kembali tombol Submit.

3B - Menjalankan Sesi Interaktif ALELEON Desktop

Aleleondesktop.png

ALELEON Desktop adalah sesi interaktif virtual desktop yang berjalan di Interactive Node AELEON Supercomputer. Berikut adalalah langkah memulai sesi ALELEON Desktop (klik Expand).

LANGKAH MENJALANKAN SESI ALELEON DESKTOP
1 Buka menu dashboard EFIRO Interactive Apps > ALELEON Desktop
2 User mengisi formulir untuk memulai sesi ALELEON Desktop:
  • Partition: pilih salah satu
    • Torti: hanya ada CPU
    • Tilla: terdapat tambahan 1x GPU RTX 3090
  • Number of CPU Cores: isi sesuai keinginan user.
  • Number of GPUs: isi sesuai keinginan user
  • Number of hours: isi sesuai keinginan user

Apabila sudah selesai, klik Launch.

3 Tunggu hingga sesi ALELEON Desktop siap. Apabila status sudah menunjukkan Running, klik Launch Aleleon Desktop.
ALELEON Desktop menunjukkan status Running.
User dapat mengatur kualitas gambar ALELEON Desktop melalui slider Compression dan Image Quality.

3C - Menjalankan Sesi Interaktif Jupyter (Notebook dan Lab)

(coming soon)

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Menggunakan_ALELEON_Supercomputer_via_EFIRO&oldid=992"