Menggunakan ALELEON Supercomputer via Terminal: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎1 - Login SSH: mengubah domain efisonlt ke aleleon)
(→‎Selamat Datang di Login Node: menggantu urutan kegiatan)
 
(38 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:
== '''0 - Pendahuluan''' ==
[[Berkas:Sbatch Terminal.png|nirbing|600x600px]]
Tutorial ini menjabarkan cara klasik menggunakan ALELEON Supercomputer via tampilan terminal.


=== Kompetensi User ===
Halaman ini menjelaskan tutorial menggunakan ALELEON Supercomputer via terminal.
User dapat penggunaan terminal Linux:


* Familiar dengan perintah dasar Linux seperti cd, ls, mkdir, cp, mv, rm, cat, less, wget, dan lainnya.
== '''Standar Kompetensi dan Persetujuan Prefix''' ==
* Familiat dengan shell text editor sesuai referensi penggunaan masing-masing (contoh nano, vim, vi, emacs).
 
# Tutorial ini mengasumsikan user dapat mengoperasikan terminal Linux.
# Simbol '''$''' menandakan perintah terminal, bracket '''[ ]''' menandakan parameter input.
 
$ '''command''' '''''[input-user]'''''
== '''Login SSH''' ==
{| class="wikitable"
!Langkah Login SSH ALELEON Supercomputer
|-
!1
|-
| [[Koneksi VPN ALELEON Supercomputer|'''Aktifkan koneksi jaringan VPN ALELEON Supercomputer''']].
|-
!2
|-
|Gunakan software shell preferensi user.  
 
* Lakukan login ke Login Node dengan kredensial berikut:


=== '''Persetujuan Prefix''' ===
Simbol '''$''' menandakan perintah terminal, sedangkan tanda bracket '''<>''' menandakan parameter input yang ditulis oleh user:
$ command ''<myscript>''
== '''1 - Login SSH''' ==
User melakukan login SSH setelah terhubung dengan koneksi VPN EFISON melalui port standar 22:
{| class="wikitable"
{| class="wikitable"
|+Login SSH standar
! colspan="2" |Kredensial Login Node Utama
!Kondisi user
|-
!Perintah SSH
|'''Username dan password'''
|''Diberikan oleh admin EFISON''
|-
|'''Host untuk user Windows / MacOS'''
|<code>aleleon.hpc</code>
|-
|'''Host untuk user Linux'''
|<code>10.192.50.10</code>
|-
|-
|SSH dari OS Windows / MacOS
|'''Nomor port'''
|<code>$ ssh ''<username>''@aleleon.hpc</code>
|<code>22</code> ''(default)''
|-
|-
|SSH dari OS Linux
| colspan="2" |Contoh login via terminal:
|<code>$ ssh ''<username>''@10.192.50.10</code>
* User Windows & MacOS -> <code>'''$ ssh ''[username]''@aleleon.hpc'''</code>
* User Linux -> <code>'''$ ssh ''[username]''@10.192.50.10'''</code>
|}
|}
Berikut adalah panduan untuk melakukan SSH X11:
|-
!
|-
|Login Node ALELEON Supercomputer mendukung '''SSH X11:'''
{| class="wikitable"
{| class="wikitable"
|+Login SSH X11
!User OS
!Dari OS
!Metode
!Metode
|-
|Windows
|Admin merekomendasi software [https://mobaxterm.mobatek.net/download.html '''MobaXTerm Home Edition''']
|-
|MacOS
|<code>$ ssh '''-Y''' ''[username]''@aleleon.hpc</code>
|-
|-
|Linux
|Linux
|<code>$ ssh -X ''<username>''@10.192.50.10</code>
|<code>$ ssh '''-X''' ''[username]''@10.192.50.10</code>
|}
|-
!
|-
|Berikut kredensial Login Node backup ketika yang utama ''down'':
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Kredensial Login Node Backup 1
|-
|'''Username dan password'''
|''Diberikan oleh admin ALELEON''
|-
|'''Host untuk user Windows / MacOS'''
|<code>aleleon3.hpc</code>
|-
|'''Host untuk user Linux'''
|<code>10.192.50.13</code>
|-
|'''Nomor port'''
|<code>22</code> ''(default)''
|}
{| class="wikitable mw-collapsible mw-collapsed"
! colspan="2" |Kredensial Login Node Backup 2
|-
| colspan="2" |''Tanpa GPU sehingga tidak dapat compiling / install package GPU''
|-
|'''Username dan password'''
|''Diberikan oleh admin ALELEON''
|-
|'''Host untuk user Windows / MacOS'''
|<code>aleleon2.hpc</code>
|-
|-
|Windows
|'''Host untuk user Linux'''
|EFISON merekomendasikan software [https://mobaxterm.mobatek.net/download.html '''MobaXTerm Home Edition''']
|<code>10.192.50.12</code>
|-
|-
|MacOS
|'''Nomor port'''
|<code>$ ssh -Y ''<username>''@aleleon.hpc</code>
|<code>22</code> ''(default)''
|}
|}
|}


== '''2 - Selamat Datang di Login Node''' ==
== '''Selamat Datang di Login Node''' ==
[[Berkas:Login-node-compute-node-1.png|al=|nirbing|600x600px]]
[[Berkas:Login-node-compute-node-1.png|al=|nirbing|700x700px]]


ALELEON Supercomputer mempunyai dua jenis node utama yaitu '''Login Node dan Compute Node'''.   
Login SSH membawa user masuk ke '''Login Node''' selaku front-end sistem'''.'''  User dapat melakukan serangkaian kegiatan berikut pada Login Node.   


* Setelah login, user masuk ke '''Login Node''' yang menjadi '''front-end''' bagi user untuk berinteraksi dengan ALELEON Supercomputer.  Pada Login Node, user dapat melakukan kegiatan manajemen data, download / upload, compiling, menyiapkan job komputasi, dan menjalankan job komputasi (job submission) ke Compute Node.
* '''Compute Node''' berperan sebagai '''back-end''' untuk menjalankan job komputasi semua user.
Dimohon untuk tidak menjalankan komputasi berat di Login Node karena mempunyai spesifikasi performa yang terbatas dan akan mengganggu user lainnya. Admin EFISON berhak memberikan peringatan kepada user atau menghentikan job komputasi user yang memakan semua resources Login Node dalam waktu lama.
== '''3 - Mengakses Software dengan Module Environment''' ==
Pada ALELEON Supercomputer, [[Module Environment|'''user dapat menggunakan software yang tersedia dengan Module Environment''']]. User dapat melihat info lengkap ketersediaan software ALELEON Supercomputer pada [[Katalog Software ALELEON Supercomputer|'''Katalog Software ALELEON Supercomputer''']].
== '''4 - Menjalankan Komputasi ke Compute Node via SLURM sbatch''' ==
[[Berkas:Slurmm.png|al=|600x600px]]
User menjalankan job komputasi melalui '''SLURM''', yaitu program manajemen untuk mengatur alokasi dan antrian resources job submission user pada Compute Node.
---
=== Menyiapkan File Input Komputasi ===
User dapat langsung menjalankan komputasi di direktori HOME masing-masing. User dapat melakukan upload file komputasi ke ALELEON Supercomputer melalui:
* Aplikasi [[Upload File dengan Aplikasi FTP|'''FTP''']] seperti FileZilla atau lainnya.
* Menggunakan [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#2_-_Halaman_Dashboard_EFIRO '''EFIRO Files'''] melalui menu '''<code>Files > Home Directory</code>'''
---
=== Menggunakan SLURM ===
Berikut adalah perintah dasar esensial bagi user dalam  menggunakan SLURM untuk job submission:
{| class="wikitable"
{| class="wikitable"
|'''Menjalankan job komputasi'''
|'''''Keterangan:'''''  
$ '''sbatch''' ''<SLURM-script>''
* Semua kegiatan ini tidak mengurangi Kredit Core Hour user.
* Dimohon untuk tidak menjalankan komputasi selain compiling di Login Node karena mempunyai spesifikasi terbatas dan akan mengganggu user lainnya.


* SLURM Script (atau Submit Script) adalah bash script yang berisikan alokasi resources (CPU, GPU, RAM, walltime, output, dll) dan alur jalannya program komputasi user.
* Admin EFISON berhak memberikan peringatan kepada user atau menghentikan program user yang memakan semua resources Login Node dalam waktu lama.
* Berikut adalah panduan menulis SLURM Script di ALELEON Supercomputer:
** Aturan umum -> [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']]
** Contoh SLURM Script berdasarkan software -> [[Daftar Software Komputasi dan Tutorial Penggunaan|'''Daftar Software Komputasi dan Tutorial Penggunaan''']]
|}
|}
{| class="wikitable"
{| class="wikitable"
|'''Melihat status antrian job'''
!No
$ '''squeue'''
!Kegiatan
 
|-
* Tambahan opsi flag:
** '''-l''': menampilkan squeue dengan info yang lebih lengkap.
** '''-u $USER''': menampilkan squeue untuk job user saja.
|}
{| class="wikitable"
|'''Membatalkan job SLURM yang sedang berjalan dengan nomor job ID.'''
$ '''scancel''' ''<job-ID>''
 
* User hanya bisa membatalkan job yang dijalankan user sendiri.
|}
 
== '''5 - Contoh Menggunakan SLURM''' ==
Contoh user akan menjalankan program bernama 'skripsi''''.'''
{| class="wikitable"
|'''1'''
|'''1'''
|User menyiapkan file untuk menjalankan program 'skripsi'.
|
===Menjalankan Job Komputasi===
*Menjalankan job software komputasi melalui manjemen Slurm.
*Tutorial per software komputasi lihat laman:
**[[Daftar Software Komputasi dan Tutorial Penggunaan|'''Daftar Software Komputasi dan Tutorial Penggunaan''']]
|-
! colspan="2" |
|-
|-
|'''2'''
|'''2'''
|'''User membuat SLURM script yang berisikan alokasi resources dan perintah untuk menjalankan program 'skripsi'.'''
|
* Biasanya SLURM script ditaruh pada satu direktori dengan program yang akan dijalankan.
=== Manajemen File ===
* Penamaan SLURM script bisa bebas dimana pada contoh ini bernama 'slurm-skripsi'.
User dapat melakukan kegiatan manajemen data pada direktori HOME.


$ ls
* Untuk upload / download file gunakan '''[[Upload File dengan Aplikasi FTP|software FTP]]'''
skripsi  '''slurm-skripsi'''
|-
! colspan="2" |
|-
|-
|'''3'''
|'''3'''
|Jalankan SLURM submission script tersebut dengan perintah '''sbatch'''. Perhatikan user mendapatkan nomor ID dari job tersebut.
|
  $ '''sbatch ''slurm-skripsi'''''
=== Melihat Sisa / Penggunaan Core Hour ===
Submitted batch job 231
Untuk akun perseorangan jalankan perintah:
  $ '''sausage'''
Untuk akun institusi ikuti petunjuk khusus dari admin.
|-
|-
| rowspan="2" |'''4'''
! colspan="2" |
|User dapat melihat status jalannya job masing-masing dengan perintah '''squeue -u $USER'''. Keterangan dari kolom ST (STATUS) adalah R (RUNNING), menandakan program kerjaan-skripsi user sedang berjalan di Compute Node.
$ '''squeue -u $USER'''
Mon Mar 22 10:43:22 2021
              JOBID PARTITION    NAME    USER  ST      TIME  NODES NODELIST(REASON)
                231      epyc slurm-sc  olala01  R      2:00      1 epyc001
|-
|-
|Apabila user ingin membatalkan job komputasi yang tengah berjalan via SLURM, gunakan perintah '''scancel''' ''<job-ID>'', contoh:
|'''4'''
$ '''scancel 231'''
|
|-
=== Mengakses Software dan Compiling ===
|'''5'''
 
|Job selesai bila sudah tidak terlihat di daftar squeue. Lihat apakah job menghasilkan output yang diinginkan atau tidak.
* Untuk mengakses software gunakan [[Module Environment|'''Module Environment''']].
$ '''ls'''
* Info untuk compiling lihat laman [[Compiler ALELEON Supercomputer|'''Compiler ALELEON Supercomputer''']].
skripsi  slurm-skripsi  result-231.txt  revisiii.txt
|}
|}


== '''6 - Memonitor Jalannya Job dengan squeue''' ==
== '''Support dan Laporan Kendala Penggunaan''' ==
User dapat memantau status jalannya job atau melihat antrian job dengan perintah squeue. Info esensial untuk user adalah bagian STATE dan NODELIST(REASON).  
Apabila terdapat masalah teknis dalam menggunakan ALELEON Supercomputer, silahkan lapor dengan klik gambar berikut ini.


* STATE (ST) memberikan kondisi jalannya program user.
[[Berkas:Wiki-pelaporankendala.jpg|1000x1000px|link=https://efisonlt.com/aleleonbugreport]]
* NODELIST(REASON) memberikan detail verbose status jalannya program user.


{| class="wikitable"
Apabila butuh support lainnya, hubungi admin melalui email:
|+Daftar STATE yang biasa muncul
'''support@efisonlt.com'''
!STATE
!Kepanjangan
!Penjelasan
|-
|R
|RUN
|Job berjalan
|-
|PD
|PENDING
|Job tertahan, lihat keterangan NODELIST
|-
|CG
|COMPLETING
|Job selesai dan dalam proses clean-up SLURM
|-
|CA
|CANCELED
|Job dibatalkan oleh user
|-
|PR
|PREEMPETED
|Job dibatalkan oleh sys-admin Aleleon, alasan akan dikabarkan melalui email
|-
|S
|SUSPENDED
|Job ditahan oleh sys-admin Aleleon
|}
Pada saat job berjalan (RUNNING) maka NODELIST akan menampilkan info nama node tempat job berjalan. Sementara itu NODELIST akan memberikan alasan verbose pada saat job tidak berjalan. Berikut adalah daftar NODELIST yang bisa terjadi di ALELEON Supercomputer:
{| class="wikitable"
|+Daftar info NODELIST pada job tidak berjalan yang telah dikonfirmasi terjadi
!NODELIST
!Penjelasan
|-
|Resources
Priority
|Job menunggu alokasi resources (CPU, RAM, GPU) yang dipesan oleh SLURM submission script user
|-
|AssocMaxWallDurationPerJobLimit
|Job tidak dapat berjalan karena melewati batas walltime maksimum partisi
|-
|QOSMaxCpuPerUserLimit
|Job melewati batas alokasi CPU user (lihat laman QOS User untuk penjelasan lebih lanjut).
|}
'''User dapat lapor ke admin EFISON apabila menjumpai NODELIST yang tidak terdapat pada daftar diatas ketika job user tidak berjalan.'''

Revisi terkini sejak 28 Juli 2024 03.30

Sbatch Terminal.png

Halaman ini menjelaskan tutorial menggunakan ALELEON Supercomputer via terminal.

Standar Kompetensi dan Persetujuan Prefix

  1. Tutorial ini mengasumsikan user dapat mengoperasikan terminal Linux.
  2. Simbol $ menandakan perintah terminal, bracket [ ] menandakan parameter input.
$ command [input-user]

Login SSH

Langkah Login SSH ALELEON Supercomputer
1
Aktifkan koneksi jaringan VPN ALELEON Supercomputer.
2
Gunakan software shell preferensi user.
  • Lakukan login ke Login Node dengan kredensial berikut:
Kredensial Login Node Utama
Username dan password Diberikan oleh admin EFISON
Host untuk user Windows / MacOS aleleon.hpc
Host untuk user Linux 10.192.50.10
Nomor port 22 (default)
Contoh login via terminal:
  • User Windows & MacOS -> $ ssh [username]@aleleon.hpc
  • User Linux -> $ ssh [username]@10.192.50.10
Login Node ALELEON Supercomputer mendukung SSH X11:
User OS Metode
Windows Admin merekomendasi software MobaXTerm Home Edition
MacOS $ ssh -Y [username]@aleleon.hpc
Linux $ ssh -X [username]@10.192.50.10
Berikut kredensial Login Node backup ketika yang utama down:
Kredensial Login Node Backup 1
Username dan password Diberikan oleh admin ALELEON
Host untuk user Windows / MacOS aleleon3.hpc
Host untuk user Linux 10.192.50.13
Nomor port 22 (default)
Kredensial Login Node Backup 2
Tanpa GPU sehingga tidak dapat compiling / install package GPU
Username dan password Diberikan oleh admin ALELEON
Host untuk user Windows / MacOS aleleon2.hpc
Host untuk user Linux 10.192.50.12
Nomor port 22 (default)

Selamat Datang di Login Node

Login SSH membawa user masuk ke Login Node selaku front-end sistem. User dapat melakukan serangkaian kegiatan berikut pada Login Node.

Keterangan:
  • Semua kegiatan ini tidak mengurangi Kredit Core Hour user.
  • Dimohon untuk tidak menjalankan komputasi selain compiling di Login Node karena mempunyai spesifikasi terbatas dan akan mengganggu user lainnya.
  • Admin EFISON berhak memberikan peringatan kepada user atau menghentikan program user yang memakan semua resources Login Node dalam waktu lama.
No Kegiatan
1

Menjalankan Job Komputasi

2

Manajemen File

User dapat melakukan kegiatan manajemen data pada direktori HOME.

3

Melihat Sisa / Penggunaan Core Hour

Untuk akun perseorangan jalankan perintah: 

$ sausage

Untuk akun institusi ikuti petunjuk khusus dari admin.

4

Mengakses Software dan Compiling

Support dan Laporan Kendala Penggunaan

Apabila terdapat masalah teknis dalam menggunakan ALELEON Supercomputer, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Apabila butuh support lainnya, hubungi admin melalui email: 

support@efisonlt.com
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Menggunakan_ALELEON_Supercomputer_via_Terminal&oldid=1702"