Menggunakan ALELEON Supercomputer via Terminal: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎3 - Menjalankan Komputasi ke Compute Node via SLURM: Overhaul maintenance 01/02/2023 part 2: penyederhanaan tutorial SBATCH SLURM)
(→‎Selamat Datang di Login Node: menggantu urutan kegiatan)
 
(36 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:
== '''0 - Pendahuluan''' ==
[[Berkas:Sbatch Terminal.png|nirbing|600x600px]]
Tutorial ini menjabarkan cara klasik menggunakan ALELEON Supercomputer via tampilan terminal.


=== Kompetensi User ===
Halaman ini menjelaskan tutorial menggunakan ALELEON Supercomputer via terminal.
User dapat penggunaan terminal Linux:


* Familiar dengan perintah dasar Linux seperti cd, ls, mkdir, cp, mv, rm, cat, less, wget, dan lainnya.
== '''Standar Kompetensi dan Persetujuan Prefix''' ==
* Familiat dengan shell text editor sesuai referensi penggunaan masing-masing (contoh nano, vim, vi, emacs).
 
# Tutorial ini mengasumsikan user dapat mengoperasikan terminal Linux.
# Simbol '''$''' menandakan perintah terminal, bracket '''[ ]''' menandakan parameter input.
 
$ '''command''' '''''[input-user]'''''
== '''Login SSH''' ==
{| class="wikitable"
!Langkah Login SSH ALELEON Supercomputer
|-
!1
|-
| [[Koneksi VPN ALELEON Supercomputer|'''Aktifkan koneksi jaringan VPN ALELEON Supercomputer''']].
|-
!2
|-
|Gunakan software shell preferensi user.  
 
* Lakukan login ke Login Node dengan kredensial berikut:


=== '''Persetujuan Prefix''' ===
Simbol '''$''' menandakan perintah terminal, sedangkan tanda bracket '''<>''' menandakan parameter input yang ditulis oleh user:
$ command ''<input-yang-ditulis-user>''
== '''1 - Login SSH''' ==
SIlahkan gunakan software shell sesuai preferensi masing-masing user untuk login SSH (contoh: PuTTY, Windows Terminal / Powershell, MobaXTerm, Terminal Linux, Terminal MacOS, dll). User melakukan login SSH setelah terhubung dengan koneksi VPN EFISON dengan kredensial: 
{| class="wikitable"
{| class="wikitable"
|+Kredensial login SSH
! colspan="2" |Kredensial Login Node Utama
|Username dan password
|-
|''Diberikan admin ALELEON''
|'''Username dan password'''
|''Diberikan oleh admin EFISON''
|-
|-
|Host untuk user Windows / MacOS
|'''Host untuk user Windows / MacOS'''
|<code>aleleon.hpc</code>
|<code>aleleon.hpc</code>
|-
|-
|Host untuk user Linux
|'''Host untuk user Linux'''
|<code>10.192.50.10</code>
|<code>10.192.50.10</code>
|-
|-
|Port
|'''Nomor port'''
|<code>22</code>
|<code>22</code> ''(default)''
|-
| colspan="2" |Contoh login via terminal:
* User Windows & MacOS -> <code>'''$ ssh ''[username]''@aleleon.hpc'''</code>
* User Linux -> <code>'''$ ssh ''[username]''@10.192.50.10'''</code>
|}
|}
{| class="wikitable"
|+Contoh perintah login SSH standar
!Kondisi user
!Perintah SSH
|-
|-
|SSH dari OS Windows / MacOS
!
|<code>$ ssh ''<username>''@aleleon.hpc</code>
|-
|-
|SSH dari OS Linux
|Login Node ALELEON Supercomputer mendukung '''SSH X11:'''
|<code>$ ssh ''<username>''@10.192.50.10</code>
|}
ALELEON Supercomputer juga mendukung SSH X11 untuk tampilan grafis. Berikut adalah panduan untuk melakukan SSH X11:
{| class="wikitable"
{| class="wikitable"
|+Login SSH X11
!User OS
!Dari OS
!Metode
!Metode
|-
|Linux
|<code>$ ssh -X ''<username>''@10.192.50.10</code>
|-
|-
|Windows
|Windows
|EFISON merekomendasikan software [https://mobaxterm.mobatek.net/download.html '''MobaXTerm Home Edition''']
|Admin merekomendasi software [https://mobaxterm.mobatek.net/download.html '''MobaXTerm Home Edition''']
|-
|-
|MacOS
|MacOS
|<code>$ ssh -Y ''<username>''@aleleon.hpc</code>
|<code>$ ssh '''-Y''' ''[username]''@aleleon.hpc</code>
|-
|Linux
|<code>$ ssh '''-X''' ''[username]''@10.192.50.10</code>
|}
|}
 
|-
== '''2A - Selamat Datang di Login Node''' ==
!
[[Berkas:Login-node-compute-node-1.png|al=|nirbing|600x600px]]
|-
 
|Berikut kredensial Login Node backup ketika yang utama ''down'':
Setelah login, user masuk ke '''Login Node''' untuk berinteraksi dengan ALELEON Supercomputer. Pada Login Node, user dapat melakukan kegiatan manajemen data, download / upload, compiling, menyiapkan job komputasi, dan submit job komputasi (''job submission'') yang akan dijalankan oleh Compute Node.
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable"
! colspan="2" |Kredensial Login Node Backup 1
|
|-
* ''Dimohon untuk tidak menjalankan komputasi berat di Login Node karena mempunyai spesifikasi terbatas dan akan mengganggu user lainnya.''  
|'''Username dan password'''
 
|''Diberikan oleh admin ALELEON''
* ''Admin EFISON berhak memberikan peringatan kepada user atau menghentikan job komputasi user yang memakan semua resources Login Node dalam waktu lama.''
|-
|'''Host untuk user Windows / MacOS'''
|<code>aleleon3.hpc</code>
|-
|'''Host untuk user Linux'''
|<code>10.192.50.13</code>
|-
|'''Nomor port'''
|<code>22</code> ''(default)''
|}
|}
Sementara itu '''Compute Node''' berperan untuk menjalankan job komputasi semua user yang disubmit melalui SLURM. Tutorial dijelaskan pada bagian 3.
{| class="wikitable mw-collapsible mw-collapsed"
== '''2B - Mengakses Software di Login Node dengan Module Environment''' ==
! colspan="2" |Kredensial Login Node Backup 2
Apabila user ingin mengakses software yang terinstal di ALELEON Supercomputer pada Login Node (''untuk keperluan selain menjalankan komputasi''), [[Module Environment|'''user dapat menggunakan Module Environment''']].
 
== '''3 - Menjalankan Komputasi ke Compute Node via SLURM''' ==
[[Berkas:Slurmm.png|al=|600x600px]]
 
User menjalankan job komputasi melalui '''SLURM''', yaitu program manajemen untuk menjalankan komputasi user pada Compute Node sekaligus mengatur antrian job semua user.
{| class="wikitable"
|+Langkah menjalankan job komputasi dengan SLURM
|'''1'''
|User menjalankan komputasi pada direktori HOME user. Siapkan file yang dibutuhkan untuk menjalankan komputasi user.
 
* [[Upload File dengan Aplikasi FTP|'''User dapat melakukan upload / download file dengan bantuan aplikasi FTP''']] seperti FileZilla, WinSCP, dan lainnya.
 
''Untuk kerapian data, disarankan untuk menaruh satu job pada satu folder tersendiri.''
$ mkdir <''folder-job-supaya-rapi''>
$ cd <''folder-job-supaya-rapi''>
|-
|-
| rowspan="2" |'''2'''
| colspan="2" |''Tanpa GPU sehingga tidak dapat compiling / install package GPU''
|User membuat '''SLURM Submit Script''' yaitu script bash yang berisikan alokasi kebutuhan komputasi (CPU, RAM, walltime, output, dll) dan alur jalannya program komputasi user.
$ nano <''nama-SLURM-Job-script''>.sh
Contoh membuat script dengan nama "skripsi.sh"
$ nano skripsi.sh
''*gunakan text editor terminal kesukaan masing-masing user atau bisa langsung FTP dari komputer pribadi user.''
|-
|-
|'''Preferensi membuat SLURM Submit Script di ALELEON Supercomputer:'''  
|'''Username dan password'''
* '''[[Submit Script ALELEON Supercomputer|Pengenalan dasar Submit Script dan aturan menentukan alokasi kebutuhan komputasi di ALELEON Supercomputer.]]'''
|''Diberikan oleh admin ALELEON''
* '''[[Daftar Software Komputasi dan Tutorial Penggunaan|Contoh template SLURM Submit Script untuk masing-masing software komputasi.]]'''
|-
|-
|'''3'''
|'''Host untuk user Windows / MacOS'''
|Setelah menulis dan save script, jalankan job submission dengan perintah '''sbatch'''.
|<code>aleleon2.hpc</code>
$ '''sbatch''' <''nama-SLURM-Job-script''>.sh
Contoh menjalankan script skripsi.sh diatas. Perhatikan bahwa user akan mendapatkan job ID.
$ sbatch skripsi.sh
Submitted batch job 231
|-
|-
|'''4A'''
|'''Host untuk user Linux'''
|User dapat melihat status jalannya job dengan perintah squeue plus flag -ul $USER. Apabila tidak ada output artinya tidak ada job user yang berjalan / antri pada waktu itu.
|<code>10.192.50.12</code>
$ '''squeue -ul $USER'''
Apabila ingin melihat status semua job, jalankan perintah squeue -l.
$ squeue -l
Info squeue lebih lengkap dapat dipelajari pada '''subbab 4.'''
|-
|-
|'''4B'''
|'''Nomor port'''
|Apabila user ingin membatalkan job, gunakan perintah scancel berdasarkan job ID.
|<code>22</code> ''(default)''
$ '''scancel''' <''job-ID-submission-user''>
|}
Contoh user membatalman job dengan ID 231.
$ scancel 231
|}
|}


== '''4 - Memonitor Jalannya Job dengan squeue''' ==
== '''Selamat Datang di Login Node''' ==
User dapat memantau status jalannya job atau melihat antrian job dengan perintah squeue. Info esensial untuk user adalah bagian STATE dan NODELIST(REASON).  
[[Berkas:Login-node-compute-node-1.png|al=|nirbing|700x700px]]


* STATE (ST) memberikan kondisi jalannya program user.
Login SSH membawa user masuk ke '''Login Node''' selaku front-end sistem'''.'''  User dapat melakukan serangkaian kegiatan berikut pada Login Node. 
* NODELIST(REASON) memberikan detail verbose status jalannya program user.
 
{| class="wikitable"
|'''''Keterangan:'''''
* Semua kegiatan ini tidak mengurangi Kredit Core Hour user.
* Dimohon untuk tidak menjalankan komputasi selain compiling di Login Node karena mempunyai spesifikasi terbatas dan akan mengganggu user lainnya.


* Admin EFISON berhak memberikan peringatan kepada user atau menghentikan program user yang memakan semua resources Login Node dalam waktu lama.
|}
{| class="wikitable"
{| class="wikitable"
|+Daftar STATE yang biasa muncul
!No
!STATE
!Kegiatan
!Kepanjangan
!Penjelasan
|-
|-
|R
|'''1'''
|RUN
|
|Job berjalan
===Menjalankan Job Komputasi===
*Menjalankan job software komputasi melalui manjemen Slurm.
*Tutorial per software komputasi lihat laman:
**[[Daftar Software Komputasi dan Tutorial Penggunaan|'''Daftar Software Komputasi dan Tutorial Penggunaan''']]
|-
|-
|PD
! colspan="2" |
|PENDING
|Job tertahan, lihat keterangan NODELIST
|-
|-
|CG
|'''2'''
|COMPLETING
|
|Job selesai dan dalam proses clean-up SLURM
=== Manajemen File ===
User dapat melakukan kegiatan manajemen data pada direktori HOME.
 
* Untuk upload / download file gunakan '''[[Upload File dengan Aplikasi FTP|software FTP]]'''
|-
|-
|CA
! colspan="2" |
|CANCELED
|Job dibatalkan oleh user
|-
|-
|PR
|'''3'''
|PREEMPETED
|
|Job dibatalkan oleh sys-admin Aleleon, alasan akan dikabarkan melalui email
=== Melihat Sisa / Penggunaan Core Hour ===
Untuk akun perseorangan jalankan perintah:
$ '''sausage'''
Untuk akun institusi ikuti petunjuk khusus dari admin.
|-
|-
|S
! colspan="2" |
|SUSPENDED
|Job ditahan oleh sys-admin Aleleon
|}
Pada saat job berjalan (RUNNING) maka NODELIST akan menampilkan info nama node tempat job berjalan. Sementara itu NODELIST akan memberikan alasan verbose pada saat job tidak berjalan. Berikut adalah daftar NODELIST yang bisa terjadi di ALELEON Supercomputer:
{| class="wikitable"
|+Daftar info NODELIST pada job tidak berjalan yang telah dikonfirmasi terjadi
!NODELIST
!Penjelasan
|-
|-
|Resources
|'''4'''
Priority
|
|Job menunggu alokasi resources (CPU, RAM, GPU) yang dipesan oleh SLURM submission script user
=== Mengakses Software dan Compiling ===
|-
 
|AssocMaxWallDurationPerJobLimit
* Untuk mengakses software gunakan [[Module Environment|'''Module Environment''']].
|Job tidak dapat berjalan karena melewati batas walltime maksimum partisi
* Info untuk compiling lihat laman [[Compiler ALELEON Supercomputer|'''Compiler ALELEON Supercomputer''']].
|-
|QOSMaxCpuPerUserLimit
|Job melewati batas alokasi CPU user (lihat laman QOS User untuk penjelasan lebih lanjut).
|}
|}
'''User dapat lapor ke admin EFISON apabila menjumpai NODELIST yang tidak terdapat pada daftar diatas ketika job user tidak berjalan.'''
 
== '''Support dan Laporan Kendala Penggunaan''' ==
Apabila terdapat masalah teknis dalam menggunakan ALELEON Supercomputer, silahkan lapor dengan klik gambar berikut ini.
 
[[Berkas:Wiki-pelaporankendala.jpg|1000x1000px|link=https://efisonlt.com/aleleonbugreport]]
 
Apabila butuh support lainnya, hubungi admin melalui email:
'''support@efisonlt.com'''

Revisi terkini sejak 28 Juli 2024 03.30

Sbatch Terminal.png

Halaman ini menjelaskan tutorial menggunakan ALELEON Supercomputer via terminal.

Standar Kompetensi dan Persetujuan Prefix

  1. Tutorial ini mengasumsikan user dapat mengoperasikan terminal Linux.
  2. Simbol $ menandakan perintah terminal, bracket [ ] menandakan parameter input.
$ command [input-user]

Login SSH

Langkah Login SSH ALELEON Supercomputer
1
Aktifkan koneksi jaringan VPN ALELEON Supercomputer.
2
Gunakan software shell preferensi user.
  • Lakukan login ke Login Node dengan kredensial berikut:
Kredensial Login Node Utama
Username dan password Diberikan oleh admin EFISON
Host untuk user Windows / MacOS aleleon.hpc
Host untuk user Linux 10.192.50.10
Nomor port 22 (default)
Contoh login via terminal:
  • User Windows & MacOS -> $ ssh [username]@aleleon.hpc
  • User Linux -> $ ssh [username]@10.192.50.10
Login Node ALELEON Supercomputer mendukung SSH X11:
User OS Metode
Windows Admin merekomendasi software MobaXTerm Home Edition
MacOS $ ssh -Y [username]@aleleon.hpc
Linux $ ssh -X [username]@10.192.50.10
Berikut kredensial Login Node backup ketika yang utama down:
Kredensial Login Node Backup 1
Username dan password Diberikan oleh admin ALELEON
Host untuk user Windows / MacOS aleleon3.hpc
Host untuk user Linux 10.192.50.13
Nomor port 22 (default)
Kredensial Login Node Backup 2
Tanpa GPU sehingga tidak dapat compiling / install package GPU
Username dan password Diberikan oleh admin ALELEON
Host untuk user Windows / MacOS aleleon2.hpc
Host untuk user Linux 10.192.50.12
Nomor port 22 (default)

Selamat Datang di Login Node

Login SSH membawa user masuk ke Login Node selaku front-end sistem. User dapat melakukan serangkaian kegiatan berikut pada Login Node.

Keterangan:
  • Semua kegiatan ini tidak mengurangi Kredit Core Hour user.
  • Dimohon untuk tidak menjalankan komputasi selain compiling di Login Node karena mempunyai spesifikasi terbatas dan akan mengganggu user lainnya.
  • Admin EFISON berhak memberikan peringatan kepada user atau menghentikan program user yang memakan semua resources Login Node dalam waktu lama.
No Kegiatan
1

Menjalankan Job Komputasi

2

Manajemen File

User dapat melakukan kegiatan manajemen data pada direktori HOME.

3

Melihat Sisa / Penggunaan Core Hour

Untuk akun perseorangan jalankan perintah: 

$ sausage

Untuk akun institusi ikuti petunjuk khusus dari admin.

4

Mengakses Software dan Compiling

Support dan Laporan Kendala Penggunaan

Apabila terdapat masalah teknis dalam menggunakan ALELEON Supercomputer, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

Apabila butuh support lainnya, hubungi admin melalui email: 

support@efisonlt.com
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Menggunakan_ALELEON_Supercomputer_via_Terminal&oldid=1702"