R: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎Job Submission Web EFIRO: edit jc siapkan file komputasi)
(formatting job submission terminal)
Baris 109: Baris 109:
!
!
|-
|-
|
|Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Contoh template Submit Script, ikuti petunjuk NOTES di dalamnya.
*''<small>Klik expand / kembangkan</small>''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Template R  
!Template R  
Baris 216: Baris 216:
</syntaxhighlight>
</syntaxhighlight>
|}
|}
|-
!
|-
|-
|
|
*''Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].''
*''<small>Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].</small>''
*''Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].''
*''<small>Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].</small>''
|-
|-
!3B
!3B
Baris 243: Baris 241:
|User dapat melihat status jalannya job dengan perintah:
|User dapat melihat status jalannya job dengan perintah:
'''<code>$ squeue -ul $USER</code>'''
'''<code>$ squeue -ul $USER</code>'''
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable"
! colspan="2" |Daftar ST (STATE) menunjukkan status jalannya job:
! colspan="2" |''Kolom ST atau STATE menunjukkan status jalannya job.''
|-
|-
! STATE
! STATE

Revisi per 22 Juli 2024 08.59

R.png

R adalah bahasa interpreter yang didesain untuk mengerjakan komputasi statistika. Pada perkembangannya, bahasa R digunakan untuk pengolahan data di bidang data science. Software R didukung oleh The R Foundation for Statistical Computing.

Modul R

Berikut adalah detail versi R yang tersedia secara global di ALELEON Supercomputer:

Versi Nama modul R Dukungan hardware
CPU GPU OMP

threading

MPI

multi-node

4.3.0 "Already Tomorrow" R/4.3.0-GCC11.3-MKL V - - V melalui RMPI1

Keterangan:

  1. RMPI dapat dicapai dengan pemrograman R dari pihak user menggunakan wrapper Rmpi.

Langkah Menjalankan Komputasi

Terdapat 2 langkah utama:

  1. Memlilih modul R yang akan digunakan dan instalasi library package R apabila dibutuhkan.
  2. Memilih metode menjalankan komputasi -> job submission atau sesi interaktif Jupyter.

Instalasi Library Package R

Instalasi library R pada ALELEON Supercomputer dapat dilakukan dengan dua alternatif cara:

  1. Melayangkan permintaan instalasi package ke admin melalui email support@efisonlt.com; atau
  2. Melakukan instalasi mandiri di Login Node dengan langkah berikut:
Langkah instalasi mandiri Library Package R di Login Node
1
Masuk ke terminal melalui:

Kegiatan ini tidak mengurangi Core Hour user.

2
Aktifkan R dengan memuat modul versi R yang akan digunakan:

$ module load [nama-modul-R]

  • Lihat subbab Modul R di atas.
3
Jalankan R dan lakukan instalasi package dengan format perintah standar: 
$ R 
> install.packages('nama-package-yang-akan-diinstal')

Package akan terinstal di direktori HOME user.

Bagi user yang pertama kali melakukan instalasi package R:
Akan ada prompt untuk mengarahkan instalasi ke personal library, jawab yes. 
Warning in install.packages("benchmarkme") :
  'lib = "/comp/R/4.1.2-GCC10-MKL/lib64/R/library"' is not writable
Would you like to use a personal library instead? (yes/No/cancel) yes

Kemudian R akan meminta izin untuk membuat personal library di HOME user. Jawab yes. 

Would you like to create a personal library
‘~/R/x86_64-pc-linux-gnu-library/4.1’
to install packages into? (yes/No/cancel) yes

Metode Menjalankan Komputasi

User dapat memilih metode menjalankan komputasi sesuai keinginan:

  • Job submission terminal
    • Berjalan di compute node melalui manajemen Slurm.
    • Hanya untuk file R, file ipynb harus diubah ke R.
  • Job submission web EFIRO
    • Berjalan di compute node melalui manajemen Slurm via web EFIRO.
    • Hanya untuk file R, file ipynb harus diubah ke R.
  • Interactive job Jupyter

Job Submission Terminal

Langkah Job Submission Terminal

Sbatch Terminal.png

1
Login SSH ke ALELEON Supercomputer.
2
Siapkan file komputasi dan instalasi package R yang dibutuhkan.
3A
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
  • Nama file bebas dengan format .sh, contoh submit.sh
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
  • Klik expand / kembangkan
Template R 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# R | rev.080124
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH, input, dan module
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama input file R yang dijalankan
INPUT_FILE="////.R"

# Memuat modul software R
# Daftar modul lihat subbab "Modul R" di atas 
module load R////

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Perintah menjakankan R
Rscript ${INPUT_FILE}
Template R versi MPI (RMPI) 
#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script
# R versi MPI (RMPI) | rev.080124
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH, input, dan module
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# Nama input file R yang dijalankan
INPUT_FILE="////.R"

# Memuat modul software R
# Daftar modul lihat subbab "Modul R" di atas 
module load R////

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Memuat modul OpenMPI default
module load OpenMPI

# Perintah menjakankan R
mpirun -np ${SLURM_NTASKS} Rscript ${INPUT_FILE}
3B
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
  • Sisa Core Hour user dan Fair Usage Limit.
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut: 

$ slimit-r
4
Jalankan job komputasi dengan perintah: 
$ sbatch [nama-submit-script]

Contoh:
$ sbatch submit.sh
5
User dapat melihat status jalannya job dengan perintah:

$ squeue -ul $USER

Kolom ST atau STATE menunjukkan status jalannya job.
STATE Penjelasan
R (RUN) Job berjalan
PD (PENDING) Job tertahan, lihat NODELIST(REASON)
CG (COMPLETING) Job selesai dan dalam proses clean-up
CA (CANCELED) Job dibatalkan user
PR (PREEMPETED) Job dibatalkan admin, alasan dikabarkan via email
S (SUSPENDED) Job ditahan admin, alasan dikabarkan via email
Apabila user ingin menghentikan job yang berjalan, jalankan perintah: 
$ scancel [job-ID]

Job ID ada pada squeue diatas.
contoh membatalkan job ID 231:
$ scancel 231
Tips
Apabila program R gagal selesai karena package R yang belum terinstal:
  • File output SBATCH error merekap package R yang belum terinstal.
  • Berdasarkan info tersebut, lakukan instalasi package R.

Job Submission Web EFIRO

Langkah Job Submission Web EFIRO

Efirojobcomposer3.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Job Composer New Pinnedapps jc.png di homepage EFIRO.

Pilih menu New Job -> From Template

Jcnewjobmarked.png

3
Pilih template R yang diinginkan
Nama Template Penjelasan
R 4.3.0 "Already Tomorrow" Menjalankan R versi 4.3.0
RMPI 4.3.0 "Already Tomorrow" Menjalankan R versi 4.3.0 dengan MPI
Kemudian Isi Job Name dan klik Create New Job

Jctemplate-2.png

4
Siapkan file komputasi dan instalasi package R yang dibutuhkan.

Jcjoboption.png

  • Upload file melalui menu Edit Files
  • Instalasi package R di terminal melalui menu Open Terminal.
5A
Lengkapi Submit Script melalui tombol Open Editor.

  • Submit script adalah 'formulir' untuk menjalankan job komputasi.
  • Ikuti petunjuk NOTES didalamnya
  • Klik Save setiap kali mengubah script.
5B
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
  • Sisa Core Hour user dan Fair Usage Limit.
  • Spesifikasi sistem dan software komputasi.

Untuk melihat limit, jalankan perintah berikut pada terminal: 

$ slimit-python
6
Jalankan job dengan klik tombol Submit.

  • Pantau kolom status yang menjelaskan status jalannya job.
  • Apabila ingin membatalkan job yang berjalan, klik Stop.
  • Job completed dapat dijalankan kembali dengan Submit.
Daftar status job:
Status Arti
Not Submitted Job belum pernah dijalankan.
Running Job berjalan.
Queue Job mengantri dan belum berjalan.
Completed Job selesai berjalan.
Failed Job berhenti di tengah jalan, antara error atau di stop user
Untuk melihat alasan queue:
  1. Buka app Active Jobs Pinnedapps activejobs.pngdi homepage EFIRO.
  2. Ubah opsi Your jobs untuk melihat status job user saja. Klik simbol > untuk melihat status job pending pada kolom Reason. Arti reason lihat laman Daftar Reason NODELIST ALELEON Supercomputer.
7
Lihat output file komputasi pada kolom Folder Contents
  • Atau dengan membuka Edit Files
Kolom Folder Contents.
Tips
Apabila program R gagal selesai karena package R yang belum terinstal:
  • File output SBATCH error merekap package R yang belum terinstal.
  • Berdasarkan info tersebut, lakukan instalasi package R.

Interactive Job Jupyter

Langkah Interactive Job Sesi Jupyter

Efirojupyterlab.png

0
Install package IRKernel apabila pertama kali menggunakan Jupyter untuk R
Langkah instalasi package IRkernel R
1
Masuk ke terminal melalui:

Kegiatan ini tidak mengurangi Core Hour user.

2
Aktifkan R dengan memuat modul versi R yang akan digunakan:

$ module load [nama-modul-R]

  • Lihat subbab Modul R di atas.
3
Aktifkan modul Anaconda terbaru:

$ module load Anaconda3

4
Jalankan R dan lakukan instalasi package dengan format perintah standar: 
$ R 
> install.packages('IRkernel')
> IRkernel::installspec()
> q()
5
Buat file R profile di direktori HOME user: 
$ cd
$ touch ~/.Rprofile
$ echo "options(bitmapType='cairo')" >> ~/.Rprofile
1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Jupyter New Pinnedapps jupyter.png di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
  • Choose Jupyter version
    • pilih sesuai preferensi user, Jupyter Lab atau Notebook
  • Partition -> Torti
Alokasi komputasi torti
Number of CPU core(s) 1 - 32
Amount of memory/RAM 1 - 64
Number of GPUs -
Number of hours 1 - 72
Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:
  • Alokasi CPU * hours > sisa CPU Core Hour
  • Alokasi GPU * hours > sisa GPU Hour

Cek sisa Core Hour dengan:

  1. Buka app Pinnedapps terminal.png di homepage EFIRO
  2. Jalankan perintah sausage
  • Choose how to launch Jupyter -> Anaconda
  • Choose Anaconda version -> Pilih versi terbaru
  • Conda environment directory -> Kosongkan
  • Software modules -> Masukkan nama modul R yang digunakan
  • Environment setup -> Kosongkan
  • Additional Jupyter arguments -> Kosongkan
  • Email address
    • Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
    • Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter.
  • User akan diarahkan ke halaman My Interactive Sessions.
  • Tunggu hingga sesi Jupyter siap diakses.
Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter.
  • Sistem mulai menghitung Core Hour!
Sesi Jupyter siap diakses.
Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook R untuk memulai sesi notebook R.
Gunakan Notebook R untuk menjalankan kernel R di Jupyter Notebook
Gunakan Notebook R untuk menjalankan kernel R di Jupyter Lab
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
  • Menu My Interactive Sessions pada homepage EFIRO.
  • Kolom Active interactive sessions pada homepage EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi R, silahkan lapor dengan klik gambar berikut ini.

Wiki-pelaporankendala.jpg

---

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email: 

support@efisonlt.com

Kontributor

EFISON mengucapkan terima kasih kepada para kontributor untuk pengujian R di ALELEON Supercomputer yang kemudian menjadi dasar penulisan tutorial di halaman ini:

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=R&oldid=1659"