ATEST: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Job Submission Web EFIRO: test) |
WilsonLisan (bicara | kontrib) (→Job Submission Web EFIRO: test) |
||
Baris 107: | Baris 107: | ||
# Tutorial ini mengasumsikan user familiar dengan terminal Linux. | # Tutorial ini mengasumsikan user familiar dengan terminal Linux. | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Langkah Job Submission Terminal | ||
[[Berkas:Sbatch Terminal.png|tepi|400x400px]] | [[Berkas:Sbatch Terminal.png|tepi|400x400px]] | ||
|- | |- | ||
| | !1 | ||
|Lakukan [https: | |- | ||
| Lakukan [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_Terminal#1_ |[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#1_|_Login_SSH '''Login SSH'''] ke ALELEON Supercomputer. | |||
|- | |||
!2 | |||
|- | |- | ||
|Siapkan conda env dan file komputasi yang dibutuhkan. | |Siapkan conda env dan file komputasi yang dibutuhkan. | ||
* User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | * User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | ||
|- | |- | ||
!3 | |||
|- | |||
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | |Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | ||
* Nama file bebas dengan format .sh, contoh '''<code>submit.sh</code>''' | * Nama file bebas dengan format .sh, contoh '''<code>submit.sh</code>''' | ||
|- | |||
| | |||
|- | |- | ||
|Contoh template Submit Script, ikuti petunjuk NOTES didalamnya. | |Contoh template Submit Script, ikuti petunjuk NOTES didalamnya. | ||
Baris 245: | Baris 250: | ||
Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']]. | Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']]. | ||
|- | |- | ||
| | | | ||
|- | |||
| | |||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!Panduan nilai maksimal alokasi komputasi SBATCH | !Panduan nilai maksimal alokasi komputasi SBATCH | ||
Baris 251: | Baris 258: | ||
|Pada akun perseorangan, SLURM akan menahan job apabila: | |Pada akun perseorangan, SLURM akan menahan job apabila: | ||
* ntasks * time (jam) | * ntasks * time (jam) > sisa CPU Core Hour | ||
* gpus * time (jam) | * gpus * time (jam) > sisa GPU Hour | ||
Cek sisa Core Hour dengan perintah ''' | Cek sisa Core Hour dengan perintah <code>'''sausage'''</code> di terminal. | ||
|- | |- | ||
|'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan | | | ||
|- | |||
!'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan''' | |||
{| class="wikitable" | {| class="wikitable" | ||
!ntasks | !total ntasks | ||
!mem | !total mem | ||
!gpus | !total gpus | ||
!time | !time | ||
|- | |- | ||
Baris 268: | Baris 277: | ||
|72:00:00 | |72:00:00 | ||
|} | |} | ||
User dapat mengajukan permintaan membuka limitasi melalui [https://efisonlt.com/pelaporan-kendala-aleleon-supercomputer/ '''form ini'''] | |- | ||
|User dapat mengajukan permintaan membuka limitasi melalui [https://efisonlt.com/pelaporan-kendala-aleleon-supercomputer/ '''form ini'''] | |||
|- | |||
| | |||
|- | |- | ||
|'''Versi CPU dan GPU:''' | |'''Versi CPU dan GPU:''' | ||
Baris 293: | Baris 305: | ||
|} | |} | ||
<nowiki>*</nowiki>Tambahkan parameter <code>'''#SBATCH --nodelist=epyc001'''</code> | <nowiki>*</nowiki>Tambahkan parameter <code>'''#SBATCH --nodelist=epyc001'''</code> | ||
|- | |||
| | |||
|- | |- | ||
|'''Versi MPI (dengan MPI4PY):''' | |'''Versi MPI (dengan MPI4PY):''' | ||
Baris 312: | Baris 326: | ||
* Info detail buka laman [[MPI ALELEON Supercomputer|'''MPI ALELEON Supercomputer''']]. | * Info detail buka laman [[MPI ALELEON Supercomputer|'''MPI ALELEON Supercomputer''']]. | ||
|} | |} | ||
|- | |- | ||
| | !4 | ||
|- | |||
|Jalankan job komputasi dengan perintah: | |Jalankan job komputasi dengan perintah: | ||
$ '''sbatch ''[nama-submit-script]''''' | $ '''sbatch ''[nama-submit-script]''''' | ||
Baris 321: | Baris 335: | ||
$ sbatch submit.sh | $ sbatch submit.sh | ||
|- | |- | ||
| | !5 | ||
|- | |||
|User dapat melihat status jalannya job dengan perintah: | |User dapat melihat status jalannya job dengan perintah: | ||
'''<code>$ squeue -ul $USER</code>''' | '''<code>$ squeue -ul $USER</code>''' | ||
Baris 349: | Baris 364: | ||
|} | |} | ||
|- | |- | ||
| | | | ||
|- | |||
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | |Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | ||
'''$ scancel ''[job-ID]''''' | '''$ scancel ''[job-ID]''''' | ||
''Job ID ada pada squeue diatas. | ''Job ID ada pada squeue diatas.'' | ||
contoh membatalkan job ID 231: | contoh membatalkan job ID 231: | ||
$ scancel 231 | $ scancel 231 | ||
|} | |} | ||
Baris 418: | Baris 434: | ||
|Pada akun perseorangan, SLURM akan menahan job apabila: | |Pada akun perseorangan, SLURM akan menahan job apabila: | ||
* ntasks * time (jam) | * ntasks * time (jam) > sisa CPU Core Hour | ||
* gpus * time (jam) | * gpus * time (jam) > sisa GPU Hour | ||
Cek sisa Core Hour dengan langkah: | Cek sisa Core Hour dengan langkah: |
Revisi per 5 April 2024 04.31
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pilih dan aktifkan modul Anaconda yang akan digunakan.
| |||||||||||
| ||||||||||||
2 | Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package | |
---|---|
0 | Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 | Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
| |
2 | Lakukan instalasi package Python yang dibutuhkan dengan pip
|
3 | Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment | |
---|---|
1 | Deactivate conda env untuk melakukan manajemen dibawah ini. |
2 | Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | |||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | |||||||||||||||||||||||||||||||||||||||||
Login SSH ke ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | |||||||||||||||||||||||||||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| |||||||||||||||||||||||||||||||||||||||||
3 | |||||||||||||||||||||||||||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| |||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||
4 | |||||||||||||||||||||||||||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | |||||||||||||||||||||||||||||||||||||||||
5 | |||||||||||||||||||||||||||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| |||||||||||||||||||||||||||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | |||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | |||||||||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | |||||||||||||||||||||||||||||||||||||||||
3 | |||||||||||||||||||||||||||||||||||||||||
Kemudian Isi | |||||||||||||||||||||||||||||||||||||||||
4 | |||||||||||||||||||||||||||||||||||||||||
Upload dan edit file untuk menjalankan komputasi pada Edit Files
| |||||||||||||||||||||||||||||||||||||||||
5 | |||||||||||||||||||||||||||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor .
| |||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||
6 | |||||||||||||||||||||||||||||||||||||||||
Jalankan job dengan klik tombol Submit .
| |||||||||||||||||||||||||||||||||||||||||
7 | |||||||||||||||||||||||||||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | |||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||
2 | Buka app Jupyter di Pinned Apps.
| ||||||||||||||||||
3 | Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||
4 | Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||
5 | Apabila status Running, klik tombol Connect to Jupyter .
Cancel .
| ||||||||||||||||||
6 | Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||
7 | User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|