ATEST: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Job Submission Terminal: test) |
WilsonLisan (bicara | kontrib) (test) |
||
Baris 262: | Baris 262: | ||
Cek sisa Core Hour dengan perintah <code>'''sausage'''</code> di terminal. | Cek sisa Core Hour dengan perintah <code>'''sausage'''</code> di terminal. | ||
|- | |- | ||
!'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan''' | !'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan''' | ||
Baris 441: | Baris 439: | ||
# Buka menu <code>'''Open Terminal'''</code> | # Buka menu <code>'''Open Terminal'''</code> | ||
# Jalankan perintah '''<code>sausage</code>''' | # Jalankan perintah '''<code>sausage</code>''' | ||
|- | |- | ||
!'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan''' | !'''Limitasi [[Limitasi Fair Usage ALELEON Supercomputer|fair policy usage]] untuk menjaga kualitas layanan''' | ||
Baris 459: | Baris 455: | ||
|User dapat mengajukan permintaan membuka limitasi melalui [https://efisonlt.com/pelaporan-kendala-aleleon-supercomputer/ '''form ini'''] | |User dapat mengajukan permintaan membuka limitasi melalui [https://efisonlt.com/pelaporan-kendala-aleleon-supercomputer/ '''form ini'''] | ||
|- | |- | ||
! | |||
|- | |- | ||
|'''Versi CPU dan GPU:''' | |'''Versi CPU dan GPU:''' | ||
Baris 485: | Baris 481: | ||
<nowiki>*</nowiki>Tambahkan parameter <code>'''#SBATCH --nodelist=epyc001'''</code> | <nowiki>*</nowiki>Tambahkan parameter <code>'''#SBATCH --nodelist=epyc001'''</code> | ||
|- | |- | ||
! | |||
|- | |- | ||
|'''Versi MPI (dengan MPI4PY):''' | |'''Versi MPI (dengan MPI4PY):''' | ||
Baris 553: | Baris 549: | ||
# Berjalan di Interactive Node. | # Berjalan di Interactive Node. | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Langkah Interactive Job Sesi Jupyter | ||
[[Berkas:Efirojupyterlab.png|400x400px]] | [[Berkas:Efirojupyterlab.png|400x400px]] | ||
|- | |- | ||
| | !1 | ||
|'''[https: | |- | ||
| '''[https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|_Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | |||
|- | |||
!2 | |||
|- | |- | ||
|Buka app '''<code>Jupyter</code>''' di Pinned Apps.[[Berkas:Pinnedapps jupyter.png|nir|jmpl|141x141px]] | |Buka app '''<code>Jupyter</code>''' di Pinned Apps.[[Berkas:Pinnedapps jupyter.png|nir|jmpl|141x141px]] | ||
|- | |- | ||
| | !3 | ||
|- | |||
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | |Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | ||
Baris 568: | Baris 567: | ||
** ''pilih sesuai preferensi user, Jupyter Lab atau Notebook'' | ** ''pilih sesuai preferensi user, Jupyter Lab atau Notebook'' | ||
* '''Partition''' -> ''pilih sesuai kebutuhan:'' | * '''Partition''' -> ''pilih sesuai kebutuhan:'' | ||
** torti -> CPU saja | ** torti -> CPU saja | ||
** tilla -> CPU dan GPU | ** tilla -> CPU dan GPU | ||
Baris 614: | Baris 613: | ||
** ''Notifikasi email untuk status mulai dan selesainya sesi Jupyter.'' | ** ''Notifikasi email untuk status mulai dan selesainya sesi Jupyter.'' | ||
** ''Isi apabila berkenan.'' | ** ''Isi apabila berkenan.'' | ||
|- | |- | ||
| | !4 | ||
|- | |||
|Klik tombol '''<code>Launch</code>''' untuk memulai sesi Jupyter. | |Klik tombol '''<code>Launch</code>''' untuk memulai sesi Jupyter. | ||
*User akan diarahkan ke halaman '''<code>My Interactive Sessions</code>'''. | *User akan diarahkan ke halaman '''<code>My Interactive Sessions</code>'''. | ||
Baris 622: | Baris 621: | ||
[[Berkas:Jupyternotebookqueue.png|nir|jmpl|''Status sesi Jupyter mengantri menunggu alokasi hardware'']] | [[Berkas:Jupyternotebookqueue.png|nir|jmpl|''Status sesi Jupyter mengantri menunggu alokasi hardware'']] | ||
|- | |- | ||
| | !5 | ||
|- | |||
|Apabila status '''Running''', klik tombol '''<code>Connect to Jupyter</code>'''. | |Apabila status '''Running''', klik tombol '''<code>Connect to Jupyter</code>'''. | ||
Baris 629: | Baris 629: | ||
[[Berkas:Newjupyter120124.png|nir|jmpl|''Sesi Jupyter siap diakses.'']]Untuk menghentikan sesi, klik tombol '''<code>Cancel</code>'''. | [[Berkas:Newjupyter120124.png|nir|jmpl|''Sesi Jupyter siap diakses.'']]Untuk menghentikan sesi, klik tombol '''<code>Cancel</code>'''. | ||
|- | |- | ||
| | !6 | ||
|- | |||
|Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']] | |Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']] | ||
|- | |- | ||
| | !7 | ||
|- | |||
|User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: | |User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: | ||
Revisi per 5 April 2024 04.34
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pilih dan aktifkan modul Anaconda yang akan digunakan.
| |||||||||||
| ||||||||||||
2 | Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package | |
---|---|
0 | Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 | Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
| |
2 | Lakukan instalasi package Python yang dibutuhkan dengan pip
|
3 | Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment | |
---|---|
1 | Deactivate conda env untuk melakukan manajemen dibawah ini. |
2 | Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | ||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||||||||
Login SSH ke ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| ||||||||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| ||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| ||||||||||||||||||||||||||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | ||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||||||||
Kemudian Isi | ||||||||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||||||||
Upload dan edit file untuk menjalankan komputasi pada Edit Files
| ||||||||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor .
| ||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||
6 | ||||||||||||||||||||||||||||||||||||||||
Jalankan job dengan klik tombol Submit .
| ||||||||||||||||||||||||||||||||||||||||
7 | ||||||||||||||||||||||||||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||
2 | ||||||||||||||||||
Buka app Jupyter di Pinned Apps.
| ||||||||||||||||||
3 | ||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||
4 | ||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||
5 | ||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter .
Cancel .
| ||||||||||||||||||
6 | ||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||
7 | ||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|