ATEST: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (test) |
WilsonLisan (bicara | kontrib) (→Interactive Job Jupyter: test) |
||
Baris 18: | Baris 18: | ||
! colspan="2" |Membuat Conda Environment | ! colspan="2" |Membuat Conda Environment | ||
|- | |- | ||
| rowspan="2" |1 | | rowspan="2" |'''1''' | ||
|Pilih dan aktifkan modul Anaconda yang akan digunakan. | |Pilih dan aktifkan modul Anaconda yang akan digunakan. | ||
<code>$ '''module load ''[nama-modul-anaconda]'''''</code> | <code>$ '''module load ''[nama-modul-anaconda]'''''</code> | ||
Baris 42: | Baris 42: | ||
|} | |} | ||
|- | |- | ||
|2 | |'''2''' | ||
|Buat conda env di direktori HOME dan aktifkan dengan perintah: | |Buat conda env di direktori HOME dan aktifkan dengan perintah: | ||
$ '''conda create --name ''[nama-conda-env]'' pip''' | $ '''conda create --name ''[nama-conda-env]'' pip''' | ||
Baris 53: | Baris 53: | ||
! colspan="2" |Mengaktifkan Conda Environment dan Instalasi Package | ! colspan="2" |Mengaktifkan Conda Environment dan Instalasi Package | ||
|- | |- | ||
|''0'' | |'''''0''''' | ||
|''Aktifkan modul Anaconda yang digunakan untuk membuat conda env user.'' | |''Aktifkan modul Anaconda yang digunakan untuk membuat conda env user.'' | ||
|- | |- | ||
| rowspan="2" |1 | | rowspan="2" |'''1''' | ||
|Aktifkan conda env dengan perintah: | |Aktifkan conda env dengan perintah: | ||
$ '''source activate ''[nama-conda-env]''''' | $ '''source activate ''[nama-conda-env]''''' | ||
Baris 66: | Baris 66: | ||
<code>$ '''conda env list'''</code> | <code>$ '''conda env list'''</code> | ||
|- | |- | ||
|2 | |'''2''' | ||
|Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | |Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | ||
* Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | * Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | ||
* Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | * Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | ||
|- | |- | ||
|3 | |'''3''' | ||
|Untuk menonaktifkan conda env jalankan perintah: | |Untuk menonaktifkan conda env jalankan perintah: | ||
<code>$ '''conda deactivate'''</code> | <code>$ '''conda deactivate'''</code> | ||
Baris 78: | Baris 78: | ||
! colspan="2" |Manajemen Conda Environment | ! colspan="2" |Manajemen Conda Environment | ||
|- | |- | ||
|1 | |'''1''' | ||
|Deactivate conda env untuk melakukan manajemen dibawah ini. | |Deactivate conda env untuk melakukan manajemen dibawah ini. | ||
|- | |- | ||
| rowspan="2" |2 | | rowspan="2" |'''2''' | ||
|Untuk mengubah nama conda env: | |Untuk mengubah nama conda env: | ||
$ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | ||
Baris 110: | Baris 110: | ||
[[Berkas:Sbatch Terminal.png|tepi|400x400px]] | [[Berkas:Sbatch Terminal.png|tepi|400x400px]] | ||
|- | |- | ||
|1 | |'''1''' | ||
|Lakukan [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#1_|[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#1_|_Login_SSH '''Login SSH'''] ke ALELEON Supercomputer. | |Lakukan [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#1_|[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#1_|_Login_SSH '''Login SSH'''] ke ALELEON Supercomputer. | ||
|- | |- | ||
|2 | |'''2''' | ||
|Siapkan conda env dan file komputasi yang dibutuhkan. | |Siapkan conda env dan file komputasi yang dibutuhkan. | ||
* User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | * User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | ||
|- | |- | ||
| rowspan="3" |3 | | rowspan="3" |'''3''' | ||
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | |Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | ||
Baris 321: | Baris 321: | ||
|} | |} | ||
|- | |- | ||
|4 | |'''4''' | ||
|Jalankan job komputasi dengan perintah: | |Jalankan job komputasi dengan perintah: | ||
$ '''sbatch ''[nama-submit-script]''''' | $ '''sbatch ''[nama-submit-script]''''' | ||
Baris 328: | Baris 328: | ||
$ sbatch submit.sh | $ sbatch submit.sh | ||
|- | |- | ||
|5 | |'''5''' | ||
|User dapat melihat status jalannya job dengan perintah: | |User dapat melihat status jalannya job dengan perintah: | ||
'''<code>$ squeue -ul $USER</code>''' | '''<code>$ squeue -ul $USER</code>''' | ||
Baris 357: | Baris 357: | ||
|} | |} | ||
|- | |- | ||
|6 | |'''6''' | ||
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | |Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | ||
'''$ scancel ''[job-ID]''''' | '''$ scancel ''[job-ID]''''' | ||
Baris 401: | Baris 401: | ||
|Upload dan edit file untuk menjalankan komputasi pada '''<code>Edit Files</code>'''[[Berkas:Jcjoboption.png|nir|jmpl|Tombol '''<code>Edit Files</code>''' dan '''<code>Open Terminal</code>''']] | |Upload dan edit file untuk menjalankan komputasi pada '''<code>Edit Files</code>'''[[Berkas:Jcjoboption.png|nir|jmpl|Tombol '''<code>Edit Files</code>''' dan '''<code>Open Terminal</code>''']] | ||
* Untuk upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | * Untuk upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | ||
* Apabila butuh akses terminal | * Apabila butuh akses terminal buka <code>'''Open Terminal'''</code>. | ||
|- | |- | ||
| rowspan="2" |'''5''' | | rowspan="2" |'''5''' | ||
Baris 534: | Baris 534: | ||
[[Berkas:Efirojupyterlab.png|400x400px]] | [[Berkas:Efirojupyterlab.png|400x400px]] | ||
|- | |- | ||
|1 | |'''1''' | ||
|'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|_Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_|_Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | ||
|- | |- | ||
|2 | |'''2''' | ||
|Buka app '''<code>Jupyter</code>''' di Pinned Apps.[[Berkas:Pinnedapps jupyter.png|nir|jmpl|141x141px]] | |Buka app '''<code>Jupyter</code>''' di Pinned Apps.[[Berkas:Pinnedapps jupyter.png|nir|jmpl|141x141px]] | ||
|- | |- | ||
|3 | |'''3''' | ||
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | |Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | ||
Baris 594: | Baris 594: | ||
|- | |- | ||
| | |'''4''' | ||
| | |Klik tombol '''<code>Launch</code>''' untuk memulai sesi Jupyter. | ||
*User akan diarahkan ke halaman '''<code>My Interactive Sessions</code>'''. | |||
*Tunggu hingga sesi Jupyter siap diakses. | |||
[[Berkas:Jupyternotebookqueue.png|nir|jmpl|''Status sesi Jupyter mengantri menunggu alokasi hardware'']] | |||
|- | |||
|'''5''' | |||
|Apabila status '''Running''', klik tombol '''<code>Connect to Jupyter</code>'''. | |||
* Sistem mulai menghitung Core Hour! | |||
[[Berkas:Newjupyter120124.png|nir|jmpl|''Sesi Jupyter siap diakses.'']]Untuk menghentikan sesi, klik tombol '''<code>Cancel</code>'''. | |||
|- | |||
|'''6''' | |||
|Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']] | |||
|- | |||
|'''7''' | |||
|User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: | |||
* Menu '''<code>My Interactive Sessions</code>''' pada homepage EFIRO. | |||
* Kolom '''<code>Active interactive sessions</code>''' pada homepage EFIRO. | |||
|} | |} |
Revisi per 4 April 2024 09.41
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pilih dan aktifkan modul Anaconda yang akan digunakan.
| |||||||||||
| ||||||||||||
2 | Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package | |
---|---|
0 | Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 | Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
| |
2 | Lakukan instalasi package Python yang dibutuhkan dengan pip
|
3 | Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment | |
---|---|
1 | Deactivate conda env untuk melakukan manajemen dibawah ini. |
2 | Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login SSH ke ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | Siapkan conda env dan file komputasi yang dibutuhkan.
| |||||||||||||||||||||||||||||||||||||||||
3 | Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| |||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||
4 | Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | |||||||||||||||||||||||||||||||||||||||||
5 | User dapat melihat status jalannya job dengan perintah:
| |||||||||||||||||||||||||||||||||||||||||
6 | Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login ke web EFIRO ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | Buka app Job Composer di Pinned Apps.Pilih menu New Job -> From Template
| |||||||||||||||||||||||||||||||||||||||||
3 | Pilih template Anaconda Python yang diinginkan.
Job Name kemudian klik Create New Job
| |||||||||||||||||||||||||||||||||||||||||
4 | Upload dan edit file untuk menjalankan komputasi pada Edit Files
| |||||||||||||||||||||||||||||||||||||||||
5 | Lengkapi Submit Script melalui tombol Open Editor .
| |||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||
6 | Jalankan job dengan klik tombol Submit .
| |||||||||||||||||||||||||||||||||||||||||
7 | User dapat melihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | |||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||
2 | Buka app Jupyter di Pinned Apps.
| ||||||||||||||||||
3 | Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||
4 | Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||
5 | Apabila status Running, klik tombol Connect to Jupyter .
Cancel .
| ||||||||||||||||||
6 | Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||
7 | User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|