ATEST: Perbedaan antara revisi
Dari ALELEON by EFISON
WilsonLisan (bicara | kontrib) (→Job Submission Terminal: test) |
WilsonLisan (bicara | kontrib) (→Job Submission Terminal: test) |
||
Baris 20: | Baris 20: | ||
| rowspan="2" |1 | | rowspan="2" |1 | ||
|Pilih dan aktifkan modul Anaconda yang akan digunakan. | |Pilih dan aktifkan modul Anaconda yang akan digunakan. | ||
<code>''' | <code>$ '''module load ''[nama-modul-anaconda]'''''</code> | ||
|- | |- | ||
| | | | ||
Baris 44: | Baris 44: | ||
|2 | |2 | ||
|Buat conda env di direktori HOME dan aktifkan dengan perintah: | |Buat conda env di direktori HOME dan aktifkan dengan perintah: | ||
''' | $ '''conda create --name ''[nama-conda-env]'' pip''' | ||
''Contoh nama 'skripsi''' | ''Contoh nama 'skripsi''' | ||
Baris 58: | Baris 58: | ||
| rowspan="2" |1 | | rowspan="2" |1 | ||
|Aktifkan conda env dengan perintah: | |Aktifkan conda env dengan perintah: | ||
''' | $ '''source activate ''[nama-conda-env]''''' | ||
''Contoh mengaktifkan conda env 'skripsi''' | ''Contoh mengaktifkan conda env 'skripsi''' | ||
Baris 64: | Baris 64: | ||
|- | |- | ||
|User dapat melihat daftar conda env yang dibuat sebelumnya dengan: | |User dapat melihat daftar conda env yang dibuat sebelumnya dengan: | ||
<code>$ '''conda env list'''</code> | |||
|- | |- | ||
|2 | |2 | ||
Baris 73: | Baris 73: | ||
|3 | |3 | ||
|Untuk menonaktifkan conda env jalankan perintah: | |Untuk menonaktifkan conda env jalankan perintah: | ||
<code>$ '''conda deactivate'''</code> | |||
|} | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
Baris 83: | Baris 83: | ||
| rowspan="2" |2 | | rowspan="2" |2 | ||
|Untuk mengubah nama conda env: | |Untuk mengubah nama conda env: | ||
''' | $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | ||
''Contoh mengubah nama env skripsi ke tesis'' | ''Contoh mengubah nama env skripsi ke tesis'' | ||
Baris 89: | Baris 89: | ||
|- | |- | ||
|Untuk menghapus conda env: | |Untuk menghapus conda env: | ||
<code>$ '''conda remove -n ''<nama-conda-env>'' --all'''</code> | |||
|} | |} | ||
Baris 249: | Baris 249: | ||
!Panduan nilai maksimal alokasi komputasi SBATCH | !Panduan nilai maksimal alokasi komputasi SBATCH | ||
|- | |- | ||
| | |Pada akun perseorangan, SLURM akan menahan job apabila: | ||
* ntasks * time (jam) lebih besar dari sisa CPU Core Hour user | * ntasks * time (jam) lebih besar dari sisa CPU Core Hour user | ||
Baris 317: | Baris 317: | ||
* SLURM otomatis menjalankan job pada multi-node. | * SLURM otomatis menjalankan job pada multi-node. | ||
* | * Mem mengalokasikan memori RAM per-node. | ||
* Info detail buka laman [[MPI ALELEON Supercomputer|'''MPI ALELEON Supercomputer''']]. | * Info detail buka laman [[MPI ALELEON Supercomputer|'''MPI ALELEON Supercomputer''']]. | ||
|} | |} | ||
Baris 323: | Baris 323: | ||
|4 | |4 | ||
|Jalankan job komputasi dengan perintah: | |Jalankan job komputasi dengan perintah: | ||
''' | $ '''sbatch ''[nama-submit-script]''''' | ||
''Contoh:'' | ''Contoh:'' | ||
Baris 331: | Baris 331: | ||
|User dapat melihat status jalannya job dengan perintah: | |User dapat melihat status jalannya job dengan perintah: | ||
'''<code>$ squeue -ul $USER</code>''' | '''<code>$ squeue -ul $USER</code>''' | ||
Berikut daftar ST (STATE) yang menunjukkan status jalannya job: | |||
{| class="wikitable" | |||
|+ | |||
!STATE | |||
!Penjelasan | |||
|- | |||
|R (RUN) | |||
|Job berjalan | |||
|- | |||
|PD (PENDING) | |||
|Job tertahan, lihat [[Daftar Reason NODELIST ALELEON Supercomputer|'''NODELIST(REASON)''']] | |||
|- | |||
|CG (COMPLETING) | |||
|Job selesai dan dalam proses clean-up | |||
|- | |||
|CA (CANCELED) | |||
|Job dibatalkan user | |||
|- | |||
|PR (PREEMPETED) | |||
|Job dibatalkan admin, alasan dikabarkan via email | |||
|- | |||
|S (SUSPENDED) | |||
|Job ditahan admin, alasan dikabarkan via email | |||
|} | |||
|- | |||
|6 | |||
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | |||
'''$ scancel ''[job-ID]''''' | |||
''Job ID ada pada squeue diatas. | |||
contoh membatalkan job ID 231:'' | |||
$ scancel 231 | |||
|} | |} | ||
Revisi per 4 April 2024 07.23
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pilih dan aktifkan modul Anaconda yang akan digunakan.
| |||||||||||
| ||||||||||||
2 | Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package | |
---|---|
0 | Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 | Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
| |
2 | Lakukan instalasi package Python yang dibutuhkan dengan pip
|
3 | Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment | |
---|---|
1 | Deactivate conda env untuk melakukan manajemen dibawah ini. |
2 | Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Login SSH ke ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | Siapkan conda env dan file komputasi yang dibutuhkan.
| |||||||||||||||||||||||||||||||||||||||||
3 | Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| |||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||
4 | Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | |||||||||||||||||||||||||||||||||||||||||
5 | User dapat melihat status jalannya job dengan perintah:
Berikut daftar ST (STATE) yang menunjukkan status jalannya job:
| |||||||||||||||||||||||||||||||||||||||||
6 | Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | |
---|---|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | |
---|---|