ATEST: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (test) |
WilsonLisan (bicara | kontrib) (→Membuat Conda Environment: test) |
||
Baris 16: | Baris 16: | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Membuat Conda Environment | ||
|- | |||
!1 | |||
|- | |- | ||
|Pilih dan aktifkan modul Anaconda yang akan digunakan. | |Pilih dan aktifkan modul Anaconda yang akan digunakan. | ||
<code>$ '''module load ''[nama-modul-anaconda]'''''</code> | <code>$ '''module load ''[nama-modul-anaconda]'''''</code> | ||
|- | |||
! | |||
|- | |- | ||
| | | | ||
Baris 42: | Baris 45: | ||
|} | |} | ||
|- | |- | ||
| | !2 | ||
|- | |||
|Buat conda env di direktori HOME dan aktifkan dengan perintah: | |Buat conda env di direktori HOME dan aktifkan dengan perintah: | ||
$ '''conda create --name ''[nama-conda-env]'' pip''' | $ '''conda create --name ''[nama-conda-env]'' pip''' | ||
Baris 51: | Baris 55: | ||
|} | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Mengaktifkan Conda Environment dan Instalasi Package | ||
|- | |||
!0 | |||
|- | |- | ||
|''Aktifkan modul Anaconda yang digunakan untuk membuat conda env user.'' | |''Aktifkan modul Anaconda yang digunakan untuk membuat conda env user.'' | ||
|- | |- | ||
| | !1 | ||
|- | |||
|Aktifkan conda env dengan perintah: | |Aktifkan conda env dengan perintah: | ||
$ '''source activate ''[nama-conda-env]''''' | $ '''source activate ''[nama-conda-env]''''' | ||
Baris 62: | Baris 68: | ||
''Contoh mengaktifkan conda env 'skripsi''' | ''Contoh mengaktifkan conda env 'skripsi''' | ||
$ source activate '''skripsi''' | $ source activate '''skripsi''' | ||
|- | |||
!2 | |||
|- | |- | ||
|User dapat melihat daftar conda env yang dibuat sebelumnya dengan: | |User dapat melihat daftar conda env yang dibuat sebelumnya dengan: | ||
<code>$ '''conda env list'''</code> | <code>$ '''conda env list'''</code> | ||
|- | |- | ||
| | !3 | ||
|- | |||
|Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | |Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | ||
* Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | * Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | ||
* Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | * Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | ||
|- | |- | ||
| | !4 | ||
|- | |||
|Untuk menonaktifkan conda env jalankan perintah: | |Untuk menonaktifkan conda env jalankan perintah: | ||
<code>$ '''conda deactivate'''</code> | <code>$ '''conda deactivate'''</code> | ||
|} | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Manajemen Conda Environment | ||
|- | |||
!a | |||
|- | |- | ||
|Deactivate conda env untuk melakukan manajemen dibawah ini. | |Deactivate conda env untuk melakukan manajemen dibawah ini. | ||
|- | |- | ||
| | !b | ||
|- | |||
|Untuk mengubah nama conda env: | |Untuk mengubah nama conda env: | ||
$ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | ||
Baris 87: | Baris 99: | ||
''Contoh mengubah nama env skripsi ke tesis'' | ''Contoh mengubah nama env skripsi ke tesis'' | ||
$ conda rename -n skripsi tesis | $ conda rename -n skripsi tesis | ||
|- | |||
!c | |||
|- | |- | ||
|Untuk menghapus conda env: | |Untuk menghapus conda env: |
Revisi per 5 April 2024 04.36
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer.
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Kegiatan ini dilakukan pada terminal:
- Diakses melalui login SSH, atau
- Pada web EFIRO, buka menu Clusters -> Aleleon Shell Access
Membuat Conda Environment | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||
Pilih dan aktifkan modul Anaconda yang akan digunakan.
| ||||||||||||
| ||||||||||||
2 | ||||||||||||
Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh nama 'skripsi' $ conda create --name skripsi pip |
Mengaktifkan Conda Environment dan Instalasi Package |
---|
0 |
Aktifkan modul Anaconda yang digunakan untuk membuat conda env user. |
1 |
Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh mengaktifkan conda env 'skripsi' $ source activate skripsi |
2 |
User dapat melihat daftar conda env yang dibuat sebelumnya dengan:
|
3 |
Lakukan instalasi package Python yang dibutuhkan dengan pip
|
4 |
Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment |
---|
a |
Deactivate conda env untuk melakukan manajemen dibawah ini. |
b |
Untuk mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
c |
Untuk menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission di terminal
- Job submission di web EFIRO
- Interactive job Jupyter Lab / Notebook
Job Submission Terminal
Ketentuan:
- Menjalankan file Python di terminal dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
- Tutorial ini mengasumsikan user familiar dengan terminal Linux.
Langkah Job Submission Terminal | ||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||||||||
Login SSH ke ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| ||||||||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| ||||||||||||||||||||||||||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
Info script lebih detail lihat Submit Script ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| ||||||||||||||||||||||||||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Ketentuan:
- Menjalankan file Python di web EFIRO Job Composer dengan scheduler SLURM.
- File ipynb harus dikonversi ke file Python.
- Berjalan di Compute Node.
Langkah Job Submission Web EFIRO | ||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||||||||
Kemudian Isi | ||||||||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||||||||
Upload dan edit file untuk menjalankan komputasi pada Edit Files
| ||||||||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor .
| ||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||
6 | ||||||||||||||||||||||||||||||||||||||||
Jalankan job dengan klik tombol Submit .
| ||||||||||||||||||||||||||||||||||||||||
7 | ||||||||||||||||||||||||||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Ketentuan:
- Menjalankan sesi interaktif Jupyter Lab atau Notebook.
- Berjalan di Interactive Node.
Langkah Interactive Job Sesi Jupyter | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||
2 | ||||||||||||||||||
Buka app Jupyter di Pinned Apps.
| ||||||||||||||||||
3 | ||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||
4 | ||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||
5 | ||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter .
Cancel .
| ||||||||||||||||||
6 | ||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||
7 | ||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|