TRIAL A6: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (copy tutorial menjalankan komputasi) |
WilsonLisan (bicara | kontrib) (→Pilihan Menjalankan Komputasi: menyesuaikan dengan akun trial) |
||
Baris 157: | Baris 157: | ||
!Berjalan di | !Berjalan di | ||
|- | |- | ||
|'''<big>[Batch job]</big>''' | |'''<big>[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Batch_Job Batch job]]</big>''' | ||
*Menjalankan script Python siap jalan yang tidak membutuhkan interaksi user. | *Menjalankan script Python siap jalan yang tidak membutuhkan interaksi user. | ||
**[[Berkas:GMB warning wololo.png|nirbing|50x50px]]Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''. | **[[Berkas:GMB warning wololo.png|nirbing|50x50px]]Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''. | ||
Baris 171: | Baris 171: | ||
*Partisi ampere [[Berkas:GMB GPU icon.png|nirbing|70x70px]] | *Partisi ampere [[Berkas:GMB GPU icon.png|nirbing|70x70px]] | ||
|- | |- | ||
|'''<big>[Sesi Jupyter]</big>''' | |'''<big>[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Sesi_Jupyter Sesi Jupyter]]</big>''' | ||
*Menjalankan sesi interaktif Jupyter Lab atau Notebook. | *Menjalankan sesi interaktif Jupyter Lab atau Notebook. | ||
*Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh: | *Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh: | ||
Baris 199: | Baris 199: | ||
!<big><nowiki>---| 1 |---</nowiki></big> | !<big><nowiki>---| 1 |---</nowiki></big> | ||
|- | |- | ||
|'''[[https://wiki.efisonlt.com/wiki/ | |'''[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Mengaktifkan_Conda_Env_dan_Instalasi_Package Aktifkan conda env]]''' yang akan digunakan. | ||
|- | |- | ||
!<big><nowiki>---| 2 |---</nowiki></big> | !<big><nowiki>---| 2 |---</nowiki></big> | ||
Baris 295: | Baris 295: | ||
*''User EFIRO klik app '''<code>Aleleon Shell Access</code>''''' | *''User EFIRO klik app '''<code>Aleleon Shell Access</code>''''' | ||
*''atau menu '''<code>Apps > Aleleon Shell Access</code>''''' | *''atau menu '''<code>Apps > Aleleon Shell Access</code>''''' | ||
|- | |- | ||
!<big><nowiki>---| 1 |---</nowiki></big> | !<big><nowiki>---| 1 |---</nowiki></big> | ||
Baris 318: | Baris 308: | ||
<small>(env)</small>$ '''conda deactivate''' | <small>(env)</small>$ '''conda deactivate''' | ||
2 - Menonaktifkan modul | 2 - Menonaktifkan modul Anaconda: | ||
$ '''ml unload | $ '''ml unload Anaconda3''' | ||
<small>Apabila ada pesan ini, abaikan: | <small>Apabila ada pesan ini, abaikan: | ||
'''''the module ... cannot be unloaded because it was not loaded'''''</small> | |||
|- | |- | ||
!<big><nowiki>---| | !<big><nowiki>---| 2 |---</nowiki></big> | ||
|- | |- | ||
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi: | |Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi: | ||
Baris 340: | Baris 330: | ||
!- Template submit script Conda Environment versi CPU - | !- Template submit script Conda Environment versi CPU - | ||
[[Berkas:GMB CPU icon.png|nirbing|80x80px]] | [[Berkas:GMB CPU icon.png|nirbing|80x80px]] | ||
|- | |||
|'''Note:''' | |||
* '''Perhatikan akun uji coba punya limit alokasi komputasi maksimal:''' | |||
** CPU 16 core thread. | |||
** RAM 64GB. | |||
** Walltime (waktu limit komputasi) 24 jam. | |||
* Apabila menggunakan conda env selain '''<nowiki/>'tensor'''': | |||
** Ganti isi variabel <code>'''CONDA_NAME'''</code> dengan conda env yang akan dipakai. | |||
|- | |- | ||
|<syntaxhighlight lang="bash" line="1"> | |<syntaxhighlight lang="bash" line="1"> | ||
Baris 346: | Baris 344: | ||
# ----------------------------------------------------- | # ----------------------------------------------------- | ||
# Template SLURM Submit Script | # Template SLURM Submit Script | ||
# Python dengan Conda Environment (CPU) | # Python dengan Conda Environment (CPU) | ||
# TRIAL UST CODE: [A]/6 | |||
# | # | ||
# NOTES: | # NOTES: | ||
Baris 359: | Baris 358: | ||
# ----------------------------------------------------- | # ----------------------------------------------------- | ||
# Alokasi jumlah core thread CPU | # Alokasi jumlah core thread CPU, range 2 - 16 | ||
#SBATCH --ntasks=//// | #SBATCH --ntasks=//// | ||
# Alokasi jumlah memori RAM (satuan GB) | # Alokasi jumlah memori RAM (satuan GB), range 1 - 64 | ||
#SBATCH --mem=////GB | #SBATCH --mem=////GB | ||
# Alokasi limit waktu menjalankan job | # Alokasi limit waktu menjalankan job | ||
# Format HH:MM:SS atau D-HH:MM:SS | # Format HH:MM:SS atau D-HH:MM:SS, maks 24:00:00 | ||
#SBATCH --time=//// | #SBATCH --time=//// | ||
Baris 376: | Baris 375: | ||
# Input nama modul package manager yang digunakan untuk membuat | # Input nama modul package manager yang digunakan untuk membuat | ||
# conda env user. | # conda env user. | ||
PM="Anaconda3/2024.02-1" | |||
# Nama conda environment yang digunakan | # Nama conda environment yang digunakan | ||
CONDA_NAME=" | CONDA_NAME="tensor" | ||
# ---------------------------------------------------- | # ---------------------------------------------------- | ||
Baris 395: | Baris 392: | ||
# Tuliskan perintah menjalankan komputasi Python user | # Tuliskan perintah menjalankan komputasi Python user | ||
# contoh -> python3 | # contoh -> python3 nama-file-python | ||
//// | //// | ||
</syntaxhighlight> | </syntaxhighlight> | ||
Baris 405: | Baris 402: | ||
[[Berkas:GMB GPU icon.png|nirbing|100x100px]] | [[Berkas:GMB GPU icon.png|nirbing|100x100px]] | ||
|- | |- | ||
|[[Berkas:GMB warning wololo.png|nirbing|50x50px]]''' | |'''Note:''' | ||
*[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Perhatikan apakah perlu memuat modul CUDA? | |||
*Info detail lihat '''[[https://wiki.efisonlt.com/wiki/ | **Conda env ''''tensor'''<nowiki/>' tidak perlu memuat modul CUDA. | ||
**Info detail lihat '''[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | |||
**'''''Apabila butuh''''', isi nama modul CUDA sebagai berikut: | **'''''Apabila butuh''''', isi nama modul CUDA sebagai berikut: | ||
... | ... | ||
Baris 413: | Baris 411: | ||
'''''module load [Nama-modul-CUDA]''''' | '''''module load [Nama-modul-CUDA]''''' | ||
... | ... | ||
* '''Perhatikan akun uji coba punya limit alokasi komputasi maksimal:''' | |||
** CPU 16 core thread. | |||
** GPU 1 unit. | |||
** RAM 64GB. | |||
** Walltime (waktu limit komputasi) 24 jam. | |||
* Apabila menggunakan conda env selain '''<nowiki/>'tensor'''': | |||
** Ganti isi variabel <code>'''CONDA_NAME'''</code> dengan conda env yang akan dipakai. | |||
|- | |- | ||
|<syntaxhighlight lang="bash" line="1"> | |<syntaxhighlight lang="bash" line="1"> | ||
Baris 419: | Baris 425: | ||
# ----------------------------------------------------- | # ----------------------------------------------------- | ||
# Template SLURM Submit Script | # Template SLURM Submit Script | ||
# Python dengan Conda Environment (GPU) | # Python dengan Conda Environment (GPU) | ||
# TRIAL UST CODE: [A]/6 | |||
# | # | ||
# NOTES: | # NOTES: | ||
Baris 432: | Baris 439: | ||
# ----------------------------------------------------- | # ----------------------------------------------------- | ||
# Partisi | # Partisi GPU untuk batch job | ||
#SBATCH --partition=ampere | #SBATCH --partition=ampere | ||
# Alokasi jumlah core thread CPU | # Alokasi jumlah core thread CPU, range 2 - 16 | ||
#SBATCH --ntasks=//// | #SBATCH --ntasks=//// | ||
# | # Mengalokasikan 1 GPU | ||
#SBATCH --gpus= | #SBATCH --gpus=1 | ||
# Alokasi jumlah memori RAM (satuan GB) | # Alokasi jumlah memori RAM (satuan GB), range 1 - 64 | ||
#SBATCH --mem=////GB | #SBATCH --mem=////GB | ||
# Alokasi limit waktu menjalankan job | # Alokasi limit waktu menjalankan job | ||
# Format HH:MM:SS atau D-HH:MM:SS | # Format HH:MM:SS atau D-HH:MM:SS, maks 24:00:00 | ||
#SBATCH --time=//// | #SBATCH --time=//// | ||
Baris 455: | Baris 462: | ||
# Input nama modul package manager yang digunakan untuk membuat | # Input nama modul package manager yang digunakan untuk membuat | ||
# conda env user. | # conda env user. | ||
PM="Anaconda3/2024.02-1" | |||
# Nama conda environment yang digunakan | # Nama conda environment yang digunakan | ||
CONDA_NAME=" | CONDA_NAME="tensor" | ||
# ---------------------------------------------------- | # ---------------------------------------------------- | ||
Baris 468: | Baris 473: | ||
# Memuat modul | # Memuat modul | ||
module load ${PM} | # Modul NVIDIA CUDA telah tersedia di conda env tensor | ||
module load ${PM} | |||
# Mengaktifkan Conda Environment | # Mengaktifkan Conda Environment | ||
Baris 474: | Baris 480: | ||
# Tuliskan perintah menjalankan komputasi Python user | # Tuliskan perintah menjalankan komputasi Python user | ||
# contoh -> python3 | # contoh -> python3 nama-file-python | ||
//// | //// | ||
</syntaxhighlight> | </syntaxhighlight> | ||
Baris 485: | Baris 491: | ||
*''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]''''' | *''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]''''' | ||
|- | |- | ||
!<big><nowiki>---| 3 |---</nowiki></big> | !<big><nowiki>---| 3 |---</nowiki></big> | ||
Baris 510: | Baris 505: | ||
$ '''squeue -ul $USER''' | $ '''squeue -ul $USER''' | ||
*''Apabila tidak ada di squeue artinya job bersangkutan telah berakhir.'' | *''Apabila tidak ada di squeue artinya job bersangkutan telah berakhir.'' | ||
*'' | *''Waktu jalan job tidak bergantung oleh alokasi limit waktu di script.'' | ||
*'' | *''Job berakhir ketika komputasi selesai atau ada error.'' | ||
{| class="wikitable" | {| class="wikitable" | ||
|+Kolom ST atau STATE menunjukkan status jalannya job: | |+Kolom ST atau STATE menunjukkan status jalannya job: | ||
|- | |- | ||
!STATE | ! STATE | ||
!Penjelasan | !Penjelasan | ||
|- | |- | ||
Baris 536: | Baris 531: | ||
|Job ditahan admin, alasan dikabarkan via email | |Job ditahan admin, alasan dikabarkan via email | ||
|} | |} | ||
'''[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Perhatikan akun uji coba punya limit 1 concurrent job:''' | |||
* Hanya 1 job yang bisa berjalan dalam satu waktu. | |||
* Apabila ada job yang jalan, job lain yang disubmit akan mengantri. | |||
|- | |- | ||
!<big><nowiki>---| 5 |---</nowiki></big> | !<big><nowiki>---| 5 |---</nowiki></big> | ||
|- | |||
!Memantau konsumsi Core Hour | |||
|- | |||
|User dapat memantau CCH dan GH dengan menjalankan: | |||
$ '''sausage''' | |||
''Perhatikan sausage update nilai setiap 1 jam'' | |||
Apabila telah ada pembacaan CCH dan GH, artinya: | |||
* ''Akun uji coba ini telah digunakan user sebelumnya.'' | |||
* ''Catat nilai yg terbaca sebagai referensi.'' | |||
|- | |||
!<big><nowiki>---| 6 |---</nowiki></big> | |||
|- | |- | ||
|User dapat memantau file output dengan perintah Unix seperti: | |User dapat memantau file output dengan perintah Unix seperti: | ||
*'''<code>ls</code>''', '''<code>cat</code>''', '''<code>more</code>''', '''<code>tail</code>''', dll | *'''<code>ls</code>''', '''<code>cat</code>''', '''<code>more</code>''', '''<code>tail</code>''', dll | ||
|- | |- | ||
!<big><nowiki>---| | !<big><nowiki>---| 7 |---</nowiki></big> | ||
|- | |- | ||
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | |Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | ||
Baris 556: | Baris 567: | ||
!- Langkah Batch Job di web EFIRO - | !- Langkah Batch Job di web EFIRO - | ||
[[Berkas:Efiro jobcomposer display.png|nirbing|400x400px]] | [[Berkas:Efiro jobcomposer display.png|nirbing|400x400px]] | ||
|- | |- | ||
!<big><nowiki>---| 1 |---</nowiki></big> | !<big><nowiki>---| 1 |---</nowiki></big> | ||
Baris 595: | Baris 594: | ||
!Penjelasan | !Penjelasan | ||
|- | |- | ||
|Conda | |TRIAL [A]/6 - Conda Env (CPU) | ||
|Menjalankan conda env pada CPU | |Menjalankan conda env pada CPU | ||
|- | |- | ||
|Conda | |TRIAL [A]/6 - Conda Env (GPU) | ||
|Menjalankan conda env pada GPU | |Menjalankan conda env pada GPU | ||
|}Kemudian Isi '''Job Name''' dan klik '''<code><big>Create New Job</big></code>''' | |}Kemudian Isi '''Job Name''' dan klik '''<code><big>Create New Job</big></code>''' | ||
Baris 619: | Baris 618: | ||
[[Berkas:JC job menu.png|nirbing|500x500px]] | [[Berkas:JC job menu.png|nirbing|500x500px]] | ||
|- | |- | ||
!<big><nowiki>---| | !<big><nowiki>---| 5 |---</nowiki></big> | ||
|- | |- | ||
|Lengkapi '''Submit Script''' melalui tombol '''<code><big>Open Editor</big></code>''' | |Lengkapi '''Submit Script''' melalui tombol '''<code><big>Open Editor</big></code>''' | ||
Baris 627: | Baris 626: | ||
[[Berkas:Jceditor3.png|al=|nirbing|400x400px]] | [[Berkas:Jceditor3.png|al=|nirbing|400x400px]] | ||
|- | |- | ||
|[[Berkas:GMB warning wololo.png|nirbing|50x50px]] | |'''Note:''' | ||
*Perhatikan apakah perlu memuat modul CUDA? | *'''Perhatikan akun uji coba punya limit alokasi komputasi maksimal:''' | ||
** CPU 16 core thread. | |||
*Info detail lihat '''[[https://wiki.efisonlt.com/wiki/ | ** GPU 1 unit. | ||
** RAM 64GB. | |||
** Walltime (waktu limit komputasi) 24 jam. | |||
* Apabila menggunakan conda env selain '''<nowiki/>'tensor'''': | |||
** Ganti isi variabel <code>'''CONDA_NAME'''</code> dengan conda env yang akan dipakai. | |||
* '''[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Apabila memiliih template GPU:''' | |||
**Perhatikan apakah perlu memuat modul CUDA? | |||
**Conda env ''''tensor'''<nowiki/>' tidak perlu memuat modul CUDA. | |||
**Info detail lihat '''[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | |||
**'''''Apabila butuh''''', isi nama modul CUDA sebagai berikut: | **'''''Apabila butuh''''', isi nama modul CUDA sebagai berikut: | ||
... | ... | ||
Baris 643: | Baris 650: | ||
*''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]''''' | *''Untuk SBATCH notifikasi email status jalannya job lihat '''[[https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM Slurm Jojo]]''''' | ||
|- | |- | ||
!<big><nowiki>---| 6 |---</nowiki></big> | !<big><nowiki>---| 6 |---</nowiki></big> | ||
Baris 686: | Baris 682: | ||
| colspan="2" |[[Berkas:Active Jobs detail.png|nir|jmpl|300x300px|''Buka menu '''Apps >''' '''Active Jobs''' di homepage EFIRO. Ubah opsi All jobs ke '''Your Jobs'''. Klik simbol '''>''' untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman '''[[Daftar Job Reason ALELEON Supercomputer]]''''']] | | colspan="2" |[[Berkas:Active Jobs detail.png|nir|jmpl|300x300px|''Buka menu '''Apps >''' '''Active Jobs''' di homepage EFIRO. Ubah opsi All jobs ke '''Your Jobs'''. Klik simbol '''>''' untuk melihat status job yang pending pada kolom Reason. Arti reason lihat laman '''[[Daftar Job Reason ALELEON Supercomputer]]''''']] | ||
|} | |} | ||
'''[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Perhatikan akun uji coba punya limit 1 concurrent job:''' | |||
* Hanya 1 job yang bisa berjalan dalam satu waktu. | |||
* Apabila ada job yang jalan, job lain yang disubmit akan mengantri. | |||
|- | |- | ||
!<big><nowiki>---| 7 |---</nowiki></big> | !<big><nowiki>---| 7 |---</nowiki></big> | ||
|- | |||
|User dapat memantau CCH dan GH dengan: | |||
# Buka menu '''<code><big>Open Terminal</big></code>''' | |||
# Jalankan perintah: | |||
$ '''sausage''' | |||
''Perhatikan sausage update nilai setiap 1 jam'' | |||
Apabila telah ada pembacaan CCH dan GH, artinya: | |||
* ''Akun uji coba ini telah digunakan user sebelumnya.'' | |||
* ''Catat nilai yg terbaca sebagai referensi.'' | |||
|- | |||
!<big><nowiki>---| 8 |---</nowiki></big> | |||
|- | |- | ||
|Lihat output file komputasi pada kolom '''Folder Contents''' | |Lihat output file komputasi pada kolom '''Folder Contents''' | ||
Baris 693: | Baris 707: | ||
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>''''']] | [[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>''''']] | ||
|- | |- | ||
!<big><nowiki>---| | !<big><nowiki>---| 9 |---</nowiki></big> | ||
|- | |- | ||
|Apabila user ingin menghentikan job yang berjalan, klik '''<code><big>Stop</big></code>''' | |Apabila user ingin menghentikan job yang berjalan, klik '''<code><big>Stop</big></code>''' | ||
|- | |- | ||
!<big><nowiki>---| | !<big><nowiki>---| 10 |---</nowiki></big> | ||
|- | |- | ||
|Untuk menghapus ruang job dan datanya: | |Untuk menghapus ruang job dan datanya: | ||
Baris 757: | Baris 771: | ||
!<code>''Number of CPU thread(s)''</code> | !<code>''Number of CPU thread(s)''</code> | ||
|- | |- | ||
|Alokasi core CPU, range <code><big>'''2 - | |Alokasi core CPU, range <code><big>'''2 - 16'''</big></code> | ||
|- | |- | ||
! | ! | ||
Baris 763: | Baris 777: | ||
!<code>''Amount of memory/RAM (GB)''</code> | !<code>''Amount of memory/RAM (GB)''</code> | ||
|- | |- | ||
|Alokasi RAM dalam satuan GB, range <code><big>'''1 - | |Alokasi RAM dalam satuan GB, range <code><big>'''1 - 55'''</big></code> | ||
|- | |- | ||
! | ! | ||
Baris 775: | Baris 789: | ||
!''<code>Number of hours</code>'' | !''<code>Number of hours</code>'' | ||
|- | |- | ||
|Waktu maksimal sesi Jupyter, range <code><big>'''1 - | |Waktu maksimal sesi Jupyter, range <code><big>'''1 - 24'''</big></code> | ||
|- | |- | ||
![[Berkas:GMB warning wololo.png|nirbing|50x50px]] | ![[Berkas:GMB warning wololo.png|nirbing|50x50px]] Limit komputasi | ||
|- | |- | ||
| | |'''Perhatikan akun uji coba punya limit alokasi komputasi maksimal:''' | ||
* CPU 16 core thread. | |||
* | * GPU 1 unit. | ||
* | * RAM 64GB. | ||
* Walltime (waktu limit komputasi) 24 jam. | |||
* | |||
|- | |- | ||
! | ! | ||
Baris 799: | Baris 810: | ||
!''<code>Choose Anaconda/Mamba version</code>'' | !''<code>Choose Anaconda/Mamba version</code>'' | ||
|- | |- | ||
|Pilih | |Pilih '''<code>Anaconda 3 2024.02-1</code>''' | ||
|- | |- | ||
! | ! | ||
Baris 805: | Baris 816: | ||
!''<code>Conda/Mamba environment directory</code>'' | !''<code>Conda/Mamba environment directory</code>'' | ||
|- | |- | ||
|Isi | |Isi <code>'''tensor'''</code> | ||
* ''Kecuali apabila user menggunakan conda env lain:'' | |||
* ''Isi dengan nama conda env yang dibuat user.'' | |||
|- | |- | ||
! | ! | ||
Baris 815: | Baris 828: | ||
|[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Bagi user yang memilih '''partition tilla''': | |[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Bagi user yang memilih '''partition tilla''': | ||
*Perhatikan apakah perlu memuat modul CUDA? | *Perhatikan apakah perlu memuat modul CUDA? | ||
*Conda env ''''tensor'''<nowiki/>' tidak perlu memuat modul CUDA. | |||
*Info detail lihat '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | *Info detail lihat '''[[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | ||
**'''''Apabila butuh''''', isi form ini dengan nama modul CUDA. | **'''''Apabila butuh''''', isi form ini dengan nama modul CUDA. | ||
Baris 859: | Baris 873: | ||
|- | |- | ||
!<big><nowiki>---| 8 |---</nowiki></big> | !<big><nowiki>---| 8 |---</nowiki></big> | ||
|- | |||
|User dapat memantau CCH dan GH dengan: | |||
# Buka menu '''<code><big>Apps > Aleleon Shell Access</big></code>''' | |||
# Jalankan perintah: | |||
$ '''sausage''' | |||
''Perhatikan sausage update nilai setiap 1 jam'' | |||
Apabila telah ada pembacaan CCH dan GH, artinya: | |||
* ''Akun uji coba ini telah digunakan user sebelumnya.'' | |||
* ''Catat nilai yg terbaca sebagai referensi.'' | |||
|- | |||
!<big><nowiki>---| 9 |---</nowiki></big> | |||
|- | |- | ||
|User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: | |User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: |
Revisi per 17 Mei 2025 04.57
Ini adalah panduan all-in-one untuk masa uji coba user dengan kode [A]/6.
Login ALELEON Supercomputer
- Langkah Login ke ALELEON Supercomputer - | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | ||||||||||
Aktifkan [Koneksi VPN ALELEON Supercomputer] | ||||||||||
---| 2 |--- | ||||||||||
Pilih opsi login:
| ||||||||||
Login SSH terminal | ||||||||||
Lakukan SSH dengan software shell preferensi user:
| ||||||||||
Login Portal Web EFIRO | ||||||||||
Buka portal web EFIRO. Login dengan username dan password user.
| ||||||||||
--- |
Spesifikasi Trial dan Reproduksi Langkah
Masa uji coba ini menjalankan komputasi Python dengan spesifikasi:
- Meggunakan conda environment untuk isolasi site-packages (tempat instalasi package Python).
- Dapat dijalankan secara batch job dan sesi Jupyter ALELEON Supercomputer.
Tim admin menyediakan conda environment siap pakai bernama 'tensor' dengan spesifikasi:
- Dibuat dengan Anaconda 3 2024-02.1 dan Python 3.11
- Package utama TensorFlow 2.19 versi CUDA + CUDA 12.5.
Tutorial ini memberikan info bagaimana tim admin membuat conda env 'tensor' dan menjalankannya di akun masa uji coba:
- Supaya user dapat melakukan hal serupa apabila membutuhkan membuat conda env lain,
- contoh untuk instalasi package yang tidak dapat bersama TensorFlow karena ketidakcocokan depedencies seperti PyTorch.
- Tutorial ini menggunakan basis [Komputasi Python dengan Conda Environment] yang dimodifikasi untuk masa uji coba ini.
Langkah Menjalankan Komputasi
Terdapat tiga langkah utama:
- Buat conda environment untuk menampung instalasi package.
- Instal package Python yang diperlukan di conda env tersebut.
- Menggunakan conda env tersebut untuk menjalankan komputasi.
Spesifikasi
Tutorial ini memandu membuat conda environment dengan site-packages terisolasi di dalamnya.
Keterangan simbol perintah terminal | |
---|---|
$
|
Perintah ketika conda env tidak aktif |
(env)$
|
Perintah ketika conda env aktif |
Membuat Conda Environment
Tutorial ini menggunakan Anaconda 3 terbaru di ALELEON yaitu versi 2024-02.1 dengan environment Python 3.11 karena saat ini (dianggap) cocok untuk instalasi semua jenis package.
- Membuat conda env dengan Anaconda - |
---|
Menggunakan terminal!
|
---| 1 |--- |
Aktifkan modul Anaconda 3 2024.02-1
$ module load Anaconda3/2024.02-1 |
---| 2 |--- |
Buat conda env kosong dengan Python 3.11:
$ conda create -n [nama-conda-env] python=3.11 Contoh pada conda env "tensor": $ conda create -n tensor python=3.11 |
--- |
Mengaktifkan Conda Env dan Instalasi Package
Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:
- Batch job -> supaya script Python berjalan tanpa error missing package.
- Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.
Instalasi ini berjalan di login node sehingga tidak mengkonsumsi Core Hour.
- Mengaktifkan Conda Environment - |
---|
Menggunakan terminal!
|
---| 1 |--- |
Muat atau pastikan modul Anaconda 3 2024.02-1 aktif:
$ module load Anaconda3/2024.02-1 |
---| 2 |--- |
Aktifkan conda env dengan perintah source :
$ source activate [nama-conda-env] contoh pada conda env tensor: $ source activate tensor Apabila lupa dengan nama conda env, cari dengan: $ conda env list |
---| 3 |--- |
Pilih panduan instalasi package yang dibutuhkan |
Lihat laman [Daftar Instalasi Package Python]
|
---| 4 |--- |
Apabila hendak menonaktfkan conda env:
(env)$ conda deactivate |
Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:
Jenis Komputasi | Berjalan di |
---|---|
[Batch job]
|
[Compute node]: |
[Sesi Jupyter]
|
[interactive node]: |
---
Menjalankan Package Python versi GPU?
Perhatikan hal berikut apabila user menginstal package Python versi CUDA dan hendak menggunakan compute / interactive node GPU:
- Package membutuhkan jenis dan versi library NVIDIA sesuai seperti CUDA, cuDNN untuk dapat berjalan di GPU NVIDIA.
- Umumnya (walau tidak semua) package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
- Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:
Mengecek Kelengkapan Package NVIDIA | ||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Menggunakan terminal!
| ||||||||||||||||||||||||||||||||||||
---| 1 |--- | ||||||||||||||||||||||||||||||||||||
[Aktifkan conda env] yang akan digunakan. | ||||||||||||||||||||||||||||||||||||
---| 2 |--- | ||||||||||||||||||||||||||||||||||||
Cek ketersediaan library CUDA di conda env tersebut:
- Apabila instal package dengan pip (env)$ pip list | grep cuda - Apabila instal package dengan conda (env)$ conda list | grep cuda | ||||||||||||||||||||||||||||||||||||
---| 3A |--- | ||||||||||||||||||||||||||||||||||||
Apabila ada output: | ||||||||||||||||||||||||||||||||||||
Conda env siap digunakan.
| ||||||||||||||||||||||||||||||||||||
---| 3B |--- | ||||||||||||||||||||||||||||||||||||
![]() | ||||||||||||||||||||||||||||||||||||
User harus memuat modul CUDA dengan ketentuan:
| ||||||||||||||||||||||||||||||||||||
--- |
---
Batch Job
menjalankan script Python siap jalan yang tidak membutuhkan interaksi user melalui manajemen Slurm di [compute node].
Perhatikan file
.ipynb
harus dikonversi ke file.py
.- Tersedia dua pilihan tampilan yaitu terminal dan web EFIRO. Pilih sesuai keinginan.
(klik expand / kembangkan)
- Langkah Batch Job di Terminal - | ||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Tutorial ini mengasumsikan user familiar dengan terminal Linux | ||||||||||||||
Menggunakan terminal!
| ||||||||||||||
---| 1 |--- | ||||||||||||||
Lakukan persiapan: | ||||||||||||||
Pastikan package lengkap pada conda env yang akan digunakan:
Siapkan file komputasi yang dibutuhkan:
1 - Apabila conda env aktif, keluar: (env)$ conda deactivate 2 - Menonaktifkan modul Anaconda: $ ml unload Anaconda3 Apabila ada pesan ini, abaikan: the module ... cannot be unloaded because it was not loaded | ||||||||||||||
---| 2 |--- | ||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi:
$ nano submit.sh atau vim | ||||||||||||||
Contoh template Submit Script:
| ||||||||||||||
| ||||||||||||||
| ||||||||||||||
---| 3 |--- | ||||||||||||||
Jalankan job dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||
---| 4 |--- | ||||||||||||||
User dapat melihat status jalannya job dengan perintah:
$ squeue -ul $USER
| ||||||||||||||
---| 5 |--- | ||||||||||||||
Memantau konsumsi Core Hour | ||||||||||||||
User dapat memantau CCH dan GH dengan menjalankan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| ||||||||||||||
---| 6 |--- | ||||||||||||||
User dapat memantau file output dengan perintah Unix seperti:
| ||||||||||||||
---| 7 |--- | ||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 | ||||||||||||||
--- |
- Langkah Batch Job di web EFIRO - | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | ||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | ||||||||||||||||
---| 2 |--- | ||||||||||||||||
| ||||||||||||||||
![]() New Job > From Template
| ||||||||||||||||
---| 3 |--- | ||||||||||||||||
Buat ruang job untuk menjalankan komputasi: | ||||||||||||||||
Create New Job
| ||||||||||||||||
---| 4 |--- | ||||||||||||||||
Lakukan persiapan: | ||||||||||||||||
Pastikan package lengkap pada conda env yang akan digunakan:
Siapkan file komputasi yang dibutuhkan di ruang job:
| ||||||||||||||||
---| 5 |--- | ||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor
| ||||||||||||||||
Note:
... module load ${PM} module load [Nama-modul-CUDA] ... | ||||||||||||||||
| ||||||||||||||||
---| 6 |--- | ||||||||||||||||
Jalankan job dengan klik tombol Submit
| ||||||||||||||||
---| 7 |--- | ||||||||||||||||
User dapat memantau CCH dan GH dengan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| ||||||||||||||||
---| 8 |--- | ||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
| ||||||||||||||||
---| 9 |--- | ||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, klik Stop
| ||||||||||||||||
---| 10 |--- | ||||||||||||||||
Untuk menghapus ruang job dan datanya:
| ||||||||||||||||
--- |
Sesi Jupyter
Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
(klik expand / kembangkan)
- Langkah Sesi Jupyter - | |||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | |||||||||||||||||||||||||||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
---| 2 |--- | |||||||||||||||||||||||||||||||||||||||||
Lakukan persiapan sebelum sesi Jupyter: | |||||||||||||||||||||||||||||||||||||||||
Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:
| |||||||||||||||||||||||||||||||||||||||||
---| 3 |--- | |||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||
---| 4 |--- | |||||||||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| |||||||||||||||||||||||||||||||||||||||||
---| 5 |--- | |||||||||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter:
| |||||||||||||||||||||||||||||||||||||||||
---| 6 |--- | |||||||||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter
| |||||||||||||||||||||||||||||||||||||||||
---| 7 |--- | |||||||||||||||||||||||||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | |||||||||||||||||||||||||||||||||||||||||
---| 8 |--- | |||||||||||||||||||||||||||||||||||||||||
User dapat memantau CCH dan GH dengan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| |||||||||||||||||||||||||||||||||||||||||
---| 9 |--- | |||||||||||||||||||||||||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
| |||||||||||||||||||||||||||||||||||||||||
--- |
Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com