TRIAL A6: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Spesifikasi Trial dan Reproduksi Langkah: membuat sub heading untuk conda env tensor) |
WilsonLisan (bicara | kontrib) (→Sesi Jupyter: memperbesar nama form) |
||
Baris 757: | Baris 757: | ||
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | |Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | ||
{| class="wikitable" | {| class="wikitable" | ||
!<code>''Choose Jupyter version''</code> | !<code>''<big>Choose Jupyter version</big>''</code> | ||
|- | |- | ||
|Pilih sesuai preferensi user, <code>Jupyter Lab</code> atau <code>Notebook</code> | |Pilih sesuai preferensi user, <code>Jupyter Lab</code> atau <code>Notebook</code> | ||
Baris 763: | Baris 763: | ||
! | ! | ||
|- | |- | ||
!''<code>Partition</code>'' | !''<code><big>Partition</big></code>'' | ||
|- | |- | ||
|Pilih sesuai kebutuhan: | |Pilih sesuai kebutuhan: | ||
Baris 771: | Baris 771: | ||
! | ! | ||
|- | |- | ||
!<code>''Number of CPU thread(s)''</code> | !<code>''<big>Number of CPU thread(s)</big>''</code> | ||
|- | |- | ||
|Alokasi core CPU, range <code><big>'''2 - 16'''</big></code> | |Alokasi core CPU, range <code><big>'''2 - 16'''</big></code> | ||
Baris 777: | Baris 777: | ||
! | ! | ||
|- | |- | ||
!<code>''Amount of memory/RAM (GB)''</code> | !<code>''<big>Amount of memory/RAM (GB)</big>''</code> | ||
|- | |- | ||
|Alokasi RAM dalam satuan GB, range <code><big>'''1 - 55'''</big></code> | |Alokasi RAM dalam satuan GB, range <code><big>'''1 - 55'''</big></code> | ||
Baris 783: | Baris 783: | ||
! | ! | ||
|- | |- | ||
!''<code>Number of GPUs</code> (apabila pilih partition tilla)'' | !''<code><big>Number of GPUs</big></code> (apabila pilih partition tilla)'' | ||
|- | |- | ||
|Jumlah GPU, isi angka <code><big>'''1'''</big></code> | |Jumlah GPU, isi angka <code><big>'''1'''</big></code> | ||
Baris 789: | Baris 789: | ||
! | ! | ||
|- | |- | ||
!''<code>Number of hours</code>'' | !''<code><big>Number of hours</big></code>'' | ||
|- | |- | ||
|Waktu maksimal sesi Jupyter, range <code><big>'''1 - 24'''</big></code> | |Waktu maksimal sesi Jupyter, range <code><big>'''1 - 24'''</big></code> | ||
Baris 804: | Baris 804: | ||
! | ! | ||
|- | |- | ||
!''<code>Choose how to launch Jupyter</code>'' | !''<code><big>Choose how to launch Jupyter</big></code>'' | ||
|- | |- | ||
|Pilih <code>'''Anaconda/Mamba'''</code> | |Pilih <code>'''Anaconda/Mamba'''</code> | ||
Baris 810: | Baris 810: | ||
! | ! | ||
|- | |- | ||
!''<code>Choose Anaconda/Mamba version</code>'' | !''<code><big>Choose Anaconda/Mamba version</big></code>'' | ||
|- | |- | ||
|Pilih '''<code>Anaconda 3 2024.02-1</code>''' | |Pilih '''<code>Anaconda 3 2024.02-1</code>''' | ||
Baris 816: | Baris 816: | ||
! | ! | ||
|- | |- | ||
!''<code>Conda/Mamba environment directory</code>'' | !''<code><big>Conda/Mamba environment directory</big></code>'' | ||
|- | |- | ||
|Isi <code>'''tensor'''</code> | |Isi <code>'''tensor'''</code> | ||
Baris 824: | Baris 824: | ||
! | ! | ||
|- | |- | ||
!''<code>Software Modules</code>'' | !''<code><big>Software Modules</big></code>'' | ||
|- | |- | ||
|Memuat modul software diluar conda env user , ''isi apabila ada''. | |Memuat modul software diluar conda env user , ''isi apabila ada''. | ||
Baris 832: | Baris 832: | ||
*Conda env ''''tensor'''<nowiki/>' tidak perlu memuat modul CUDA. | *Conda env ''''tensor'''<nowiki/>' tidak perlu memuat modul CUDA. | ||
*Info detail lihat '''[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | *Info detail lihat '''[[https://wiki.efisonlt.com/wiki/TRIAL_A6#Menjalankan_Package_Python_versi_GPU? Menjalankan Package Python Versi GPU?]]''' | ||
*'''''Apabila butuh''''', isi form ini dengan nama modul CUDA. | |||
|- | |- | ||
! | ! | ||
|- | |- | ||
!''<code>Environment setup</code>'' | !''<code><big>Environment setup</big></code>'' | ||
|- | |- | ||
|Memuat environment variable, ''isi apabila ada''. | |Memuat environment variable, ''isi apabila ada''. | ||
Baris 842: | Baris 842: | ||
! | ! | ||
|- | |- | ||
!''<code>Additional Jupyter arguments</code>'' | !''<code><big>Additional Jupyter arguments</big></code>'' | ||
|- | |- | ||
|Memuat argumen tambahan Jupyter, ''isi apabila ada''. | |Memuat argumen tambahan Jupyter, ''isi apabila ada''. | ||
Baris 848: | Baris 848: | ||
! | ! | ||
|- | |- | ||
!''<code>Email address</code>'' | !''<code><big>Email address</big></code>'' | ||
|- | |- | ||
|Notifikasi email untuk status mulai dan selesainya Jupyter. | |Notifikasi email untuk status mulai dan selesainya Jupyter. |
Revisi per 17 Mei 2025 10.32
Ini adalah panduan all-in-one untuk masa uji coba user dengan kode [A]/6.
Login ALELEON Supercomputer
- Langkah Login ke ALELEON Supercomputer - | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | ||||||||||
Aktifkan [Koneksi VPN ALELEON Supercomputer] | ||||||||||
---| 2 |--- | ||||||||||
Pilih opsi login:
| ||||||||||
Login SSH terminal | ||||||||||
Lakukan SSH dengan software shell preferensi user:
| ||||||||||
Login Portal Web EFIRO | ||||||||||
Buka portal web EFIRO. Login dengan username dan password user.
| ||||||||||
--- |
Spesifikasi Trial dan Reproduksi Langkah
Masa uji coba ini menjalankan komputasi Python dengan spesifikasi:
- Meggunakan conda environment untuk menampung instalasi package Python dan isolasi site-packages (tempat instalasi package Python).
- Dapat dijalankan secara batch job dan sesi Jupyter ALELEON Supercomputer.
---
Conda Environment 'tensor'
Tim admin menyediakan conda environment siap pakai pada akun uji coba bernama 'tensor' dengan spesifikasi:
- Dibuat dengan Anaconda 3 2024-02.1 dan Python 3.11
- Package utama TensorFlow 2.19 versi CUDA + CUDA 12.5.
Tutorial ini memberikan info bagaimana tim admin membuat conda env 'tensor' dan menjalankannya di akun masa uji coba:
- Supaya user dapat melakukan hal serupa apabila membutuhkan membuat conda env lain,
- contoh untuk instalasi package yang tidak dapat bersama TensorFlow karena ketidakcocokan depedencies seperti PyTorch.
- Tutorial ini menggunakan basis [Komputasi Python dengan Conda Environment] yang dimodifikasi untuk masa uji coba ini.
Langkah Menjalankan Komputasi
Terdapat tiga langkah utama:
- Buat conda environment untuk menampung instalasi package.
- Instal package Python yang diperlukan di conda env tersebut.
- Menggunakan conda env tersebut untuk menjalankan komputasi.
Spesifikasi
Tutorial ini memandu membuat conda environment dengan site-packages terisolasi di dalamnya.
Keterangan simbol perintah terminal | |
---|---|
$
|
Perintah ketika conda env tidak aktif |
(env)$
|
Perintah ketika conda env aktif |
Membuat Conda Environment
Tutorial ini menggunakan Anaconda 3 terbaru di ALELEON yaitu versi 2024-02.1 dengan environment Python 3.11 karena saat ini (dianggap) cocok untuk instalasi semua jenis package.
- Membuat conda env dengan Anaconda - |
---|
Menggunakan terminal!
|
---| 1 |--- |
Aktifkan modul Anaconda 3 2024.02-1
$ module load Anaconda3/2024.02-1 |
---| 2 |--- |
Buat conda env kosong dengan Python 3.11:
$ conda create -n [nama-conda-env] python=3.11 Contoh pada conda env "tensor": $ conda create -n tensor python=3.11 |
--- |
Mengaktifkan Conda Env dan Instalasi Package
Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:
- Batch job -> supaya script Python berjalan tanpa error missing package.
- Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.
Instalasi ini berjalan di login node sehingga tidak mengkonsumsi Core Hour.
- Mengaktifkan Conda Environment - |
---|
Menggunakan terminal!
|
---| 1 |--- |
Muat atau pastikan modul Anaconda 3 2024.02-1 aktif:
$ module load Anaconda3/2024.02-1 |
---| 2 |--- |
Aktifkan conda env dengan perintah source :
$ source activate [nama-conda-env] contoh pada conda env tensor: $ source activate tensor Apabila lupa dengan nama conda env, cari dengan: $ conda env list |
---| 3 |--- |
Pilih panduan instalasi package yang dibutuhkan |
Lihat laman [Daftar Instalasi Package Python]
|
---| 4 |--- |
Apabila hendak menonaktfkan conda env:
(env)$ conda deactivate |
Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:
Jenis Komputasi | Berjalan di |
---|---|
[Batch job]
|
[Compute node]: |
[Sesi Jupyter]
|
[interactive node]: |
---
Menjalankan Package Python versi GPU?
Perhatikan hal berikut apabila user menginstal package Python versi CUDA dan hendak menggunakan compute / interactive node GPU:
- Package membutuhkan jenis dan versi library NVIDIA sesuai seperti CUDA, cuDNN untuk dapat berjalan di GPU NVIDIA.
- Umumnya (walau tidak semua) package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
- Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:
Mengecek Kelengkapan Package NVIDIA | ||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Menggunakan terminal!
| ||||||||||||||||||||||||||||||||||||
---| 1 |--- | ||||||||||||||||||||||||||||||||||||
[Aktifkan conda env] yang akan digunakan. | ||||||||||||||||||||||||||||||||||||
---| 2 |--- | ||||||||||||||||||||||||||||||||||||
Cek ketersediaan library CUDA di conda env tersebut:
- Apabila instal package dengan pip (env)$ pip list | grep cuda - Apabila instal package dengan conda (env)$ conda list | grep cuda | ||||||||||||||||||||||||||||||||||||
---| 3A |--- | ||||||||||||||||||||||||||||||||||||
Apabila ada output: | ||||||||||||||||||||||||||||||||||||
Conda env siap digunakan.
| ||||||||||||||||||||||||||||||||||||
---| 3B |--- | ||||||||||||||||||||||||||||||||||||
![]() | ||||||||||||||||||||||||||||||||||||
User harus memuat modul CUDA dengan ketentuan:
| ||||||||||||||||||||||||||||||||||||
--- |
---
Batch Job
menjalankan script Python siap jalan yang tidak membutuhkan interaksi user melalui manajemen Slurm di [compute node].
Perhatikan file
.ipynb
harus dikonversi ke file.py
.- Tersedia dua pilihan tampilan yaitu terminal dan web EFIRO. Pilih sesuai keinginan.
(klik expand / kembangkan)
- Langkah Batch Job di Terminal - | ||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Tutorial ini mengasumsikan user familiar dengan terminal Linux | ||||||||||||||
Menggunakan terminal!
| ||||||||||||||
---| 1 |--- | ||||||||||||||
Lakukan persiapan: | ||||||||||||||
Pastikan package lengkap pada conda env yang akan digunakan:
Siapkan file komputasi yang dibutuhkan:
1 - Apabila conda env aktif, keluar: (env)$ conda deactivate 2 - Menonaktifkan modul Anaconda: $ ml unload Anaconda3 Apabila ada pesan ini, abaikan: the module ... cannot be unloaded because it was not loaded | ||||||||||||||
---| 2 |--- | ||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi:
$ nano submit.sh atau vim | ||||||||||||||
Contoh template Submit Script:
| ||||||||||||||
| ||||||||||||||
| ||||||||||||||
---| 3 |--- | ||||||||||||||
Jalankan job dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||
---| 4 |--- | ||||||||||||||
User dapat melihat status jalannya job dengan perintah:
$ squeue -ul $USER
| ||||||||||||||
---| 5 |--- | ||||||||||||||
Memantau konsumsi Core Hour | ||||||||||||||
User dapat memantau CCH dan GH dengan menjalankan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| ||||||||||||||
---| 6 |--- | ||||||||||||||
User dapat memantau file output dengan perintah Unix seperti:
| ||||||||||||||
---| 7 |--- | ||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 | ||||||||||||||
--- |
- Langkah Batch Job di web EFIRO - | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | ||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | ||||||||||||||||
---| 2 |--- | ||||||||||||||||
| ||||||||||||||||
![]() New Job > From Template
| ||||||||||||||||
---| 3 |--- | ||||||||||||||||
Buat ruang job untuk menjalankan komputasi: | ||||||||||||||||
Create New Job
| ||||||||||||||||
---| 4 |--- | ||||||||||||||||
Lakukan persiapan: | ||||||||||||||||
Pastikan package lengkap pada conda env yang akan digunakan:
Siapkan file komputasi yang dibutuhkan di ruang job:
| ||||||||||||||||
---| 5 |--- | ||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor
| ||||||||||||||||
Note:
... module load ${PM} module load [Nama-modul-CUDA] ... | ||||||||||||||||
| ||||||||||||||||
---| 6 |--- | ||||||||||||||||
Jalankan job dengan klik tombol Submit
| ||||||||||||||||
---| 7 |--- | ||||||||||||||||
User dapat memantau CCH dan GH dengan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| ||||||||||||||||
---| 8 |--- | ||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
| ||||||||||||||||
---| 9 |--- | ||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, klik Stop
| ||||||||||||||||
---| 10 |--- | ||||||||||||||||
Untuk menghapus ruang job dan datanya:
| ||||||||||||||||
--- |
Sesi Jupyter
Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
(klik expand / kembangkan)
- Langkah Sesi Jupyter - | |||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
---| 1 |--- | |||||||||||||||||||||||||||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
---| 2 |--- | |||||||||||||||||||||||||||||||||||||||||
Lakukan persiapan sebelum sesi Jupyter: | |||||||||||||||||||||||||||||||||||||||||
Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:
| |||||||||||||||||||||||||||||||||||||||||
---| 3 |--- | |||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||
---| 4 |--- | |||||||||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| |||||||||||||||||||||||||||||||||||||||||
---| 5 |--- | |||||||||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter:
| |||||||||||||||||||||||||||||||||||||||||
---| 6 |--- | |||||||||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter
| |||||||||||||||||||||||||||||||||||||||||
---| 7 |--- | |||||||||||||||||||||||||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | |||||||||||||||||||||||||||||||||||||||||
---| 8 |--- | |||||||||||||||||||||||||||||||||||||||||
User dapat memantau CCH dan GH dengan:
$ sausage Perhatikan sausage update nilai setiap 1 jam Apabila telah ada pembacaan CCH dan GH, artinya:
| |||||||||||||||||||||||||||||||||||||||||
---| 9 |--- | |||||||||||||||||||||||||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
| |||||||||||||||||||||||||||||||||||||||||
--- |
Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com