Komputasi Python dengan Anaconda: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (test) |
WilsonLisan (bicara | kontrib) (edit jc siapkan file komputasi) |
||
(45 revisi perantara oleh pengguna yang sama tidak ditampilkan) | |||
Baris 1: | Baris 1: | ||
[[Berkas:Pythonanaconda.png|500x500px]] | [[Berkas:Pythonanaconda.png|500x500px]] | ||
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer. '''[https://www.anaconda.com/ Anaconda]''' adalah suite katalog packages Python dan R untuk komputasi ''data science'' dan ''machine learning''. | |||
{| class="wikitable" | |||
!''Laman ini merupakan bagian laman ->'' [[Komputasi Python]] | |||
|} | |||
== '''Langkah Menjalankan Komputasi''' == | == '''Langkah Menjalankan Komputasi''' == | ||
Baris 10: | Baris 15: | ||
== '''Membuat Conda Environment''' == | == '''Membuat Conda Environment''' == | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Membuat Conda Environment dan Instalasi Package Python | ||
|- | |||
!1 | |||
|- | |||
|Masuk ke terminal melalui: | |||
* '''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#Login_SSH Login SSH]''', atau | |||
* [https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO '''Login ke web EFIRO'''] dan buka pinned apps '''<code>Aleleon Shell Access</code>''' | |||
Kegiatan ini tidak mengurangi Core Hour user. | |||
|- | |||
!2 | |||
|- | |- | ||
|Pilih dan aktifkan modul Anaconda yang akan digunakan. | |Pilih dan aktifkan modul Anaconda yang akan digunakan. | ||
<code>$ '''module load ''[nama-modul-anaconda]'''''</code> | <code>$ '''module load ''[nama-modul-anaconda]'''''</code> | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="2" |Daftar nama modul Anaconda | ! colspan="2" |Daftar nama modul Anaconda | ||
Baris 42: | Baris 48: | ||
|} | |} | ||
|- | |- | ||
| | !3 | ||
|- | |||
|Buat conda env di direktori HOME dan aktifkan dengan perintah: | |Buat conda env di direktori HOME dan aktifkan dengan perintah: | ||
$ '''conda create --name ''[nama-conda-env]'' pip''' | $ '''conda create --name ''[nama-conda-env]'' pip''' | ||
''Contoh nama 'skripsi''' | ''Contoh dengan nama 'skripsi''' | ||
$ conda create --name '''skripsi''' pip | $ conda create --name '''skripsi''' pip | ||
|- | |- | ||
!4 | |||
|- | |- | ||
|Aktifkan conda env dengan perintah: | |Aktifkan conda env dengan perintah: | ||
$ '''source activate ''[nama-conda-env]''''' | $ '''source activate ''[nama-conda-env]''''' | ||
''Contoh | ''Contoh:'' | ||
$ source activate '''skripsi''' | $ source activate '''skripsi''' | ||
|- | |- | ||
!5 | |||
|- | |- | ||
|Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | |Lakukan instalasi package Python yang dibutuhkan dengan '''<code>pip</code>''' | ||
* Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | * Contoh [https://pytorch.org/get-started/locally/ instalasi PyTorch dengan pip]. | ||
* Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | * Contoh [https://www.tensorflow.org/install/pip instalasi TensorFlow dengan pip]. | ||
|- | |- | ||
| | !6 | ||
|- | |||
|Untuk menonaktifkan conda env jalankan perintah: | |Untuk menonaktifkan conda env jalankan perintah: | ||
<code>$ '''conda deactivate'''</code> | <code>$ '''conda deactivate'''</code> | ||
|} | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Manajemen Conda Environment | ||
|- | |||
!a | |||
|- | |||
|'''Mengaktifkan conda env yang telah dibuat:''' | |||
# Muat modul Anaconda yang dipakai untuk membuat conda env. | |||
# Lakukan source activate. | |||
|- | |||
!b | |||
|- | |||
|'''Melihat daftar conda env yang telah dibuat:''' | |||
'''$ conda env list''' | |||
|- | |- | ||
!c | |||
|- | |- | ||
| | |'''Mengubah nama conda env:''' | ||
$ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | $ '''conda rename -n ''[nama-saat-ini]'' ''[nama-baru]''''' | ||
Baris 88: | Baris 97: | ||
$ conda rename -n skripsi tesis | $ conda rename -n skripsi tesis | ||
|- | |- | ||
| | !d | ||
|- | |||
|'''Menghapus conda env:''' | |||
<code>$ '''conda remove -n ''<nama-conda-env>'' --all'''</code> | <code>$ '''conda remove -n ''<nama-conda-env>'' --all'''</code> | ||
|} | |} | ||
Baris 95: | Baris 106: | ||
User dapat memilih metode menjalankan komputasi sesuai keinginan: | User dapat memilih metode menjalankan komputasi sesuai keinginan: | ||
* Job submission di | * '''Job submission terminal''' | ||
* Job submission di web EFIRO | ** ''Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Compute_Node compute node] melalui manajemen Slurm.'' | ||
* Interactive job Jupyter Lab / | ** ''Hanya untuk file Python (py), file ipynb harus diubah ke py.'' | ||
* '''Job submission web EFIRO''' | |||
** ''Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Compute_Node compute node] melalui manajemen Slurm via web EFIRO.'' | |||
** ''Hanya untuk file Python (py), file ipynb harus diubah ke py.'' | |||
* '''Interactive job Jupyter''' | |||
** ''Sesi IDE Jupyter Lab atau Notebook.'' | |||
** ''Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Interactive_Node interactive node].'' | |||
=== Job Submission Terminal === | === Job Submission Terminal === | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Langkah Job Submission Terminal | ||
[[Berkas:Sbatch Terminal.png|tepi|400x400px]] | [[Berkas:Sbatch Terminal.png|tepi|400x400px]] | ||
|- | |- | ||
| | !1 | ||
|Lakukan [https: | |- | ||
| Lakukan [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_Terminal#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_Terminal#Login_SSH Login SSH]''' ke ALELEON Supercomputer. | |||
|- | |||
!2 | |||
|- | |- | ||
|Siapkan conda env dan file komputasi yang dibutuhkan. | |Siapkan conda env dan file komputasi yang dibutuhkan. | ||
* User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | * User dapat upload / download file dengan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | ||
|- | |- | ||
| | !3A | ||
|- | |||
|Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | |Buat '''Submit Script''' yaitu 'formulir' untuk menjalankan job komputasi. | ||
* Nama file bebas dengan format .sh, contoh '''<code>submit.sh</code>''' | * Nama file bebas dengan format .sh, contoh '''<code>submit.sh</code>''' | ||
|- | |||
! | |||
|- | |- | ||
|Contoh template Submit Script, ikuti petunjuk NOTES didalamnya. | |Contoh template Submit Script, ikuti petunjuk NOTES didalamnya. | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!Anaconda Python di CPU | !Template Anaconda Python di CPU | ||
|- | |- | ||
|<syntaxhighlight lang="bash"> | |<syntaxhighlight lang="bash"> | ||
Baris 180: | Baris 196: | ||
|} | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!Anaconda Python di GPU | !Template Anaconda Python di GPU | ||
|- | |- | ||
|<syntaxhighlight lang="bash"> | |<syntaxhighlight lang="bash"> | ||
Baris 243: | Baris 259: | ||
</syntaxhighlight> | </syntaxhighlight> | ||
|} | |} | ||
|- | |||
! | |||
|- | |- | ||
| | | | ||
*''Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].'' | |||
! | * ''Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].'' | ||
|- | |||
!3B | |||
|- | |- | ||
| | |'''SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit''' berdasarkan: | ||
* | * Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']]. | ||
* | * Spesifikasi sistem dan software komputasi. | ||
Untuk melihat limit, jalankan perintah berikut: | |||
'''$ slimit-python''' | |||
|- | |- | ||
!4 | |||
|- | |- | ||
|Jalankan job komputasi dengan perintah: | |Jalankan job komputasi dengan perintah: | ||
$ '''sbatch ''[nama-submit-script]''''' | $ '''sbatch ''[nama-submit-script]''''' | ||
Baris 328: | Baris 284: | ||
$ sbatch submit.sh | $ sbatch submit.sh | ||
|- | |- | ||
| | !5 | ||
|- | |||
|User dapat melihat status jalannya job dengan perintah: | |User dapat melihat status jalannya job dengan perintah: | ||
'''<code>$ squeue -ul $USER</code>''' | '''<code>$ squeue -ul $USER</code>''' | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! colspan="2" |Daftar ST (STATE) menunjukkan status jalannya job: | |||
! colspan="2" |Daftar ST (STATE) | |||
|- | |- | ||
!STATE | !STATE | ||
Baris 357: | Baris 313: | ||
|} | |} | ||
|- | |- | ||
| | ! | ||
|- | |||
|Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | |Apabila user ingin menghentikan job yang berjalan, jalankan perintah: | ||
'''$ scancel ''[job-ID]''''' | '''$ scancel ''[job-ID]''''' | ||
''Job ID ada pada squeue diatas. | ''Job ID ada pada squeue diatas.'' | ||
contoh membatalkan job ID 231: | contoh membatalkan job ID 231: | ||
$ scancel 231 | $ scancel 231 | ||
|} | |} | ||
=== Job Submission Web EFIRO === | === Job Submission Web EFIRO === | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Langkah Job Submission Web EFIRO | ||
[[Berkas:Efirojobcomposer3.png|nirbing|400x400px]] | [[Berkas:Efirojobcomposer3.png|nirbing|400x400px]] | ||
|- | |- | ||
| | !1 | ||
|[https: | |- | ||
| [https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | |||
|- | |||
!2 | |||
|- | |||
|Buka pinned apps '''Job Composer''' [[Berkas:New Pinnedapps jc.png|nirbing|128x128px]] di homepage EFIRO. | |||
Pilih menu '''<code>New Job</code>''' -> '''<code>From Template</code>''' | |||
[[Berkas:Jcnewjobmarked.png|nirbing|180x180px]] | |||
|- | |- | ||
!3 | |||
|- | |- | ||
| | | | ||
{| class="wikitable" | {| class="wikitable" | ||
! colspan="2" | | ! colspan="2" |Pilih template Anaconda Python yang diinginkan | ||
|- | |- | ||
!Nama Template | !Nama Template | ||
Baris 391: | Baris 350: | ||
|- | |- | ||
|Anaconda Python (CPU) | |Anaconda Python (CPU) | ||
|Menjalankan Anaconda Python | |Menjalankan Anaconda Python di CPU | ||
|- | |- | ||
|Anaconda Python (GPU) | |Anaconda Python (GPU) | ||
|Menjalankan Anaconda Python | |Menjalankan Anaconda Python di GPU | ||
|} | |} | ||
Isi '''<code>Job Name</code>''' | Kemudian Isi '''<code>Job Name</code>''' dan klik '''<code>Create New Job</code>''' | ||
[[Berkas:Jctemplate-2.png|nirbing]] | |||
|- | |||
!4 | |||
|- | |||
|Siapkan conda env dan file komputasi yang dibutuhkan. | |||
[[Berkas:Jcjoboption.png|nirbing|400x400px]] | |||
*Upload file melalui menu '''<code>Edit Files</code>''' | |||
**Untuk upload file tunggal diatas 2GB gunakan [[Upload File dengan Aplikasi FTP|'''software FTP''']]. | |||
*Pembuatan conda env di terminal melalui menu <code>'''Open Terminal'''</code>. | |||
|- | |- | ||
!5A | |||
|- | |- | ||
|Lengkapi '''Submit Script''' melalui tombol '''<code>Open Editor</code>'''. | |||
|Lengkapi '''Submit Script''' melalui tombol '''<code>Open Editor</code>'''.[[Berkas:Jceditor3.png|al=| | [[Berkas:Jceditor3.png|al=|nirbing|400x400px]] | ||
* Submit script adalah 'formulir' untuk menjalankan job komputasi. | * Submit script adalah 'formulir' untuk menjalankan job komputasi. | ||
* Ikuti petunjuk NOTES didalamnya | * Ikuti petunjuk NOTES didalamnya | ||
* Klik '''<code>Save</code>''' setiap kali mengubah script. | * Klik '''<code>Save</code>''' setiap kali mengubah script. | ||
|- | |||
! | |||
|- | |- | ||
| | | | ||
*''Info script lebih detail lihat [[Submit Script ALELEON Supercomputer|'''Submit Script ALELEON Supercomputer''']].'' | |||
! | * ''Untuk SBATCH notifikasi email status jalannya job lihat [https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer#SBATCH_untuk_notifikasi_email_SLURM '''Slurm Jojo'''].'' | ||
|- | |||
!5B | |||
|- | |- | ||
| | |'''SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit''' berdasarkan: | ||
* | * Sisa Core Hour user dan [[Limitasi Fair Usage ALELEON Supercomputer|'''Fair Usage Limit''']]. | ||
* | * Spesifikasi sistem dan software komputasi. | ||
Untuk melihat limit, jalankan perintah berikut pada terminal: | |||
'''$ slimit-python''' | |||
|- | |- | ||
!6 | |||
! | |||
|- | |- | ||
|Jalankan job dengan klik tombol '''<code>Submit</code>'''. | |||
[[Berkas:Jcsubmit2.png|al=|nirbing|400x400px]] | |||
|Jalankan job dengan klik tombol '''<code>Submit</code>'''.[[Berkas:Jcsubmit2.png|al=| | |||
* Pantau kolom status yang menjelaskan status jalannya job. | * Pantau kolom status yang menjelaskan status jalannya job. | ||
* Apabila ingin membatalkan job yang berjalan, klik '''<code>Stop</code>'''. | * Apabila ingin membatalkan job yang berjalan, klik '''<code>Stop</code>'''. | ||
* | * Job completed dapat dijalankan kembali dengan '''<code>Submit</code>'''. | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! colspan="2" |Daftar status job | ! colspan="2" |Daftar status job: | ||
|- | |- | ||
!Status | !Status | ||
Baris 515: | Baris 421: | ||
|- | |- | ||
| colspan="2" |'''Untuk melihat alasan queue:''' | | colspan="2" |'''Untuk melihat alasan queue:''' | ||
# Buka app '''<code>Active Jobs</code>''' | # Buka app '''<code>Active Jobs</code>''' [[Berkas:Pinnedapps activejobs.png|nirbing|127x127px]]di homepage EFIRO. | ||
# [[Berkas:Efiroqueueedit.png|nir|jmpl|''Ubah opsi '''<code>Your jobs</code>''' untuk melihat status job user saja. Klik simbol '''>''' untuk melihat status job pending pada kolom '''Reason'''. Arti reason lihat laman '''[[Daftar Reason NODELIST ALELEON Supercomputer]].''''']] | # [[Berkas:Efiroqueueedit.png|nir|jmpl|''Ubah opsi '''<code>Your jobs</code>''' untuk melihat status job user saja. Klik simbol '''>''' untuk melihat status job pending pada kolom '''Reason'''. Arti reason lihat laman '''[[Daftar Reason NODELIST ALELEON Supercomputer]].''''']] | ||
|} | |} | ||
|- | |- | ||
| | !7 | ||
| | |- | ||
|Lihat output file komputasi pada kolom '''<code>Folder Contents</code>''' | |||
*Atau dengan membuka '''<code>Edit Files</code>''' | *Atau dengan membuka '''<code>Edit Files</code>''' | ||
[[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>'''.'']] | [[Berkas:Jcfoldercontentsedit.png|al=|nir|jmpl|''Kolom '''<code>Folder Contents</code>'''.'']] | ||
Baris 526: | Baris 433: | ||
=== Interactive Job Jupyter === | === Interactive Job Jupyter === | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! | !Langkah Interactive Job Sesi Jupyter | ||
[[Berkas:Efirojupyterlab.png|400x400px]] | [[Berkas:Efirojupyterlab.png|400x400px]] | ||
|- | |- | ||
| | !1 | ||
|'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO# | |- | ||
| '''[https: / wiki.efisonlt.com wiki Menggunakan_ALELEON_Supercomputer_via_EFIRO#1_ |'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO#Login_Web_EFIRO Login ke web EFIRO]''' ALELEON Supercomputer. | |||
|- | |||
!2 | |||
|- | |||
|Buka pinned apps '''Jupyter''' [[Berkas:New Pinnedapps jupyter.png|nirbing|116x116px]] di homepage EFIRO. | |||
|- | |- | ||
!3 | |||
|- | |- | ||
|Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | |Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: | ||
Baris 546: | Baris 452: | ||
** ''pilih sesuai preferensi user, Jupyter Lab atau Notebook'' | ** ''pilih sesuai preferensi user, Jupyter Lab atau Notebook'' | ||
* '''Partition''' -> ''pilih sesuai kebutuhan:'' | * '''Partition''' -> ''pilih sesuai kebutuhan:'' | ||
** torti -> CPU saja | ** torti -> CPU saja | ||
** tilla -> CPU dan GPU | ** tilla -> CPU dan GPU | ||
Baris 568: | Baris 474: | ||
|- | |- | ||
| colspan="3" |'''Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:''' | | colspan="3" |'''Pada akun perseorangan, sesi Jupyter tidak akan berjalan apabila:''' | ||
* Alokasi CPU * hours | * Alokasi CPU * hours > sisa CPU Core Hour | ||
* Alokasi GPU * hours | * Alokasi GPU * hours > sisa GPU Hour | ||
Cek sisa Core Hour dengan: | Cek sisa Core Hour dengan: | ||
# Buka app | # Buka app [[Berkas:Pinnedapps terminal.png|nirbing|116x116px]] di homepage EFIRO | ||
# Jalankan perintah '''<code>sausage</code>''' | # Jalankan perintah '''<code>sausage</code>''' | ||
|} | |} | ||
Baris 585: | Baris 491: | ||
** ''Membuat modul software, isi sesuai kebutuhan user'' | ** ''Membuat modul software, isi sesuai kebutuhan user'' | ||
** ''Apabila menggunakan tilla, isi modul '''NVIDIA CUDA''' yang sesuai'' | ** ''Apabila menggunakan tilla, isi modul '''NVIDIA CUDA''' yang sesuai'' | ||
* '''Environment setup''' | {| class="wikitable mw-collapsible mw-collapsed" | ||
|- | |||
! colspan="2" |Daftar Software Modules NVIDIA CUDA | |||
|- | |||
!Nama Software Modules | |||
!Versi | |||
|- | |||
|cuda/11.2-cuDNN8.1.1 | |||
|CUDA 11.2 + cuDNN 8.1.1 | |||
|- | |||
|cuda/11.6-cuDNN8.3.3 | |||
|CUDA 11.6 + cuDNN 8.3.3 | |||
|- | |||
|cuda/11.8-cuDNN8.6.0 | |||
|CUDA 11.8 + cuDNN 8.6.0 | |||
|- | |||
|cuda/12.0-cuDNN8.7.0 | |||
|CUDA 12.0 + cuDNN 8.7.0 | |||
|- | |||
|cuda/12.1-cuDNN8.8.1 | |||
|CUDA 12.1 + cuDNN 8.8.1 | |||
|- | |||
|cuda/12.3-cuDNN8.9.6 | |||
|CUDA 12.3 + cuDNN 8.9.6 | |||
|} | |||
*'''Environment setup''' | |||
** ''Memuat environment variable, isi apabila ada'' | ** ''Memuat environment variable, isi apabila ada'' | ||
* '''Additional Jupyter arguments''' | * '''Additional Jupyter arguments''' | ||
Baris 592: | Baris 523: | ||
** ''Notifikasi email untuk status mulai dan selesainya sesi Jupyter.'' | ** ''Notifikasi email untuk status mulai dan selesainya sesi Jupyter.'' | ||
** ''Isi apabila berkenan.'' | ** ''Isi apabila berkenan.'' | ||
|- | |||
!4 | |||
|- | |||
|Klik tombol '''<code>Launch</code>''' untuk memulai sesi Jupyter. | |||
*User akan diarahkan ke halaman '''<code>My Interactive Sessions</code>'''. | |||
*Tunggu hingga sesi Jupyter siap diakses. | |||
[[Berkas:Jupyternotebookqueue.png|nir|jmpl|''Status sesi Jupyter mengantri menunggu alokasi hardware'']] | |||
|- | |||
!5 | |||
|- | |||
|Apabila status '''Running''', klik tombol '''<code>Connect to Jupyter</code>'''. | |||
* Sistem mulai menghitung Core Hour! | |||
[[Berkas:Newjupyter120124.png|nir|jmpl|''Sesi Jupyter siap diakses.'']]Untuk menghentikan sesi, klik tombol '''<code>Cancel</code>'''. | |||
|- | |||
!6 | |||
|- | |||
|Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.[[Berkas:Jupyternotebookkernelupdated.png|al=|nir|jmpl|200x200px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook'']][[Berkas:Rjupyterlab.png|nir|jmpl|225x225px|''Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab'']] | |||
|- | |||
!7 | |||
|- | |- | ||
| | |User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: | ||
* Menu '''<code>My Interactive Sessions</code>''' pada homepage EFIRO. | |||
* Kolom '''<code>Active interactive sessions</code>''' pada homepage EFIRO. | |||
|} | |} | ||
=='''Pelaporan Kendala dan Support'''== | |||
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini. | |||
[[Berkas:Wiki-pelaporankendala.jpg|1000x1000px|link=https://efisonlt.com/aleleonbugreport]] | |||
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email: | |||
'''support@efisonlt.com''' |
Revisi terkini sejak 30 Mei 2024 06.26
Halaman ini menjelaskan menjalankan komputasi Python dengan environment Anaconda di ALELEON Supercomputer. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.
Laman ini merupakan bagian laman -> Komputasi Python |
---|
Langkah Menjalankan Komputasi
Terdapat dua langkah utama:
- Membuat dan menyiapkan conda environment untuk komputasi user.
- Memilih metode menjalankan komputasi.
Membuat Conda Environment
Membuat Conda Environment dan Instalasi Package Python | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||
Masuk ke terminal melalui:
Kegiatan ini tidak mengurangi Core Hour user. | ||||||||||||
2 | ||||||||||||
Pilih dan aktifkan modul Anaconda yang akan digunakan.
| ||||||||||||
3 | ||||||||||||
Buat conda env di direktori HOME dan aktifkan dengan perintah:
$ conda create --name [nama-conda-env] pip Contoh dengan nama 'skripsi' $ conda create --name skripsi pip | ||||||||||||
4 | ||||||||||||
Aktifkan conda env dengan perintah:
$ source activate [nama-conda-env] Contoh: $ source activate skripsi | ||||||||||||
5 | ||||||||||||
Lakukan instalasi package Python yang dibutuhkan dengan pip
| ||||||||||||
6 | ||||||||||||
Untuk menonaktifkan conda env jalankan perintah:
|
Manajemen Conda Environment |
---|
a |
Mengaktifkan conda env yang telah dibuat:
|
b |
Melihat daftar conda env yang telah dibuat:
$ conda env list |
c |
Mengubah nama conda env:
$ conda rename -n [nama-saat-ini] [nama-baru] Contoh mengubah nama env skripsi ke tesis $ conda rename -n skripsi tesis |
d |
Menghapus conda env:
|
Metode Menjalankan Komputasi
User dapat memilih metode menjalankan komputasi sesuai keinginan:
- Job submission terminal
- Berjalan di compute node melalui manajemen Slurm.
- Hanya untuk file Python (py), file ipynb harus diubah ke py.
- Job submission web EFIRO
- Berjalan di compute node melalui manajemen Slurm via web EFIRO.
- Hanya untuk file Python (py), file ipynb harus diubah ke py.
- Interactive job Jupyter
- Sesi IDE Jupyter Lab atau Notebook.
- Berjalan di interactive node.
Job Submission Terminal
Langkah Job Submission Terminal | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||
Login SSH ke ALELEON Supercomputer. | ||||||||||||||||
2 | ||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| ||||||||||||||||
3A | ||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| ||||||||||||||||
Contoh template Submit Script, ikuti petunjuk NOTES didalamnya.
| ||||||||||||||||
| ||||||||||||||||
3B | ||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
Untuk melihat limit, jalankan perintah berikut: $ slimit-python | ||||||||||||||||
4 | ||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||||
5 | ||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| ||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 |
Job Submission Web EFIRO
Langkah Job Submission Web EFIRO | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||
2 | ||||||||||||||||
Buka pinned apps Job Composer di homepage EFIRO.
Pilih menu | ||||||||||||||||
3 | ||||||||||||||||
Kemudian Isi | ||||||||||||||||
4 | ||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| ||||||||||||||||
5A | ||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor .
| ||||||||||||||||
| ||||||||||||||||
5B | ||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
Untuk melihat limit, jalankan perintah berikut pada terminal: $ slimit-python | ||||||||||||||||
6 | ||||||||||||||||
Jalankan job dengan klik tombol Submit .
| ||||||||||||||||
7 | ||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
|
Interactive Job Jupyter
Langkah Interactive Job Sesi Jupyter | ||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||
Buka pinned apps Jupyter di homepage EFIRO. | ||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| ||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter.
| ||||||||||||||||||||||||||||||||||
5 | ||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter .
Cancel .
| ||||||||||||||||||||||||||||||||||
6 | ||||||||||||||||||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | ||||||||||||||||||||||||||||||||||
7 | ||||||||||||||||||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
|
Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com