Komputasi Python dengan Conda Environment (Mandiri): Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (menambah info manajemen conda env) |
WilsonLisan (bicara | kontrib) (→0. Standar Kompetensi dan Spesifikasi: menghapus kata standar kompetensi) |
||
(11 revisi perantara oleh pengguna yang sama tidak ditampilkan) | |||
Baris 2: | Baris 2: | ||
[[Berkas:Logo Python Anaconda Mamba ALELEON tp.png|400x400px]] | [[Berkas:Logo Python Anaconda Mamba ALELEON tp.png|400x400px]] | ||
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment '''<big>(conda env)</big>''' di ALELEON Supercomputer | Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment '''<big>(conda env)</big>''' di ALELEON Supercomputer yang '''<big>dibuat secara mandiri oleh user</big>''' termasuk instalasi package di dalamnya. | ||
{| class="wikitable" | {| class="wikitable" | ||
!''Laman ini merupakan bagian laman'' [<nowiki/>[[Komputasi Python]]] | !''Laman ini merupakan bagian laman'' [<nowiki/>[[Komputasi Python]]] | ||
|} | |} | ||
== '''''0. | == '''''0. Spesifikasi''''' == | ||
Tutorial ini mengasumsikan user | Tutorial ini mengasumsikan user dapat melakukan atau mau mencoba pembuatan environment - instalasi package Python. | ||
=== Spesifikasi === | === Spesifikasi === | ||
* Tutorial ini memandu membuat conda environment dengan '''site-packages yang terisolasi di dalamnya'''. | * Tutorial ini memandu membuat conda environment dengan '''site-packages yang terisolasi di dalamnya'''. | ||
* Pembuatan conda env dan instalasi package '''mengkonsumsi storage HOME user.''' | * Pembuatan conda env dan instalasi package '''mengkonsumsi storage HOME user.''' | ||
** Pantau konsumsi storage HOME dengan perintah <code>$ '''ncdu $HOME'''</code> | |||
{| class="wikitable" | {| class="wikitable" | ||
|+Keterangan simbol perintah terminal | |||
|- | |- | ||
!<code>'''<big>$</big>'''</code> | |||
|Perintah ketika conda env tidak aktif | |Perintah ketika conda env tidak aktif | ||
|- | |- | ||
!'''<code><big><sub>(env)</sub>$</big></code>''' | |||
|Perintah ketika conda env aktif | |Perintah ketika conda env aktif | ||
|} | |} | ||
Baris 30: | Baris 28: | ||
== '''''1. Langkah Menjalankan Komputasi''''' == | == '''''1. Langkah Menjalankan Komputasi''''' == | ||
{| class="wikitable" | {| class="wikitable" | ||
!Subbab | !Subbab | ||
!Langkah | !Langkah | ||
|- | |- | ||
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#2._Membuat_Conda_Environment <nowiki>[ 2 ]</nowiki>]</big>''' | |||
!'''<big>[https://wiki.efisonlt.com/wiki/ | |||
|Buat conda env untuk menampung instalasi package. | |Buat conda env untuk menampung instalasi package. | ||
|- | |- | ||
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#3._Aktivasi_Conda_Env_dan_Instalasi_Package <nowiki>[ 3 ]</nowiki>]</big>''' | |||
!'''<big><nowiki>[ 3 ]</nowiki></big>''' | |Mengaktifkan conda env dan melakukan instalasi package di dalamnya. | ||
| | |- | ||
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ 4 ]</nowiki>]</big> | |||
|Pengecekan bagi yang menginstal package Python versi CUDA. | |||
|- | |- | ||
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#5._(Opsional)_Manajemen_Conda_Env <nowiki>[ 5 ]</nowiki>]</big> | |||
!<big>[https://wiki.efisonlt.com/wiki/ | |''Opsional, manajemen conda env yang sekiranya berguna.'' | ||
| | |||
|- | |- | ||
!'''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6._Pilihan_Menjalankan_Komputasi <nowiki>[ 6 ]</nowiki>]</big>''' | |||
!'''<big>[https://wiki.efisonlt.com/wiki/ | |||
|Menjalankan komputasi dengan pilihan: | |Menjalankan komputasi dengan pilihan: | ||
* '''<big>[https://wiki.efisonlt.com/wiki/ | * '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.1._Batch_Job <nowiki>[ 6.1 ]</nowiki>]</big>''' batch job | ||
* '''<big>[https://wiki.efisonlt.com/wiki/ | * '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.2._Sesi_Jupyter <nowiki>[ 6.2 ]</nowiki>]</big>''' sesi Jupyter Notebook / Lab | ||
|- | |||
!<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#7._Pelaporan_Kendala_dan_Support <nowiki>[ 7 ]</nowiki>]</big> | |||
|Support apabila menemui masalah. | |||
|} | |} | ||
== '''''2. Membuat Conda Environment''''' == | |||
Tersedia pilihan '''Python Package Manager (PPM)''' berikut untuk membuat conda env. Pilih sesuai preferensi user: | |||
* '''Anaconda:''' PPM Python paling banyak digunakan dan saat ini menjadi standar industri. | * '''Anaconda:''' PPM Python paling banyak digunakan dan saat ini menjadi standar industri. | ||
* '''Mamba:''' PPM Python alternatif Anaconda versi | * '''Mamba:''' PPM Python alternatif Anaconda versi komunitas. | ||
{| class="wikitable" | |||
{| class="wikitable | |||
!- Langkah Membuat conda env - | !- Langkah Membuat conda env - | ||
|- | |- | ||
Baris 127: | Baris 120: | ||
!Buat conda env dengan opsi: | !Buat conda env dengan opsi: | ||
|- | |- | ||
|'''<big> | |'''<big>2A</big> -''' Conda env kosong dengan Python '''versi tertentu''', apabila: | ||
* Hendak melakukan instalasi salah satu package berikut: | * Hendak melakukan instalasi salah satu package berikut: | ||
Baris 156: | Baris 149: | ||
! | ! | ||
|- | |- | ||
|'''<big> | |'''<big>2B</big> -''' Conda env kosong dengan Python '''versi 3.12.''' | ||
* Rekomendasi admin untuk versi Python terstabil saat ini. | * Rekomendasi admin untuk versi Python terstabil saat ini. | ||
Baris 167: | Baris 160: | ||
! | ! | ||
|- | |- | ||
|'''<big> | |'''<big>2C</big> -''' Conda env dengan '''file "resep" konfigurasi yml''' | ||
* File yml disediakan user sendiri. | * File yml disediakan user sendiri. | ||
Baris 178: | Baris 171: | ||
!--- | !--- | ||
|} | |} | ||
== '''''3. | == '''''3. Aktivasi Conda Env dan Instalasi Package''''' == | ||
[[Berkas:GMB warning wololo.png|nirbing|40x40px]] Ada baiknya user melengkapi instalasi package '''sebelum menjalankan komputasi''' karena: | [[Berkas:GMB warning wololo.png|nirbing|40x40px]] Ada baiknya user melengkapi instalasi package '''sebelum menjalankan komputasi''' karena: | ||
Baris 209: | Baris 194: | ||
|Aktifkan conda env dengan perintah '''<big><code>source</code></big>''': | |Aktifkan conda env dengan perintah '''<big><code>source</code></big>''': | ||
$ '''source activate ''[nama-conda-env]''''' | $ '''source activate ''[nama-conda-env]''''' | ||
Apabila lupa | |||
''- Apabila lupa nama conda env, cari dengan:'' | |||
$ '''conda env list''' | $ '''conda env list''' | ||
|- | |- | ||
Baris 228: | Baris 214: | ||
!<big><code>-/ 5 /-</code></big> | !<big><code>-/ 5 /-</code></big> | ||
|- | |- | ||
|Lihat subbab [https://wiki.efisonlt.com/wiki/ | |'''Apabila melakukan instalasi package versi CUDA:''' | ||
* Lihat subbab '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ 4 ]</nowiki>]</big>''' | |||
|- | |- | ||
!<big><code>-/ 6 /-</code></big> | !<big><code>-/ 6 /-</code></big> | ||
Baris 236: | Baris 223: | ||
|} | |} | ||
=== | == '''''4. Instalasi Package Python versi CUDA?''''' == | ||
Perhatikan hal berikut apabila user menginstal '''package Python versi CUDA''' dan hendak menggunakan '''compute / interactive node GPU''': | |||
# Package membutuhkan jenis dan versi library NVIDIA sesuai seperti '''CUDA, cuDNN''' untuk dapat berjalan di GPU NVIDIA. | |||
# '''''Umumnya (walau tidak semua)''''' package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan. | |||
# Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package: | |||
{| class="wikitable" | |||
!- Melanjutkan langkah 5 di atas - | |||
|- | |||
!<big><code>-/ 5 /-</code></big> | |||
|- | |||
|Cek ketersediaan library CUDA di conda env: | |||
- Apabila instal package dengan pip | |||
<sub>(env)</sub>$ '''pip list | awk /cuda/''' | |||
- Apabila instal package dengan conda | |||
<sub>(env)</sub>$ '''conda list | awk /cuda/''' | |||
|- | |||
!''Ada output'' | |||
|- | |||
|Conda env siap digunakan. | |||
* User '''tidak perlu memuat modul CUDA.''' | |||
|- | |||
!''Tidak ada output'' | |||
|- | |||
|User '''harus memuat modul CUDA''' ketika menjalankan job: | |||
* Perhatikan versi CUDA '''yang dibutuhkan''' package. | |||
* Langkah ada pada tutorial menjalankan komputasi. | |||
|} | |||
== '''''5. <small>(Opsional)</small> Manajemen Conda Env''''' == | |||
Berikut adalah daftar manajemen conda env yang sekiranya berguna: | |||
''<small><code>(klik expand / kembangkan)</code></small>'' | |||
=== 5.1. Menghapus Cache Conda dan Package === | |||
Pembuatan conda env dan instalasi package Python juga mengeluarkan file cache yang apabila dibiarkan akan menumpuk dan menghabiskan ruang storage HOME. User dapat berkala membersihkan cache ini. | Pembuatan conda env dan instalasi package Python juga mengeluarkan file cache yang apabila dibiarkan akan menumpuk dan menghabiskan ruang storage HOME. User dapat berkala membersihkan cache ini. | ||
{| class="wikitable" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Menghapus cache conda dan package - | !- Menghapus cache conda dan package - | ||
|- | |- | ||
Baris 247: | Baris 269: | ||
|- | |- | ||
!<big><code>-/ 2 /-</code></big> | !<big><code>-/ 2 /-</code></big> | ||
|- | |||
!Pilih opsi: | |||
|- | |- | ||
| | | | ||
''- Menghapus index dan cache package conda. | ''- Menghapus index dan cache package conda.'' | ||
- Tidak mempengaruhi conda env dan package di dalamnya.'' | ''- Tidak mempengaruhi conda env dan package | ||
''- di dalamnya.'' | |||
$ '''conda clean --all''' | $ '''conda clean --all''' | ||
Baris 257: | Baris 282: | ||
|} | |} | ||
=== | === 5.2. Menghapus Conda Environment === | ||
Apabila merasa tidak dibutuhkan, user dapat menghapus conda environment dimana juga meluangkan storage HOME. | Apabila merasa tidak dibutuhkan, user dapat menghapus conda environment dimana juga meluangkan storage HOME. | ||
{| class="wikitable" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Menghapus conda environment - | !- Menghapus conda environment - | ||
|- | |- | ||
Baris 273: | Baris 298: | ||
|} | |} | ||
=== 3 | === 5.3. Manajemen Conda Environment Lainnya === | ||
Berikut manajemen conda yang sekiranya berguna: | Berikut manajemen conda yang sekiranya berguna: | ||
{| class="wikitable mw-collapsible mw-collapsed" | |||
{| class="wikitable" | |||
!- Manajemen conda environment lainnya - | !- Manajemen conda environment lainnya - | ||
|- | |- | ||
| | | | ||
- Mengganti nama conda env | ''- Mengganti nama conda env'' | ||
$ '''conda rename -n ''[nama-conda-env-saat-ini] [nama-conda-env-baru]''''' | $ '''conda rename -n ''[nama-conda-env-saat-ini] [nama-conda-env-baru]''''' | ||
- Menduplikat conda env yang ada | ''- Menduplikat conda env yang ada'' | ||
$ '''conda create -n ''[nama-conda-duplikat]'' --clone ''[nama-conda-env-yang-ada]''''' | $ '''conda create -n ''[nama-conda-duplikat]'' --clone ''[nama-conda-env-yang-ada]''''' | ||
- Membuat file konfigurasi yml dari '''conda env yang aktif''' | ''- Membuat file konfigurasi yml dari '''conda env yang aktif''''' | ||
<sub>(env)</sub>$ '''conda env create -f ''[nama-file-yml]''.yml''' | <sub>(env)</sub>$ '''conda env create -f ''[nama-file-yml]''.yml''' | ||
|} | |} | ||
== ''''' | == '''''6. Pilihan Menjalankan Komputasi''''' == | ||
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan: | ||
* '''<big>[https://wiki.efisonlt.com/wiki/ | * '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.1._Batch_Job <nowiki>[ 6.1 - Batch Job ]</nowiki>]</big>''' | ||
** '''Menjalankan script Python siap jalan tanpa interaksi user di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ** '''Menjalankan script Python siap jalan tanpa interaksi user di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]].''' | ||
*** [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | *** [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
Baris 335: | Baris 328: | ||
***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ***''Job tidak akan berhenti ketika koneksi user terputus, atau'' | ||
***''user keluar (log out) dari ALELEON.'' | ***''user keluar (log out) dari ALELEON.'' | ||
* '''<big>[https://wiki.efisonlt.com/wiki/ | * '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#6.2._Sesi_Jupyter <nowiki>[ 6.2 - Sesi Jupyter ]</nowiki>]</big>''' | ||
** '''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | ** '''Menjalankan sesi interaktif Jupyter Lab atau Notebook di [<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | ||
** '''Sesi Jupyter akan berhenti ketika:''' | ** '''Sesi Jupyter akan berhenti ketika:''' | ||
Baris 350: | Baris 343: | ||
--- | --- | ||
=== | === 6.1. Batch Job === | ||
Menjalankan script Python siap jalan tanpa interaksi user di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Compute%20Node|Compute node]]]'''. | |||
* [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | * [[Berkas:GMB warning wololo.png|nirbing|40x40px]] ''Perhatikan '''file <code>.ipynb</code>''' harus dikonversi ke '''file <code>.py</code>'''.'' | ||
* ''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | * ''Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.'' | ||
'''Tersedia pilihan tampilan yang dapat dipilih sesuai preferensi user:''' | |||
''<small><code>(klik expand / kembangkan)</code></small>'' | ''<small><code>(klik expand / kembangkan)</code></small>'' | ||
Baris 476: | Baris 470: | ||
[[Berkas:GMB GPU icon.png|nirbing|100x100px]] | [[Berkas:GMB GPU icon.png|nirbing|100x100px]] | ||
|- | |- | ||
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]]'''Apakah perlu memuat modul CUDA <big>[https://wiki.efisonlt.com/wiki/ | |[[Berkas:GMB warning wololo.png|nirbing|40x40px]]'''Apakah perlu memuat modul CUDA <big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?''' | ||
*'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut: | *'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut: | ||
... | ... | ||
Baris 744: | Baris 738: | ||
|- | |- | ||
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]] '''Bagi yang memilih template GPU:''' | |[[Berkas:GMB warning wololo.png|nirbing|40x40px]] '''Bagi yang memilih template GPU:''' | ||
* Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/ | * Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?''' | ||
*'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut: | *'''''Apabila butuh''''', isi nama modul CUDA pada script sebagai berikut: | ||
Baris 868: | Baris 862: | ||
|} | |} | ||
=== | === 6.2. Sesi Jupyter === | ||
Menjalankan sesi interaktif Jupyter Lab atau Notebook di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | Menjalankan sesi interaktif Jupyter Lab atau Notebook di '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer#Spesifikasi%20Interactive%20Node|interactive node]]].''' | ||
Baris 979: | Baris 973: | ||
|[[Berkas:GMB warning wololo.png|nirbing|40x40px]] Bagi user yang memilih '''partition tilla''': | |[[Berkas:GMB warning wololo.png|nirbing|40x40px]] Bagi user yang memilih '''partition tilla''': | ||
* Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/ | * Apakah perlu memuat modul CUDA '''<big>[https://wiki.efisonlt.com/wiki/Komputasi_Python_dengan_Conda_Environment_(Mandiri)#4._Instalasi_Package_Python_versi_CUDA? <nowiki>[ Subbab 4 ]</nowiki>]</big>?''' | ||
* '''''Apabila butuh''''', isi form ini dengan nama modul CUDA. | * '''''Apabila butuh''''', isi form ini dengan nama modul CUDA. | ||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
Baris 1.074: | Baris 1.068: | ||
!--- | !--- | ||
|} | |} | ||
=='''''Pelaporan Kendala dan Support'''''== | =='''''7. Pelaporan Kendala dan Support'''''== | ||
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini. | Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini. | ||
Baris 1.086: | Baris 1.080: | ||
# '''[[https://sadasa.id/ Sadasa Aacademy]]''' untuk pengujian semua tutorial di laman ini. | # '''[[https://sadasa.id/ Sadasa Aacademy]]''' untuk pengujian semua tutorial di laman ini. | ||
Revisi terkini sejak 4 Juli 2025 02.48
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment (conda env) di ALELEON Supercomputer yang dibuat secara mandiri oleh user termasuk instalasi package di dalamnya.
Laman ini merupakan bagian laman [Komputasi Python] |
---|
0. Spesifikasi
Tutorial ini mengasumsikan user dapat melakukan atau mau mencoba pembuatan environment - instalasi package Python.
Spesifikasi
- Tutorial ini memandu membuat conda environment dengan site-packages yang terisolasi di dalamnya.
- Pembuatan conda env dan instalasi package mengkonsumsi storage HOME user.
- Pantau konsumsi storage HOME dengan perintah
$ ncdu $HOME
- Pantau konsumsi storage HOME dengan perintah
$
|
Perintah ketika conda env tidak aktif |
---|---|
(env)$
|
Perintah ketika conda env aktif |
1. Langkah Menjalankan Komputasi
Subbab | Langkah |
---|---|
[ 2 ] | Buat conda env untuk menampung instalasi package. |
[ 3 ] | Mengaktifkan conda env dan melakukan instalasi package di dalamnya. |
[ 4 ] | Pengecekan bagi yang menginstal package Python versi CUDA. |
[ 5 ] | Opsional, manajemen conda env yang sekiranya berguna. |
[ 6 ] | Menjalankan komputasi dengan pilihan: |
[ 7 ] | Support apabila menemui masalah. |
2. Membuat Conda Environment
Tersedia pilihan Python Package Manager (PPM) berikut untuk membuat conda env. Pilih sesuai preferensi user:
- Anaconda: PPM Python paling banyak digunakan dan saat ini menjadi standar industri.
- Mamba: PPM Python alternatif Anaconda versi komunitas.
- Langkah Membuat conda env - | |||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Menggunakan terminal!
| |||||||||||||||||||||||||||
-/ 1 /-
| |||||||||||||||||||||||||||
Pilih dan aktifkan modul PPM untuk membuat conda env:
$ module load [nama-modul-anaconda-atau-mamba]
| |||||||||||||||||||||||||||
Saran sebelum langkah 2 ... | |||||||||||||||||||||||||||
Pilih nama conda env yang mengandung unsur nama modul:
| |||||||||||||||||||||||||||
-/ 2 /-
| |||||||||||||||||||||||||||
Buat conda env dengan opsi: | |||||||||||||||||||||||||||
2A - Conda env kosong dengan Python versi tertentu, apabila:
- Anaconda $ conda create -n [nama-conda-env] python=[versi] - Mamba $ mamba create -n [nama-conda-env] python=[versi] Contoh dengan Python 3.10 $ conda create -n skripsi python=3.10 | |||||||||||||||||||||||||||
2B - Conda env kosong dengan Python versi 3.12.
- Anaconda $ conda create -n [nama-conda-env] python=3.12 - Mamba $ mamba create -n [nama-conda-env] python=3.12 | |||||||||||||||||||||||||||
2C - Conda env dengan file "resep" konfigurasi yml
- Anaconda $ conda create -f [nama-file-yml].yml - Mamba $ mamba create -f [nama-file-yml].yml | |||||||||||||||||||||||||||
--- |
3. Aktivasi Conda Env dan Instalasi Package
Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:
- Batch job -> supaya script Python berjalan tanpa error missing package.
- Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.
Langkah berikut berjalan di login node dan tidak mengkonsumsi Core Hour.
- Mengaktifkan dan Instalasi Package Conda Env - |
---|
Menggunakan terminal!
|
-/ 1 /-
|
Muat modul PPM yang digunakan untuk membuat conda env:
$ module load [nama-modul-anaconda-atau-mamba] |
-/ 2 /-
|
Aktifkan conda env dengan perintah source :
$ source activate [nama-conda-env] - Apabila lupa nama conda env, cari dengan: $ conda env list |
-/ 3 /-
|
Lakukan instalasi package Python yang dibutuhkan:
|
-/ 4 /-
|
Untuk user yang hendak menggunakan sesi Jupyter |
Instal package:
(env)$ pip install jupyter jupyterlab |
-/ 5 /-
|
Apabila melakukan instalasi package versi CUDA:
|
-/ 6 /-
|
Apabila hendak menonaktfkan conda env:
(env)$ conda deactivate |
4. Instalasi Package Python versi CUDA?
Perhatikan hal berikut apabila user menginstal package Python versi CUDA dan hendak menggunakan compute / interactive node GPU:
- Package membutuhkan jenis dan versi library NVIDIA sesuai seperti CUDA, cuDNN untuk dapat berjalan di GPU NVIDIA.
- Umumnya (walau tidak semua) package Python CUDA saat ini juga menginstal package NVIDIA yang dibutuhkan.
- Berikut metode mengecek dan melengkapi library NVIDIA yang dibutuhkan package:
- Melanjutkan langkah 5 di atas - |
---|
-/ 5 /-
|
Cek ketersediaan library CUDA di conda env:
- Apabila instal package dengan pip (env)$ pip list | awk /cuda/ - Apabila instal package dengan conda (env)$ conda list | awk /cuda/ |
Ada output |
Conda env siap digunakan.
|
Tidak ada output |
User harus memuat modul CUDA ketika menjalankan job:
|
5. (Opsional) Manajemen Conda Env
Berikut adalah daftar manajemen conda env yang sekiranya berguna:
(klik expand / kembangkan)
5.1. Menghapus Cache Conda dan Package
Pembuatan conda env dan instalasi package Python juga mengeluarkan file cache yang apabila dibiarkan akan menumpuk dan menghabiskan ruang storage HOME. User dapat berkala membersihkan cache ini.
- Menghapus cache conda dan package - |
---|
-/ 1 /-
|
Muat modul PPM yang digunakan untuk membuat conda env:
$ module load [nama-modul-anaconda-atau-mamba] |
-/ 2 /-
|
Pilih opsi: |
- Menghapus index dan cache package conda. - Tidak mempengaruhi conda env dan package - di dalamnya. $ conda clean --all - Menghapus semua cache pip $ pip cache purge |
5.2. Menghapus Conda Environment
Apabila merasa tidak dibutuhkan, user dapat menghapus conda environment dimana juga meluangkan storage HOME.
- Menghapus conda environment - |
---|
-/ 1 /-
|
Muat modul PPM yang digunakan untuk membuat conda env:
$ module load [nama-modul-anaconda-atau-mamba] |
-/ 2 /-
|
Hapus conda env dengan:
$ conda remove -n [nama-conda-env] --all |
5.3. Manajemen Conda Environment Lainnya
Berikut manajemen conda yang sekiranya berguna:
- Manajemen conda environment lainnya - |
---|
- Mengganti nama conda env $ conda rename -n [nama-conda-env-saat-ini] [nama-conda-env-baru] - Menduplikat conda env yang ada $ conda create -n [nama-conda-duplikat] --clone [nama-conda-env-yang-ada] - Membuat file konfigurasi yml dari conda env yang aktif (env)$ conda env create -f [nama-file-yml].yml |
6. Pilihan Menjalankan Komputasi
Berikut opsi menjalankan komputasi Python dengan conda env, pilih sesuai kebutuhan:
- [ 6.1 - Batch Job ]
- Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
- Batch job akan berhenti ketika:
- Program komputasi selesai berjalan.
- Program komputasi menyentuh limit waktu yang ditentukan user.
- Program menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya batch job:
- Job tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- [ 6.2 - Sesi Jupyter ]
- Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
- Sesi Jupyter akan berhenti ketika:
- Waktu sesi habis.
- Sesi dihentikan secara manual oleh user.
- Sesi menjumpai error sehingga selesai prematur.
- Koneksi user tidak mempengaruhi jalannya sesi Jupyter, contoh:
- Sesi tidak akan berhenti ketika koneksi user terputus, atau
- user keluar (log out) dari ALELEON.
- Ketika user keluar dari sesi Jupyter saat cell berjalan dan kembali masuk:
- Bisa jadi cell tsb. tidak menampilkan proses jalannya komputasi.
- Lihat cell berikutnya apakah belum / sedang / sudah selesai berjalan.
---
6.1. Batch Job
Menjalankan script Python siap jalan tanpa interaksi user di [Compute node].
Perhatikan file
.ipynb
harus dikonversi ke file.py
.- Job dijalankan oleh manajemen Slurm, user menunggu hingga selesai.
Tersedia pilihan tampilan yang dapat dipilih sesuai preferensi user:
(klik expand / kembangkan)
- Langkah Batch Job di Terminal - | |||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Tutorial ini mengasumsikan user familiar dengan terminal Linux | |||||||||||||||||||||||||||
Menggunakan terminal!
| |||||||||||||||||||||||||||
-/ 0 /-
| |||||||||||||||||||||||||||
Apakah bisa menjalankan job? | |||||||||||||||||||||||||||
User dengan Kredit Core Hour disarankan cek kuota terlebih dulu:
$ sausage
| |||||||||||||||||||||||||||
-/ 1 /-
| |||||||||||||||||||||||||||
Lakukan persiapan: | |||||||||||||||||||||||||||
1A - Pastikan package lengkap pada conda env yang akan digunakan:
1B - Siapkan file komputasi yang dibutuhkan:
1C - 1 - Nonaktifkan conda env di terminal apabila aktif: (env)$ conda deactivate 2 - Nonaktifkan modul Package Python: $ ml unload Anaconda Mamba Apabila ada pesan ini, abaikan: the module ... cannot be unloaded because it was not loaded | |||||||||||||||||||||||||||
-/ 2A /-
| |||||||||||||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi:
$ nano submit.sh atau vim | |||||||||||||||||||||||||||
Contoh template Submit Script:
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
-/ 2B /-
| |||||||||||||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:
Untuk melihat limit, jalankan perintah berikut: $ slimit-python
| |||||||||||||||||||||||||||
-/ 3 /-
| |||||||||||||||||||||||||||
Jalankan job dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | |||||||||||||||||||||||||||
-/ 4 /-
| |||||||||||||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
$ squeue -ul $USER
| |||||||||||||||||||||||||||
-/ 5 /-
| |||||||||||||||||||||||||||
User dapat memantau file output dengan perintah Unix seperti:
| |||||||||||||||||||||||||||
-/ 6 /-
| |||||||||||||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 | |||||||||||||||||||||||||||
--- |
- Langkah Batch Job di web EFIRO - | ||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
-/ 0 /-
| ||||||||||||||||||||||||
Apakah bisa menjalankan job? | ||||||||||||||||||||||||
User dengan Kredit Core Hour disarankan cek kuota terlebih dulu:
$ sausage
| ||||||||||||||||||||||||
-/ 1 /-
| ||||||||||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | ||||||||||||||||||||||||
-/ 2 /-
| ||||||||||||||||||||||||
| ||||||||||||||||||||||||
![]() New Job > From Template
| ||||||||||||||||||||||||
-/ 3 /-
| ||||||||||||||||||||||||
Buat ruang job untuk menjalankan komputasi: | ||||||||||||||||||||||||
Create New Job
| ||||||||||||||||||||||||
-/ 4 /-
| ||||||||||||||||||||||||
Lakukan persiapan: | ||||||||||||||||||||||||
4A - Pastikan package lengkap pada conda env yang akan digunakan:
4B - Siapkan file komputasi yang dibutuhkan di ruang job:
| ||||||||||||||||||||||||
-/ 5A /-
| ||||||||||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor
| ||||||||||||||||||||||||
![]()
... module load ${PM} module load [Nama-modul-CUDA] ...
| ||||||||||||||||||||||||
| ||||||||||||||||||||||||
-/ 5B /-
| ||||||||||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) punya limit berdasarkan:
Untuk melihat limit, jalankan perintah berikut: $ slimit-python
| ||||||||||||||||||||||||
-/ 6 /-
| ||||||||||||||||||||||||
Jalankan job dengan klik tombol Submit
| ||||||||||||||||||||||||
-/ 7 /-
| ||||||||||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
| ||||||||||||||||||||||||
-/ 8 /-
| ||||||||||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, klik Stop
| ||||||||||||||||||||||||
-/ 9 /-
| ||||||||||||||||||||||||
Untuk menghapus ruang job dan datanya:
| ||||||||||||||||||||||||
--- |
6.2. Sesi Jupyter
Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
(klik expand / kembangkan)
- Langkah Sesi Jupyter - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
-/ 1 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
[Login ke web EFIRO] ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 2 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Lakukan persiapan sebelum sesi Jupyter: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Untuk efisiensi sesi terkait batasan waktu dan konsumsi Core Hour:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 3 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 4 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 5 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 6 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 7 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Gunakan kernel Python 3 (ipykernel) untuk sesi Jupyter. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-/ 8 /-
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sesi Jupyter tidak terputus ketika:
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
--- |
7. Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com
Kontributor
EFISON turut mengucapakan terima kasih spesial kepada:
- [Sadasa Aacademy] untuk pengujian semua tutorial di laman ini.