Komputasi Python dengan Conda Environment: Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Membuat Conda Environment: testing formatting nomor step) |
WilsonLisan (bicara | kontrib) (Memisahkan tabel mamba dan anaconda) |
||
Baris 29: | Baris 29: | ||
== '''''Membuat Conda Environment''''' == | == '''''Membuat Conda Environment''''' == | ||
ALELEON Supercomputer menyediakan pilihan Python Package Manager (PPM) berikut untuk membuat conda environment. Pilih sesuai preferensi user: | ALELEON Supercomputer menyediakan pilihan Python Package Manager (PPM) berikut untuk membuat conda environment. Pilih sesuai preferensi user: | ||
{| class="wikitable" | {| class="wikitable mw-collapsible mw-collapsed" | ||
!- Membuat conda env dengan Anaconda - | |||
[[Berkas:Anaconda transparent logo.png|nirbing|90x90px]] | |||
|- | |- | ||
| | | | ||
* | *PPM Python paling banyak digunakan. | ||
*Saat ini menjadi standar industri. | *Saat ini menjadi standar industri. | ||
| | |- | ||
!<big>0</big> | !<big>0</big> | ||
|- | |- | ||
Baris 49: | Baris 43: | ||
|- | |- | ||
!<big>1</big> | !<big>1</big> | ||
|- | |- | ||
|Pilih dan aktifkan modul Anaconda untuk membuat conda env: | |Pilih dan aktifkan modul Anaconda untuk membuat conda env: | ||
* ''Ingat atau catat modul Anaconda yang dipakai.'' | |||
* ''Kedepannya digunakan untuk mengaktifkan conda env ini.'' | |||
$ '''module load ''[nama-modul-anaconda]''''' | |||
{| class="wikitable" | {| class="wikitable" | ||
|+Daftar nama modul Anaconda 3 | |+Daftar nama modul Anaconda 3 | ||
Baris 86: | Baris 76: | ||
|''3.8.5'' | |''3.8.5'' | ||
|} | |} | ||
|- | |- | ||
!''Daftar package yang butuh Python versi spesifik:'' | !''Daftar package yang butuh Python versi spesifik:'' | ||
|- | |- | ||
|Gunakan opsi | |Gunakan opsi '''<big>2B</big>''' untuk membuat conda env. | ||
{| class="wikitable" | {| class="wikitable" | ||
!Package | !Package | ||
Baris 103: | Baris 88: | ||
|} | |} | ||
|- | |- | ||
! <big> | ! <big>2</big> | ||
|- | |||
!Buat conda env dengan opsi: | |||
|- | |- | ||
| | |'''<big>2A</big> -''' Conda env kosong dengan Python 3 versi terbaru '''(3.13)''': | ||
$ '''conda create -n ''[nama-conda-env]'' pip''' | |||
<small>''Contoh dengan nama 'skripsi'''</small> | |||
<small>$ conda create -n '''skripsi''' pip</small> | |||
|- | |- | ||
! | |||
|- | |- | ||
|<big> | |'''<big>2B</big> -''' Conda env kosong dengan Python versi tertentu: | ||
$ '''conda create -n ''[nama-conda-env]'' python=''[versi]''''' | |||
<small>''Contoh | <small>''Contoh dengan Python 3.10''</small> | ||
<small>$ conda create -n '''skripsi python=3.10'''</small> | |||
|- | |- | ||
!Saran | !Saran | ||
Baris 121: | Baris 110: | ||
|Pilih nama conda env yang mengandung unsur nama modul: | |Pilih nama conda env yang mengandung unsur nama modul: | ||
* Untuk mengingat modul yang digunakan membuat conda env. | * ''Untuk mengingat modul yang digunakan membuat conda env.'' | ||
* Contoh user memilih modul Anaconda3/2024-02-1 | * ''Contoh user memilih modul Anaconda3/2024-02-1'' | ||
* Gunakan nama conda env seperti | * ''Gunakan nama conda env seperti <code>'''A2024-skripsi'''</code>'' | ||
|- | |- | ||
!--- | !--- | ||
Baris 132: | Baris 121: | ||
[[Berkas:Mamba transparent logo.png|nirbing|90x90px]] | [[Berkas:Mamba transparent logo.png|nirbing|90x90px]] | ||
|- | |- | ||
!<big> | | | ||
*Alternatif yang dikembangkan komunitas. | |||
*Dalam beberapa kasus lebih ringan dan cepat dari Anaconda. | |||
|- | |||
!<big>0</big> | |||
|- | |||
|[[Berkas:Icon apps terminal cropped.png|kiri|nirbing|80x80px]]Menggunakan terminal! | |||
* User web EFIRO buka app '''<code>Aleleon Shell Access</code>'''. | |||
|- | |||
!<big>1</big> | |||
|- | |- | ||
|Pilih dan aktifkan modul Mamba untuk membuat conda env: | |Pilih dan aktifkan modul Mamba untuk membuat conda env: | ||
* ''Ingat atau catat modul Mamba yang dipakai.'' | |||
* ''Kedepannya digunakan untuk mengaktifkan conda env ini.'' | |||
'''$ module load ''[nama-modul-mamba]''''' | |||
{| class="wikitable" | {| class="wikitable" | ||
|+Daftar nama modul Mamba | |+Daftar nama modul Mamba | ||
Baris 146: | Baris 148: | ||
|''3.10.13'' | |''3.10.13'' | ||
|} | |} | ||
|- | |- | ||
!''Daftar package yang butuh Python versi spesifik'' | !''Daftar package yang butuh Python versi spesifik'' | ||
|- | |- | ||
|Gunakan opsi ''' | |Gunakan opsi <big>'''2B'''</big> untuk membuat conda env. | ||
{| class="wikitable" | {| class="wikitable" | ||
!Package | !Package | ||
Baris 163: | Baris 160: | ||
|} | |} | ||
|- | |- | ||
! <big> | ! <big>2</big> | ||
|- | |||
!Buat conda env dengan opsi: | |||
|- | |- | ||
| | |'''<big>2A</big> -''' Conda env kosong dengan Python 3 versi terbaru '''(3.13)''': | ||
$ '''mamba create -n ''[nama-conda-env]'' pip''' | |||
<small>''Contoh dengan nama 'skripsi'''</small> | |||
<small>$ mamba create -n '''skripsi''' pip</small> | |||
|- | |- | ||
! | |||
|- | |- | ||
|'''<big> | |'''<big>2B</big> -''' Conda env kosong dengan Python versi tertentu: | ||
$ '''mamba create -n ''[nama-conda-env]'' python=''[versi]''''' | |||
<small>''Contoh dengan Python 3.10 | <small>''Contoh dengan Python 3.10''</small> | ||
<small>$ mamba create -n '''skripsi python=3.10'''</small> | |||
|- | |- | ||
!Saran | !Saran | ||
Baris 181: | Baris 182: | ||
|Pilih nama conda env yang mengandung unsur nama modul: | |Pilih nama conda env yang mengandung unsur nama modul: | ||
* Untuk mengingat modul yang digunakan membuat conda env. | * ''Untuk mengingat modul yang digunakan membuat conda env.'' | ||
* Contoh user memilih modul Mamba/23.11.0-0 | * ''Contoh user memilih modul Mamba/23.11.0-0'' | ||
* Gunakan nama conda env seperti | * ''Gunakan nama conda env seperti <code>'''M23-skripsi'''</code>'' | ||
|- | |- | ||
!--- | !--- | ||
|} | |} | ||
== '''''Mengaktifkan Conda Env dan Instalasi Package''''' == | == '''''Mengaktifkan Conda Env dan Instalasi Package''''' == | ||
[[Berkas:GMB warning wololo.png|nirbing|50x50px]] Ada baiknya user melengkapi instalasi package '''sebelum menjalankan komputasi''' karena: | [[Berkas:GMB warning wololo.png|nirbing|50x50px]] Ada baiknya user melengkapi instalasi package '''sebelum menjalankan komputasi''' karena: | ||
Baris 207: | Baris 206: | ||
|- | |- | ||
|Muat modul PPM yang digunakan untuk membuat conda env | |Muat modul PPM yang digunakan untuk membuat conda env | ||
'''$ module load ''[Anaconda-atau-Mamba ....]''''' | |||
|- | |- | ||
!<big>2</big> | !<big>2</big> | ||
|- | |- | ||
|Aktifkan conda env dengan perintah source: | |Aktifkan conda env dengan perintah source: | ||
'''$ source activate ''[nama-conda-env]''''' | |||
|- | |- | ||
!<big>3</big> | !<big>3</big> | ||
|- | |- | ||
!Pilih panduan instalasi package yang dibutuhkan | |||
|- | |- | ||
| | |||
| | |||
{| class="wikitable mw-collapsible mw-collapsed" | {| class="wikitable mw-collapsible mw-collapsed" | ||
! colspan="2" |- Instalasi Package Umum dengan pip / conda - | ! colspan="2" |- Instalasi Package Umum dengan pip / conda - | ||
Baris 271: | Baris 256: | ||
| colspan="3" |Tersedia dua versi TensorFlow, pilih sesuai kebutuhan: | | colspan="3" |Tersedia dua versi TensorFlow, pilih sesuai kebutuhan: | ||
* Versi CPU - berjalan di CPU. | * Versi CPU - berjalan di CPU. | ||
*Versi GPU - berjalan dengan akselerasi GPU | *Versi GPU - berjalan dengan akselerasi GPU | ||
Spesifikasi CPU dan GPU lihat '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer]]]''' | Spesifikasi CPU dan GPU lihat '''[<nowiki/>[[Spesifikasi ALELEON Supercomputer]]]''' | ||
|- | |- | ||
Baris 349: | Baris 334: | ||
|} | |} | ||
|- | |- | ||
! | !<big>4</big> | ||
|- | |- | ||
| | |Apabila hendak menonaktfkan conda env: | ||
<code>'''<sub>(env)</sub>$ conda deactivate'''</code> | |||
|- | |||
!Saran | |||
|- | |||
|Apabila lupa dengan nama conda env, cari dengan: | |||
<code>'''$ conda env list'''</code> | |||
|} | |} | ||
Revisi per 29 April 2025 05.40
Halaman ini menjelaskan menjalankan komputasi / aplikasi Python dengan conda environment di ALELEON Supercomputer.
Laman ini merupakan bagian laman -> Komputasi Python |
---|
Wololo!
Perhatikan halaman ini sedang dalam proses revisi penulisan. User disarankan untuk kembali mereferensi halaman ini setelah pesan ini hilang. Terima kasih untuk bersedia menunggu dan mohon maaf atas ketidaknyamanannya.
Langkah Menjalankan Komputasi
Terdapat tiga langkah utama:
- Buat conda environment untuk menampung instalasi package.
- Instal package Python yang diperlukan di conda env tersebut.
- Menggunakan conda env tersebut untuk menjalankan komputasi.
Spesifikasi
Tutorial ini memandu membuat conda environment dengan site-packages terisolasi di dalamnya.
Keterangan simbol perintah terminal |
---|
$ -> perintah ketika conda env tidak aktif
|
(env)$ -> perintah ketika conda env aktif
|
Membuat Conda Environment
ALELEON Supercomputer menyediakan pilihan Python Package Manager (PPM) berikut untuk membuat conda environment. Pilih sesuai preferensi user:
- Membuat conda env dengan Anaconda - | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||||
0 | ||||||||||||||||||
Menggunakan terminal!
| ||||||||||||||||||
1 | ||||||||||||||||||
Pilih dan aktifkan modul Anaconda untuk membuat conda env:
$ module load [nama-modul-anaconda]
| ||||||||||||||||||
Daftar package yang butuh Python versi spesifik: | ||||||||||||||||||
Gunakan opsi 2B untuk membuat conda env.
| ||||||||||||||||||
2 | ||||||||||||||||||
Buat conda env dengan opsi: | ||||||||||||||||||
2A - Conda env kosong dengan Python 3 versi terbaru (3.13):
$ conda create -n [nama-conda-env] pip Contoh dengan nama 'skripsi' $ conda create -n skripsi pip | ||||||||||||||||||
2B - Conda env kosong dengan Python versi tertentu:
$ conda create -n [nama-conda-env] python=[versi] Contoh dengan Python 3.10 $ conda create -n skripsi python=3.10 | ||||||||||||||||||
Saran | ||||||||||||||||||
Pilih nama conda env yang mengandung unsur nama modul:
| ||||||||||||||||||
--- |
- Membuat conda env dengan Mamba - | ||||||
---|---|---|---|---|---|---|
| ||||||
0 | ||||||
Menggunakan terminal!
| ||||||
1 | ||||||
Pilih dan aktifkan modul Mamba untuk membuat conda env:
$ module load [nama-modul-mamba]
| ||||||
Daftar package yang butuh Python versi spesifik | ||||||
Gunakan opsi 2B untuk membuat conda env.
| ||||||
2 | ||||||
Buat conda env dengan opsi: | ||||||
2A - Conda env kosong dengan Python 3 versi terbaru (3.13):
$ mamba create -n [nama-conda-env] pip Contoh dengan nama 'skripsi' $ mamba create -n skripsi pip | ||||||
2B - Conda env kosong dengan Python versi tertentu:
$ mamba create -n [nama-conda-env] python=[versi] Contoh dengan Python 3.10 $ mamba create -n skripsi python=3.10 | ||||||
Saran | ||||||
Pilih nama conda env yang mengandung unsur nama modul:
| ||||||
--- |
Mengaktifkan Conda Env dan Instalasi Package
Ada baiknya user melengkapi instalasi package sebelum menjalankan komputasi karena:
- Batch job -> supaya script Python berjalan tanpa error missing package.
- Sesi Jupyter -> untuk efisiensi penggunaan karena terkadang ada package yang membutuhkan waktu lama untuk instalasi.
Instalasi ini berjalan di login node sehingga tidak mengkonsumsi Core Hour.
Mengaktifkan Conda Environment | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Menggunakan terminal!
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Muat modul PPM yang digunakan untuk membuat conda env
$ module load [Anaconda-atau-Mamba ....] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Aktifkan conda env dengan perintah source:
$ source activate [nama-conda-env] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Pilih panduan instalasi package yang dibutuhkan | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Apabila hendak menonaktfkan conda env:
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Saran | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Apabila lupa dengan nama conda env, cari dengan:
|
Menjalankan Conda Env dengan GPU?
Berikut hal yang perlu diperhatikan untuk menjalankan package komputasi Python dan conda env di GPU ALELEON Supercomputer:
Package Python Versi CUDA
Partisi GPU ALELEON menggunakan GPU NVIDIA sehingga:
- Instal package Python versi CUDA (apabila ada).
- Apabila ikut tutorial subbab diatas, pilih versi GPU
.
Apakah Perlu Memuat Modul CUDA?
Package Python versi CUDA membutuhkan library CUDA yang sesuai untuk berjalan. Biasanya instalasi package Python versi CUDA juga menginstal library CUDA yang diperlukan. Berikut langkah cek kelengkapan library CUDA:
Pilihan Menjalankan Komputasi
User dapat menjalankan komputasi dengan conda env melalui pilihan berikut, pilih sesuai kebutuhan:
Batch Job
Menjalankan script Python siap jalan tanpa interaksi user melalui manajemen Slurm di [compute node].
Perhatikan untuk file
.ipynb
harus dikonversi ke file.py
.- Tersedia dua pilihan tampilan yaitu terminal dan web EFIRO. Pilih sesuai keinginan.
(klik expand / kembangkan)
- Langkah Batch Job di Terminal - | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Menggunakan terminal!
| ||||||||||||||||
1 | ||||||||||||||||
Siapkan conda env dan file komputasi yang dibutuhkan.
| ||||||||||||||||
2A | ||||||||||||||||
Buat Submit Script yaitu 'formulir' untuk menjalankan job komputasi.
| ||||||||||||||||
Contoh template Submit Script
| ||||||||||||||||
| ||||||||||||||||
| ||||||||||||||||
2B | ||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
Untuk melihat limit, jalankan perintah: $ slimit-python | ||||||||||||||||
3 | ||||||||||||||||
Jalankan job komputasi dengan perintah:
$ sbatch [nama-submit-script] Contoh: $ sbatch submit.sh | ||||||||||||||||
4 | ||||||||||||||||
User dapat melihat status jalannya job dengan perintah:
| ||||||||||||||||
Apabila user ingin menghentikan job yang berjalan, jalankan perintah:
$ scancel [job-ID] Job ID ada pada squeue diatas. contoh membatalkan job ID 231: $ scancel 231 | ||||||||||||||||
--- |
- Langkah Batch Job di web EFIRO - | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | ||||||||||||||||
2 | ||||||||||||||||
![]() Pilih menu | ||||||||||||||||
3 | ||||||||||||||||
Job Name dan klik Create New Job
| ||||||||||||||||
4 | ||||||||||||||||
Siapkan file komputasi dan conda env yang dibutuhkan:
| ||||||||||||||||
5A | ||||||||||||||||
Lengkapi Submit Script melalui tombol Open Editor:
| ||||||||||||||||
![]()
| ||||||||||||||||
| ||||||||||||||||
5B | ||||||||||||||||
SBATCH komputasi (ntasks, mem, time, dll) mempunyai limit berdasarkan:
Untuk melihat limit, jalankan perintah ini via menu $ slimit-python | ||||||||||||||||
6 | ||||||||||||||||
Jalankan job dengan klik tombol Submit .
| ||||||||||||||||
7 | ||||||||||||||||
Lihat output file komputasi pada kolom Folder Contents
| ||||||||||||||||
8 | ||||||||||||||||
Untuk menghapus ruang job dan datanya:
| ||||||||||||||||
--- |
Sesi Jupyter
Menjalankan sesi interaktif Jupyter Lab atau Notebook di [interactive node].
- Langkah Sesi Jupyter - | |||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | |||||||||||||||||||||||||||||||||||||||||
Login ke web EFIRO ALELEON Supercomputer. | |||||||||||||||||||||||||||||||||||||||||
2 | |||||||||||||||||||||||||||||||||||||||||
Siapkan conda environment yang akan digunakan.
| |||||||||||||||||||||||||||||||||||||||||
Untuk sesi Jupyter efektif terkait batasan waktu dan konsumsi Core Hour:
| |||||||||||||||||||||||||||||||||||||||||
3 | |||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||
4 | |||||||||||||||||||||||||||||||||||||||||
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
| |||||||||||||||||||||||||||||||||||||||||
5 | |||||||||||||||||||||||||||||||||||||||||
Klik tombol Launch untuk memulai sesi Jupyter.
| |||||||||||||||||||||||||||||||||||||||||
6 | |||||||||||||||||||||||||||||||||||||||||
Apabila status Running, klik tombol Connect to Jupyter .
| |||||||||||||||||||||||||||||||||||||||||
7 | |||||||||||||||||||||||||||||||||||||||||
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. | |||||||||||||||||||||||||||||||||||||||||
8 | |||||||||||||||||||||||||||||||||||||||||
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
| |||||||||||||||||||||||||||||||||||||||||
--- |
Pelaporan Kendala dan Support
Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.
Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:
support@efisonlt.com