Anaconda Python (depreciated)
ALELEON Supercomputer menggunakan suite Anaconda dan Conda Environment untuk komputasi yang membutuhkan environment Python. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.
Python 3 dan Anaconda 3
Secara default, environment ALELEON Supercomputer menggunakan Python 3 termasuk semua modul Anaconda yang ada yaitu Anaconda 3,
Modul Anaconda
Berikut adalah detail versi Anaconda yang tersedia secara global di ALELEON Supercomputer:
Versi | Nama modul | Versi Python
DEFAULT |
Modul
DEFAULT |
Dukungan hardware | |||
---|---|---|---|---|---|---|---|
CPU | GPU | OMP
Threading |
MPI
multi-node | ||||
Anaconda 3 2020.11 | Anaconda3/2020.11 | 3.8.5 | - | V | V | V* | V** |
Anaconda 3 2021.05 | Anaconda3/2021.05 | 3.8.8 | - | ||||
Anaconda 3 2022.05 | Anaconda3/2022.05 | 3.9.12 | V | ||||
Anaconda3 |
* ya melalui package Python yang mendukung OpenMP seperti Cython, Numba, Pythran, PyPy, dll.
** ya melalui MPI for Python (MPI4PY)
Menjalankan Python di ALELEON Supercomputer
Terdapat dua langkah besar untuk menjalankan komputasi Python di ALELEON Supercomputer:
- User harus membuat Conda Environment supaya dapat mengisolasi dan mengatur instalasi package Python di dalamnya.
- User memilih untuk menjalankan komputasi Python (via Conda Environment) dengan skema job submission atau interaktif dengan detail penjelasan berikut:
Menjalankan Python melalui Job Submission:
|
Menjalankan Python secara interaktif dengan sesi Jupyter:
|
Membuat Conda Environment
Berikut adalah langkah untuk membuat Conda Environment di ALELEON Supercomputer:
0A | Instalasi package dilakukan melalui terminal. | |
0B | Bagi user EFIRO, buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access .
| |
1 | Aktifkan modul Anaconda, tim admin EFISON menyarankan selalu gunakan Anaconda3 terbaru:
$ module load Anaconda3 Apabila membutuhkan versi lainnya, lihat daftar modul Anacona pada subbab Modul Anaconda. | |
2 | Buat Conda Environment secara default di direktori HOME dengan format perintah:
$ conda create --name <nama-conda-environment> Contoh: $ conda create --name tensortest | |
3 | Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate :
$ source activate $CONDA/<nama-conda-environment> Contoh: $ source activate $CONDA/tensortest
(tensortest) [wololo@login ~]$ | |
4A |
Instalasi Package Python melalui pipTim admin menyarankan user untuk melakukan instalasi package Python (seperti Tensorflow, PyTorch, Numpy, dll) yang dibutuhkan melalui pip install. Sebelumya lakukan instalasi pip dengan conda: $ conda install pip Kemudian user dapat melakukan instalasi package melalui pip install: $ pip install <nama-package>
| |
4B |
Instalasi pip JupyterUser dapat sekaligus melakukan instalasi Jupyter dan Jupyter Lab apabila kedepannya membutuhkan sesi interaktif Jupyter Notebook dan Lab: $ pip install jupyter $ pip install jupyterlab | |
Mengakses Kembali Conda Environment UserKetika user ingin kembali mengakses Conda Environment yang dibuat, lakukan langkah $ module load Anaconda3 $ source activate $CONDA/<nama-conda-environment> Apabila lupa dengan nama dan direktori Conda Environment, user dapat melihat semua Conda Environment yang dibuat dengan perintah $ conda-env list Menghapus Conda EnvironmentApabila merasa tidak dibutuhkan kembali. user dapat menghapus Conda Environment dengan format perintah: $ conda remove -n <nama-conda-environment> --all |
Menjalankan Python Melalui Job Submission
User dapat menjalankan Python melalui job submission dengan pilihan cara menjalankan komputasi:
EFIRO Job Composer
Menjalankan komputasi dengan tampilan grafis pada formulir job submission EFIRO Job Composer. Berikut adalah pilihan template Python yang tersedia:
Nama Template | Penjelasan |
---|---|
Python Anaconda (CPU) | Menjalankan Python di Compute Node CPU (Partisi epyc) |
Python Anaconda (GPU) | Menjalankan Python di Compute Node GPU (Partisi ampere) |
SLURM sbatch via Terminal
Menjalankan komputasi pada terminal melalui job submission SLURM sbatch. Berikut adalah contoh referensi Submit Script untuk menjalankan Python baik di Compute Node CPU maupun GPU. Perhatikan bahwa Submit Script memuat nama Conda Environment yang digunakan untuk menjalankan komputasi Python user.
Contoh SLURM Submit Script Python di Compute Node CPU |
---|
#!/bin/bash # ------------------------------------------------------------------------ # | Template SLURM Submit Script # | Software : Python - Anaconda (CPU) # | Versi : tergantung input user # | Update script r: 17/05/2023 # | # | NOTES: # | 1. Isi bagian yang ditandai 4 garing (////). # | 2. Template ini adalah referensi - user dapat mengubah bagian yang # | sekiranya perlu diubah. # | 3. Panduan mengisi alokasi komputasi (SBATCH) menurut spesifikasi # | ALELEON Supercomputer lihat: # | https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer # ------------------------------------------------------------------------ # -------------------------------------------------- # Alokasi komputasi, modul software, dan file input # -------------------------------------------------- # Alokasi jumlah 1 compute node #SBATCH --nodes=1 # Alokasi jumlah core thread CPU #SBATCH --ntasks=//// # Alokasi jumlah memori RAM (satuan GB) #SBATCH --mem=////GB # Alokasi limit waktu menjalankan job, format HH:MM:SS atau D-HH:MM:SS #SBATCH --time=//// # Definisi file untuk menampung output terminal #SBATCH --output=result-%j.txt # Definisi file untuk menampung output error log #SBATCH --error=error-%j.txt # Nama Conda Environment yang digunakan untuk komputasi ini CONDA_ENV_NAME='////' # Nama input file Python dengan format file-nya INPUT_FILE='////.py' # ------------------------------------------------- # RUN SCRIPT # ------------------------------------------------- # Mengaktifkan Conda Environment module load Anaconda3 source activate $CONDA/$CONDA_ENV_NAME # Perintah menjalankan Python python $INPUT_FILE |
Contoh SLURM Submit Script Python di Compute Node GPU |
---|
#!/bin/bash # ------------------------------------------------------------------------ # | Template SLURM Submit Script # | Software : Python - Anaconda (GPU) # | Versi : tergantung input user # | Update script r: 17/05/2023 # | # | NOTES: # | 1. Isi bagian yang ditandai 4 garing (////). # | 2. Template ini adalah referensi - user dapat mengubah bagian yang # | sekiranya perlu diubah. # | 3. Panduan mengisi alokasi komputasi (SBATCH) menurut spesifikasi # | ALELEON Supercomputer lihat: # | https://wiki.efisonlt.com/wiki/Submit_Script_ALELEON_Supercomputer # ------------------------------------------------------------------------ # -------------------------------------------------- # Alokasi komputasi, modul software, dan file input # -------------------------------------------------- # Menjalankan komputasi di Partisi ampere #SBATCH --partition=ampere # Alokasi jumlah GPU #SBATCH --gpus=//// # Alokasi jumlah core thread CPU #SBATCH --ntasks=//// # Alokasi jumlah memori RAM (satuan GB) #SBATCH --mem=////GB # Alokasi limit waktu menjalankan job, format HH:MM:SS atau D-HH:MM:SS #SBATCH --time=//// # Definisi file untuk menampung output terminal #SBATCH --output=result-%j.txt # Definisi file untuk menampung output error log #SBATCH --error=error-%j.txt # Nama Conda Environment yang digunakan untuk komputasi ini CONDA_ENV_NAME='////' # Nama input file Python dengan format file-nya INPUT_FILE='////.py' # Memuat modul NVIDIA CUDA default atau terbaru module load cuda # Apabila membutuhkan CUDA versi lain, lihat daftar modul CUDA: # #Daftar Modul NVIDIA CUDA Toolkit # ------------------------------------------------- # RUN SCRIPT # ------------------------------------------------- # Mengaktifkan Conda Environment module load Anaconda3 source activate $CONDA/$CONDA_ENV_NAME # Perintah menjakankan Python python $INPUT_FILE |
Notifikasi Status Jalannya Job Submission via email
SLURM ALELEON Supercomputer dapat mengirim notifikasi email kepada user untuk mengabarkan apabila job user sudah berjalan atau selesai. SLURM ALELEON Supercomputer menggunakan nama email Jojo untuk mengirim notifikasi email.
Silahkan tambahan SBATCH berikut pada SLURM Submit Script (dapat ditambahkan setelah SBATCH error) apabila user ingin menerima notifikasi email dari SLURM:
#SBATCH --mail-user=<alamat-email-user> #SBATCH --mail-type=begin #SBATCH --mail-type=end
- mail-user
- Alamat email user untuk menerima notifikasi SLURM
- mail-type=begin
- Notifikasi email yang menginfokan job sudah berjalan.
- mail-type=end
- Notifikasi email yang menginfokan job sudah selesai.
- Sekaligus memberikan cuplikan 20 baris terakhir dari file output SBATCH output dan error job user.
Menjalankan Python dengan Sesi Interaktif Jupyter
Berikut adalah langkah untuk memulai sesi Jupyter dengan Conda Environment yang dibuat user:
0A | Login ke EFIRO. | ||||
0B | Pastikan user sudah membuat Conda Environment dengan package Jupyter Notebook dan Lab didalamnya. | ||||
1 | Buka menu Interactive Apps kemudian user bebas memilih menggunakan Jupyter Notebook atau Lab.
| ||||
2 | User mengisi formulir untuk memulai sesi Jupyter Notebook. Terdapat dua pilihan pengisian formulir yaitu menggunakan Partisi Torti (CPU) atau Partisi Tilla (dengan akselerasi GPU).
| ||||
3 | Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions . Tunggu hingga sesi Jupyter user siap diakses.
| ||||
4A | Apabila status menunjukkan Running atau kolom berwarna hijau, klik Connect to Jupyter . Perlu diperhatikan bahwa sistem mulai menghitung Kredit Core Hour saat status Jupyter menunjukkan Running.
Menghentikan (Stop / Cancel) Sesi JupyterUser dapat menghentikan sesi Jupyter yang sedang berjalan dengan klik tombol | ||||
4B | User dapat kembali mengunjungi halaman sesi My Interactive Sessions melalui menu di dasboard EFIRO.
|
Daftar Modul NVIDIA CUDA Toolkit
User membutuhkan modul NVIDIA CUDA Toolkit untuk menjalankan Python dengan akselerasi GPU NVIDIA di ALELEON Supercomputer. Praktek pada umumnya adalah selalu menggunakan CUDA Toolkit versi terbaru atau modul default di ALELEON Supercomputer dengan nama cuda
.
Akan tetapi terkadang ada package Python yang membutuhkan versi CUDA spesifik. Berikut adalah daftar lengkap modul CUDA di ALELEON Supercomputer untuk memenuhi kebutuhan tersebut:
Nama dan Versi | Nama Modul |
---|---|
CUDA 11.2 dengan cuDNN 8.1.1 | cuda/11.2-cuDNN8.1.1 |
CUDA 11.6 dengan cuDNN 8.3.3 | cuda/11.6-cuDNN8.3.3 |
CUDA 11.8 dengan cuDNN 8.6.0 | cuda/11.8-cuDNN8.6.0 |
CUDA 12.0 dengan cuDNN 8.7.0 | cuda/12.0-cuDNN8.7.0 |
CUDA 12.1 dengan cuDNN 8.8.1 [DEFAULT] | cuda/12.1-cuDNN8.8.1 |
cuda |
Apabila user membutuhkan CUDA versi spesifik yang belum ada pada daftar diatas, hubungi tim admin melalui support@efisonlt.com untuk permintaan instalasi. Layanan ini bebas biaya dan akan dilakukan pada hari dan jam kerja EFISON.