Komputasi Python dengan Conda Environment

Halaman ini menjelaskan menjalankan komputasi Python dengan conda environment di ALELEON Supercomputer.

Laman ini merupakan bagian laman -> Komputasi Python

Langkah Menjalankan Komputasi

Terdapat dua langkah utama:

1. Membuat conda environment dan instal package yang diperlukan di dalamnya.
2. Menjalankan komputasi dengan conda env tersebut.

Membangun Conda Environment

ALELEON Supercomputer menyediakan pilihan package manager Python untuk membuat conda environment. Pilih sesuai preferensi user:

PM Python paling banyak digunakan. Saat ini menjadi standar industri.	Alternatif Anaconda, dibuat dengan C++. Dikembangkan oleh komunitas. Dalam beberapa kasus lebih ringan dan cepat.

Membuat dan Manajemen Conda Environment

Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Pilih menggunakan Anaconda atau Mamba. (klik expand / kembangkan) ---- Opsi Anaconda 1 Pilih dan aktifkan modul Anaconda untuk membuat conda env: $ module load [nama-modul-anaconda] Daftar nama modul Anaconda 3 Versi Nama Modul Versi Py default 2024-02-1 Anaconda3/2024.02-1 3.11.7 2023.07-2 Anaconda3/2023.07-2 3.11.4 2022.05 Anaconda3/2022.05 3.9.12 2021.05 Anaconda3/2021.05 3.8.8 2020.11 Anaconda3/2020.11 3.8.5 2 Ingat atau catat modul Anaconda yang dipakai. Kedepannya digunakan untuk mengaktifkan conda env ini. 3 Buat conda env di direktori HOME: $ conda create -n [nama-conda-env] Contoh nama 'skripsi' -> $ conda create -n skripsi 4 Aktifkan conda env dengan perintah source: $ source activate [nama-conda-env] Contoh nama 'skripsi' -> $ source activate skripsi Menonaktifkan conda env: (env-user)$ conda deactivate Mengaktifkan kembali conda env: Lakukan langkah 1 dan 4. Apabila lupa nama env: $ conda env list Manajemen lainnya: Manajemen lain seperti rename, delete, clone, export, dll lihat: [Conda Managing environments] ---- Opsi Mamba 1 Pilih dan aktifkan modul Mamba untuk membuat conda env: $ module load [nama-modul-mamba] Daftar nama modul Mamba Versi Nama Modul Versi Py default 23.11.0-0 Mamba/23.11.0-0 3.10.13 2 Ingat atau catat modul Mamba yang dipakai. Kedepannya digunakan untuk mengaktifkan conda env ini. 3 Buat conda env di direktori HOME: $ mamba create -n [nama-conda-env] Contoh nama 'skripsi' -> $ mamba create -n skripsi 4 Aktifkan conda env dengan perintah source: $ source activate [nama-conda-env] Contoh nama 'skripsi' -> $ source activate skripsi Menonaktifkan conda env: (env-user)$ conda deactivate Mengaktifkan kembali conda env: Lakukan langkah 1 dan 4. Apabila lupa nama env: $ conda env list Manajemen lainnya: Manajemen lain seperti rename, delete, clone, export, dll lihat: [Conda Managing environments]

Instalasi Package di Conda Environment

Menggunakan terminal! User web EFIRO buka app Aleleon Shell Access.
1
Aktifkan conda env yang akan dipakai untuk instalasi package ini.
2
Pilih tutorial instalasi sesuai kebutuhan: (klik expand / kembangkan) Instalasi Package Secara Umum dengan pip / conda User dapat melakukan instalasi package lainnya dengan pip atau conda pip Contoh umum: (env-user)$ pip install [nama-package] Daftar package dan tutorial instal pip lihat web: [PyPI The Python Package Index]. conda Contoh umum: (env-user)$ conda install conda-forge::[nama-package] Daftar package dan tutorial instal conda lihat web: [Packages in Conda Forge]. Instalasi Package TensorFlow Tersedia dua versi TensorFlow, pilih sesuai kebutuhan: Versi CPU - berjalan di CPU. Versi GPU - berjalan dengan akselerasi GPU NVIDIA dan lib. CUDA. Versi Perintah pip CPU (env-user)$ python3 -m pip install tensorflow GPU (env-user)$ python3 -m pip install 'tensorflow[and-cuda]' Instalasi Package PyTorch Tersedia dua versi PyTorch, pilih sesuai kebutuhan: Versi CPU - berjalan di CPU. Versi GPU - berjalan dengan akselerasi GPU NVIDIA dan lib. CUDA. Versi Perintah pip CPU (env-user)$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu GPU - CUDA 11.8 (env-user)$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 GPU - CUDA 12.1 (env-user)$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 GPU - CUDA 12.4 (env-user)$ pip3 install torch torchvision torchaudio Instalasi Package Jupyter untuk user Mamba Conda env dari Mamba perlu instalasi package Jupyter untuk menggunakan sesi Jupyter: (env-user)$ mamba install -c conda-forge jupyterlab (env-user)$ mamba install -c conda-forge jupyter

Metode Menjalankan Komputasi

User dapat memilih metode menjalankan komputasi sesuai keinginan: (klik expand / kembangkan)

• Job submission Slurm
  • Menjalankan komputasi di compute node melalui manajemen Slurm kemudian user menunggu hingga selesai.
  • Hanya untuk file Python (.py) siap jalan, file ipynb harus diubah ke py.
• Sesi Interaktif Slurm
  • coming soon!
• Sesi Interaktif Jupyter
  • Menggunakan interactive node secara langsung melalui IDE Jupyter Lab atau Notebook.

Job Submission Slurm

Terdapat dua pilihan tampilan yaitu dengan terminal dan web EFIRO.

Pelaporan Kendala dan Support

Apabila menjumpai masalah teknis dalam menjalankan komputasi, silahkan lapor dengan klik gambar berikut ini.

Bila terdapat pertanyaan lainnya, silahkan hubungi admin EFISON melalui email:

support@efisonlt.com