Trial Testing

Halaman ini menjabarkan tutorial untuk pengujian software komputasi dan hardware di ALELEON Supercomputer. Silahkan lihat contents / daftar isi (apabila ada) untuk menjalankan pengujian yang diinginkan.

DISCLAIMER!

Selain akun testing, sistem tetap menghitung Core Hour untuk pengujian yang menjalankan komputasi!

Komputasi AI AMD RDNA3 dan ROCm 6

Ini adalah pengujian GPU AMD RDNA3 dan ROCm 6 untuk komputasi AI dengan environment:

• Berjalan di compute node trial dengan spesifikasi CPU AMD Ryzen 3300X 4 core / 8 thread, GPU AMD Radeon 7900XT 20GB GDDR6, dan RAM efektif 60GB.
• Sesi interaktif Jupyter dengan container Apptainer. Tim admin menyediakan image siap pakai untuk pengujian ini:

Daftar image siap pakai
Nama Image	Isi Package
rocm/pytorch2.1.2_jupyter_rocm6.1.3.sif	PyTorch 2.1.2 dengan Jupyter dan ROCm 6.1.3
rocm/pytorch2.3.0_jupyter_rocm6.2.sif	PyTorch 2.3.0 dengan Jupyter dan ROCm 6.2
rocm/tensorflow2.15_rocm6.1_py3.10_dev.sif	TensorFlow 2.15 dengan Jupyter dan ROCm 6.1

Memulai Sesi Jupyter

Langkah Interactive Job Sesi Jupyter dengan Container
1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Jupyter di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut: Choose Jupyter version pilih sesuai preferensi user, Jupyter Lab atau Notebook Partition -> radeon Number of CPU core(s) -> 2 - 8 Amount of memory/RAM (GB) -> 1 - 60 Number of hours -> 1 - 72 Choose how to launch Jupyter -> container Choose available .sif container to run -> pilih sesuai kebutuhan Software modules -> kosongkan Environment setup -> kosongkan Additional Jupyter arguments -> kosongkan Email address Notifikasi email untuk status mulai dan selesainya sesi Jupyter. Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter siap diakses. Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter. Sesi Jupyter siap diakses. Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3. Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
Note perintah penting pada cell Jupyter
Apabila membutuhkan tambahan library Python selain isi Image: Lakukan instalasi dengan pip: !pip install [nama-package] Untuk menunjukkan status GPU, jalankan perintah berikut: !rocm-smi
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada: Menu My Interactive Sessions pada homepage EFIRO. Kolom Active interactive sessions pada homepage EFIRO.

Instalasi dan Menjalankan gmx_MMPBSA

Ini adalah pengujian instalasi dan menjalankan gmx_MMPBSA yang merupakan tool berdasarkan MMPBSA.py dari AMBER untuk kalkulasi end-state free energy dengan file GROMACS.

Instalasi gmx_MMPBSA dengan Conda Environment

gmx_MMPBSA menggunakan library Python spesifik sehingga instalasi dilakukan oleh user melalui Mamba dan ditampung pada conda environment.

Langkah membuat conda environment gmxMMPBSA
1
Muat modul berikut: $ ml Mamba/23.11.0-0 OpenMPI/4.1.1-GCC-11.2.0
2
Buat conda environment: $ mamba env create -f /comp/condaenv_yml/gmxMMPBSA.yml Perintah ini membuat conda environment bernama gmxMMPBSA. Conda env ini berisikan dependencies untuk instalasi gmx_MMPBSA: Isi conda environment gmxMMPBSA Python 3.11.8 AmberTools 23.6 versi conda Gromacs 2023.4 MPI4PY 4.0.1 + MPICH 4.2.3 Numpy 1.26.4 Matplotlib 3.7.3 SciPy 1.14.1 Pandas 1.5.3 Seaborn 4.2.2 ParmEd 4.2.2 PyQt6 6.7.1
3
Aktifkan conda env gmxMMPBSA dan instal package gmx_MMPBSA: $ source activate gmxMMPBSA $ python -m pip install gmx_MMPBSA

Mengaktifkan Conda Environment gmxMMPBSA

Berikut langkah mengaktifkan conda environment gmxMMPBSA apabila dibutuhkan untuk pre-processing di Login Node:

$ ml Mamba/23.11.0-0
$ source activate gmxMMPBSA

Untuk menonaktifkan conda env: 
$ conda deactivate

Template Submit Script gmx_MMPBSA

Gunakan template submit script berikut untuk job submission gmx_MMPBSA. Saat ini diketahui gmx_MMPBSA hanya dapat menggunakan CPU.

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script [TESTING]
# gmx_MMPBSA | rev.221124
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH, input, dan module
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Mengaktifkan conda env gmxMMPBSA 
ml Mamba/23.11.0-0
source activate gmxMMPBSA 

# Perintah menjalankan gmx_MMPBSA 
////

Instalasi dan Menjalankan BoltzTraP2

Ini adalah pengujian instalasi dan menjalankan [BoltzTraP2] yang merupakan implementasi modern berbasis Python untuk smoothed Fourier interpolation algorithm berdasarkan BoltzTraP versi 1.2.5.

Instalasi dengan Conda Environment

Bagi user yang pertama kali menggunakan package Python:

1. Instalasi package Python dilakukan oleh user karena umumnya membutuhkan jenis dan versi spesifik per skenario komputasi.
2. Instalasi dilakukan pada conda environment dimana adalah "ruang isolasi" untuk menampung instalasi package Python. Conda environment adalah praktik terbaik dalam manajemen package Python untuk mencegah konflik instalasi.
3. Praktik yang sehat adalah setiap conda environment menjalankan satu jenis komputasi dimana pada contoh ini spesifik menjalankan BoltzTraP2.

Membuat Conda Environment untuk Instalasi BoltzTraP2

Karena BoltzTraP2 berbasis package Python maka instalasi dilakukan oleh user di direktori HOME melalui environment. Tutorial ini menggunakan conda environment dari package manager Mamba.

Langkah Instalasi Environment BoltzTraP2
1
Muat modul Mamba dan cmake: $ ml Mamba/23.11.0-0 CMake
2
Buat conda env kosong dimana tutorial ini menggunakan nama boltztrap2 $ mamba create -n boltztrap2 pip
3
Aktifkan dengan perintah source untuk masuk ke conda env tsb: $ source activate boltztrap2
4
Instal package BoltzTraP2 beserta pendukungnya: (boltztrap2)$ pip install numpy cython setuptools (boltztrap2)$ pip install BoltzTraP2 --no-build-isolation Package BoltzTraP2 telah terinstal dan siap digunakan.
Apabila ingin menggunakan sesi Jupyter Notebook / Lab
Instal package Jupyter: (boltztrap2)$ pip install jupyter jupyterlab

Menggunakan Conda Environment boltztrap2

Terdapat variasi dalam menggunakan conda env ini untuk komputasi, silahkan pilih sesuai kebutuhan:

Mengakses BoltzTraP2 di Login Node

User dapat mengakses package BoltzTraP2 di Login Node dengan mengaktifkan conda env boltztrap2 yang sebelumnya dibuat:

$ ml Mamba/23.11.0-0
$ source activate boltztrap2

Perlu diperhatikan:

• Login node tidak dirancang untuk menjalankan komputasi berat karena mempunyai alokasi terbatas.
• Tim admin berhak intervensi jalannya komputasi apabila dinilai mengganggu user lainnya di login node.

Menjalankan BoltzTraP2 di Compute Node

Apabila membutuhkan alokasi komputasi besar, jalankan BoltzTraP2 di compute node dengan pilihan:

Basis tutorial lihat [Pilihan Menjalankan Komputasi Conda Environment]
Opsi	Panduan Spesifik
Batch Job Terminal	BoltzTraP2 berjalan di CPU, maks 1 node (128 core) Pilih template submit script versi CPU Isi variabel PM dengan Mamba/23.11.0-0 Isi variabel CONDA_NAME dengan boltztrap2 Ganti //// di akhir script dengan perintah menjalankan BoltzTraP2
Batch Job web EFIRO	BoltzTraP2 berjalan di CPU, maks 1 node (128 core) Pilih template Conda Environment Python (CPU) Isi variabel PM dengan Mamba/23.11.0-0 Isi variabel CONDA_NAME dengan boltztrap2 Ganti //// di akhir script dengan perintah menjalankan BoltzTraP2
Sesi Jupyter	Pastikan package jupyter sudah terinstal di conda env boltztrap_2
	Dalam pengisian formulir sesi Jupyter: Pilih sesuai preferensi, opsi Jupyter Notebook atau Lab Pilih partisi torti karena BoltzTraP2 berjalan di CPU. Opsi Choose Anaconda/Mamba version pilih Mamba/23.11.0-0 Form Conda/Mamba environment directory isi boltztrap2