Trial Testing

Dari ALELEON by EFISON

Revisi sejak 30 Maret 2025 17.18 oleh WilsonLisan (bicara | kontrib) (→‎Instalasi dan Menjalankan BoltzTraP2: paraphrasing konsistensi nama)

Halaman ini menjabarkan tutorial untuk pengujian software komputasi dan hardware di ALELEON Supercomputer. Silahkan lihat contents / daftar isi (apabila ada) untuk menjalankan pengujian yang diinginkan.

DISCLAIMER!
Selain akun testing, sistem tetap menghitung Core Hour untuk pengujian yang menjalankan komputasi!

Komputasi AI AMD RDNA3 dan ROCm 6

Ini adalah pengujian GPU AMD RDNA3 dan ROCm 6 untuk komputasi AI dengan environment:

  • Berjalan di compute node trial dengan spesifikasi CPU AMD Ryzen 3300X 4 core / 8 thread, GPU AMD Radeon 7900XT 20GB GDDR6, dan RAM efektif 60GB.
  • Sesi interaktif Jupyter dengan container Apptainer. Tim admin menyediakan image siap pakai untuk pengujian ini:
Daftar image siap pakai
Nama Image Isi Package
rocm/pytorch2.1.2_jupyter_rocm6.1.3.sif PyTorch 2.1.2 dengan Jupyter dan ROCm 6.1.3
rocm/pytorch2.3.0_jupyter_rocm6.2.sif PyTorch 2.3.0 dengan Jupyter dan ROCm 6.2
rocm/tensorflow2.15_rocm6.1_py3.10_dev.sif TensorFlow 2.15 dengan Jupyter dan ROCm 6.1

Memulai Sesi Jupyter

Langkah Interactive Job Sesi Jupyter dengan Container

Efirojupyterlab.png

1
Login ke web EFIRO ALELEON Supercomputer.
2
Buka pinned apps Jupyter New Pinnedapps jupyter.png di homepage EFIRO.
3
Isi formulir untuk memulai sesi Jupyter dengan panduan berikut:
  • Choose Jupyter version
    • pilih sesuai preferensi user, Jupyter Lab atau Notebook
  • Partition -> radeon
  • Number of CPU core(s) -> 2 - 8
  • Amount of memory/RAM (GB) -> 1 - 60
  • Number of hours -> 1 - 72
  • Choose how to launch Jupyter -> container
  • Choose available .sif container to run -> pilih sesuai kebutuhan
  • Software modules -> kosongkan
  • Environment setup -> kosongkan
  • Additional Jupyter arguments -> kosongkan
  • Email address
    • Notifikasi email untuk status mulai dan selesainya sesi Jupyter.
    • Isi apabila berkenan.
4
Klik tombol Launch untuk memulai sesi Jupyter.
  • User akan diarahkan ke halaman My Interactive Sessions.
  • Tunggu hingga sesi Jupyter siap diakses.
Status sesi Jupyter mengantri menunggu alokasi hardware
5
Apabila status Running, klik tombol Connect to Jupyter.
Sesi Jupyter siap diakses.
Untuk menghentikan sesi, klik tombol Cancel.
6
Pilih Notebook Python 3 untuk memulai sesi notebook Python 3.
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Notebook
Gunakan Notebook Python 3 untuk menjalankan kernel conda env user di Jupyter Lab
Note perintah penting pada cell Jupyter
Apabila membutuhkan tambahan library Python selain isi Image:
  • Lakukan instalasi dengan pip:
!pip install [nama-package]

Untuk menunjukkan status GPU, jalankan perintah berikut:

!rocm-smi
7
User dapat mengunjungi sesi Jupyter yang sedang berjalan pada:
  • Menu My Interactive Sessions pada homepage EFIRO.
  • Kolom Active interactive sessions pada homepage EFIRO.

Instalasi dan Menjalankan gmx_MMPBSA

Ini adalah pengujian instalasi dan menjalankan gmx_MMPBSA yang merupakan tool berdasarkan MMPBSA.py dari AMBER untuk kalkulasi end-state free energy dengan file GROMACS.

Instalasi gmx_MMPBSA dengan Conda Environment

gmx_MMPBSA menggunakan library Python spesifik sehingga instalasi dilakukan oleh user melalui Mamba dan ditampung pada conda environment.

Langkah membuat conda environment gmxMMPBSA
1
Muat modul berikut:
$ ml Mamba/23.11.0-0 OpenMPI/4.1.1-GCC-11.2.0
2
Buat conda environment:
$ mamba env create -f /comp/condaenv_yml/gmxMMPBSA.yml
  • Perintah ini membuat conda environment bernama gmxMMPBSA.
  • Conda env ini berisikan dependencies untuk instalasi gmx_MMPBSA:
Isi conda environment gmxMMPBSA
  • Python 3.11.8
  • AmberTools 23.6 versi conda
  • Gromacs 2023.4
  • MPI4PY 4.0.1 + MPICH 4.2.3
  • Numpy 1.26.4
  • Matplotlib 3.7.3
  • SciPy 1.14.1
  • Pandas 1.5.3
  • Seaborn 4.2.2
  • ParmEd 4.2.2
  • PyQt6 6.7.1
3
Aktifkan conda env gmxMMPBSA dan instal package gmx_MMPBSA:
$ source activate gmxMMPBSA
$ python -m pip install gmx_MMPBSA

Mengaktifkan Conda Environment gmxMMPBSA

Berikut langkah mengaktifkan conda environment gmxMMPBSA apabila dibutuhkan untuk pre-processing di Login Node:

$ ml Mamba/23.11.0-0
$ source activate gmxMMPBSA

Untuk menonaktifkan conda env: 
$ conda deactivate

Template Submit Script gmx_MMPBSA

Gunakan template submit script berikut untuk job submission gmx_MMPBSA. Saat ini diketahui gmx_MMPBSA hanya dapat menggunakan CPU.

#!/bin/bash

# -----------------------------------------------------
# Template SLURM Submit Script [TESTING]
# gmx_MMPBSA | rev.221124
# 
# NOTES: 
# 1. Isi bagian yang ditandai 4 garing (////).
# 2. Template ini bersifat referensi.
#    User dapat mengubah bagian yang perlu diubah.
# -----------------------------------------------------

# -----------------------------------------------------
# Alokasi komputasi SBATCH, input, dan module
# -----------------------------------------------------

# Alokasi jumlah core thread CPU
#SBATCH --ntasks=////

# Alokasi jumlah memori RAM (satuan GB)
#SBATCH --mem=////GB

# Alokasi limit waktu menjalankan job
# Format HH:MM:SS atau D-HH:MM:SS
#SBATCH --time=////

# Definisi file untuk menampung output terminal program
#SBATCH --output=result-%j.txt

# Definisi file untuk menampung output error log    
#SBATCH --error=error-%j.txt 

# ----------------------------------------------------
# Script jalannya program
# ----------------------------------------------------

# Mengaktifkan conda env gmxMMPBSA 
ml Mamba/23.11.0-0
source activate gmxMMPBSA 

# Perintah menjalankan gmx_MMPBSA 
////

Instalasi dan Menjalankan BoltzTraP2

Ini adalah pengujian instalasi dan menjalankan [BoltzTraP2] yang merupakan implementasi modern berbasis Python untuk smoothed Fourier interpolation algorithm berdasarkan BoltzTraP versi 1.2.5.

Instalasi dengan Conda Environment

Bagi user yang pertama kali menggunakan package Python:

  1. Instalasi package Python dilakukan oleh user karena umumnya membutuhkan jenis dan versi spesifik per skenario komputasi.
  2. Instalasi dilakukan pada conda environment dimana adalah "ruang isolasi" untuk menampung instalasi package Python.

Conda environment adalah praktik terbaik dalam manajemen package Python untuk mencegah konflik instalasi. Praktik yang sehat adalah setiap conda environment menjalankan satu jenis komputasi dimana pada contoh ini spesifik untuk menjalankan BoltzTraP2.

Membuat Conda Environment untuk Instalasi BoltzTraP2

Karena BoltzTraP2 berbasis package Python maka instalasi dilakukan oleh user di direktori HOME melalui environment. Tutorial ini menggunakan conda environment dari package manager Mamba.

Langkah Instalasi Environment BoltzTraP2
1
Muat modul Mamba:
$ ml Mamba/23.11.0-0
2
Buat conda env dengan resep yang disediakan ALELEON:
$ mamba env create -f /comp/condaenv_yml/boltztrap_2.yml
  • Perintah ini membuat conda environment bernama boltztrap_2
3
Aktifkan dengan perintah source untuk masuk ke conda env tsb:
$ source activate boltztrap_2
4
Instal package BoltzTraP2:
(boltztrap_2)$ pip install BoltzTraP2 --no-build-isolation

Package BoltzTraP2 telah terinstal dan siap digunakan.

Apabila ingin menggunakan sesi Jupyter Notebook / Lab

Logo Mamba Jupyter tp.png

Instal package Jupyter:
(boltztrap_2)$ pip install jupyter jupyterlab

Menggunakan Conda Environment boltztrap_2

Terdapat variasi dalam menggunakan conda env ini untuk komputasi, silahkan pilih sesuai kebutuhan:

Mengakses BoltzTraP2 di Login Node

User dapat mengakses package BoltzTraP2 di Login Node dengan mengaktifkan conda env boltztrap_2 yang sebelumnya dibuat:

$ ml Mamba/23.11.0-0
$ source activate boltztrap_2

GMB warning wololo.png Perlu diperhatikan:

  • Login node tidak dirancang untuk menjalankan komputasi berat karena mempunyai alokasi terbatas.
  • Tim admin berhak intervensi jalannya komputasi apabila dinilai mengganggu user lainnya di login node.

Menjalankan BoltzTraP2 di Compute Node

Apabila membutuhkan alokasi komputasi besar, jalankan BoltzTraP2 di compute node dengan pilihan:

Basis tutorial lihat [Pilihan Menjalankan Komputasi Conda Environment]
Opsi Panduan Spesifik
Batch Job Terminal
  • BoltzTraP2 berjalan di CPU, maks 1 node (128 core)
  • Pilih template submit script versi CPU
  • Isi variabel PM dengan Mamba/23.11.0-0
  • Isi variabel CONDA_NAME dengan boltztrap_2
  • Ganti //// di akhir script dengan perintah menjalankan BoltzTraP2
Batch Job web EFIRO
  • BoltzTraP2 berjalan di CPU, maks 1 node (128 core)
  • Pilih template Conda Environment Python (CPU)
  • Isi variabel PM dengan Mamba/23.11.0-0
  • Isi variabel CONDA_NAME dengan boltztrap_2
  • Ganti //// di akhir script dengan perintah menjalankan BoltzTraP2
Sesi Jupyter GMB warning wololo.png Pastikan package jupyter sudah terinstal di conda env boltztrap_2
Dalam pengisian formulir sesi Jupyter:
  • Pilih sesuai preferensi, opsi Jupyter Notebook atau Lab
  • Pilih partisi torti karena BoltzTraP2 berjalan di CPU.
  • Opsi Choose Anaconda/Mamba version pilih Mamba/23.11.0-0
  • Form Conda/Mamba environment directory isi boltztrap_2