Compiler ALELEON Supercomputer: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎Threading pada AMD Zen2: melengkapi threading Zen2)
(paraphrasing)
 
(6 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:
HPC Aleleon Mk.II mempunyai set library dan compiler yang dioptimasi untuk AMD EPYC. Halaman ini merangkum info teknis penting tentang penggunaan compiler dan software AMD tersebut supaya user dapat sepenuhnya memanfaatkan performa AMD EPYC Rome.
'''ALELEON Supercomputer mempunyai set library dan compiler yang dioptimasi sesuai spesifikasi Compute Node yaitu CPU AMD Zen2 dan GPU NVIDIA Ampere'''. Halaman ini merangkum info teknis penting tentang penggunaan compiler dan software di ALELEON Supercomputer.


== '''GCC 9 dan 10''' ==
== '''GCC untuk AMD''' ==
HPC Aleleon Mk.II menggunakan GCC 9.3.1 RHEL sebagai GCC sistem. Selain itu tersedia GCC 10.2.0 yang dapat diakses dengan modul:
ALELEON Supercomputer menggunakan GCC RHEL sebagai GCC sistem. User dapat melihat GCC versi lainnya yang terinstal beserta nama modulnya pada [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Compiler_.28Global.29 '''tabel daftar compiler ALELEON Supercomputer'''].
$ module load GCC/10.2.0
 
Keduanya mendukung flag optimasi march untuk AMD EPYC Rome dengan:  
GCC mendukung flag optimasi march untuk AMD Zen2:  
  -march=znver2
  '''-march=znver2'''
Flag march diatas dapat digunakan untuk flag compiling C ('''CFLAGS'''), C++ ('''CXXFLAGS'''). dan Fortran ('''FCFLAGS''') melalui GCC.


== '''AMD Optimizing CPU Libraries (AOCL)''' ==
== '''AMD Optimizing CPU Libraries (AOCL)''' ==
AOCL adalah set library numerik dan matematika untuk komputasi HPC yang dibuat khusus untuk keluarga AMD EPYC. Saat ini HPC Aleleon Mk.II menggunakan AOCL versi 3.0. AOCL yang tersedia di HPC Aleleon Mk.II adalah:
AOCL adalah set library numerik dan matematika untuk komputasi HPC yang dibuat khusus untuk keluarga AMD EPYC. User dapat melihat semua versi AOCL yang terinstal beserta nama modulnya pada [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Library_Matematika_.28Global.29 '''tabel daftar library matematika ALELEON Supercomputer'''].
{| class="wikitable"
 
!Library
=== BLIS (BLAS-like Library Instantiation Software ===
!Penjelasan
Adalah framework portable BLAS (Basic Linear Algebra Subprograms) yang dbuat oleh Flame kemudian dikembangkan spesifik oleh AMD. BLIS yang terinstal pada ALELEON Supercomputer adalah versi '''multi-threading'''. Flag untuk melakukan compile dengan BLIS:
|-
  '''-lblis-mt'''
|'''BLIS'''  
=== LibFLAME ===
(BLAS-like Library Instantiation Software)
Adalah portable library untuk komputasi matrix atau LAPACK (Linear Algebra Package). Flag untuk melakukan compile dengan LibFLAME:
|Framework portable BLAS (Basic Linear Algebra Subprograms) yang dbuat oleh Flame kemudian dikembangkan spesifik oleh AMD untuk AOCL. Menggunakan BLIS:
  '''-lflame'''
$ module load blis
=== AMD LibM ===
BLIS yang digunakan di HPC Aleleon Mk.II adalah versi multi-threading. Flag untuk melakukan compile dengan BLIS:  
Menyediakan fungsi-fungsi matematika untuk prosesor x86-64 (seperti -lm di GCC). Dpaat digunakan bersama compiler GCC dan Intel OneAPI. Untuk menggunakan AMD LibM, flag compiling wajib dilakukan dengan urutan berikut:
  -lblis-mt
  '''-lamdlibm -lm'''
|-
=== AMD FFTW ===
|'''LibFLAME'''
FFTW (Fastest Fourier Transform in the West) yang khusus dioptimalisasi untuk AMD.
|Portable library untuk komputasi matrix atau LAPACK (Linear Algebra Package). Menggunakan LibFLAME:
 
$ module load libflame
=== Pranala Lebih Lanjut ===
Flag untuk melakukan compile dengan LibFLAME:  
Bacaan lebih lanjut untuk info mengenai AOCL yang lebih detail:  
  -lflame
|-
|'''AMD LibM'''
(Core Math Library)
|Menyediakan fungsi-fungsi matematika untuk prosesor x86-64 (seperti -lm di GCC). Compatible dengan compiler GCC dan Intel. Menggunakan LibM:
$ module load LibM
Untuk menggunakan AMD LibM, flag compiling wajib dilakukan dengan urutan berikut (tidak boleh terbalik):  
  -lamdlibm -lm
|-
|'''AMD FFTW'''
|FFTW (Fastest Fourier Transform in the West) yang khusus dioptimalisasi untuk AMD. Menggunakan AMD FFTW:
$ module load fftw
|}
Bacaan lebih lanjut untuk info yang lebih detail:  


* [https://developer.amd.com/wp-content/resources/AOCL_User%20Guide_3.0.pdf '''Buku panduan AMD AOCL 3.0''']
* [https://developer.amd.com/wp-content/resources/AOCL_User%20Guide_3.0.pdf '''Buku panduan AMD AOCL 3.0''']
Baris 44: Baris 31:
User dapat menggunakan Intel MKL (Math Kernel Library) di sistem AMD melalui Intel oneAPI dengan modul:  
User dapat menggunakan Intel MKL (Math Kernel Library) di sistem AMD melalui Intel oneAPI dengan modul:  
  $ module load oneapi
  $ module load oneapi
Ketike menggunakan Intel MKL untuk build framework, user harus menggunakan integer size 4 (32 bit). Sistem AMD di HPC Aleleon Mk.II tidak mendukung integer size 8 (64 bit).
Ketike menggunakan Intel MKL untuk build framework, user harus menggunakan '''integer size 4 (32 bit)'''. Sistem AMD di ALELEON Supercomputer tidak mendukung integer size 8 (64 bit).
 
== '''Threading di AMD Zen2 dan Contoh SLURM Script''' ==
AMD EPYC Rome menggunakan arsiterktur Zen2. AMD Zen2 baik untuk HEDT/server memiliki hingga 8 grup CCD dimana masing-masing CCD berisikan 2 CCX. Setiap CCX memiliki 4 core dengan masing-masing core memiliki 2 thread yang dihasilkan oleh SMT (''simultaneous multi-threading''). Pada satu CCX, terdapat shared L3 cache berukuran 16 MB yang dapat diakses oleh seluruh 8 thread pada CCX tersebut. Penggunaan process dengan jumlah threading yang tepat akan mencegah penggunaan L3 cache di luar CCX sehingga akan mengurangi latensi proses dan menghasilkan performa yang lebih baik.
 
EFISON menyarankan jumlah '''threading 4 atau 8 threads per MPI processes''' untuk performa maksimal di program hybrid MPI, mengikuti jumlah '''thread per CCX.'''
[[Berkas:Zen2-uarch-1536x1256.jpg|nir|jmpl|800x800px|Arsitektur AMD Zen2]]
 
=== Threading di BLIS ===
Deklarasi jumlah thread BLIS dengan export BLIS_NUM_THREADS tidak berlaku lagi untuk AMD BLIS versi 2 keatas. Sebagai gantinya user harus melakukan deklarasi manual semua variabel di bawah ini:
{| class="wikitable"
|+Variabel threading BLIS
!Variabel
!Penjelasan
|-
|BLIS_JC_NT
|Paralelisasi di outer loop (5th max)
|-
|BLIS_IC_NT
|Paralelisasi di 3rd loop
|-
|BLIS_JR_NT
|Paralelisasi di 2nd loop
|-
|BLIS_IR_NT
|Paralelisasi di 1st loop
|}
Dengan aturan total thread adalah total perkalian dari semua variabel diatas:
Total thread = BLIS_JC_NT * BLIS_IC_NT * BLIS_JR_NT * BLIS_IR_NT
Untuk arsitektur AMD Zen2, '''karena setiap CCX terdapat shared L3 cache maka paralelisasi akan dilakukan di level BLIS_IC_NT'''. Contoh deklarasi threading BLIS pada SLURM:
#SBATCH --cpus-per-task=<jumlah thread yang diinginkan>
export BLIS_JC_NT=1
export BLIS_IC_NT=${SLURM_CPUS_PER_TASK}
export BLIS_JR_NT=1
export BLIS_IR_NT=1
 
=== Threading di OpenBLAS ===
Threading pada OpenBLAS dideklarasikan melalui variabel OPENBLAS_NUM_THREADS, GOTO_NUM_THREADS, dan OMP_NUM_THREADS. Contoh deklarasi threading OpenBLAS pada SLURM:
#SBATCH --cpus-per-task=<jumlah thread yang diinginkan>
threads=${SLURM_CPUS_PER_TASK}
export OPENBLAS_NUM_THREADS=$threads
export GOTO_NUM_THREADS=$threads
export OMP_NUM_THREADS=${threads}
 
=== Threading di Intel MKL ===
Threading pada Intel MKL dideklarasikan melalui variabel OMP_NUM_THREADS dan MKL_NUM_THREADS. Contoh deklarasi threading Intel MKL pada SLURM:
#SBATCH –cpus-per-task=<jumlah thread yang diinginkan>
threads=${SLURM_CPUS_PER_TASK}
export OMP_NUM_THREADS=${threads}
export MKL_NUM_THREADS=${threads

Revisi terkini sejak 4 Juni 2024 14.51

ALELEON Supercomputer mempunyai set library dan compiler yang dioptimasi sesuai spesifikasi Compute Node yaitu CPU AMD Zen2 dan GPU NVIDIA Ampere. Halaman ini merangkum info teknis penting tentang penggunaan compiler dan software di ALELEON Supercomputer.

GCC untuk AMD

ALELEON Supercomputer menggunakan GCC RHEL sebagai GCC sistem. User dapat melihat GCC versi lainnya yang terinstal beserta nama modulnya pada tabel daftar compiler ALELEON Supercomputer.

GCC mendukung flag optimasi march untuk AMD Zen2: 

-march=znver2

Flag march diatas dapat digunakan untuk flag compiling C (CFLAGS), C++ (CXXFLAGS). dan Fortran (FCFLAGS) melalui GCC.

AMD Optimizing CPU Libraries (AOCL)

AOCL adalah set library numerik dan matematika untuk komputasi HPC yang dibuat khusus untuk keluarga AMD EPYC. User dapat melihat semua versi AOCL yang terinstal beserta nama modulnya pada tabel daftar library matematika ALELEON Supercomputer.

BLIS (BLAS-like Library Instantiation Software

Adalah framework portable BLAS (Basic Linear Algebra Subprograms) yang dbuat oleh Flame kemudian dikembangkan spesifik oleh AMD. BLIS yang terinstal pada ALELEON Supercomputer adalah versi multi-threading. Flag untuk melakukan compile dengan BLIS: 

-lblis-mt

LibFLAME

Adalah portable library untuk komputasi matrix atau LAPACK (Linear Algebra Package). Flag untuk melakukan compile dengan LibFLAME: 

-lflame

AMD LibM

Menyediakan fungsi-fungsi matematika untuk prosesor x86-64 (seperti -lm di GCC). Dpaat digunakan bersama compiler GCC dan Intel OneAPI. Untuk menggunakan AMD LibM, flag compiling wajib dilakukan dengan urutan berikut: 

-lamdlibm -lm

AMD FFTW

FFTW (Fastest Fourier Transform in the West) yang khusus dioptimalisasi untuk AMD.

Pranala Lebih Lanjut

Bacaan lebih lanjut untuk info mengenai AOCL yang lebih detail:

Intel MKL di AMD

User dapat menggunakan Intel MKL (Math Kernel Library) di sistem AMD melalui Intel oneAPI dengan modul: 

$ module load oneapi

Ketike menggunakan Intel MKL untuk build framework, user harus menggunakan integer size 4 (32 bit). Sistem AMD di ALELEON Supercomputer tidak mendukung integer size 8 (64 bit).

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Compiler_ALELEON_Supercomputer&oldid=1529"