Spesifikasi ALELEON Supercomputer: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎Spesifikasi Software: menambah kernel)
(formatting)
(10 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:
ALELEON Supercomputer saat ini menggunakan '''HPC ALELEON Mk.III''' - superkomputer ''custom'' EFISON generasi ketiga '''yang akan beroperasi pada November 2022''' untuk menjalankan arsitektur EFIRO.
ALELEON Supercomputer saat ini menggunakan '''HPC ALELEON Mk.III''' - superkomputer ''custom'' EFISON generasi ketiga menyesuaikan arsitektur EFIRO.


== '''Spesifikasi Hardware''' ==
== '''Spesifikasi Compute Node''' ==
Terdapat 3 jenis node:
Compute Node menjalankan komputasi user via job submission SLURM (sbatch terminal atau Job Composer EFIRO).
{| class="wikitable"
! colspan="2" |Spesifikasi Compute Node CPU


* Login Node -> tempat user login ke ALELEON Supercomputer. Tidak untuk menjalankan komputasi berat
=== Partisi epyc ===
* Compute Node ->  Node untuk menjalankan job komputasi user via SLURM dari Login Node.
|-
* Interactive Node -> Node untuk menjalankan sesi interaktif via EFIRO seperti ALELEON Desktop atau Jupyter Lab.
 
=== Spesifikasi Compute Node CPU (Partisi epyc) ===
{| class="wikitable"
|Nodes
|Nodes
|3
|3
Baris 16: Baris 14:
* epyc[002-003] -> normal
* epyc[002-003] -> normal
|-
|-
|Prosesor per node
|CPU per node
|1x AMD EPYC 7702P, 64 core / 128 thread, 2.0Ghz  
|1x AMD EPYC 7702P, 64 core / 128 thread, 2.0Ghz  
|-
|-
Baris 26: Baris 24:
|Interkoneksi
|Interkoneksi
|Mellanox RoCE 100Gbps
|Mellanox RoCE 100Gbps
|}
|-
! colspan="2" |Spesifikasi Compute Node GPU


=== Spesifikasi Compute Node GPU (Partisi gpu_ampere) ===
=== Partisi ampere ===
{| class="wikitable"
|-
|Nodes
|Nodes
|1
|1
|-
|-
|Prosesor
|CPU
|AMD Threadripper 3955WX, 16 core / 32 thread, 3.9Ghz  
|1x AMD Threadripper 3955WX, 16 core / 32 thread, 3.9Ghz
|-
|-
|RAM
|RAM
Baris 46: Baris 45:
|}
|}


=== Spesifikasi Interactive Node CPU (Partisi torti) ===
== '''Spesifikasi Interactive Node''' ==
Interactive Node menjalankan sesi interaktif pada web service EFIRO seperti Jupyter dan ALELEON Virtual Desktop.
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Spesifikasi Interactive Node CPU
=== Partisi torti ===
|-
|Nodes
|Nodes
|2
|2
|-
|-
|Prosesor per node
|CPU per node
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|-
|-
|RAM per node
|RAM per node
|64GB
|64GB
|}
|-
! colspan="2" |Spesifikasi Interactive Node GPU


=== Spesifikasi Interactive Node GPU (Partisi tilla) ===
=== Partisi tilla ===
{| class="wikitable"
|-
|Nodes
|Nodes
|2
|2
|-
|-
|Prosesor per node
|CPU per node
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|-
|-
Baris 73: Baris 78:
|}
|}


=== Spesifikasi Storage ===
== '''Spesifikasi Storage''' ==
Sistem melakukan checkpoint snapshot storage per 24 jam.
 
* '''User dapat melayangkan permintaan ke email support untuk recovery data apabila tidak sengaja menghapus data.'''
 
{| class="wikitable"
{| class="wikitable"
! colspan="2" |Spesifikasi Stoarge Node
|-
|Jenis storage
|Jenis storage
|Block-storage, protokol NFS
|Block-storage, protokol NFS
Baris 90: Baris 101:
__TOC__
__TOC__


Sistem melakukan checkpoint snapshot storage per 24 jam. User dapat melayangkan permintaan ke email support untuk recovery data apabila tidak sengaja menghapus data.
== '''Spesifikasi Software Sistem''' ==
 
== '''Spesifikasi Software''' ==


* '''Sistem Operasi'''
* '''Sistem Operasi'''
** Rocky Linux 8
** Rocky Linux 8 dengan Kernel 4.18.0-425.3.1.el8.x86_64
** Kernel 4.18.0-425.3.1.el8.x86_64
* '''Autentikasi Login'''
* '''Autentikasi Login'''
** OpenVPN dan PAM
** OpenVPN dan PAM
* '''GCC default OS'''
*'''Manajemen Job (job scheduler)'''
** GNU RHEL 8.5
** SLURM 20.11.9 dengan protokol PMIX, UCX, CUDA, dan auto load-balancing menyesuaikan arsitektur AMD Zen 2.
* '''Manajemen Job'''  
*'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO EFIRO Web Service] untuk login web dengan tampilan grafis (GUI)'''
** SLURM 20.11.5 dengan protokol PMIX, UCX, CUDA, dan auto load-balancing menyesuaikan arsitektur AMD Zen2.
**Menggunakan interactive package '''Jupyter Notebook, Jupyter Lab, dan Virtual Desktop Session (ALELEON Desktop)'''
* '''Modul instalasi dan software untuk user'''
***''Modifikasi dilakukan oleh tim engineering ALELEON Supercomputer.''
** EasyBuild 4.4.2
* '''Manajemen modul software (module environment)'''
** Lmod 8.1.18
** Lmod 8.1.18
* '''Profiler'''
*'''Manajemen instalasi software (package manager)'''
** AMD μProf
**EasyBuild 4.7.0
* '''Katalog lengkap software compilers, libs, framework:'''  
**Conda ''(melalui module environment Anaconda 3 suite)''
**Spack 0.17.2 ''(melalui module environment)''
*'''Manajemen compiling otomatis'''
**GNU Make 4.2.1
**CMake 3.24.3 ''(melalui module environment)''
* '''Manajemen container'''
** Singularity 3.10 ''(melalui module environment)''
* '''Profiler sistem'''
** CPU -> AMD μProf
* '''Library I/O sistem'''
** HDF5 1.12.1 ''(melalui module environment)''
** NetCDF 4.8.1 ''(melalui module environment)''
* '''Katalog lengkap software compiler, library, dan framework untuk penggunaan global'''  
** '''[[Katalog Software ALELEON Supercomputer]]'''
** '''[[Katalog Software ALELEON Supercomputer]]'''
__TANPADAFTARISI__
__TANPADAFTARISI__

Revisi per 20 Oktober 2023 04.29

ALELEON Supercomputer saat ini menggunakan HPC ALELEON Mk.III - superkomputer custom EFISON generasi ketiga menyesuaikan arsitektur EFIRO.

Spesifikasi Compute Node

Compute Node menjalankan komputasi user via job submission SLURM (sbatch terminal atau Job Composer EFIRO).

Spesifikasi Compute Node CPU

Partisi epyc

Nodes 3
  • epyc001 -> high memory
  • epyc[002-003] -> normal
CPU per node 1x AMD EPYC 7702P, 64 core / 128 thread, 2.0Ghz
RAM per node
  • high memory -> 500GB efektif
  • normal -> 240GB efektif
Interkoneksi Mellanox RoCE 100Gbps
Spesifikasi Compute Node GPU

Partisi ampere

Nodes 1
CPU 1x AMD Threadripper 3955WX, 16 core / 32 thread, 3.9Ghz
RAM 128GB
GPU 2x NVIDIA RTX 3090 24GB NVLink
Interkoneksi Mellanox RoCE 25Gbps

Spesifikasi Interactive Node

Interactive Node menjalankan sesi interaktif pada web service EFIRO seperti Jupyter dan ALELEON Virtual Desktop.

Spesifikasi Interactive Node CPU

Partisi torti

Nodes 2
CPU per node AMD Threadripper 3990X, 32 v-core, 2.9Ghz
RAM per node 64GB
Spesifikasi Interactive Node GPU

Partisi tilla

Nodes 2
CPU per node AMD Threadripper 3990X, 32 v-core, 2.9Ghz
RAM per node 64GB
GPU per node 1x NVIDIA RTX 3090 24GB

Spesifikasi Storage

Sistem melakukan checkpoint snapshot storage per 24 jam.

  • User dapat melayangkan permintaan ke email support untuk recovery data apabila tidak sengaja menghapus data.
Spesifikasi Stoarge Node
Jenis storage Block-storage, protokol NFS
HOME and workdir HDD SAS 83TiB efektif
SCRATCH caching SSD 1TB NVMe 4.0
Interkoneksi Mellanox RoCE 100Gbps

Spesifikasi Software Sistem

  • Sistem Operasi
    • Rocky Linux 8 dengan Kernel 4.18.0-425.3.1.el8.x86_64
  • Autentikasi Login
    • OpenVPN dan PAM
  • Manajemen Job (job scheduler)
    • SLURM 20.11.9 dengan protokol PMIX, UCX, CUDA, dan auto load-balancing menyesuaikan arsitektur AMD Zen 2.
  • EFIRO Web Service untuk login web dengan tampilan grafis (GUI)
    • Menggunakan interactive package Jupyter Notebook, Jupyter Lab, dan Virtual Desktop Session (ALELEON Desktop)
      • Modifikasi dilakukan oleh tim engineering ALELEON Supercomputer.
  • Manajemen modul software (module environment)
    • Lmod 8.1.18
  • Manajemen instalasi software (package manager)
    • EasyBuild 4.7.0
    • Conda (melalui module environment Anaconda 3 suite)
    • Spack 0.17.2 (melalui module environment)
  • Manajemen compiling otomatis
    • GNU Make 4.2.1
    • CMake 3.24.3 (melalui module environment)
  • Manajemen container
    • Singularity 3.10 (melalui module environment)
  • Profiler sistem
    • CPU -> AMD μProf
  • Library I/O sistem
    • HDF5 1.12.1 (melalui module environment)
    • NetCDF 4.8.1 (melalui module environment)
  • Katalog lengkap software compiler, library, dan framework untuk penggunaan global