Spesifikasi ALELEON Supercomputer: Perbedaan antara revisi

Dari ALELEON by EFISON
(formatting)
(24 revisi perantara oleh pengguna yang sama tidak ditampilkan)
Baris 1: Baris 1:
ALELEON Supercomputer saat ini menggunakan '''HPC ALELEON Mk.II''' - superkomputer ''custom'' EFISON generasi kedua yang beroperasi pada bulan April 2021.
ALELEON Supercomputer saat ini menggunakan '''HPC ALELEON Mk.III''' - superkomputer ''custom'' EFISON generasi ketiga menyesuaikan arsitektur EFIRO.


== '''Spesifikasi Hardware''' ==
== '''Spesifikasi Compute Node''' ==
{{DISPLAYTITLE:Spesifikasi ALELEON Supercomputer}}
Compute Node menjalankan komputasi user via job submission SLURM (sbatch terminal atau Job Composer EFIRO).
__TOC__
{| class="wikitable"
{| class="wikitable"
|+Hardware - per April 2021
! colspan="2" |Spesifikasi Compute Node CPU
!Komponen
 
!Jumlah
=== Partisi epyc ===
!Spesifikasi
|-
!Nama Partisi SLURM
|Nodes
|3
 
* epyc001 -> high memory
* epyc[002-003] -> normal
|-
|CPU per node
|1x AMD EPYC 7702P, 64 core / 128 thread, 2.0Ghz
|-
|-
|Compute Node CPU
|RAM per node
|3 nodes
|
|AMD EPYC 7702P 64 cores / 128 threads, 2.0Ghz. RAM 256GB
* high memory -> 500GB efektif
'''Total 192 cores / 384 threads, RAM 768GB'''
* normal -> 240GB efektif
|'''epyc''' (DEFAULT)
|-
|-
|Compute Node GPU
|Interkoneksi
|1 node
|Mellanox RoCE 100Gbps
|AMD Threadripper 3990X 64 cores / 128 threads, 2.9Ghz. RAM 128GB
2x NVIDIA RTX 3090 24GB GDDR6X
|'''gpu_ampere'''
|-
|-
|Storage HOME
! colspan="2" |Spesifikasi Compute Node GPU
|1 sistem
 
| colspan="2" |20TB, harddisk RAID-10, terpusat
=== Partisi ampere ===
|-
|-
|Storage SCRATCH
|Nodes
|1 unit
|1
| colspan="2" |1TB, SSD NVMe PCIe 4.0. Caching untuk read / write output software komputasi
|-
|-
|High-speed network
|CPU
| colspan="3" |100 GbE RDMA/RoCE, QSFP28 Mellanox
|1x AMD Threadripper 3955WX, 16 core / 32 thread, 3.9Ghz
|-
|-
|Storage network
|RAM
| colspan="3" |10 GbE SFP+
|128GB
|-
|GPU
|2x NVIDIA RTX 3090 24GB NVLink
|-
|Interkoneksi
|Mellanox RoCE 25Gbps
|}
|}


== '''Spesifikasi Sistem Operasi''' ==
== '''Spesifikasi Interactive Node''' ==
Interactive Node menjalankan sesi interaktif pada web service EFIRO seperti Jupyter dan ALELEON Virtual Desktop.
{| class="wikitable"
{| class="wikitable"
|+Sistem Operasi - per Januari 2022
! colspan="2" |Spesifikasi Interactive Node CPU
!Komponen
 
!Tipe
=== Partisi torti ===
!Versi
!Spesifikasi
|-
|-
|Sistem Operasi
|Nodes
|Linux CentOS
|2
|7.9
|Kernel 5.4.100-1.el7.elrepo.x86_64
|-
|-
|Autentikasi Login
|CPU per node
| colspan="3" |OpenVPN, PAM
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|-
|-
|Tampilan GUI
|RAM per node
|Custom - EFIRO OnDemand
|64GB
|1.0
|Tampilan web browser untuk mengakses ALELEON Supercomputer
|-
|-
|GCC (default)
! colspan="2" |Spesifikasi Interactive Node GPU
|GNU RHEL
 
|10.2.0
=== Partisi tilla ===
|C/C++/Fortran, optimasi arch untuk AMD EPYC
|-
|-
|Manajemen
|Nodes
|SLURM
|2
|20.11.5
|Dengan protokol PMIX, UCX, CUDA, auto load-balancing
|-
|-
|Module Environment
|CPU per node
|Lmod
|AMD Threadripper 3990X, 32 v-core, 2.9Ghz
|8.1.18
| -
|-
|-
|Modul instalasi user
|RAM per node
|Easybuild
|64GB
|4.4.2
|Terintegrasi dengan Lmod
|-
|-
|Katalog lengkap software
|GPU per node
| colspan="3" |'''[[Katalog Software ALELEON Supercomputer]]'''
|1x NVIDIA RTX 3090 24GB
|}
|}


== '''EFIRO OnDemand''' ==
== '''Spesifikasi Storage''' ==
Mulai aktif pada awal tahun 2022, EFIRO OnDemand atau '''EFIRO''' untuk singkatnya adalah '''tampilan grafis (GUI) dari ALELEON Supercomputer yang dapat diakses melalui web browser'''. Melalui EFIRO, user dapat melakukan kegiatan esensial di superkomputer dari manajemen file (download / upload / editing) hingga job submission. EFIRO dirancang untuk memudahkan user dalam mengakses ALELEON Supercomputer khususnya untuk user awam yang pertama kali menggunakan superkomputer atau belum tanggap dengan sistem operasi Linux. EFIRO menyediakan tampilan secara grafis maupun terminal.  
Sistem melakukan checkpoint snapshot storage per 24 jam.  


[[Berkas:EFIRO Job Composer 1.png|nir|jmpl|1100x1100px|'''Tampilan EFIRO OnDemand untuk job submission di ALELEON Supercomputer''']]
* '''User dapat melayangkan permintaan ke email support untuk recovery data apabila tidak sengaja menghapus data.'''
[[Berkas:EFIRO FTP.png|nir|jmpl|900x900px|'''Layaknya penyimpanan cloud, EFIRO dapat melayani fungsi manajemen data seperti upload, download, editing, rename, copy, move, dan masih banyak lagi.''']]
 
{| class="wikitable"
! colspan="2" |Spesifikasi Stoarge Node
|-
|Jenis storage
|Block-storage, protokol NFS
|-
|HOME and workdir
|HDD SAS 83TiB efektif
|-
|SCRATCH caching
|SSD 1TB NVMe 4.0
|-
|Interkoneksi
|Mellanox RoCE 100Gbps
|}
{{DISPLAYTITLE:Spesifikasi ALELEON Supercomputer}}
__TOC__


== '''Spesifikasi Software Sistem''' ==


User juga dapat mengakses ALELEON Supercomputer dengan cara klasik yaitu via software terminal dan login SSH.
* '''Sistem Operasi'''
[[Berkas:Terminal.png|nir|jmpl|700x700px|'''Cara klasik mengakses ALELEON Supercomputer melalui software terminal dan login SSH.'''|al=]]
** Rocky Linux 8 dengan Kernel 4.18.0-425.3.1.el8.x86_64
* '''Autentikasi Login'''
** OpenVPN dan PAM
*'''Manajemen Job (job scheduler)'''
** SLURM 20.11.9 dengan protokol PMIX, UCX, CUDA, dan auto load-balancing menyesuaikan arsitektur AMD Zen 2.
*'''[https://wiki.efisonlt.com/wiki/Menggunakan_ALELEON_Supercomputer_via_EFIRO EFIRO Web Service] untuk login web dengan tampilan grafis (GUI)'''
**Menggunakan interactive package '''Jupyter Notebook, Jupyter Lab, dan Virtual Desktop Session (ALELEON Desktop)'''
***''Modifikasi dilakukan oleh tim engineering ALELEON Supercomputer.''
* '''Manajemen modul software (module environment)'''
** Lmod 8.1.18
*'''Manajemen instalasi software (package manager)'''
**EasyBuild 4.7.0
**Conda ''(melalui module environment Anaconda 3 suite)''
**Spack 0.17.2 ''(melalui module environment)''
*'''Manajemen compiling otomatis'''
**GNU Make 4.2.1
**CMake 3.24.3 ''(melalui module environment)''
* '''Manajemen container'''
** Singularity 3.10 ''(melalui module environment)''
* '''Profiler sistem'''
** CPU -> AMD μProf
* '''Library I/O sistem'''
** HDF5 1.12.1 ''(melalui module environment)''
** NetCDF 4.8.1 ''(melalui module environment)''
* '''Katalog lengkap software compiler, library, dan framework untuk penggunaan global'''
** '''[[Katalog Software ALELEON Supercomputer]]'''
__TANPADAFTARISI__

Revisi per 20 Oktober 2023 04.29

ALELEON Supercomputer saat ini menggunakan HPC ALELEON Mk.III - superkomputer custom EFISON generasi ketiga menyesuaikan arsitektur EFIRO.

Spesifikasi Compute Node

Compute Node menjalankan komputasi user via job submission SLURM (sbatch terminal atau Job Composer EFIRO).

Spesifikasi Compute Node CPU

Partisi epyc

Nodes 3
  • epyc001 -> high memory
  • epyc[002-003] -> normal
CPU per node 1x AMD EPYC 7702P, 64 core / 128 thread, 2.0Ghz
RAM per node
  • high memory -> 500GB efektif
  • normal -> 240GB efektif
Interkoneksi Mellanox RoCE 100Gbps
Spesifikasi Compute Node GPU

Partisi ampere

Nodes 1
CPU 1x AMD Threadripper 3955WX, 16 core / 32 thread, 3.9Ghz
RAM 128GB
GPU 2x NVIDIA RTX 3090 24GB NVLink
Interkoneksi Mellanox RoCE 25Gbps

Spesifikasi Interactive Node

Interactive Node menjalankan sesi interaktif pada web service EFIRO seperti Jupyter dan ALELEON Virtual Desktop.

Spesifikasi Interactive Node CPU

Partisi torti

Nodes 2
CPU per node AMD Threadripper 3990X, 32 v-core, 2.9Ghz
RAM per node 64GB
Spesifikasi Interactive Node GPU

Partisi tilla

Nodes 2
CPU per node AMD Threadripper 3990X, 32 v-core, 2.9Ghz
RAM per node 64GB
GPU per node 1x NVIDIA RTX 3090 24GB

Spesifikasi Storage

Sistem melakukan checkpoint snapshot storage per 24 jam.

  • User dapat melayangkan permintaan ke email support untuk recovery data apabila tidak sengaja menghapus data.
Spesifikasi Stoarge Node
Jenis storage Block-storage, protokol NFS
HOME and workdir HDD SAS 83TiB efektif
SCRATCH caching SSD 1TB NVMe 4.0
Interkoneksi Mellanox RoCE 100Gbps

Spesifikasi Software Sistem

  • Sistem Operasi
    • Rocky Linux 8 dengan Kernel 4.18.0-425.3.1.el8.x86_64
  • Autentikasi Login
    • OpenVPN dan PAM
  • Manajemen Job (job scheduler)
    • SLURM 20.11.9 dengan protokol PMIX, UCX, CUDA, dan auto load-balancing menyesuaikan arsitektur AMD Zen 2.
  • EFIRO Web Service untuk login web dengan tampilan grafis (GUI)
    • Menggunakan interactive package Jupyter Notebook, Jupyter Lab, dan Virtual Desktop Session (ALELEON Desktop)
      • Modifikasi dilakukan oleh tim engineering ALELEON Supercomputer.
  • Manajemen modul software (module environment)
    • Lmod 8.1.18
  • Manajemen instalasi software (package manager)
    • EasyBuild 4.7.0
    • Conda (melalui module environment Anaconda 3 suite)
    • Spack 0.17.2 (melalui module environment)
  • Manajemen compiling otomatis
    • GNU Make 4.2.1
    • CMake 3.24.3 (melalui module environment)
  • Manajemen container
    • Singularity 3.10 (melalui module environment)
  • Profiler sistem
    • CPU -> AMD μProf
  • Library I/O sistem
    • HDF5 1.12.1 (melalui module environment)
    • NetCDF 4.8.1 (melalui module environment)
  • Katalog lengkap software compiler, library, dan framework untuk penggunaan global
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Spesifikasi_ALELEON_Supercomputer&oldid=1231"