Anaconda Python
ALELEON Supercomputer menggunakan suite Anaconda dan Conda Environment untuk komputasi yang membutuhkan environment Python. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.
W00t!
Halaman ini sedang dalam proses penulisan ulang. Penulisan selesai ketika user tidak melihat W00t! ini.
Modul Anaconda
Berikut adalah detail versi Anaconda yang tersedia secara global di ALELEON Supercomputer:
Versi | Nama modul | Modul
DEFAULT |
Dukungan hardware | |||
---|---|---|---|---|---|---|
CPU | GPU | OMP
Threading |
MPI
multi-node | |||
Anaconda 3 2020.11 | Anaconda3/2020.11 | - | V | V | V | - |
Anaconda 3 2021.05 | Anaconda3/2021.05 | - | V | V | V | - |
Anaconda 3 2022.05 | Anaconda3/2022.05 | V | V | V | V | - |
Anaconda3 |
Alternatif Menjalankan Python di ALELEON Supercomputer
Sebelum melakukan komputasi Python di ALELEON Supercomputer, user harus membuat Conda Environment supaya dapat mengisolasi dan mengatur instalasi package Python di dalamnya.
Note:
|
Kemudian, ALELEON Supercomputer menawarkan user untuk menjalankan komputasi Python via Conda Environment dengan skema job submission melalui scheduler atau interaktif melalui sesi Jupyter Notebook / Lab dengan detail penjelasan berikut:
Menjalankan Python melalui Job Submission:
|
Menjalankan R dengan sesi interaktif Jupyter:
|
Membuat Conda Environment
Berikut adalah langkah untuk membuat Conda Environment di ALELEON Supercomputer:
0A | Instalasi package dilakukan melalui terminal. |
0B | Bagi user EFIRO, buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access. |
1 | Aktifkan modul Anaconda, tim admin EFISON menyarankan menggunakan Anaconda3 terbaru.
$ module load Anaconda3 Apabila membutuhkan versi lainnya, lihat daftar modul Anacona pada subbab Modul Anaconda. |
2 | Buat Conda Environment secara default di direktori HOME dengan format perintah:
$ conda create --name <nama-conda-environment> Contoh: $ conda create --name tensortest |
3 | Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate:
$ source activate $CONDA/<nama-conda-environment> Contoh: $ source activate $CONDA/tensortest
(tensortest) [wololo@login ~]$ |
4A | Tim admin menyarankan user untuk melakukan instalasi package Python (seperti Tensorflow, PyTorch, Numpy, dll) yang dibutuhkan melalui pip install. Sebelumya lakukan instalasi pip dengan conda:
$ conda install pip Kemudian user dapat melakukan instalasi package melalui pip install: $ pip install <nama-package> |
4B |
Instalasi pip JupyterUser dapat sekaligus melakukan instalasi Jupyter dan Jupyter Lab apabila kedepannya membutuhkan sesi interaktif Jupyter Notebook / Lab: # pip install jupyter # pip install jupyterlab |
Mengakses Kembali Conda Environment UserKetika user ingin kembali mengakses Conda Environment yang dibuat lakukan langkah Apabila lupa dengan nama dan direktori Conda Environment, user dapat melihat semua Conda Environment yang dibuat dengan perintah $ conda-env list |
Menjalankan R Melalui Job Submission
Menjalankan Python dengan Sesi Interaktif Jupyter
Terdapat 3 langkah besar untuk menjalankan komputasi Python melalui sesi interaktif Jupyter yaitu:
- Login ke EFIRO karena fitur ini hanya bisa diakses melalui EFIRO.
- Membuat Conda Environment yang sudah terdapat package Jupyter dan package sesuai kebutuhan komputasi user.
- Mengisi formulir sesi interaktif Jupyter Notebook atau Lab.
Berikut adalah langkah untuk memulai sesi Jupyter menggunakan Conda Environment yang dibuat user:
1 | Buka menu Interactive Apps kemudian user bebas memilih menggunakan Jupyter Notebook atau Lab. | ||||
2 | User mengisi formulir untuk memulai sesi Jupyter Notebook. Terdapat dua pilihan pengisian formulir yaitu menggunakan Partisi Torti (CPU) atau Partisi Tilla (dengan akselerasi GPU).
| ||||
3 | Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter user siap diakses.
| ||||
4A | Apabila status menunjukkan Running atau kolom berwarna hijau, klik Connect to Jupyter . Perlu diperhatikan bahwa sistem mulai menghitung Kredit Core Hour saat status Jupyter menunjukkan running.
| ||||
4B |
Menghentikan (Stop / Cancel) Sesi JupyterUser dapat menghentikan sesi Jupyter yang sedang berjalan dengan klik tombol |
User dapat mengunjungi halaman My Interactive Sessions melalui menu di dasboard EFIRO.
Default Notebook untuk Python
User dapat menjalankan komputasi Python pada Notebook default yaitu Python 3 (ipykernel)
.
- User juga dapat melakukan instalasi package (via pip atau conda) di Notebook.
- Package akan terinstal di dalam Conda Environment user yang digunakan pada sesi Jupyter Notebook tersebut.
Upload Data ke Jupyter
User dapat melakukan upload data di Jupyter, akan tetapi dengan limit ukuran upload 2GB per file. Gunakan aplikasi FTP apabila user hendak mengupload file tunggal diatas 2GB.
- Jupyter pada ALELEON Supercomputer berada di direktori HOME user (dengan asumsi user membuat Conda Environment di direktori HOME).
- Apabila mengggunakan aplikasi FTP, upload data ke direktori HOME user.