Anaconda Python (depreciated)
ALELEON Supercomputer menggunakan suite Anaconda untuk komputasi yang membutuhkan environment Python. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.
Versi yang Tersedia
Versi | Dukungan
MPI |
Dukungan
Hardware |
---|---|---|
Anaconda3 2020.11 | - | default: CPU dan GPU, single-node
*multi-node dengan coding dan library yang tepat |
Anaconda3 2021.05 | - |
Komputasi Python di Job Composer VS Interactive Apps
ALELEON Supercomputer dapat menjalankan komputasi Python via Job Composer dan Interactive Apps Jupyter Notebook.
Menjalankan komputasi Python di Job Composer VS Interactive Apps Jupyter Notebook |
---|
Melalui Job Composer:
|
Melalui interaktif Jupyter Notebook:
|
Saran admin:
|
Halaman ini untuk menjalankan komputasi Python via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan komputasi Python via Job Composer, klik:
Python Anaconda menggunakan Job Composer |
Membuat Conda Environment dan Instalasi Jupyter
Untuk praktek yang baik dalam menjalankan komputasi Python di ALELEON Supercomputer, user harus membuat Conda Environment supaya dapat mengisolasi dan secara bebas mengatur instalasi package Python di dalamnya. Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.
1 | Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access. |
2 | Aktifkan modul Anaconda, tim admin EFISON menyarankan menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat Daftar Software Python dan Anaconda ALELEON Supercomputer.
$ module load Anaconda3/2021.05 |
3 | Buat Conda Environment secara default di direktori HOME dengan format perintah:
$ conda create --name <nama-conda-environment> Contoh: $ conda create --name tensortest |
4 | Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate:
$ source activate $HOME/.conda/envs/<nama-conda-environment> Contoh: $ source activate $HOME/.conda/envs/tensortest
(tensortest) [wololo@login ~]$ |
5 | Instal pip Anaconda kemudian instal Jupyter melalui pip:
(tensortest) $ conda install pip (tensortest) $ pip install jupyter Dengan demikian, user siap menggunakan Jupyter Notebook dengan Conda Environment yang barusan dibuat. |
6 | User juga dapat melakukan instalasi package yang dibutuhkan pada Conda Environment tersebut, seperti contoh instalasi TensorFlow, numpy, dll:
(tensortest) $ pip install tensorflow (tensortest) $ pip install numpy (dan lain-lain sesuai kebutuhan user) |
Mengakses Kembali Conda Environment UserKetika user ingin kembali mengakses Conda Environment yang dibuat untuk instalasi package, lakukan langkah Lupa dengan nama dan direktori Conda Environment user? User dapat melihat semua Conda Environment yang dibuat dengan perintah $ conda-env list |
Membuat Sesi Jupyter Notebook untuk TensorFlow
1 | Buka menu dashboard EFIRO Interactive Apps > Jupyter Notebook
| ||||||
2 | User mengisi formulir untuk memulai sesi Jupyter Notebook. Terdapat dua skenario pengisian formulir untuk menjalankan komputasi Python yaitu dengan CPU atau plus akselerasi GPU.
| ||||||
3 | Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter Notebook user siap diakses.
| ||||||
4 |
Memulai Sesi Jupyter NotebookApabila status menunjukkan Running atau kolom berwarna hijau KlikConnect to Jupyter .
| ||||||
5 |
Menghentikan (Stop / Cancel) Sesi Jupyter NotebookUser dapat menghentikan sesi Jupyter Notebook yang sedang berjalan melalui menu dashboard --- |
User dapat mengunjungi halaman My Interactive Sessions melalui menu di dasboard EFIRO.
Default Notebook untuk Python
User dapat menjalankan komputasi Python pada Notebook default yaitu Python 3 (ipykernel)
.
- User juga dapat melakukan instalasi package (via pip atau conda) di Notebook.
- Package akan terinstal di dalam Conda Environment user yang digunakan pada sesi Jupyter Notebook tersebut.
Upload Data ke Jupyter
User dapat melakukan upload data di Jupyter, akan tetapi dengan limit ukuran upload 2GB per file. Gunakan aplikasi FTP apabila user hendak mengupload file tunggal diatas 2GB.
- Jupyter pada ALELEON Supercomputer berada di direktori HOME user (dengan asumsi user membuat Conda Environment di direktori HOME).
- Apabila mengggunakan aplikasi FTP, upload data ke direktori HOME user.