Anaconda Python

Tensorflow adalah open-source library platform untuk proses training Machine Learning.

TensorFlow di Job Composer vs Interactive Apps

ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.

Menjalankan Jupyter Notebook di Job Composer VS Interactive Apps Jupyter Notebook
Melalui Job Composer: User menjalankan TensorFlow sesuai cara kerja Job Composer. Untuk file Python TensorFlow siap jalan. Job Composer tidak dapat menjalankan file ipynb. Berjalan di Compute Node dengan alokasi hardware besar:
Melalui interaktif Jupyter Notebook: Untuk TensorFlow secara interaktif via Jupyter Notebook (dan dapat menjalankan file ipynb). Berjalan di Interactive Node.
Saran admin: Jalankan TensorFlow di Job Composer untuk beban komputasi yang besar. Jalankan TensorFlow di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.

Halaman ini untuk menjalankan TensorFlow via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan TensorFlow via Job Composer, klik:

TensorFlow menggunakan Job Composer

Conda Environment, TensorFlow, dan Jupyter

Untuk menggunakan TensorFlow dengan Jupyter Notebook di ALELEON Supercomputer, user harus membuat Conda Environment dengan TensorFlow dan Jupyter di dalamnya.

Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.

Membuat Conda Environment

• Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.

• Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat Daftar Software Python dan Anaconda ALELEON Supercomputer.

$ module load Anaconda3/2021.05

• Admin EFISON merekomendasikan user membuat Conda Environment secara default di direktori HOME dengan format perintah:

$ conda create --name <nama-conda-environment>

• Contoh membuat Conda Environment dengan nama 'skripsi':
  • conda create --name skripsi

• Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate dengan rumus berikut.

$ source activate $HOME/.conda/envs/<nama-conda-environment>

• Contoh mengaktifkan Conda Environment 'skripsi':
  • source activate $HOME/.conda/envs/skripsi
  • Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user:

(skripsi) [wololo@login ~]$

Instalasi TensorFlow dan Jupyter

• Instal pip dari Anaconda:

(skripsi) [wololo@login ~]$ conda install pip

• Instal TensorFlow versi terbaru. Untuk instalasi TensorFlow dengan versi spesifik lihat laman resmi TensorFlow

(skripsi) [wololo@login ~]$ pip install tensorflow

• Instal Jupyter:

(skripsi) [wololo@login ~]$ pip install jupyter

Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook.

Membuat Sesi Jupyter Notebook untuk TensorFlow

Buka menu Interactive Apps > Jupyter Notebook.

Isi formulir dengan panduan berikut:

• Environment Setup
  • Kosongkan.
• Conda Environment
  • Isi dengan alamat Conda Environment user yang terdapat Tensorflow dan Jupyter, contoh:

$HOME/.conda/envs/nama-conda-env

• Partition, pilih salah satu:
  • torti
    • Interactive Node CPU, dapat menampung maksimal 8 sesi Jupyter Notebook di waktu yang bersamaan.
    • Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB).
  • tilla
    • Interactive Node GPU, dapat menampung maksimal 1 sesi Jupyter Notebook di waktu yang bersamaan.
    • Alokasi hardware maksimal 12 core CPU dan 1 unit GPU (dengan RAM 64GB).
    • Karena keterbatasan jumlah sesi pada Partisi tilla, pastikan user yang memilih Partisi tilla menggunakan GPU dengan mengisi nilai 1 pada kolom Number of GPUs.
  • Info lebih detail kunjungi Spesifikasi Hardware Interactive Node ALELEON.
• Modules
  • Apabila memilih Partition torti, kosongkan.
  • Apabila memilih Partition tilla, isi dengan:

cuda/11.2-cuDNN8.1.1

• Number of CPU Cores
  • Isi sesuai keinginan user, perhatikan alokasi hardware maksimal di setiap partisi.
  • Nilai default apabila tidak diisi: 4.
• Number of GPUs
  • Apabila memilih Partition torti: kosongkan.
  • Apabila memilih Partition tilla: 1
  • Nilai default apabila tidak diisi: 0.
• Number of hours
  • Waktu sesi Jupyter Notebook user. Isi sesuai keinginan user.
  • Alokasi maksimal untuk semua partisi: 336.
• Email address
  • Isi dengan alamat email user apabila ingin dibantu notifikasi bahwa sesi Jupyter Notebook user sudah siap diakses. Berguna ketika Interactive Node ALELEON sedang sibuk atau mengalami banyak antrian dari user lainnya.

Menghitung Kredit Core Hour yang Terpakai

Sebelum mengisi kolom Number of CPU Cores, GPUs, dan Hours, user dapat menghitung penggunaan Kredit Core Hour yang akan terpakai dengan rumus:

• CPU Core Hour (CCH) = Number of CPU Cores * Number of hours.
• GPU Hour (GH) = Number of GPUs * Number of hours.

Launch!

(coming soon)

Menjalankan TensorFlow di Jupyter Notebook

(coming soon)