Anaconda Python

Tensorflow adalah open-source library platform untuk proses training Machine Learning.

Versi yang Tersedia

Versi	Dukungan MPI	Dukungan Hardware
Instalasi mandiri User bebas menentukan versi TensorFlow Versi terbaru: 2.8.0	-	default: CPU dan GPU, single-node *multi-node dengan coding dan library yang tepat

TensorFlow di Job Composer vs Interactive Apps

ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.

Menjalankan Jupyter Notebook di Job Composer VS Interactive Apps Jupyter Notebook
Melalui Job Composer: User menjalankan TensorFlow sesuai cara kerja Job Composer. Untuk file Python TensorFlow siap jalan. Job Composer tidak dapat menjalankan file ipynb. Berjalan di Compute Node dengan alokasi hardware besar:
Melalui interaktif Jupyter Notebook: Untuk TensorFlow secara interaktif via Jupyter Notebook (dan dapat menjalankan file ipynb). Berjalan di Interactive Node.
Saran admin: Jalankan TensorFlow di Job Composer untuk beban komputasi yang besar. Jalankan TensorFlow di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.

Halaman ini untuk menjalankan TensorFlow via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan TensorFlow via Job Composer, klik:

TensorFlow menggunakan Job Composer

Membuat Conda Environment TensorFlow - Jupyter

Untuk menggunakan TensorFlow dengan Jupyter Notebook di ALELEON Supercomputer, user harus membuat Conda Environment dengan TensorFlow dan Jupyter di dalamnya.

Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.

Membuat Conda Environment

• Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.

• Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat Daftar Software Python dan Anaconda ALELEON Supercomputer.

$ module load Anaconda3/2021.05

• Buat Conda Environment secara default di direktori HOME dengan format perintah:

$ conda create --name <nama-conda-environment>
Contoh:
$ conda create --name tensortest

• Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate:

$ source activate $HOME/.conda/envs/<nama-conda-environment>
Contoh:
$ source activate $HOME/.conda/envs/tensortest

• Pada contoh di atas, Conda Environment 'tensortest' aktif ditandai dengan munculnya tulisan 'tensortest' pada bash terminal user:

(tensortest) [wololo@login ~]$

Instalasi TensorFlow dan Jupyter

• Instal pip dari Anaconda:

(tensortest) [wololo@login ~]$ conda install pip

• Instal TensorFlow versi terbaru. Untuk instalasi TensorFlow dengan versi spesifik lihat laman resmi TensorFlow

(tensortest) [wololo@login ~]$ pip install tensorflow

• Instal Jupyter:

(tensortest) [wololo@login ~]$ pip install jupyter

Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.

Membuat Sesi Jupyter Notebook untuk TensorFlow

Buka menu Interactive Apps > Jupyter Notebook.

Mengisi Formulir Sesi Jupyter Notebook

Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU.

Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU
Partition Pilih torti Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB) Number of CPU Cores Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user Minimal: 1 Maksimal: 16 Number of GPUs kosongkan Number of hours Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user Minimal: 1 Maksimal: 336 Anaconda Selection Bebas pilih versi apapun atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user Conda Environment Directory Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter. Contoh: $HOME/.conda/envs/skripsi Software Modules kosongkan Environment Setup kosongkan Email Address Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses. Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus: CPU Core Hour terpakai = Number of CPU Cores * Number of hours

Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU
Partition Pilih tilla Alokasi hardware maksimal 12 core CPU dan 1 GPU (dengan RAM 64GB) Number of CPU Cores Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user Minimal: 1 Maksimal: 12 Number of GPUs Isi: 1 Number of hours Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user Minimal: 1 Maksimal: 336 Anaconda Selection Bebas pilih versi apapun atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user Conda Environment Directory Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter. Contoh: $HOME/.conda/envs/skripsi Software Modules Isi: cuda/11.2-cuDNN8.1.1 Environment Setup kosongkan Email Address Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses. Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus: CPU Core Hour terpakai = Number of CPU Cores * Number of hours GPU Hour terpakai = Number of GPUs * Number of hours

Launch!

• Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook.
• User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter Notebook user siap diakses.

Status sesi Jupyter Notebook mengantri menunggu alokasi hardware

Sesi Jupyter Notebook siap diakses. Klik tombol Connect to Jupyter.

• User dapat mengunjungi halaman My Interactive Sessions melalui menu di dasboard EFIRO.

Menjalankan Conda Environment TensorFlow di Jupyter Notebook

Saat membuat Notebook baru, pilih nama Conda Environment user yang dimuat pada pengisian formulir sesi Jupyter Notebook.

• Sesi Notebook akan menggunakan package yang terinstal pada Conda Environment tersebut.

Pada contoh ini pilih Notebook tensortest mengikuti nama pembuatan Conda Environment di atas.