Anaconda Python: Perbedaan antara revisi

Dari ALELEON by EFISON
(→‎Conda Environment, Instalasi TensorFlow, dan Jupyter: update menambah penjelasan kolom JN)
(reformat formulir)
Baris 2: Baris 2:


'''[https://www.tensorflow.org/ Tensorflow]''' adalah ''open-source library platform'' untuk proses training ''Machine Learning''.
'''[https://www.tensorflow.org/ Tensorflow]''' adalah ''open-source library platform'' untuk proses training ''Machine Learning''.
== '''Versi yang Tersedia''' ==
{| class="wikitable"
!Versi
!Dukungan
MPI
!Dukungan
Hardware
|-
|
* Instalasi mandiri
* User bebas menentukan versi TensorFlow
* Versi terbaru: '''2.8.0'''
| -
|default: CPU dan GPU, single-node
<nowiki>*</nowiki>multi-node dengan coding dan library yang tepat
|}
== '''TensorFlow di Job Composer vs Interactive Apps'''==
== '''TensorFlow di Job Composer vs Interactive Apps'''==
ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.
ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.
Baris 34: Baris 51:
*Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer'''].
*Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer'''].
  $ module load '''Anaconda3/2021.05'''
  $ module load '''Anaconda3/2021.05'''
*Admin EFISON merekomendasikan user membuat Conda Environment secara default di direktori HOME dengan format perintah:
*Buat Conda Environment secara default di direktori HOME dengan format perintah:
  $ conda create --name '''<nama-conda-environment>'''
  $ conda create --name '''''<nama-conda-environment>'''''
*Contoh membuat Conda Environment dengan nama 'skripsi':
''Contoh:''
**'''''conda create --name skripsi'''''
'''''$ conda create --name skripsi'''''
 
*Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate:'''
*Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate''' dengan rumus berikut.
  $ source activate $HOME/.conda/envs/'''''<nama-conda-environment>'''''
  $ source activate $HOME/.conda/envs/'''<nama-conda-environment>'''
''Contoh:''
*Contoh mengaktifkan Conda Environment 'skripsi':
'''''$ source activate $HOME/.conda/envs/skripsi'''''
**'''''source activate $HOME/.conda/envs/skripsi'''''
*Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user:
**Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user:
  '''''(skripsi)''''' [wololo@login ~]$
  '''(skripsi)''' [wololo@login ~]$
==='''Instalasi TensorFlow dan Jupyter''' ===
==='''Instalasi TensorFlow dan Jupyter''' ===
*Instal pip dari Anaconda:
*Instal pip dari Anaconda:
  '''(skripsi)''' [wololo@login ~]$ '''conda install pip'''
  '''(skripsi)''' [wololo@login ~]$ '''conda install pip'''
Baris 52: Baris 68:
*Instal Jupyter:
*Instal Jupyter:
  '''(skripsi)''' [wololo@login ~]$ '''pip install jupyter'''
  '''(skripsi)''' [wololo@login ~]$ '''pip install jupyter'''
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook.
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.


== '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' ==
== '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' ==
Baris 59: Baris 75:
[[Berkas:Interactive apps JN.png|nirbing|200x200px]]
[[Berkas:Interactive apps JN.png|nirbing|200x200px]]


Isi formulir dengan panduan berikut:
=== Mengisi Formulir Sesi Jupyter Notebook ===
 
Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU. 
* '''Environment Setup'''
{| class="wikitable mw-collapsible mw-collapsed"
** ''Kosongkan.''
!Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU
* '''Conda Environment'''
|-
** Isi dengan alamat Conda Environment user yang terdapat Tensorflow dan Jupyter, contoh:
|
 
*'''Partition'''
$HOME/.conda/envs/'''nama-conda-env'''
**''Pilih '''torti'''''  
 
**Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB)
* [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Interactive_Node '''Partition''']''',''' pilih salah satu:
*'''Number of CPU Cores'''
** '''torti'''
**Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
*** Interactive Node CPU, dapat menampung maksimal '''8 sesi''' Jupyter Notebook di waktu yang bersamaan.
**Minimal: '''1'''
*** Alokasi hardware maksimal '''16 core CPU''' (dengan RAM 30GB).
**Maksimal: '''16'''
** '''tilla'''
*'''Number of GPUs'''
*** Interactive Node GPU, dapat menampung maksimal '''1 sesi''' Jupyter Notebook di waktu yang bersamaan.
**''kosongkan''
*** Alokasi hardware maksimal '''12 core CPU dan 1 unit GPU''' (dengan RAM 64GB).
*'''Number of hours'''
*** Karena keterbatasan jumlah sesi pada Partisi tilla, pastikan user yang memilih Partisi tilla menggunakan GPU dengan mengisi nilai 1 pada kolom Number of GPUs.
**Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
** Info lebih detail kunjungi [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Interactive_Node Spesifikasi Hardware Interactive Node ALELEON].
**Minimal: '''1'''
* '''Modules'''
**Maksimal: '''336'''
** Apabila memilih Partition torti, kosongkan.
*'''Anaconda Selection'''
** Apabila memilih Partition tilla, isi dengan:  
**''Bebas pilih versi apapun''
 
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
cuda/11.2-cuDNN8.1.1
*'''Conda Environment Directory'''  
 
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
* '''Number of CPU Cores'''
**Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>'''''
** Isi sesuai keinginan user, perhatikan alokasi hardware maksimal di setiap partisi.
*'''Software Modules'''
** Nilai default apabila tidak diisi: '''4'''.
**''kosongkan''
* '''Number of GPUs'''
*'''Environment Setup'''
** Apabila memilih Partition torti: kosongkan.
**''kosongkan''
** Apabila memilih Partition tilla: '''1'''
*'''Email Address'''
** Nilai default apabila tidak diisi: '''0'''.
**Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.  
* '''Number of hours'''
**Apabila membutuhkan, ''isi dengan email user''
** Waktu sesi Jupyter Notebook user. Isi sesuai keinginan user.
|-
** Alokasi maksimal untuk semua partisi: '''336'''.
|User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus:  
* '''Email address'''
* CPU Core Hour terpakai = '''Number of CPU Cores * Number of hours'''
** Isi dengan alamat email user apabila ingin dibantu notifikasi bahwa sesi Jupyter Notebook user sudah siap diakses. Berguna ketika Interactive Node ALELEON sedang sibuk atau mengalami banyak antrian dari user lainnya.
|}
{| class="wikitable mw-collapsible mw-collapsed"
!Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU
|-
|
*'''Partition'''
**''Pilih '''tilla'''''
**Alokasi hardware maksimal 12 core CPU dan 1 GPU (dengan RAM 64GB)
*'''Number of CPU Cores'''
**Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
**Minimal: '''1'''
**Maksimal: '''12'''
*'''Number of GPUs'''
**Isi: '''1'''
*'''Number of hours'''
**Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
**Minimal: '''1'''
**Maksimal: '''336'''
*'''Anaconda Selection'''
**''Bebas pilih versi apapun''
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
*'''Conda Environment Directory'''
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
**Contoh: '''''$HOME/.conda/envs/skripsi'''''
*'''Software Modules'''
**Isi: '''''cuda/11.2-cuDNN8.1.1'''''
*'''Environment Setup'''
**''kosongkan''
*'''Email Address'''  
**Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.  
**Apabila membutuhkan, ''isi dengan email user''
|-
|User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus:
* CPU Core Hour terpakai = '''Number of CPU Cores * Number of hours'''
* GPU Hour terpakai = '''Number of GPUs * Number of hours'''
|}
=== Launch! ===


=== Menghitung Kredit Core Hour yang Terpakai ===
* Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook.
Sebelum mengisi kolom Number of CPU Cores, GPUs, dan Hours, user dapat menghitung penggunaan Kredit Core Hour yang akan terpakai dengan rumus:
* User akan diarahkan ke halaman My Interactive Sessions (juga dapat diakses melalui '''dasboard EFIRO > menu My Interactive Sessions''').
* Tunggu hingga sesi Jupyter Notebook user siap diakses.


* CPU Core Hour (CCH) = Number of CPU Cores * Number of hours.
[[Berkas:JNqueue.png|nir|jmpl|Status sesi Jupyter Notebook mengantri menunggu alokasi hardware]]
* GPU Hour (GH) = Number of GPUs * Number of hours.
[[Berkas:JNrun.png|nir|jmpl|Sesi Jupyter Notebook siap diakses. Klik tombol '''Connect to Jupyter.''']]
 
=== Launch! ===
''(coming soon)''


== '''Menjalankan TensorFlow di Jupyter Notebook''' ==
== '''Menjalankan TensorFlow di Jupyter Notebook''' ==
''(coming soon)''
''(coming soon)''

Revisi per 23 Maret 2022 06.08

Tensorflow adalah open-source library platform untuk proses training Machine Learning.

Versi yang Tersedia

Versi Dukungan

MPI

Dukungan

Hardware

  • Instalasi mandiri
  • User bebas menentukan versi TensorFlow
  • Versi terbaru: 2.8.0
 - default: CPU dan GPU, single-node

*multi-node dengan coding dan library yang tepat

TensorFlow di Job Composer vs Interactive Apps

ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.

Menjalankan Jupyter Notebook di Job Composer VS Interactive Apps Jupyter Notebook
Melalui Job Composer:
  • User menjalankan TensorFlow sesuai cara kerja Job Composer.
  • Untuk file Python TensorFlow siap jalan.
  • Job Composer tidak dapat menjalankan file ipynb.
  • Berjalan di Compute Node dengan alokasi hardware besar:
Melalui interaktif Jupyter Notebook:
  • Untuk TensorFlow secara interaktif via Jupyter Notebook (dan dapat menjalankan file ipynb).
  • Berjalan di Interactive Node.
Saran admin:
  • Jalankan TensorFlow di Job Composer untuk beban komputasi yang besar.
  • Jalankan TensorFlow di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.

Halaman ini untuk menjalankan TensorFlow via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan TensorFlow via Job Composer, klik:

TensorFlow menggunakan Job Composer

Conda Environment, TensorFlow, dan Jupyter

Untuk menggunakan TensorFlow dengan Jupyter Notebook di ALELEON Supercomputer, user harus membuat Conda Environment dengan TensorFlow dan Jupyter di dalamnya.

Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.

Membuat Conda Environment

  • Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.

Shellaccess.png 

$ module load Anaconda3/2021.05
  • Buat Conda Environment secara default di direktori HOME dengan format perintah:
$ conda create --name <nama-conda-environment>
Contoh:
$ conda create --name skripsi
  • Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate:
$ source activate $HOME/.conda/envs/<nama-conda-environment>
Contoh:
$ source activate $HOME/.conda/envs/skripsi
  • Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user:
(skripsi) [wololo@login ~]$

Instalasi TensorFlow dan Jupyter

  • Instal pip dari Anaconda:
(skripsi) [wololo@login ~]$ conda install pip
  • Instal TensorFlow versi terbaru. Untuk instalasi TensorFlow dengan versi spesifik lihat laman resmi TensorFlow
(skripsi) [wololo@login ~]$ pip install tensorflow
  • Instal Jupyter:
(skripsi) [wololo@login ~]$ pip install jupyter

Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.

Membuat Sesi Jupyter Notebook untuk TensorFlow

Buka menu Interactive Apps > Jupyter Notebook.

Interactive apps JN.png

Mengisi Formulir Sesi Jupyter Notebook

Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU.

Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU
  • Partition
    • Pilih torti
    • Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB)
  • Number of CPU Cores
    • Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 16
  • Number of GPUs
    • kosongkan
  • Number of hours
    • Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 336
  • Anaconda Selection
    • Bebas pilih versi apapun
    • atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
  • Conda Environment Directory
    • Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
    • Contoh: $HOME/.conda/envs/skripsi
  • Software Modules
    • kosongkan
  • Environment Setup
    • kosongkan
  • Email Address
    • Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.
    • Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus:
  • CPU Core Hour terpakai = Number of CPU Cores * Number of hours
Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU
  • Partition
    • Pilih tilla
    • Alokasi hardware maksimal 12 core CPU dan 1 GPU (dengan RAM 64GB)
  • Number of CPU Cores
    • Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 12
  • Number of GPUs
    • Isi: 1
  • Number of hours
    • Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 336
  • Anaconda Selection
    • Bebas pilih versi apapun
    • atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
  • Conda Environment Directory
    • Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
    • Contoh: $HOME/.conda/envs/skripsi
  • Software Modules
    • Isi: cuda/11.2-cuDNN8.1.1
  • Environment Setup
    • kosongkan
  • Email Address
    • Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.
    • Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus:
  • CPU Core Hour terpakai = Number of CPU Cores * Number of hours
  • GPU Hour terpakai = Number of GPUs * Number of hours

Launch!

  • Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook.
  • User akan diarahkan ke halaman My Interactive Sessions (juga dapat diakses melalui dasboard EFIRO > menu My Interactive Sessions).
  • Tunggu hingga sesi Jupyter Notebook user siap diakses.
Status sesi Jupyter Notebook mengantri menunggu alokasi hardware
Sesi Jupyter Notebook siap diakses. Klik tombol Connect to Jupyter.

Menjalankan TensorFlow di Jupyter Notebook

(coming soon)

Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Anaconda_Python&oldid=785"