Anaconda Python: Perbedaan antara revisi

Dari ALELEON by EFISON
k (WilsonLisan memindahkan halaman TensorFlow menggunakan Jupyter Notebook ke Python Anaconda menggunakan Jupyter Notebook: mengganti TF ke general Python)
(reformat)
Baris 1: Baris 1:
[[Berkas:TFJN.png|al=|nirbing|500x500px]]
[[Berkas:Pythonanaconda.png|al=|nirbing|500x500px]]


'''[https://www.tensorflow.org/ Tensorflow]''' adalah ''open-source library platform'' untuk proses training ''Machine Learning''.
ALELEON Supercomputer menggunakan suite Anaconda untuk komputasi yang membutuhkan environment Python. [https://www.anaconda.com/ '''Anaconda'''] adalah suite katalog packages Python dan R untuk komputasi ''data science'' dan ''machine learning''.  


== '''Versi yang Tersedia''' ==
== '''Versi yang Tersedia''' ==
Baris 11: Baris 11:
Hardware
Hardware
|-
|-
|
| Anaconda3 2020.11
* [https://wiki.efisonlt.com/wiki/TensorFlow_menggunakan_Jupyter_Notebook#Membuat_Conda_Environment_TensorFlow_-_Jupyter Instalasi mandiri]
* User bebas menentukan versi TensorFlow
* Versi terbaru: '''2.8.0'''
| -
| -
|default: CPU dan GPU, single-node
| rowspan="2" |default: CPU dan GPU, single-node
<nowiki>*</nowiki>multi-node dengan coding dan library yang tepat
<nowiki>*</nowiki>multi-node dengan coding dan library yang tepat
|-
|Anaconda3 2021.05
| -
|}
|}
== '''TensorFlow di Job Composer vs Interactive Apps'''==
== '''Komputasi Python di Job Composer vs Interactive Apps'''==
ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.
ALELEON Supercomputer dapat menjalankan komputasi Python via Job Composer dan Interactive Apps Jupyter Notebook.
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Menjalankan Jupyter Notebook di Job Composer VS Interactive Apps Jupyter Notebook
!Menjalankan komputasi Python di Job Composer VS Interactive Apps Jupyter Notebook
|-
|-
|'''Melalui Job Composer:'''
|'''Melalui Job Composer:'''
*User menjalankan TensorFlow sesuai cara kerja '''[https://wiki.efisonlt.com/wiki/Tutorial_Menggunakan_ALELEON_Supercomputer#Job_Composer Job Composer].'''
*User menjalankan komputasi Python sesuai cara kerja '''[https://wiki.efisonlt.com/wiki/Tutorial_Menggunakan_ALELEON_Supercomputer#Job_Composer Job Composer].'''
*Untuk file Python TensorFlow siap jalan.
*Untuk file Python (.py) siap jalan.
* Job Composer tidak dapat menjalankan file ipynb.
* Job Composer tidak dapat menjalankan file ipynb.
*Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Compute_Node '''Compute Node'''] dengan alokasi hardware besar:
*Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Compute_Node '''Compute Node'''] dengan alokasi hardware besar:
|-
|-
|'''Melalui interaktif Jupyter Notebook:'''
|'''Melalui interaktif Jupyter Notebook:'''
*Untuk TensorFlow secara interaktif via Jupyter Notebook (dan dapat menjalankan file ipynb).
*Untuk komputasi Python secara interaktif via Jupyter Notebook  
*Dapat menjalankan file ipynb.
*Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Interactive_Node '''Interactive Node'''].
*Berjalan di [https://wiki.efisonlt.com/wiki/Spesifikasi_ALELEON_Supercomputer#Spesifikasi_Hardware:_Interactive_Node '''Interactive Node'''].
|-
|-
|'''Saran admin:'''
|'''Saran admin:'''
*Jalankan TensorFlow di Job Composer untuk beban komputasi yang besar.
*Jalankan komputasi Python di Job Composer untuk beban komputasi yang besar.
*Jalankan TensorFlow di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.
*Jalankan komputasi Python di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.
|}Halaman ini untuk menjalankan TensorFlow via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan TensorFlow via Job Composer, klik:
|}Halaman ini untuk menjalankan komputasi Python via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan komputasi Python via Job Composer, klik:
{| class="wikitable"
{| class="wikitable"
|
|
===[[TensorFlow menggunakan Job Composer]]===
=== [[TensorFlow menggunakan Job Composer|Python Anaconda menggunakan Job Composer]]===
|}
|}
=='''Membuat Conda Environment TensorFlow - Jupyter''' ==
=='''Membuat Conda Environment dan Instalasi Jupyter''' ==
Untuk menggunakan TensorFlow dengan Jupyter Notebook di ALELEON Supercomputer, user harus membuat '''Conda Environment''' dengan TensorFlow dan Jupyter di dalamnya.  
Untuk praktek yang baik dalam menjalankan komputasi Python di ALELEON Supercomputer, user harus membuat '''Conda Environment''' supaya dapat mengisolasi dan secara bebas mengatur instalasi package Python di dalamnya. Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.
{| class="wikitable"
|'''1'''
|Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.


Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.
===Membuat Conda Environment===
*Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.
[[Berkas:Shellaccess.png|nirbing|200x200px|pra=https://wiki.efisonlt.com/wiki/Berkas:Shellaccess.png]]
[[Berkas:Shellaccess.png|nirbing|200x200px|pra=https://wiki.efisonlt.com/wiki/Berkas:Shellaccess.png]]
*Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer'''].
|-
|'''2'''
|Aktifkan modul Anaconda, tim admin EFISON menyarankan menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer'''].
  $ module load '''Anaconda3/2021.05'''
  $ module load '''Anaconda3/2021.05'''
*Buat Conda Environment secara default di direktori HOME dengan format perintah:
|-
|'''3'''
|Buat Conda Environment secara default di direktori HOME dengan format perintah:
  $ conda create --name '''''<nama-conda-environment>'''''
  $ conda create --name '''''<nama-conda-environment>'''''
  ''Contoh:''
  ''Contoh:''
  '''''$ conda create --name <u>tensortest</u>'''''
  '''''$ conda create --name <u>tensortest</u>'''''
*Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate:'''
|-
|'''4'''
|Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate:'''
  $ source activate $HOME/.conda/envs/'''''<nama-conda-environment>'''''
  $ source activate $HOME/.conda/envs/'''''<nama-conda-environment>'''''
  ''Contoh:''
  ''Contoh:''
  '''''$ source activate $HOME/.conda/envs/<u>tensortest</u>'''''
  '''''$ source activate $HOME/.conda/envs/<u>tensortest</u>'''''
*Pada contoh di atas, Conda Environment 'tensortest' aktif ditandai dengan munculnya tulisan 'tensortest' pada bash terminal user:
*Pada contoh di atas, Conda Environment <code>tensortest</code> aktif ditandai dengan munculnya tulisan <code>tensortest</code> pada bash terminal user:
  '''''(tensortest)''''' [wololo@login ~]$
  '''''(tensortest)''''' [wololo@login ~]$
==='''Instalasi TensorFlow dan Jupyter''' ===
|-
*Instal pip dari Anaconda:
|'''5'''
  '''''(tensortest)''''' [wololo@login ~]$ '''conda install pip'''
|Instal pip Anaconda kemudian instal Jupyter melalui pip:
*Instal TensorFlow versi terbaru. Untuk instalasi TensorFlow dengan versi spesifik lihat laman resmi [https://www.tensorflow.org/install/pip '''TensorFlow''']
  '''''(tensortest)''''' $ conda install pip
'''''(tensortest)''''' [wololo@login ~]$ '''pip install tensorflow'''
  '''''(tensortest)''''' $ pip install jupyter
*Instal Jupyter:
  '''''(tensortest)''''' [wololo@login ~]$ '''pip install jupyter'''
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.
|}
== '''Instalasi Package Python pada Conda Environment''' ==


== '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' ==
== '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' ==
Baris 76: Baris 84:


=== Mengisi Formulir Sesi Jupyter Notebook ===
=== Mengisi Formulir Sesi Jupyter Notebook ===
Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU.   
Terdapat dua skenario pengisian formulir untuk menjalankan komputasi Python yaitu dengan CPU atau plus akselerasi GPU.   
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU
!Panduan Formulir Menjalankan Jupyter Notebook CPU
|-
|-
|
|
Baris 98: Baris 106:
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
*'''Conda Environment Directory'''  
*'''Conda Environment Directory'''  
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal Jupyter.
**Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>'''''
**Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>'''''
*'''Software Modules'''
*'''Software Modules'''
Baris 112: Baris 120:
|}
|}
{| class="wikitable mw-collapsible mw-collapsed"
{| class="wikitable mw-collapsible mw-collapsed"
!Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU
!Panduan Formulir Menjalankan Jupyter Notebook GPU
|-
|-
|
|
Baris 132: Baris 140:
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
*'''Conda Environment Directory'''  
*'''Conda Environment Directory'''  
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter.
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal Jupyter.
**Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>'''''
**Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>'''''
*'''Software Modules'''
*'''Software Modules'''
Baris 165: Baris 173:
[[Berkas:Interactivesession.png|nirbing|500x500px]]
[[Berkas:Interactivesession.png|nirbing|500x500px]]


=='''Menjalankan TensorFlow di Jupyter Notebook'''==
=='''Default Notebook di Jupyter Notebook'''==
User dapat menggunakan TensorFlow melalui Notebook default yaitu '''Python 3 (ipykernel)'''.  
User dapat menjalankan komputasi Python melalui Notebook default yaitu '''Python 3 (ipykernel)'''.  


* User juga dapat melakukan instalasi package (via pip atau conda) di dalam Notebook Jupyter Notebook.
* User juga dapat melakukan instalasi package (via pip atau conda) di dalam Notebook Jupyter Notebook.

Revisi per 25 Maret 2022 04.15

ALELEON Supercomputer menggunakan suite Anaconda untuk komputasi yang membutuhkan environment Python. Anaconda adalah suite katalog packages Python dan R untuk komputasi data science dan machine learning.

Versi yang Tersedia

Versi Dukungan

MPI

Dukungan

Hardware

Anaconda3 2020.11 - default: CPU dan GPU, single-node

*multi-node dengan coding dan library yang tepat

Anaconda3 2021.05 -

Komputasi Python di Job Composer vs Interactive Apps

ALELEON Supercomputer dapat menjalankan komputasi Python via Job Composer dan Interactive Apps Jupyter Notebook.

Menjalankan komputasi Python di Job Composer VS Interactive Apps Jupyter Notebook
Melalui Job Composer:
  • User menjalankan komputasi Python sesuai cara kerja Job Composer.
  • Untuk file Python (.py) siap jalan.
  • Job Composer tidak dapat menjalankan file ipynb.
  • Berjalan di Compute Node dengan alokasi hardware besar:
Melalui interaktif Jupyter Notebook:
  • Untuk komputasi Python secara interaktif via Jupyter Notebook
  • Dapat menjalankan file ipynb.
  • Berjalan di Interactive Node.
Saran admin:
  • Jalankan komputasi Python di Job Composer untuk beban komputasi yang besar.
  • Jalankan komputasi Python di Interactive Apps untuk beban komputasi yang sesuai dengan spesifikasi Interactive Node.

Halaman ini untuk menjalankan komputasi Python via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan komputasi Python via Job Composer, klik:

Python Anaconda menggunakan Job Composer

Membuat Conda Environment dan Instalasi Jupyter

Untuk praktek yang baik dalam menjalankan komputasi Python di ALELEON Supercomputer, user harus membuat Conda Environment supaya dapat mengisolasi dan secara bebas mengatur instalasi package Python di dalamnya. Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.

1 Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.

Shellaccess.png

2 Aktifkan modul Anaconda, tim admin EFISON menyarankan menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat Daftar Software Python dan Anaconda ALELEON Supercomputer. 
$ module load Anaconda3/2021.05
3 Buat Conda Environment secara default di direktori HOME dengan format perintah: 
$ conda create --name <nama-conda-environment>
Contoh:
$ conda create --name tensortest
4 Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate: 
$ source activate $HOME/.conda/envs/<nama-conda-environment>
Contoh:
$ source activate $HOME/.conda/envs/tensortest
  • Pada contoh di atas, Conda Environment tensortest aktif ditandai dengan munculnya tulisan tensortest pada bash terminal user:
(tensortest) [wololo@login ~]$
5 Instal pip Anaconda kemudian instal Jupyter melalui pip: 
(tensortest) $ conda install pip
(tensortest) $ pip install jupyter

Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.

Instalasi Package Python pada Conda Environment

Membuat Sesi Jupyter Notebook untuk TensorFlow

Buka menu Interactive Apps > Jupyter Notebook.

Interactive apps JN.png

Mengisi Formulir Sesi Jupyter Notebook

Terdapat dua skenario pengisian formulir untuk menjalankan komputasi Python yaitu dengan CPU atau plus akselerasi GPU.

Panduan Formulir Menjalankan Jupyter Notebook CPU
  • Partition
    • Pilih torti
    • Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB)
  • Number of CPU Cores
    • Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 16
  • Number of GPUs
    • kosongkan
  • Number of hours
    • Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 336
  • Anaconda Selection
    • Bebas pilih versi apapun
    • atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
  • Conda Environment Directory
    • Isi dengan alamat direktori Conda Environment user yang sudah terinstal Jupyter.
    • Contoh: $HOME/.conda/envs/skripsi
  • Software Modules
    • kosongkan
  • Environment Setup
    • kosongkan
  • Email Address
    • Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.
    • Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus:
  • CPU Core Hour terpakai = Number of CPU Cores * Number of hours
Panduan Formulir Menjalankan Jupyter Notebook GPU
  • Partition
    • Pilih tilla
    • Alokasi hardware maksimal 12 core CPU dan 1 GPU (dengan RAM 64GB)
  • Number of CPU Cores
    • Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 12
  • Number of GPUs
    • Isi: 1
  • Number of hours
    • Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user
    • Minimal: 1
    • Maksimal: 336
  • Anaconda Selection
    • Bebas pilih versi apapun
    • atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user
  • Conda Environment Directory
    • Isi dengan alamat direktori Conda Environment user yang sudah terinstal Jupyter.
    • Contoh: $HOME/.conda/envs/skripsi
  • Software Modules
    • Isi: cuda/11.2-cuDNN8.1.1
  • Environment Setup
    • kosongkan
  • Email Address
    • Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses.
    • Apabila membutuhkan, isi dengan email user
User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus:
  • CPU Core Hour terpakai = Number of CPU Cores * Number of hours
  • GPU Hour terpakai = Number of GPUs * Number of hours

Launch!

  • Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook. User akan diarahkan ke halaman My Interactive Sessions. Tunggu hingga sesi Jupyter Notebook user siap diakses.
Status sesi Jupyter Notebook mengantri menunggu alokasi hardware
Sesi Jupyter Notebook siap diakses. Klik tombol Connect to Jupyter.
  • Jupyter Notebook siap diakses saat menunjukkan status Running (kolom berwarna hijau).
  • Klik Connect to Jupyter.
Note:
  • Perlu diketahui bahwa sistem menghitung Kredit Core Hour saat sesi Jupyter Notebook berjalan.
  • User dapat mengunjungi halaman My Interactive Sessions melalui menu di dasboard EFIRO.

Interactivesession.png

Default Notebook di Jupyter Notebook

User dapat menjalankan komputasi Python melalui Notebook default yaitu Python 3 (ipykernel).

  • User juga dapat melakukan instalasi package (via pip atau conda) di dalam Notebook Jupyter Notebook.
  • Package akan terinstal di dalam Conda Environment user yang digunakan pada sesi Jupyter Notebook tersebut.
Python 3 adalah kernel default untuk Jupyter Notebook di ALELEON Supercomputer.
Diperoleh dari "https://wiki.efisonlt.com/index.php?title=Anaconda_Python&oldid=810"