Anaconda Python (depreciated): Perbedaan antara revisi
WilsonLisan (bicara | kontrib) (→Conda Environment, Instalasi TensorFlow, dan Jupyter: update menambah penjelasan kolom JN) |
WilsonLisan (bicara | kontrib) (reformat formulir) |
||
Baris 2: | Baris 2: | ||
'''[https://www.tensorflow.org/ Tensorflow]''' adalah ''open-source library platform'' untuk proses training ''Machine Learning''. | '''[https://www.tensorflow.org/ Tensorflow]''' adalah ''open-source library platform'' untuk proses training ''Machine Learning''. | ||
== '''Versi yang Tersedia''' == | |||
{| class="wikitable" | |||
!Versi | |||
!Dukungan | |||
MPI | |||
!Dukungan | |||
Hardware | |||
|- | |||
| | |||
* Instalasi mandiri | |||
* User bebas menentukan versi TensorFlow | |||
* Versi terbaru: '''2.8.0''' | |||
| - | |||
|default: CPU dan GPU, single-node | |||
<nowiki>*</nowiki>multi-node dengan coding dan library yang tepat | |||
|} | |||
== '''TensorFlow di Job Composer vs Interactive Apps'''== | == '''TensorFlow di Job Composer vs Interactive Apps'''== | ||
ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook. | ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook. | ||
Baris 34: | Baris 51: | ||
*Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer''']. | *Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat [https://wiki.efisonlt.com/wiki/Katalog_Software_ALELEON_Supercomputer#Daftar_Software_Python_dan_Anaconda '''Daftar Software Python dan Anaconda ALELEON Supercomputer''']. | ||
$ module load '''Anaconda3/2021.05''' | $ module load '''Anaconda3/2021.05''' | ||
* | *Buat Conda Environment secara default di direktori HOME dengan format perintah: | ||
$ conda create --name '''<nama-conda-environment>''' | $ conda create --name '''''<nama-conda-environment>''''' | ||
''Contoh:'' | |||
'''''$ conda create --name skripsi''''' | |||
*Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate:''' | |||
*Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah '''source activate''' | $ source activate $HOME/.conda/envs/'''''<nama-conda-environment>''''' | ||
$ source activate $HOME/.conda/envs/'''<nama-conda-environment>''' | ''Contoh:'' | ||
'''''$ source activate $HOME/.conda/envs/skripsi''''' | |||
*Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user: | |||
'''''(skripsi)''''' [wololo@login ~]$ | |||
'''(skripsi)''' [wololo@login ~]$ | ==='''Instalasi TensorFlow dan Jupyter''' === | ||
==='''Instalasi TensorFlow dan Jupyter''' === | |||
*Instal pip dari Anaconda: | *Instal pip dari Anaconda: | ||
'''(skripsi)''' [wololo@login ~]$ '''conda install pip''' | '''(skripsi)''' [wololo@login ~]$ '''conda install pip''' | ||
Baris 52: | Baris 68: | ||
*Instal Jupyter: | *Instal Jupyter: | ||
'''(skripsi)''' [wololo@login ~]$ '''pip install jupyter''' | '''(skripsi)''' [wololo@login ~]$ '''pip install jupyter''' | ||
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook. | Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat. | ||
== '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' == | == '''Membuat Sesi Jupyter Notebook untuk TensorFlow''' == | ||
Baris 59: | Baris 75: | ||
[[Berkas:Interactive apps JN.png|nirbing|200x200px]] | [[Berkas:Interactive apps JN.png|nirbing|200x200px]] | ||
=== Mengisi Formulir Sesi Jupyter Notebook === | |||
Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU. | |||
* ''' | {| class="wikitable mw-collapsible mw-collapsed" | ||
** '' | !Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU | ||
|- | |||
** | | | ||
*'''Partition''' | |||
**''Pilih '''torti''''' | |||
**Alokasi hardware maksimal 16 core CPU (dengan RAM 30GB) | |||
* | *'''Number of CPU Cores''' | ||
**Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user | |||
*** | **Minimal: '''1''' | ||
** | **Maksimal: '''16''' | ||
** ''' | *'''Number of GPUs''' | ||
*** | **''kosongkan'' | ||
*** | *'''Number of hours''' | ||
** | **Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user | ||
** | **Minimal: '''1''' | ||
* '''Modules''' | **Maksimal: '''336''' | ||
** | *'''Anaconda Selection''' | ||
** Apabila | **''Bebas pilih versi apapun'' | ||
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user | |||
*'''Conda Environment Directory''' | |||
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter. | |||
* '''Number of CPU Cores''' | **Contoh: '''''<code>$HOME/.conda/envs/skripsi</code>''''' | ||
** | *'''Software Modules''' | ||
** | **''kosongkan'' | ||
* '''Number of GPUs''' | *'''Environment Setup''' | ||
** | **''kosongkan'' | ||
** | *'''Email Address''' | ||
** | **Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses. | ||
* ''' | **Apabila membutuhkan, ''isi dengan email user'' | ||
** | |- | ||
** | |User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus: | ||
* '''Email | * CPU Core Hour terpakai = '''Number of CPU Cores * Number of hours''' | ||
** | |} | ||
{| class="wikitable mw-collapsible mw-collapsed" | |||
!Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU | |||
|- | |||
| | |||
*'''Partition''' | |||
**''Pilih '''tilla''''' | |||
**Alokasi hardware maksimal 12 core CPU dan 1 GPU (dengan RAM 64GB) | |||
*'''Number of CPU Cores''' | |||
**Alokasi jumlah core CPU yang akan digunakan, isi sesuai keinginan user | |||
**Minimal: '''1''' | |||
**Maksimal: '''12''' | |||
*'''Number of GPUs''' | |||
**Isi: '''1''' | |||
*'''Number of hours''' | |||
**Durasi sesi Jupyter Notebook dalam satuan jam, isi sesuai keinginan user | |||
**Minimal: '''1''' | |||
**Maksimal: '''336''' | |||
*'''Anaconda Selection''' | |||
**''Bebas pilih versi apapun'' | |||
**atau pilih versi Anaconda yang digunakan saat membuat Conda Environment user | |||
*'''Conda Environment Directory''' | |||
**Isi dengan alamat direktori Conda Environment user yang sudah terinstal TensorFlow dan Jupyter. | |||
**Contoh: '''''$HOME/.conda/envs/skripsi''''' | |||
*'''Software Modules''' | |||
**Isi: '''''cuda/11.2-cuDNN8.1.1''''' | |||
*'''Environment Setup''' | |||
**''kosongkan'' | |||
*'''Email Address''' | |||
**Sistem akan mengirim notifikasi ke email user saat sesi Jupyter Notebook sudah siap diakses. | |||
**Apabila membutuhkan, ''isi dengan email user'' | |||
|- | |||
|User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus: | |||
* CPU Core Hour terpakai = '''Number of CPU Cores * Number of hours''' | |||
* GPU Hour terpakai = '''Number of GPUs * Number of hours''' | |||
|} | |||
=== Launch! === | |||
* Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook. | |||
* User akan diarahkan ke halaman My Interactive Sessions (juga dapat diakses melalui '''dasboard EFIRO > menu My Interactive Sessions'''). | |||
* Tunggu hingga sesi Jupyter Notebook user siap diakses. | |||
[[Berkas:JNqueue.png|nir|jmpl|Status sesi Jupyter Notebook mengantri menunggu alokasi hardware]] | |||
[[Berkas:JNrun.png|nir|jmpl|Sesi Jupyter Notebook siap diakses. Klik tombol '''Connect to Jupyter.''']] | |||
'' | |||
== '''Menjalankan TensorFlow di Jupyter Notebook''' == | == '''Menjalankan TensorFlow di Jupyter Notebook''' == | ||
''(coming soon)'' | ''(coming soon)'' |
Revisi per 23 Maret 2022 06.08
Tensorflow adalah open-source library platform untuk proses training Machine Learning.
Versi yang Tersedia
Versi | Dukungan
MPI |
Dukungan
Hardware |
---|---|---|
|
- | default: CPU dan GPU, single-node
*multi-node dengan coding dan library yang tepat |
TensorFlow di Job Composer vs Interactive Apps
ALELEON Supercomputer dapat menjalankan TensorFlow via Job Composer dan Interactive Apps Jupyter Notebook.
Menjalankan Jupyter Notebook di Job Composer VS Interactive Apps Jupyter Notebook |
---|
Melalui Job Composer:
|
Melalui interaktif Jupyter Notebook:
|
Saran admin:
|
Halaman ini untuk menjalankan TensorFlow via Interactive Apps Jupyter Notebook. Apabila ingin menjalankan TensorFlow via Job Composer, klik:
TensorFlow menggunakan Job Composer |
Conda Environment, TensorFlow, dan Jupyter
Untuk menggunakan TensorFlow dengan Jupyter Notebook di ALELEON Supercomputer, user harus membuat Conda Environment dengan TensorFlow dan Jupyter di dalamnya.
Perlu diketahui kegiatan instalasi berikut tidak mengurangi Kredit Core Hour user.
Membuat Conda Environment
- Buka terminal melalui dashboard EFIRO menu Clusters > Aleleon Shell Access.
- Aktifkan modul Anaconda, contoh menggunakan Anaconda3 terbaru. Untuk versi lainnya lihat Daftar Software Python dan Anaconda ALELEON Supercomputer.
$ module load Anaconda3/2021.05
- Buat Conda Environment secara default di direktori HOME dengan format perintah:
$ conda create --name <nama-conda-environment> Contoh: $ conda create --name skripsi
- Admin EFISON merekomendasikan user untuk mengaktifkan Conda Environment melalui perintah source activate:
$ source activate $HOME/.conda/envs/<nama-conda-environment> Contoh: $ source activate $HOME/.conda/envs/skripsi
- Conda Environment 'skripsi' aktif ditandai dengan munculnya tulisan 'skripsi' pada bash terminal user:
(skripsi) [wololo@login ~]$
Instalasi TensorFlow dan Jupyter
- Instal pip dari Anaconda:
(skripsi) [wololo@login ~]$ conda install pip
- Instal TensorFlow versi terbaru. Untuk instalasi TensorFlow dengan versi spesifik lihat laman resmi TensorFlow
(skripsi) [wololo@login ~]$ pip install tensorflow
- Instal Jupyter:
(skripsi) [wololo@login ~]$ pip install jupyter
Dengan demikian, user siap menjalankan TensorFlow pada Interactive Apps Jupyter Notebook dengan Conda Environment yang barusan dibuat.
Membuat Sesi Jupyter Notebook untuk TensorFlow
Buka menu Interactive Apps > Jupyter Notebook.
Mengisi Formulir Sesi Jupyter Notebook
Terdapat dua skenario pengisian formulir untuk menjalankan TensorFlow yaitu dengan CPU atau GPU.
Panduan Formulir Menjalankan TensorFlow Jupyter Notebook CPU |
---|
|
User dapat menghitung penggunaan kredit CPU Core Hour dengan rumus:
|
Panduan Formulir Menjalankan TensorFlow Jupyter Notebook GPU |
---|
|
User dapat menghitung penggunaan kredit CPU Core Hour dan GPU Hour dengan rumus:
|
Launch!
- Apabila formulir sudah terisi, klik tombol Launch untuk memulai sesi Jupyter Notebook.
- User akan diarahkan ke halaman My Interactive Sessions (juga dapat diakses melalui dasboard EFIRO > menu My Interactive Sessions).
- Tunggu hingga sesi Jupyter Notebook user siap diakses.
Menjalankan TensorFlow di Jupyter Notebook
(coming soon)