Deep Reinforcement Learning: Melompat dari Pemula ke Ahli

Kursus Pengantar Deep Reinforcement Learning

• Kursus ini adalah pengantar praktis untuk algoritme Deep Reinforcement Learning yang bersifat dasar dan klasik
• Setelah menyelesaikan kursus, Anda akan dapat mengimplementasikan algoritme seperti DQN, SAC, dan PPO secara langsung, serta memahami landasan teorinya pada tingkat lanjutan
• Anda akan bisa melatih AI untuk bermain game Atari atau mendaratkan roket ke bulan

Pengaturan Lingkungan

• Menyediakan langkah-langkah setup agar Anda dapat fokus pada proses belajar
  • Instal Miniconda (manajer lingkungan yang memungkinkan pemilihan versi Python)
  • Clone repository Git ini lalu pindah ke folder tersebut
  • Buat dan aktifkan lingkungan virtual drlzh

    conda create --name drlzh python=3.11
    conda activate drlzh  
    

  • Instal Poetry dan dependensi (termasuk gymnasium[accept-rom-license] untuk Atari)

    pip install poetry
    poetry install
    

  • Instal Visual Studio Code

Cara Memulai

• Buka folder repo ini di Visual Studio Code (tetap pertahankan folder .vscode)
• Buka notebook pertama 00_Intro.ipynb lalu ikuti
• Lanjutkan ke notebook berikutnya secara berurutan
• Jika tersendat, lihatlah folder /solution
• Lihat video YouTube untuk penjelasan lebih detail tentang coding langkah demi langkah

Opini GN⁺

• Reinforcement Learning adalah salah satu teknologi AI yang sudah menghasilkan performa besar di bidang game dan robotika, tetapi penerapannya pada masalah nyata masih sulit. Misalnya, proses pelatihan sering memakan waktu lama, dan dalam skenario yang kritis terhadap keselamatan, pembelajaran melalui trial-and-error tidak selalu memungkinkan
• Kursus ini membahas masalah sederhana seperti permainan Atari atau simulasi pendaratan bulan, sehingga baik untuk pemula, tetapi kemungkinan membutuhkan pembelajaran tambahan agar bisa diterapkan di lingkungan kerja nyata
• Semakin banyak materi pendidikan open source seperti ini, semakin banyak pengembang yang bisa mempelajari dan memanfaatkan teknologi AI. Khususnya, reinforcement learning diperkirakan akan menjadi keterampilan wajib bagi insinyur di bidang robotika atau kendaraan otonom
• Dalam membangun lingkungan praktek digunakan beberapa alat seperti Conda, Poetry, dan lain-lain, yang bisa terasa membebani pemula. Menyediakan lingkungan praktek berbasis cloud bisa membantu menurunkan hambatan masuk

[GN⁺]

Komentar Hacker News

Ikhtisar:

• Saat mencoba mempelajari Deep Reinforcement Learning (pembelajaran penguatan mendalam), saya bisa memanfaatkan banyak sumber daya yang sangat baik, tetapi merasa kurang ada materi yang memberi keseimbangan yang tepat antara teori dan praktik.
• Karena itu, saya memutuskan untuk membuatnya sendiri dan membaginya sebagai proyek sumber terbuka. Saya menulis ulang algoritma dari awal dalam notebook Python dan menyusunnya dengan "pendekatan edukatif".
• Ini adalah tutorial bertahap yang berfokus pada praktik, yang memandu teori dan latihan coding untuk algoritma paling umum seperti QLearning, DQN, SAC, PPO.

Masukan

• Banyak contoh sederhana yang benar-benar berfungsi, tetapi sumber daya praktis yang membantu saat terjadi masalah masih sedikit. Misalnya, akan sangat berguna jika ada saran untuk situasi seperti ketika aksi selalu berada di batas maksimum atau ketika eksplorasi tidak berjalan dengan baik.
• Teknologi RL terbaru pun memiliki masalah kinerja yang tidak jauh lebih baik dibanding heuristik sederhana dalam kasus Tetris.
• Berbagi kerangka kerja DRL untuk pembuatan musik yang mirip Gym, yaitu RaveForce. Ini bisa dipakai untuk menguji algoritma.
• Saya rasa ini akan membantu orang-orang yang latar belakang statistik/ML-nya terbatas agar lebih memahami cara kerja pembelajaran agen.
• Akan lebih baik jika ditambahkan tautan ke video YouTube.
• Disampaikan bahwa judulnya mengambil inspirasi dari "Neural Network: Zero To Hero" karya Andrej Karpathy. Ada juga catatan bahwa hal ini bisa menimbulkan kebingungan merek personal.