Dasar-Dasar Matematis Reinforcement Learning (RL): Buku dan Kuliah YouTube

• Buku ini bertujuan memperkenalkan konsep dasar, permasalahan, dan algoritme reinforcement learning dengan cara yang ramah secara matematis.
• Tidak hanya menjelaskan prosedur algoritme, tetapi juga menerangkannya dari sudut pandang matematis agar pembaca dapat memahami mengapa algoritme tersebut dirancang dan mengapa efektif.
• Kedalaman matematikanya diatur pada tingkat yang sesuai, serta menyediakan contoh yang dapat dibaca secara selektif oleh pembaca.
• Buku ini membantu pembaca memahami ide inti algoritme dengan lebih baik dengan memisahkannya dari elemen-elemen yang kompleks.
• Setiap bab disusun berdasarkan bab sebelumnya dan menyediakan landasan untuk bab berikutnya.

• Kuliah video berbahasa Inggris telah dibuka di YouTube

Isi

• Buku ini terdiri dari 10 bab dan dibagi menjadi dua bagian tentang alat dasar dan algoritme.
• Setiap bab saling terkait, sehingga perlu mempelajari bab-bab awal terlebih dahulu.

Pembaca sasaran

• Buku ini ditujukan bagi mahasiswa tingkat akhir, mahasiswa pascasarjana, peneliti, dan praktisi yang tertarik pada reinforcement learning.
• Buku ini dimulai dari konsep dasar agar dapat dipahami bahkan tanpa pengetahuan latar belakang tentang reinforcement learning.
• Diperlukan pengetahuan tentang teori probabilitas dan aljabar linear, dan dasar matematika yang diperlukan disertakan dalam lampiran.

Video kuliah

• Pembelajaran dapat menjadi lebih baik dengan menggabungkan buku dan video kuliah.
• Video kuliah berbahasa Mandarin dapat dilihat di kanal Bilibili dan kanal YouTube, dan hingga Februari 2025 telah mencatat lebih dari 1.300.000 penayangan.
• Video kuliah berbahasa Inggris diunggah ke YouTube.

Tentang penulis

• Informasi penulis dapat dilihat di situs pribadi dan situs web grup riset.
• Sejak 2019, penulis mengajar mata kuliah pascasarjana tentang reinforcement learning, dan buku ini disiapkan sebagai catatan kuliah.
• Penulis berharap buku ini membantu pembaca memasuki bidang reinforcement learning dengan lancar.

Sitasi

• Judul buku: "Mathematical Foundations of Reinforcement Learning"
• Penulis: S. Zhao
• Tahun terbit: 2025
• Penerbit: Springer Nature Press dan Tsinghua University Press

Riwayat pembaruan

• Februari 2025: meraih 5.000+ bintang
• Desember 2024: meraih 4.000+ bintang
• Oktober 2024: desain sampul buku selesai
• September 2024: revisi final sebelum penerbitan Springer
• Agustus 2024: meraih 3.000+ bintang dan menambahkan kode
• Juni 2024: revisi final sebelum penerbitan
• April 2024: menambahkan kode lingkungan Grid World
• Maret 2024: meraih 2.000 bintang
• Maret 2024: draf versi ketiga online
• September 2023: meraih 1.000+ bintang
• Agustus 2023: draf versi kedua online
• November 2022: dijadwalkan diterbitkan bersama oleh Springer Nature dan Tsinghua University Press
• Oktober 2022: catatan kuliah dan video tersedia online
• Agustus 2022: draf pertama online

[kipsong133]

Terima kasih telah memperkenalkan materi yang bagus.

[GN⁺]

Komentar Hacker News

• Pada era OpenAI Gym, reinforcement learning (RL) punya keunggulan besar karena mudah diakses oleh pemula. Kita bisa belajar RL sebagai hobi di lingkungan kecil dan mencoba menerapkannya pada masalah sederhana seperti Cartpole. Saya penasaran apakah ada tugas atau lingkungan belajar RL yang serupa dan mudah diakses, tetapi terkait dengan LLMs. Saya juga penasaran apakah ada hal yang bisa dilakukan di ranah LLM x RL hanya dengan MacBook Air biasa

  • Seri 6 kuliah tentang dasar-dasar Deep RL oleh Pieter Abbeel juga sangat direkomendasikan. Memberikan gambaran umum dan intuisi yang bagus
  • Kuliah terbaik tentang reinforcement learning dan topik terkait adalah kuliah Dimitris Bertsekas
  • Diagram dan video pengantar YouTube berdurasi 30 menit yang memberikan gambaran visual yang luar biasa tentang RL juga sangat direkomendasikan
  • Diperkirakan akan banyak startup hypergrowth yang menggunakan RL untuk menyelesaikan masalah nyata di bidang engineering, logistik, dan medis
  • LLMs memang sedang mendapat banyak perhatian saat ini, tetapi mengejutkan bahwa venture capital tidak secara khusus tertarik pada perusahaan RL

• Sumber bagus lainnya untuk RL adalah kumpulan buku teks karya Mykel Kochenderfer

  • Buku teks Murphy yang sedang dikerjakan dan berfokus pada RL juga layak disebut
  • Bagi yang tertarik, ada repositori GitHub yang mengimplementasikan sebagian besar buku Sutton
  • Terima kasih karena juga menautkan kode MinRL. Saat meneliti RL, masalah besar adalah mereproduksi studi perbandingan dan memvalidasi kontribusi sendiri. Library sederhana dengan gridworld sandbox yang bisa divalidasi hanya dengan alat visualisasi dan observasi sangat berguna

• Buku ini mengatakan bahwa pembaca perlu memiliki pengetahuan tentang teori probabilitas dan aljabar linear. Kalimat seperti ini selalu harus dibaca dengan sedikit skeptis dan dengan pemahaman bahwa itu ditulis oleh para penggemar matematika. Programmer rata-rata dengan kemampuan matematika rata-rata perlu berhati-hati

• Saya tidak tahu bagaimana memahami materi ini bisa membantu mendapatkan pekerjaan di bidang ini. Untuk saat ini saya tetap menjadi software engineer (SWE)