一些強化學習課程的心得

資料科學 強化學習
1

這篇文章預計會用來記錄我對一些線上的強化學習課程的學習心得

Udemy

講師： Escape Velocity Labs

課程1： Reinforcement Learning beginner to master - AI in Python | Udemy

類別：Development > Data Science > Reinforcement Learning ║ 內容：10.5 hours ║ 原價：NT$1,690
建立：2021-06-07 ║ 更新：2024-01-01 ║ 註冊：6,718人 ║ 語言：English ║ 字幕：有 ║ 評分：4.27 (856人)

課程2：Advanced Reinforcement Learning in Python: from DQN to SAC | Udemy

類別：Development > Data Science > Reinforcement Learning ║ 內容：8 hours ║ 原價：NT$1,690
建立：2022-02-25 ║ 更新：2024-01-03 ║ 註冊：1,542人 ║ 語言：English ║ 字幕：有 ║ 評分：4.65 (89人)

課程3： Advanced Reinforcement Learning in Python: cutting-edge DQNs | Udemy

類別：Development > Data Science > Reinforcement Learning ║ 內容：8.5 hours ║ 原價：NT$1,490
建立：2022-03-28 ║ 更新：2024-01-01 ║ 註冊：1,196人 ║ 語言：English ║ 字幕：有 ║ 評分：4.54 (67人)

課程4： Advanced Reinforcement Learning: policy gradient methods | Udemy

類別：Development > Data Science > Deep Learning ║ 內容：7.5 hours ║ 原價：NT$1,490
建立：2022-05-17 ║ 更新：2024-01-01 ║ 註冊：1,088人 ║ 語言：English ║ 字幕：有 ║ 評分：4.83 (63人)

課程優點：

  1. 示範的代碼讀起來較簡單易懂（和其他教授同類型課程的講師相比），但我認為這既是優點也是缺點，優點當然是對程式能力沒那麼優秀的人來說能比較容易理解代碼在做甚麼，缺點自然就是沒辦法學習到較好的寫法
  2. Udemy同類型的課程中，這一系列課程所教授的強化學習算法種類是最多的，幾乎包括了該領域從早期到2020以前較重要的強化學習算法（不過沒有A3C和IBM有點可惜）
  3. 使用了許多不同的gym環境作為範例，學習起來會比較有趣

課程缺點：

  1. 講師不太回覆問題
  2. 數學的部分帶得比較快，很多地方如果想完全弄懂可能要自己花很多額外的時間並找額外的教材來理解（這點我認為對於一些人來說可能是優點，畢竟除非要做研究，否則也不用完全弄懂這些數學。如果只是單純想體驗強化學習，這一系列的課程可能是不錯的選擇，因為課程後期比較偏重在寫code上）
  3. 示範coding的節奏也很快，基本上就是講解然後接著打字，完成code後最好要自己再另外花時間思考剛剛寫的每一段code的用途
  4. 講師的代碼大多有點舊了（從第二門課程開始），特別是第二門課程開始很多代碼甚至無法在目前的colab上順利執行，可能要花費大量時間修改代碼，這對於大部分人來說應該都是十分影響學習體驗的事情。（不過說實話，我目前看到比較有組織的強化學習系列課程幾乎都有代碼太舊的問題）
  5. 後面三門課程都放了一些複習第一門課程的內容，所以實際的時數沒有那麼長

總結：這門課程對單純想體驗的強化學習而不想過於深入學習其中數學的人來說可能是不錯的系列課程，但是代碼老舊可能會十分影響學習體驗，除非願意花大量時間debug，否則不太建議購買（不過就像前面講的，有組織的強化學習課程普遍都有代碼偏舊的問題，要找到代碼能夠完全兼容最新版本的API的課程很難）

1個讚