《李宏毅》生成式人工智慧導論 2024 - Introduction to Generative AI 2024 Spring

Generative AI 生成式人工智慧
1

緣起

這不是一門教大家怎麼用 ChatGPT 的課，而是生成式 AI 背後概念和原理。

你不需要修過任何人工智慧相關的課程，不需要有任何數學跟程式的背景，也不需要修過任何機器學習相關的課程。

這門課可以是你人生的第一堂人工智慧相關課程。

課程說明

以下摘錄自李宏毅【生成式 AI 導論 2024】課程說明。

為什麼我會想要開生成式人工智慧導論這門課？

我從 2014 年開始在臺大任教，2015 年起，每年都開機器學習相關的課程。

去年（2023）的春季班，在機器學習這門課的下課後，有位同學來問我一個問題：怎麼讓機器自動對一篇文章做分類？

我就從機器學習的角度來回答他：這是一個很標準的分類問題，要先準備一些標註資料，然後以訓練一個自己的模型。

突然間，我腦中響起了一個聲音，獲得了一個天啟。

我問他：你是真的想要學機器學習的原理嗎？還是你只是想要知道，怎麼做到文章分類這件事？你為什麼會想要做文章分類呢？

他說：這是我新創需要的服務。

我說：你還浪費時間學機器學習嗎？別管我剛才說的那些，直接 Call ChatGPT API 就好了。

延伸閱讀：論壇曾舉行過兩堂 OpenAI ChatGPT API 的共學，課程介紹和共學討論（含錄影）請參考：

▌OpenAI Python API Bootcamp: Learn to use AI, GPT, and more!

▌Mastering OpenAI Python APIs: Unleash ChatGPT and GPT4

課程素材（簡報、影片、課外補充）

Date Topic Slides (PDF) Slides (PPT) Videos Extra Materials
2/23 課程內容說明 • course (PDF)

• intro gai (PDF)		 • course (PPT)

• intro gai (PPT)		 • 課程規則

• 第0講：課程說明

• 第1講：生成式AI是什麼？		 • 80分鐘快速了解大型語言模型 (YouTube)

• 80分鐘快速了解大型語言模型 (Google Drive)
3/1 提示工程 & AI 代理人 • universal (PDF)

• prompt part1 (PDF)		 • universal (PPT)

• prompt part1 (PPT)		 • 第2講：今日的生成式人工智慧厲害在哪裡？

• 第3講：訓練不了人工智慧嗎？你可以訓練你自己		 Prompt Engineering Guide
3/8 生成策略 & 從專才到通才 prompt part2 (PDF) prompt part2 (PPT) • 第4講：訓練不了人工智慧？你可以訓練你自己 (中)

• 語言模型如何學習使用工具		 語言模型如何學習使用工具 (Google Drive)
3/22 深度學習 & Transformer • prompt part3

• LLM training part1		 • prompt part3

• LLM training part1		 • 第5講：訓練不了人工智慧？你可以訓練你自己 (下)

• 第6講：大型語言模型修練史		 • 讓 AI 村民組成虛擬村莊會發生甚麼事？

• 為什麼類神經網路可以正確分辨寶可夢和數碼寶貝呢？
3/29 深度學習 & Transformer LLM training part2 LLM training part2 第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始) LLaMA 2
4/12 評估生成式AI & 道德議題 • LLM training part3

• agent		 • LLM training part3

• agent		 • 第8講：大型語言模型修練史 — 第三階段: 參與實戰，打磨技巧 (Reinforcement Learning from Human Feedback, RLHF)

• 第9講：以大型語言模型打造的AI Agent		 The Rise and Potential of Large Language Model Based Agents: A Survey
5/03 Transformer & 生成式AI的可解釋性 • explain

• transformer		 • explain

• transformer		 • 第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer• 第11講：大型語言模型在「想」什麼呢？ — 淺談大型語言模型的可解釋性 • Transformer (上)

• Transformer (下)

• 用語言模型來解釋語言模型 (上)

• 用語言模型來解釋語言模型 (下)
5/10 評估生成式AI & 道德議題 • evaluation

• ethical		 • evaluation

• ethical		 • 第12講：淺談檢定大型語言模型能力的各種方式

• 第13講：淺談大型語言模型相關的安全性議題 (上)		 • Can Large Language Models Be an Alternative to Human Evaluations?

• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

• Bias and Fairness in Large Language Models: A Survey
5/17 生成策略 • injection

• strategy		 • injection

• strategy		 • 第14講：淺談大型語言模型相關的安全性議題 (下) — 欺騙大型語言模型

• 第15講：為什麼語言模型用文字接龍，圖片生成不用像素接龍呢？— 淺談生成式人工智慧的生成策略

• 第16講：可以加速所有語言模型生成速度的神奇外掛 — Speculative Decoding		 SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
5/31 影像的生成式AI vision vision • 第17講：有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理)

• 第18講：有關影像的生成式AI (下) — 快速導讀經典影像生成方法 (VAE, Flow, Diffusion, GAN) 以及與生成的影片互動		 • An Introduction to Vision-Language Modeling

• Video Diffusion Models: A Survey

• Variational Auto-encoder (VAE) (2016 機器學習)

• Generative Adversarial Network (GAN) (2018 機器學習)

• Flow-based Method (2019 機器學習)

• Diffusion Method (2023 機器學習)
Extra lesson GPT-4o GPT-4o GPT-4o GPT-4o 背後可能的語音技術猜測

作業（Gemini & ChatGPT）

補充：前面的課程影片不包含作業的部分，作業說明、作業實作和介紹影片，請參考以下連結。

編號 作業說明 Colab YouTube 完成期限 助教
HW1 真假難辨的世界 N/A 影片 02/23~03/07 楊智凱, 白宗民, 鍾承燁
HW2 都是 AI 的作文比賽 N/A 影片 03/01~03/21 陳瑋智, 謝承修, 呂俐君
HW3 以 AI 搭建自己的應用 程式 影片 03/08~03/21 尤展鴻, 陳守仁, 呂睿超
HW4 Become an AI Hypnosis Master 程式 影片 03/22~04/04 樊樺, 呂睿超, 林堅壬
HW5 LLM Fine-tuning 程式 影片 03/29~04/11 陳光銘, 林熙哲, 余奇恩
HW6 Learning from Human Preferences 程式 影片 04/12~05/02 白鈺綺, 呂瑋杰, 余奇恩
HW7 Understanding what AI is thinking 程式 影片 05/03~05/16 方泓傑, 李哲言, 白宗民
HW8 Safety Issue of Generative AI 程式 影片 05/10~05/26 郭恒成, 呂瑋杰, 李哲言
HW9 Quick Summary of Lecture Video 程式 影片 05/17~05/30 關鈞謚, 林堅壬, 謝翔
HW10 Stable Diffusion Fine-tuning 程式 影片 05/31~06/13 葉乃瑄, 林熙哲, 謝翔

課程目標

這門課程旨在以易於理解的方式介紹生成式人工智慧的基礎知識。本課程不預設學生有預先修過機器學習相關課程，學生可以在完成此課程後再修習機器學習相關課程；但另一方面，本課程與電機系的機器學習相關課程沒有太多重疊內容，因此修過機器學習課程的學生也可以在這門課有所收穫。

在本課程中你將會學到以下內容：

  1. 生成式人工智慧基本概念。近年來，生成式人工智慧在各行各業中得到廣泛討論。本課程將從機器學習的基本概念出發，說明何謂生成式人工智慧，並探討其所面臨的獨特挑戰。

  2. 文字生成技術。大型語言模型如ChatGPT和Bard已經逐漸融入我們的生活和工作中。本課程將解析這些模型如何通過網路上的大量資料進行學習，以及如何學會理解和回應人類的指令。我們還將探討如何利用現有的大型語言模型工具來創建自己的人工智慧應用，並且體驗如何訓練自己的模型。

  3. 優化生成式人工智慧的性能。通過適當的指令（Prompt）來引導大型語言模型是實現高效生成的關鍵。本課程將介紹如何通過不同的指令策略來提升模型的能力，並探討如何利用反思技術來獲得更準確的答案。

  4. 工具與生成式人工智慧的結合。生成式人工智慧能夠結合搜尋引擎、計算機等多種工具來增強其性能。本課程將探討工具的使用如何影響生成式人工智慧的效能。

  5. 生成式人工智慧的道德與挑戰。隨著生成式人工智慧的普及，其帶來的道德議題也越來越受到關注。本課程將探討人工智慧可能產生的偏見、歧視以及如何自動檢測人工智慧生成的文本和語音等相關議題，並討論如何針對這些問題提出解決方案。

  6. 語音生成技術。現代的語音合成技術已經達到了非常擬真的程度，能夠模仿不同人的聲音並具有自然的抑揚頓挫。本課程將深入解析這些技術的工作原理，並展示一些實際的應用例子。

  7. 視覺生成技術。視覺生成模型如DALL-E已在廣告創作等應用中開始發揮作用，本課程將說明模型學習繪圖的原理，展示一些實際的應用案例，並體驗客製化自己的視覺生成模型。

播放列表

資料來源

2個讚
2

最近也報了政大蔡炎龍老師磨課師的兩堂新課程，一堂是python 的數據分析課，另一堂則是生成式AI prompt engineering 課程，不嫌棄的話，大家可以一起做磨課師課程同學一起共學，連結在此： https://moocs.nccu.edu.tw/course/index.php?categoryid=19

1個讚
3

補充 Chris 兄提到的兩堂課程連結，需要登入才能觀看相關資訊。

我應該會參加 prompt 那堂（生成式 AI：魔導師養成班）。

生成式 AI：魔導師養成班

6 週的課程，目前內容空白。

成為Python數據分析達人的第一堂課

本課程已結束，線上課程為錄影觀看。

課程用書購買資訊 《少年Py的大冒險：成為Python數據分析達人的第一門課》

2/29 直播 -【影片】課程說明及 Colab 介紹網址（ 沒有同步參與的同學一定要看!）

7堂課（7週），加上期中／期末測驗各一。

  1. Python程式基礎I Python的開發環境、串列與繪圖

  2. Python程式基礎II 迴圈、條件判斷

  3. Python強大的秘密： numpy、向量化與各式套件

  4. 處理與展示資料的技巧： Python的字典檔與jupyter互動功能

  5. pandas數據分析
    :small_red_triangle:期中測驗:small_red_triangle:

  6. 用線性迴歸做預測

  7. 機器學習概要
    :small_red_triangle:期末測驗:small_red_triangle:

4

分享: 最近大陸瘋傳一本開源的《李宏毅深度學習課程》的免費電子書，目前已經 12K Stars 了，連結如下:

1個讚