▌課程及討論時間
共學進行方式：討論該週上課內容及交流作業的解決方案
-
課程開始時間：1/12
-
共學討論時間：星期日晚上8點（1/18開始）
Zoom 註冊連結
提醒：加入 zoom 會議，必須先註冊，註冊完成 zoom 會寄送專屬連結到你的註冊 email。
▌暫估時程
| 日期 | 主題 | 導讀 | 筆記 | 錄影 |
|---|---|---|---|---|
| 1月4日 | 說明會 | Howard | - | - |
| 1月18日 | Module 1: Containerization and Infrastructure as Code | - | 筆記 | YouTube |
| 1月25日 | Module 2: Workflow Orchestration | - | 筆記 | YouTube |
| 2月1日 | Module 3: Data Warehousing | - | 筆記 | YouTube |
| 2月7日 | Module 4: Analytics Engineering | - | 筆記 | YouTube |
| 2月8日 | Module 5: Batch Processing | - | 筆記 | YouTube |
| 2月15日 | Module 6: Streaming | - | 筆記 | YouTube |
| 2月22日 | - | 筆記 | YouTube | |
| 3月1日 | - | 筆記 | YouTube |
▌課程大綱
| Module (模組) | What You’ll Learn (學習內容) | Tools & Technologies |
|---|---|---|
| 1. Infrastructure & Prerequisites | • Set up your development environment with Docker and PostgreSQL • Learn cloud basics with GCP • Master infrastructure-as-code using Terraform |
Docker, PostgreSQL, GCP, Terraform |
| 2. Workflow Orchestration | • Master data pipeline orchestration with Mage.AI • Implement and manage Data Lakes using Google Cloud Storage • Build automated, reproducible workflows |
Mage.AI, Google Cloud Storage |
| 3. Data Warehouse | • Deep dive into BigQuery for enterprise data warehousing • Learn optimization techniques like partitioning and clustering • Implement best practices for data storage and retrieval |
BigQuery |
| 4. Analytics Engineering | • Transform raw data into analytics-ready models using dbt • Develop testing and documentation strategies • Create impactful visualizations with modern BI tools |
dbt, BI tools |
| 5. Batch Processing | • Process large-scale data with Apache Spark • Master Spark SQL and DataFrame operations • Optimize batch processing workflows |
Apache Spark, Spark SQL |
| 6. Stream Processing | • Build real-time data pipelines with Kafka • Develop streaming applications using KSQL and Faust • Implement stream processing patterns |
Kafka, KSQL, Faust |
| Final Project | • Build an end-to-end data pipeline from ingestion to visualization • Apply all learned concepts in a real-world project • Create a portfolio-ready project with documentation |
Cloud platforms (GCP/AWS/Azure), Terraform, Spark, Kafka, dbt, BigQuery |
▌講師 Telegram & Slack
▌課程介紹
▌課程 Github
▌課程影片
》課前 Q&A
》播放清單
》DataTalksClub 主頁
▌參考資訊
》其他
Data Science Roadmap 資料科學—學習路線圖
大會報告：公開錄影
本論壇共學，討論錄影皆公開上傳 YouTube，不同意者請不要參與共學，感謝配合。
祝大家學習順利大成功！