Advanced Machine Learning with Databricks

Khóa học DATB-AML: Advanced Machine Learning with Databricks dành cho các nhà khoa học dữ liệu (Data Scientist) và chuyên gia Machine Learning, tập trung vào việc xây dựng, huấn luyện và triển khai mô hình ML ở quy mô lớn trên nền tảng Databricks.

Khóa học gồm 2 mô-đun chính, giúp học viên nắm vững từ kiến thức nền tảng về Spark ML đến các quy trình MLOps nâng cao như CI/CD, monitoring, triển khai mô hình và tự động hóa pipeline.

Sau khi hoàn thành khóa học, học viên có thể:

• Hiểu và áp dụng kiến trúc Apache Spark trong các bài toán Machine Learning

• Xây dựng và huấn luyện mô hình ML bằng Spark ML và pandas API on Spark

• Thực hiện tuning mô hình với Optuna trên môi trường phân tán

• Quản lý vòng đời mô hình với MLflow và Unity Catalog

• Triển khai quy trình MLOps bao gồm CI/CD, testing, monitoring và deployment

• Sử dụng Databricks Workflows, DABs và Mosaic AI Model Serving

• Thiết kế hệ thống ML có khả năng mở rộng, giám sát và tự động hóa

Khóa học phù hợp với:

• Data Scientist và Machine Learning Engineer muốn phát triển mô hình ở quy mô lớn

• Chuyên gia ML cần triển khai mô hình trong môi trường production

• Kỹ sư dữ liệu và AI làm việc với Spark ML, Python và các framework ML hiện đại

• Đội ngũ phát triển ML pipeline, CI/CD và hệ thống MLOps

• Người xây dựng hệ thống AI doanh nghiệp yêu cầu tính mở rộng, tự động hóa và quản trị mô hình

Học viên nên có:

• Hiểu biết cơ bản về Machine Learning (classification, regression, metrics như F1-score)

• Kinh nghiệm với Python và các thư viện ML như scikit-learn, XGBoost

• Kiến thức trung cấp về phát triển mô hình Machine Learning

• Hiểu và sử dụng Git trong dự án phần mềm hoặc ML

• Kinh nghiệm Python ở mức trung cấp trở lên

Module 1: Machine Learning at Scale

1.1. Phát triển Machine Learning với Spark

• Tổng quan kiến trúc Spark trong Machine Learning

• Giới thiệu Spark ML cho phát triển mô hình

• Theo dõi và đóng gói mô hình với MLflow và Unity Catalog

• Xây dựng mô hình bằng Spark ML

1.2. Tuning mô hình với Optuna trên Spark

• Tổng quan hyperparameter tuning

• Giới thiệu Optuna trên Spark

• Thực hành tối ưu mô hình với Optuna

Module 2: Advanced Machine Learning Operations (MLOps)

2.1. Tổng quan MLOps trên Databricks

• Khái niệm MLOps

• Tối ưu quy trình từ phát triển đến triển khai

2.2. Quy trình MLOps liên tục

• Tự động hóa quy trình MLOps

• Ứng dụng Databricks trong MLOps workflow

2.3. Chiến lược kiểm thử mô hình

• Tự động hóa kiểm thử toàn diện

• Chiến lược triển khai mô hình (model rollout)

2.4. Giám sát chất lượng mô hình và Lakehouse

• Giới thiệu monitoring trong ML

• Giám sát mô hình trên Lakehouse

2.5. Triển khai đa môi trường

• Sử dụng Databricks Asset Bundles (DABs)

• Quản lý ML assets theo dạng Infrastructure as Code

• Tổng kết và định hướng tiếp theo