Production và Monitoring
Nội dung đang được chuẩn bị.
Jobs và services
Phân biệt batch job (chạy theo lịch) và service (phục vụ real-time) — chọn đúng pattern cho từng bài toán.
Model serving
Phục vụ dự đoán với độ trễ thấp: synchronous API, async queue, batching và autoscaling.
CI/CD cơ bản
Tự động test → build → deploy khi push code — giảm lỗi thủ công và rút ngắn cycle phát hành.
Monitoring và Logging trong production
Theo dõi latency, throughput, tỉ lệ lỗi và chất lượng dự đoán theo thời gian.
Cost và latency
Tối ưu chi phí và tốc độ: model quantization, caching, batching, chọn instance phù hợp.
Data drift và Model drift
Phát hiện khi phân phối dữ liệu đầu vào lệch (data drift) hoặc chất lượng dự đoán tụt (model drift).
Feedback loop
Thu thập feedback từ người dùng và hệ thống để cải thiện model theo thời gian.
Case study production
Phân tích một hệ thống AI/ML thực tế: từ khi deploy đến khi phát hiện lỗi và cải thiện.
Mục tiêu sau module
Sau module này bạn hiểu các vấn đề chính khi vận hành AI/ML thật, biết theo dõi hiệu năng, phát hiện drift và cải thiện model liên tục.