Mục tiêu Giải pháp, Lộ trình Kiểm thử & Định hướng Module

Trọng tâm giải quyết bài toán độ chính xác dự báo, vai trò của bộ dữ liệu Parquet trong giai đoạn kiểm thử và lộ trình tiến tới ứng dụng chính thức.

Trọng tâm Hiện tại: Giải Bài toán “Dự báo Sao Cho Đúng”

Mục tiêu tiên quyết của dự án Forecast Engineer ở giai đoạn hiện tại không phải là vội vàng xây dựng giao diện phần mềm cồng kềnh, mà là tìm ra giải pháp toán học và kỹ thuật để dự báo đúng nhu cầu thực tế trên mạng lưới phân phối đa kênh.

Để đạt được độ chính xác mục tiêu, giải pháp đã giải quyết trọn vẹn 5 bài toán cốt lõi:

1. Làm sạch bẫy dữ liệu lịch sử: Loại bỏ các dòng chiết khấu tiền tệ, vật phẩm quảng cáo (POSM), kho chờ hủy và tách bạch hàng tặng kèm (FOC) để mô hình học đúng sức mua thương mại thực chất.
2. Hợp nhất lịch sử dài hạn hơn 69 tháng (từ 01/2021 đến nay): Nối các mã sản phẩm thay đổi định danh qua các năm về 473 mã sản phẩm gốc (Root SKU) để nắm bắt chính xác quy luật mùa vụ nhiều năm.
3. Khử cầu ẩn do đứt hàng & Khử đỉnh đẩy đơn cuối tháng: Phục hồi nhu cầu thực tại các kho bị đứt hàng trong kỳ trước và tách nhịp bán nửa đầu tháng (ngày 1–15) với nửa cuối tháng (ngày 16–31).
4. Đưa 28 yếu tố ngoại sinh vào dự báo: Tích hợp trực tiếp lịch Chương trình Khuyến mãi (CTKM), biến động chiết khấu, độ phủ điểm bán, tần suất nhân viên kinh doanh ghé thăm, độ phủ tủ đông và thời tiết (nhiệt độ, ngày mưa) vào mô hình.
5. Đồng bộ phân cấp đa chiều (Stein Reconciliation): Đảm bảo dự báo ở cấp Toàn công ty, cấp Kho con, cấp Hệ thống Chuỗi và cấp Cửa hàng luôn cộng dồn khớp nhau tuyệt đối.

Định hướng Thiết kế Module & Vai trò của Tệp Parquet trong Kiểm thử

Song song với việc tối ưu độ chính xác, phần lõi tính toán được thiết kế theo hướng Module Dự báo Đa năng:

Khả năng Tự Huấn luyện & Đóng gói Mô hình

• Hệ thống cho phép huấn luyện và đóng gói tổ hợp mô hình (Amazon Chronos-2 120M, Chronos-Bolt, LightGBM, CatBoost và Empirical-Bayes) thành các bộ trọng số độc lập.
• Tự động chọn mô hình có sai số thấp nhất cho từng cấp độ gộp (ví dụ: dùng mô hình đa biến kết hợp 28 biến ngoại sinh cho cấp Kho con và Hệ thống Chuỗi; dùng mô hình chuyên biệt cho cấp Kênh phụ hoặc Vùng miền).

Vai trò của Tệp Parquet trong Giai đoạn Thực nghiệm & Kiểm thử

• Trong giai đoạn nghiên cứu và kiểm thử hiện tại, dự án sử dụng các tệp dữ liệu Parquet trích xuất từ Kho dữ liệu (DWH) làm đầu vào chuẩn cho mô hình.
• Lý do sử dụng Parquet để kiểm thử:
  • Đóng băng dữ liệu đối chứng: Giúp việc thử nghiệm và so sánh hơn 40 mô hình thuật toán khác nhau diễn ra trên cùng một bộ dữ liệu cố định, khách quan và có thể tái lập 100%.
  • Tốc độ kiểm thử nhanh & Không gây tải lên DWH: Chỉ cần gắn tệp Parquet đã làm sạch vào module là có thể huấn luyện lại mô hình và xuất toàn bộ báo cáo kiểm thử trong vài phút mà không cần truy vấn lặp đi lặp lại vào cơ sở dữ liệu vận hành.
  • Trước mắt cố định theo cấu trúc DWH: Cấu trúc cột của tệp Parquet hiện được giữ cố định theo đúng bảng dữ liệu của DWH đang xây dựng để phục vụ kiểm thử trực tiếp.

Lộ trình Tiến tới Ứng dụng Chính thức (Pending)

Quy trình triển khai dự án được chia làm 2 giai đoạn rõ ràng:

Phạm vi Dữ liệu Kiểm chứng Đã Chốt