Kiến trúc & Làm sạch Dữ liệu
Bộ 6 quy tắc làm sạch bẫy dữ liệu bắt buộc để dự báo đúng, kiến trúc 4 tầng của giải pháp và cấu trúc dữ liệu Parquet dùng cho kiểm thử.
Dữ liệu Sạch là Nền tảng của Dự báo Đúng: Trong thực tế, không một thuật toán AI nào có thể dự báo chính xác nếu dữ liệu lịch sử đầu vào bị lẫn lộn quà tặng quảng cáo, dòng chiết khấu tiền tệ hay tồn kho chờ hủy. Chuyên mục này ghi chép toàn bộ quy tắc làm sạch dữ liệu, kiến trúc giải pháp và cấu trúc tệp dữ liệu Parquet trích xuất từ DWH để phục vụ huấn luyện và kiểm thử mô hình.
Luồng Xử lý Dữ liệu Phục vụ Huấn luyện & Kiểm thử Dự báo
Để quá trình thử nghiệm thuật toán và kiểm chứng độ chính xác diễn ra nhanh chóng, nhất quán mà không ảnh hưởng đến hiệu năng của hệ thống cơ sở dữ liệu vận hành, dữ liệu từ Kho dữ liệu (DWH) và lịch sử dài hạn được làm sạch và đóng băng thành các tệp Parquet chuẩn hóa:
flowchart LR
A[("Kho Dữ Liệu DWH\n& Lịch sử 2021–nay")] -->|"Trích xuất dữ liệu gốc\nphục vụ kiểm toán & đối chiếu"| B["Tầng 1: Bản sao DWH\n(354 cột nguyên bản)"]
B -->|"Áp dụng 6 quy tắc\nlàm sạch bẫy dữ liệu"| C["Tầng 2: Dữ liệu Sạch cho AI/ML\n(329 cột chuẩn hóa)"]
C --> D["Huấn luyện Mô hình & Kiểm thử\nĐộ chính xác Dự báo"]Tóm tắt Trọng tâm trong Chuyên mục
Làm Sạch 6 Bẫy Dữ Liệu
Loại bỏ triệt để các yếu tố làm méo số liệu bán hàng: chỉ giữ thành phẩm thương mại (mã bắt đầu bằng 11), loại dòng tiền chiết khấu (VND), tách riêng hàng trả và hàng tặng (FOC), lọc tồn kho thương mại khả dụng và nối 473 mã sản phẩm gốc.
Kiến Trúc Giải Pháp 4 Tầng
Kết nối liền mạch từ bước chuẩn hóa dữ liệu lịch sử, khử ẩn cầu do đứt hàng và khử lệch mùa vụ, đến suy luận đa biến (Chronos-2 + 28 biến ngoại sinh) và đồng bộ phân cấp đa chiều.
Bộ Dữ Liệu Parquet Kiểm Thử
Sử dụng định dạng tệp Parquet cố định theo cấu trúc DWH hiện hành làm đầu vào chuẩn để gắn vào module kiểm thử, giúp tái lập kết quả dự báo chính xác 100% ở mọi lần chạy.