Cấu trúc Dữ liệu Parquet Phục vụ Kiểm thử

Đặc tả cấu trúc tệp Parquet trích xuất cố định theo DWH (bản sao 354 cột, bản chuẩn hóa 341 cột và bộ bảng tổng hợp) dùng để huấn luyện và kiểm thử mô hình.

1.0 (Draft) ✓ Đã chốt giải pháp & mô hình dự báo

Vai trò của Tệp Parquet trong Giai đoạn Kiểm thử Giải pháp

Trong giai đoạn nghiên cứu, huấn luyện và kiểm chứng độ chính xác dự báo hiện tại, dự án sử dụng các tệp dữ liệu Parquet trích xuất từ Kho dữ liệu (DWH) làm cơ chế nạp dữ liệu chuẩn (“gắn tệp Parquet vào là chạy”) vì 3 mục đích thực tiễn:

Đảm bảo tính nhất quán khi kiểm thử: Mọi phép thử nghiệm thuật toán và đối chiếu sai số đều chạy trên cùng một bản chụp dữ liệu đã làm sạch, không bị biến động bởi các giao dịch đang phát sinh trong ngày trên hệ thống ERP/DWH.
Tốc độ thực thi cao: Đọc dữ liệu từ tệp Parquet giúp quá trình huấn luyện lại mô hình và tính toán dự báo cho hơn 270.000 cặp điểm bán – mặt hàng chỉ mất vài phút.
Cố định theo cấu trúc DWH hiện hành: Trước mắt, cấu trúc cột của tệp Parquet được giữ cố định theo đúng thiết kế của DWH đang xây dựng để phục vụ kiểm thử trực tiếp trước khi dự án chính thức được nghiệm thu và ứng dụng.

Quy trình chuẩn bị dữ liệu kiểm thử gồm 2 tầng tệp Parquet chính:

Tầng Dữ liệu Kiểm thử	Tên Tệp Chuẩn	Quy mô Cột	Cấp độ Chi tiết	Vai trò trong Kiểm thử
Tầng 1: Bản sao 1-1 DWH + Lịch sử 2021+	`panel_full_dwh_daily.parquet`	354 cột	Cửa hàng × Sản phẩm × Ngày	Bản sao đầy đủ từ DWH phục vụ lưu trữ đối chứng, kiểm toán số liệu và tái tạo nhanh không cần truy vấn lại cơ sở dữ liệu.
Tầng 2: Bản Chuẩn hóa cho Mô hình Dự báo	`panel_ml_processed.parquet`	341 cột (bỏ 20 cột thừa, thêm 7 chỉ tiêu dẫn xuất; 3.923.972 dòng sạch)	Cửa hàng × Sản phẩm × Ngày	Dữ liệu sạch đã loại bỏ nhiễu kế toán/kho vận, kênh thanh lý nội bộ và các dòng dị biệt nhập liệu/tràn doanh thu, dùng trực tiếp để trích xuất đặc trưng, huấn luyện và kiểm thử độ chính xác mô hình.

Đặc tả Tầng 1: Bản sao Đầy đủ từ DWH (354 cột)

Cơ chế Cập nhật Tăng trưởng theo Từng Tháng

Hệ thống tự động rà soát các tháng từ 04/2025 trở đi trên DWH (bao gồm cả các tháng tương lai đã có lịch giao hàng, dự báo thời tiết hoặc kế hoạch khuyến mãi).
Với mỗi tháng, hệ thống tính chữ ký đối soát (Fingerprint) dựa trên tổng số dòng đơn, tổng sản lượng đặt/giao, tổng doanh thu thuần, số dòng hàng tặng và thời điểm cập nhật mới nhất.
Chỉ những tháng mới phát sinh hoặc có thay đổi dữ liệu trên DWH mới được tải lại; các tháng lịch sử không đổi được giữ nguyên từ phân mảnh cục bộ, sau đó tự động ghép nối với lịch sử dài hạn giai đoạn 01/2021 – 03/2025 để tạo thành chuỗi thời gian liên tục hơn 69 tháng.

Các Nhóm Thông tin Chính trong 354 Cột

Nhóm thông tin	Cấp độ ghi nhận	Quy tắc tổng hợp	Nội dung nghiệp vụ chính
Định danh & Lịch thời gian	Cửa hàng, Sản phẩm, Ngày	Khóa / Thuộc tính	Mã cửa hàng, mã sản phẩm, ngày, tháng, tuần, thứ trong tuần, ngày làm việc và cờ nguồn dữ liệu.
Độ phủ & Lịch sử giao dịch	Ngày, Cặp điểm bán – mặt hàng	Thuộc tính	Cờ sẵn sàng dữ liệu của từng phân hệ (viếng thăm, tồn kho, phiếu giao, tủ đông) và khoảng cách ngày giữa các lần đặt hàng.
Đơn đặt hàng (Ordered)	Cửa hàng × Sản phẩm × Ngày	Cộng tổng / Thuộc tính	Sản lượng đặt quy thùng, sản lượng thương mại có tính tiền, sản lượng hàng tặng (FOC), doanh thu thuần, chiết khấu và nguồn đơn hàng chuẩn (`order_source`: chỉ nhận `'ERP'` hoặc `'DMS'`; đơn vừa thuộc ERP vừa thuộc DMS có mã tham chiếu DMS đi kèm được DWH lấy `'ERP'` làm chuẩn).
Giao hàng & Thực xuất (Delivered)	Cửa hàng × Sản phẩm × Ngày	Cộng tổng	Sản lượng đã giao thành công, doanh thu giao hàng và thời gian xử lý giao hàng thực tế.
Đơn đang xử lý & Đơn hủy	Cửa hàng × Sản phẩm × Ngày	Cộng tổng	Đơn đang chờ duyệt/soạn hàng/vận chuyển và đơn hủy phân loại theo nguyên nhân (đứt hàng, điều chỉnh đơn, lỗi kỹ thuật).
Hàng trả lại (Returned)	Cửa hàng × Sản phẩm × Ngày	Cộng tổng	Sản lượng và giá trị hàng trả lại (tách riêng, không trộn vào sản lượng đặt hàng).
Thuộc tính Danh mục & Bảng giá	Cửa hàng, Sản phẩm	Thuộc tính	Thông tin điểm bán, phân cấp kênh 3 bậc, địa bàn 3 bậc, thuộc tính sản phẩm (nhãn hàng, nhà cung cấp, quy cách thùng) và đơn giá.
Tồn kho Theo Lô & Cân đối Ngày	Kho × Sản phẩm × Ngày	Cộng theo kho	Tồn kho theo lô hạn sử dụng (5 chỉ tiêu) và cân đối nhập – xuất – tồn cuối ngày (13 chỉ tiêu).
Thời tiết, Viếng thăm & Khuyến mãi	Tỉnh/Thành, Cửa hàng, Ngày	Trung bình / Cộng tổng	Nhiệt độ, lượng mưa, số giờ nắng; lịch tuyến bán hàng (PJP) và lượt ghé thăm thực tế của Sales; chương trình khuyến mãi áp dụng.

Đặc tả Tầng 2: Bản Chuẩn hóa cho Mô hình Dự báo (341 cột)

Từ bản sao 354 cột ở Tầng 1, hệ thống thực hiện làm sạch theo 6 quy tắc chuẩn thành tệp 341 cột dành cho mô hình dự báo:

Lọc sạch các dòng nhiễu phi thương mại:
- Chỉ giữ lại nhóm thành phẩm thương mại (loại bỏ hoàn toàn vật phẩm quảng cáo POSM, bao bì, tủ đông và các dòng bút toán chiết khấu kỹ thuật).
- Loại bỏ các dòng phát sinh từ cửa hàng không xác định hoặc bút toán điều chỉnh tiền thuần túy không có sản lượng hàng hóa.
Làm sạch 18 chỉ tiêu tồn kho:
- Chỉ tính tồn kho tại các kho con thương mại khả dụng; loại bỏ hoàn toàn kho tài sản, kho hàng hỏng/chờ hủy và các vị trí chờ xử lý trả nhà cung cấp.
Lược bỏ 31 cột khóa kỹ thuật nội bộ:
- Bỏ các mã khóa tự tăng nội bộ của cơ sở dữ liệu và các cột đếm lỗi kỹ thuật không mang ý nghĩa dự báo.
Bổ sung 7 chỉ tiêu chuẩn hóa cho mô hình:
- Cờ phân biệt giai đoạn lịch sử trước và sau khi vận hành DWH (04/2025).
- Sản lượng đặt thương mại thuần quy thùng (đã tách riêng hàng tặng FOC và đơn 0 đồng).
- Sản lượng giao thương mại thuần quy thùng (đã trừ hàng trả lại).
- Đơn giá thực thu bình quân trên một thùng thương mại.
- Tỷ lệ chiết khấu thực tế trên đơn đặt hàng.
- Tỷ trọng thùng hàng tặng (FOC) trong tổng sản lượng đặt.
- Tỷ lệ đáp ứng đơn hàng (Fulfillment Rate) theo thùng.

Bộ Tệp Parquet Tổng hợp Phục vụ Thực nghiệm Nhanh

Để tăng tốc độ chạy thực nghiệm và kiểm thử mô hình trên 16 cấp gộp, hệ thống tổng hợp sẵn 6 bảng dữ liệu chuyên biệt từ nguồn dữ liệu sạch:

Bảng Dữ liệu Tổng hợp	Cấp độ Tổng hợp	Nội dung & Mục đích trong Mô hình Dự báo
Lịch sử Sản lượng Tháng Hợp nhất	Tháng × Cửa hàng × Sản phẩm	Hơn 2,96 triệu dòng lịch sử xuyên suốt 69+ tháng (từ 01/2021 đến nay), dùng để tính chuỗi trễ nhiều năm và tỷ số mùa vụ cùng kỳ.
Lịch sử Sản lượng theo Kho con	Tháng × Kho chính × Kho con × Sản phẩm	Lịch sử xuất bán tại 75 Kho con (Thương mại & Ký gửi), phục vụ trực tiếp cho dự báo cấp hạt Sản phẩm × Kho con.
Nhịp Đơn hàng Ngày (Daily Cadence)	Ngày × Cửa hàng × Sản phẩm	Hơn 1,85 triệu dòng đơn hàng ngày dùng để tách tốc độ bán nửa đầu tháng (ngày 1–15), nửa cuối tháng (ngày 16–31) và phát hiện hiện tượng đẩy đơn 7 ngày cuối tháng.
Bảng Đặc trưng Vận hành & Tồn kho	Tháng × Cửa hàng × Sản phẩm	Tổng hợp số ngày đứt hàng tồn kho, số ngày theo dõi tồn kho, nhiệt độ, ngày mưa, tần suất viếng thăm của Sales và độ phủ tủ đông.
Danh mục Khuyến mãi Trade Promotion	Tháng × Hệ thống Chuỗi × Sản phẩm	Số lượng chương trình khuyến mãi, mức giảm giá tối đa và số ngày chạy chương trình trên từng hệ thống siêu thị MT/KA.
Tổng hợp Doanh thu & Chiết khấu	Tháng × Cửa hàng × Sản phẩm	Doanh thu thuần, tổng tiền chiết khấu và sản lượng hàng tặng FOC để tính biến động giá thực thu theo tháng.