獎章架構 (Medallion Architecture)
獎章架構是現代數據湖的標準設計模式,特別是在 Fabric 和 Databricks 等平台中被廣泛應用。它將數據組織為三層:
三層結構
1. Bronze 層(銅層) - 原始數據
- 存儲原始、未處理的數據,直接從源系統導入
- 保持數據的原始格式和結構
- 可能包含重複、錯誤、不一致的數據
- 用作審計和故障排查的參考
2. Silver 層(銀層) - 清潔數據
- 對 Bronze 數據進行清洗、轉換、驗證
- 移除重複項、處理缺失值、標準化格式
- 數據質量更高,結構更規範
- 適合進行分析和報告的基礎
3. Gold 層(金層) - 商業層
- 針對特定業務需求進行聚合和優化
- 包含報告、儀表板、機器學習模型所需的數據
- 高度結構化,易於使用
- 面向最終用戶和應用程式
優勢
✅ 數據質量逐層提升 ✅ 審計追蹤清晰 ✅ 便於數據治理和合規 ✅ 支持多種用途(分析、ML、報告) ✅ 易於維護和故障排除