メダリオンアーキテクチャについて

Databricksやデータ分析基盤でよく耳にする「メダリオンアーキテクチャ」。
なぜ分けるのかが曖昧だったので勉強も兼ねて整理してみる。

メダリオンアーキテクチャとは？#

メダリオンアーキテクチャ（Medallion Architecture）は、データの品質を段階的に向上させながら管理するための設計パターン。
生データをいきなり分析に利用するのではなく、

Raw Data → 整形済みデータ → 業務利用データ

という流れでデータを加工していく。
一般的には以下の3層で構成される。

データをそのまま保存する層。
CSVやAPI、ログなど取得したデータを可能な限り加工せず保存する。
目的は「元データを残すこと」。
万が一加工処理に問題があっても、このデータから再作成できる。

例

分析で利用できる品質までデータを整える層。
ここではデータクレンジングや形式統一などを行う。

例

多くの分析や機械学習では、このSilver層を利用することが多い。
「クレンジング」と一言で言っているが、マハラノビス距離/Zスコア/IQR法/LOF/k-NNなどなど
方法が様々なようなので、別記事でまとめる。

業務で直接利用するデータを作る層。
BIツールやダッシュボード、レポートで参照されるデータを配置する。

例

利用者がSQLを書くことなく利用できる状態まで加工されていることが多い。

一番の目的はデータ品質を段階的に向上させること。

例えばSilverで誤った変換をしてしまった場合でも、Bronzeには元データが残っているため再作成できる。
また、Silverを共通データとして利用することで、複数の分析やAIモデルで同じデータを再利用できる。
結果として

といったメリットがある。

メダリオンアーキテクチャは設計パターンであり、物理構成を決めるものではない。
ただし、メダリオンを意識せずに漠然とデータを分けてしまうと

といった問題も発生する。
そのため、各レイヤーや用途ごとの責務を明確にすることが重要になる。

メダリオンアーキテクチャは、データ品質を段階的に向上させるための設計パターン。

という役割を持つ。
「3層構成」そのものではなく、「データ品質を段階的に高める考え方」として理解するとイメージしやすいかも。
ただ、どうしてもSilverとGoldの境界があいまいな気がしてならない。。。
(GoldからGold作ったりとかはないのかなぁとか思ったり)

実データを見てみないとイメージが沸かない部分もあるので、
いつか公開されてる大量データからDatabricksの試用期間枠で実際に分けてみようと思う。