一张图看完:从"别人家的脏水"到"你手机上的报表",中间要过几道手。
把整条数据中台想成一座自来水厂。左边是各条河(业务系统),中间是四级净水池,右边是城市管网和水龙头。厂门口有个总水闸,厂里有个值班室,墙上挂满压力表。
怎么读这张图
- 从上往下看:水只会往下流。你在页面看到的任何数字,都能顺着这条线一路倒查回某个源系统的一张表——这就是"血缘"。
- 越往下越贵:SDI 存全量原始数据最便宜,ADS 里一张场景表最贵(要跑 Spark、要占 Doris 空间、要人维护)。所以中间层要"越走越少"。
- 中间四个公共岗位(②)不属于任何一层:Kyuubi 是所有层共用的门,海豚管所有层的开工时间,Ranger 管所有层的门禁,仪表盘看所有层。
- 最底下的预制件工厂不在数据流上,但它决定了这厂子能不能一年建几十张表而不靠人海——第 09 关专讲。
图上没写全的三类细节
🧩 每一层到底存了什么
| 层 | 一句话 | 典型表名 |
|---|---|---|
| SDI | 和源库长得几乎一样,只加几个技术字段 | gksd_cms_dis6.* |
| DWI | 合并多源、统一字段、打码打主数据 | dwi_gk_hudi.dwi_sad_se_sale_outb_ord_line |
| DWR | 按业务主键收敛,业务规则在这落 | dwr_gk_hudi.dwr_* |
| DWS | 按主题×月×组织汇总 | dm_gk_dws.ads_supp_vendor_pur_sale_invt_summ |
| ADS | 一个页面/场景一张,字段就是页面字段 | dm_gk_hudi.ads_sad_se_jx_dtl |
最容易被误解的一点很多人以为 Doris 是"主库",其实它只是供水末端的加压站:真正的原始账本在湖里(Hudi),Doris 里是可以随时重建的一份快照。所以湖和仓对不上时,先信湖、再查同步,别反过来。
记住一句这条链上每段只干一件事:搬、洗、配、装、送、喝。谁越界干活(让 Doris 直连源库、让页面自己算口径),后面一定出事。