12入口地图与速查表目录
你手上七八个地址,其实只对应链条上的五六个位置。走错门,跑一天也白跑。
厂门口立着一块指路牌:左边是"进水口",中间是"值班室",右边是"泵房",墙上挂着"仪表"。牌子上的字不多,但每个位置只干一件事——你要办的事,先想清楚归哪个位置管。

一、七个入口,各站一段(逐个认)

🚪 Kyuubi · 总水闸

地址 jdbc:kyuubi://…:10009
办公:10.160.4.50、10.160.4.236;VPN:10.160.4.100

站在哪 湖内所有层(SDI / DWI / DWR / DWS / ADS)的读写都从这一个口进。

进去干什么 查数、跑 ETL、验数。

怎么自检 连上后 show databases,应该看到 dwi_gk_hudi、dwr_gk_hudi、dm_gk_hudi 三个库。

容易错
DEV 账号没带 subdomain tag —— 平台要求必须带,别省
⚡ YARN · 水电调度

地址 http://yarn.sinopharmholding.com:10001/cluster

站在哪 Spark 应用与队列这一层,管"谁先用机器"。

进去干什么 看任务是不是卡在排队、资源被谁吃了。

怎么自检 找 RUNNING 很久不结束的 app。

真实现状
单项目 756 个任务压 10 台 worker,10.160.10.26 一台扛 218 个、排队 3.8 分钟
🚇 SeaTunnel · 泵房

地址 http://seatunnel.sinopharmholding.com:10001/#/overview

站在哪 湖 → 仓 的同步段(出湖进 Doris)。

进去干什么 看同步 job 状态、并行度、是否重试。

怎么自检 有 job 在跑、有历史成功记录。

常见报错
OperationTimeoutException(心跳超时),重跑通常就好
📈 Doris 监控 · 仪表墙

地址 http://10.160.4.111:8182/d/1fFiWJ4mz/doris-prod-cluster

站在哪 供数层(城市管网)。

进去干什么 看集群健康、查询延迟、导入失败。

怎么自检 面板有曲线,不是一片 --。

⏰ 海豚调度 · 值班室

地址 dpf…:10001/ds

站在哪 编排层:谁先谁后、几点开跑、失败了重试几次。

进去干什么 看实例、改工作流、补数。

怎么自检 项目列表能打开、实例有状态。

权限
改工作流要临时管理员(1 小时);跑任务不用
🔎 adhoc · 即席窗口

地址 dpf…:10001/adhoc

站在哪 湖/仓的临时查询口。

进去干什么 临时取个数、验证一个口径。

怎么自检 能选数据源、能出结果。

🏭 建表平台 / 数工坊 · 预制件工厂

地址 建表 /dmt/ddls;生成 ETL 代码 /dmt/etl

站在哪 不在数据流上,但决定了链条能不能长出表来。

进去干什么 自助建表、上传 Mapping 生成代码。

怎么自检 检查项能通过、生成有记录。

注意这一页所有地址都不带口令,是故意的:口令单独管,不进页面、不进文档、不进聊天记录。要连的时候找当前的口令来源,别从旧截图里抄。

二、进厂先认清门牌:项目编码

厂区项目编码用来干什么
生产 BI_PRD148405435832576正式上线、长期跑
测试 BI_SIT149223761565792隔离验证,写唯一命名的临时表
ETL 生产136016656440288ETL_日常离线计算
ETL 测试12302943659968ETL_日常离线计算_sit
SUPP12923899913280供应商营运汇总那一套

两个必须记牢的区别:改工作流要临时管理员(一次 1 小时,理由写具体场景);跑任务不要。很多人把这两件事搞混,白等一小时权限。

三、库名速查:名字已经写好了它是谁

位置库名看名字能知道什么
湖 · 明细dwi_gk_hudidwi 是层,gk 是公司域,hudi 是格式
湖 · 汇总明细dwr_gk_hudi同上,换层
湖 · 应用dm_gk_hudi场景结果表都在这
仓 · 供数dm_gk_dws页面真正读的那一层
贴源gk{公司}_{系统}_{类型} 例 gksd_cms_dis6看库名就知道哪个公司、哪个系统进来的

四、最实用的一段:页面数字不对,三步倒查

别一上来就改 SQL。先确定"是哪一段漏的",再动手——顺序错了,改十遍也修不好。
  1. 先看仓:Doris 里那张 ADS 表(dm_gk_dws.ads_*)有没有数、数对不对。这一步排除"页面自己的问题"。
  2. 再回湖:看湖里同名 ADS 表(dm_gk_hudi.ads_*)。
    · 湖有、仓没有 → 同步段的问题
    · 湖也没有 → 上游的问题,继续第 3 步
    · 湖仓都有但不一样 → 同步错,或口径版本不一致
  3. 最后往上游走:DWS → DWR → DWI → SDI,一层层往上找"从哪一层开始不对"。找到那一层,责任归属就清楚了。
会出事跳过前两步直接改 SQL:你改的是"算得对不对",可问题可能在"根本没跑到"或"没同步过来"。改完重跑,数还是错的,白折腾一天。

五、常见问句 → 该看哪个门

你听到的话先看哪里大概率是什么
"页面这块是空的"Doris 表 + 同步 job同步没跑,或目标表没写进去
"数翻倍了"建表语句 + 关联条件以为 DUPLICATE KEY 去重(它不去重);或关联放大
"今天任务没跑"海豚实例上游没完成、被停、或调度没开
"跑了但没数"分区和 biz_date写错格口、算错日期
"报错被 KILL"Kyuubi 连接串 + 平台审计先确认带没带 subdomain tag,再查是不是元数据锁
"湖和仓对不上"先信湖,再比同一张表同步问题,不是算错

六、指路牌长这样

进厂先看牌子 你的事归哪段管 总水闸 · Kyuubi 值班室 · 海豚 泵房 · SeaTunnel 仪表墙 · Grafana / YARN 牌子只指方向,具体口径还得回文档

七、如果只记三句话

一数据先搬进湖、洗干净、再送进 Doris,页面只喝最后一道——所以页面出问题,八成不在页面。
二出问题按「湖 → 仓 → 页面」倒查,别先改 SQL;湖是账本,仓是快照。
三所有规矩都是别人交过学费换来的(禁 CREATE/DROP、必须带 tag、23:00 停写、发布必须回读),照做最省事。
看完想回头点底部「目录」,12 关随便跳。术语忘了就开术语对照,行话和大白话一行对一行;想看整条链开全景图。