一、七个入口,各站一段(逐个认)
地址 jdbc:kyuubi://…:10009
办公:10.160.4.50、10.160.4.236;VPN:10.160.4.100
站在哪 湖内所有层(SDI / DWI / DWR / DWS / ADS)的读写都从这一个口进。
进去干什么 查数、跑 ETL、验数。
怎么自检 连上后 show databases,应该看到 dwi_gk_hudi、dwr_gk_hudi、dm_gk_hudi 三个库。
- 容易错
- DEV 账号没带
subdomaintag —— 平台要求必须带,别省
地址 http://yarn.sinopharmholding.com:10001/cluster
站在哪 Spark 应用与队列这一层,管"谁先用机器"。
进去干什么 看任务是不是卡在排队、资源被谁吃了。
怎么自检 找 RUNNING 很久不结束的 app。
- 真实现状
- 单项目 756 个任务压 10 台 worker,
10.160.10.26一台扛 218 个、排队 3.8 分钟
地址 http://seatunnel.sinopharmholding.com:10001/#/overview
站在哪 湖 → 仓 的同步段(出湖进 Doris)。
进去干什么 看同步 job 状态、并行度、是否重试。
怎么自检 有 job 在跑、有历史成功记录。
- 常见报错
OperationTimeoutException(心跳超时),重跑通常就好
地址 http://10.160.4.111:8182/d/1fFiWJ4mz/doris-prod-cluster
站在哪 供数层(城市管网)。
进去干什么 看集群健康、查询延迟、导入失败。
怎么自检 面板有曲线,不是一片 --。
地址 dpf…:10001/ds
站在哪 编排层:谁先谁后、几点开跑、失败了重试几次。
进去干什么 看实例、改工作流、补数。
怎么自检 项目列表能打开、实例有状态。
- 权限
- 改工作流要临时管理员(1 小时);跑任务不用
地址 dpf…:10001/adhoc
站在哪 湖/仓的临时查询口。
进去干什么 临时取个数、验证一个口径。
怎么自检 能选数据源、能出结果。
地址 建表 /dmt/ddls;生成 ETL 代码 /dmt/etl
站在哪 不在数据流上,但决定了链条能不能长出表来。
进去干什么 自助建表、上传 Mapping 生成代码。
怎么自检 检查项能通过、生成有记录。
二、进厂先认清门牌:项目编码
| 厂区 | 项目编码 | 用来干什么 |
|---|---|---|
生产 BI_PRD | 148405435832576 | 正式上线、长期跑 |
测试 BI_SIT | 149223761565792 | 隔离验证,写唯一命名的临时表 |
| ETL 生产 | 136016656440288 | ETL_日常离线计算 |
| ETL 测试 | 12302943659968 | ETL_日常离线计算_sit |
| SUPP | 12923899913280 | 供应商营运汇总那一套 |
两个必须记牢的区别:改工作流要临时管理员(一次 1 小时,理由写具体场景);跑任务不要。很多人把这两件事搞混,白等一小时权限。
三、库名速查:名字已经写好了它是谁
| 位置 | 库名 | 看名字能知道什么 |
|---|---|---|
| 湖 · 明细 | dwi_gk_hudi | dwi 是层,gk 是公司域,hudi 是格式 |
| 湖 · 汇总明细 | dwr_gk_hudi | 同上,换层 |
| 湖 · 应用 | dm_gk_hudi | 场景结果表都在这 |
| 仓 · 供数 | dm_gk_dws | 页面真正读的那一层 |
| 贴源 | gk{公司}_{系统}_{类型} 例 gksd_cms_dis6 | 看库名就知道哪个公司、哪个系统进来的 |
四、最实用的一段:页面数字不对,三步倒查
- 先看仓:Doris 里那张 ADS 表(
dm_gk_dws.ads_*)有没有数、数对不对。这一步排除"页面自己的问题"。 - 再回湖:看湖里同名 ADS 表(
dm_gk_hudi.ads_*)。
· 湖有、仓没有 → 同步段的问题
· 湖也没有 → 上游的问题,继续第 3 步
· 湖仓都有但不一样 → 同步错,或口径版本不一致 - 最后往上游走:DWS → DWR → DWI → SDI,一层层往上找"从哪一层开始不对"。找到那一层,责任归属就清楚了。
五、常见问句 → 该看哪个门
| 你听到的话 | 先看哪里 | 大概率是什么 |
|---|---|---|
| "页面这块是空的" | Doris 表 + 同步 job | 同步没跑,或目标表没写进去 |
| "数翻倍了" | 建表语句 + 关联条件 | 以为 DUPLICATE KEY 去重(它不去重);或关联放大 |
| "今天任务没跑" | 海豚实例 | 上游没完成、被停、或调度没开 |
| "跑了但没数" | 分区和 biz_date | 写错格口、算错日期 |
| "报错被 KILL" | Kyuubi 连接串 + 平台审计 | 先确认带没带 subdomain tag,再查是不是元数据锁 |
| "湖和仓对不上" | 先信湖,再比同一张表 | 同步问题,不是算错 |