Astro数据血缘 Agent数据的每一步流转,
都有迹可循SQL + ETL 双引擎字段级血缘解析,
跨系统影响分析秒级响应,让数据流转全景可见行业痛点数据出了问题,才发现没人知道它从哪来数据问题暴露在报表里的那一刻,往往已是数据流转链条末端——追溯根因,才是最耗时的挑战。??根因追溯耗时耗力:生产数据异常时,需人工翻查 ETL 脚本、访谈上下游团队并梳理开发逻辑,才能提取数据流转关系。耗时常以小时甚至天计,严重制约故障排查效率。??血缘文档永远过期:数据流转关系依赖人工维护,开发节奏一快就跟不上,字段改名、表重建后血缘断裂,团队对数据流转"心里没谱"。??ETL 跨平台脚本难以解析:企业数据链路涉及 TDT、DataX、Kettle、Sqoop 等多种 ETL 工具,传统血缘方案只能处理 SQL,ETL 配置文件的血缘关系几乎是盲区。??变更影响无从评估:上游字段改动前,无法快速知道下游哪些表、报表、模型会受波及,变更要么过度谨慎拖慢迭代,要么踩坑引发生产故障。??血缘解析能力的兼容性局限:现有血缘工具仅能解析有限类型的 SQL 血缘,面对多样化数据库与数仓语法时支持不足,易造成血缘关系提取困难,无法覆盖复杂业务场景。Agent 介绍Astro 数据血缘 Agent
Astro 数据血缘 Agent 提供SQL + ETL 双引擎血缘解析能力。
SQL 引擎支持符合 ISO/IEC 9075(ANSI SQL)体系的主流关系型数据库(MySQL/Oracle等)与数据仓库系统(ArgoDB/Inceptor/Hive等),支持解析本地 SQL 和 TDS 平台上 SQLBook 脚本中大部分标准 SQL 及常见扩展语法;
ETL 引擎覆盖 TDT、DataX、Kettle、Sqoop、SeaTunnel 五种主流 ETL 工具,解析配置文件中的表级和字段级血缘关系。
解析之外,Agent 还提供血缘查询能力——选择 TDS 元数据或直接输入表名,即可查询表级和字段级的上下游血缘关系,支持多表批量查询,结果可一键跳转 DAG 血缘图。所有操作均支持自然语言交互和多轮对话。
▌ 血缘解析 → 查询 → 管理 全流程输入:多格式数据脚本?? SQL 文件?? SQLBook?? TXT?? TDT 任务?? DataX?? Kettle?? Sqoop?? SeaTunnel↓大模型驱动血缘解析支持表级 + 字段级解析:兼容主流关系型数据库与数仓语法支持批量解析多个文件 · 逐文件输出预览后合并完整报告↓??在线结果管理查看 / 修改 / 保存
版本管理与回退??推送 TDS Catalog一键推送血缘数据
DAG 图可视化查看??协作与分发工单 / 邮件 / 企微
发送给业务人员确认?定时自动解析识别新发版脚本
自动解析+工单推送对比分析传统血缘管理 vs. Astro Agent传统方式? 治理人员人工解析血缘关系,耗时耗力? 字段级血缘解析困难? 只能解析 SQL,ETL 中的跨库血缘是盲区? 开发脚本更新后,血缘文档没有同步更新Astro Agent? 自动解析脚本,血缘实时构建? 字段级精度,精确追踪每列流转? SQL + ETL 双引擎,覆盖 5 种 ETL? 定时扫描新版脚本,自动更新技术优势Astro 让血缘解析突破传统边界01全域 SQL 兼容 + ETL 双引擎SQL 引擎兼容符合 ISO/IEC 9075 标准的主流数据库与数仓语法;ETL 引擎覆盖 TDT、DataX、Kettle、Sqoop、SeaTunnel 五种工具,解决传统方案"只懂 SQL、不懂 ETL"的盲区,一套 Agent 覆盖企业数据链路中最常见的脚本类型。02表级 + 字段级双精度解析不止于表级血缘——Astro 实现字段级端到端映射,精确追踪每个字段的上下游流转路径。当你需要评估"修改某个字段会影响哪些下游"时,字段级精度是给出准确答案的前提。03端到端闭环:从解析到治理解析结果不是一份静态报告——支持在线编辑、版本管理、工单协作,确认后一键推送至 TDS Catalog 血缘管理模块,在 DAG 图中可视化查看完整血缘关系。还支持定时扫描新版 SQLBook 脚本,自动触发解析并推送工单,实现血缘的持续运营。04自然语言交互 + 多轮对话支持直接输入表名查询血缘(如"帮我分析 ods.nsop_dpfm21_all_5 的所有血缘"),Agent 自动模糊检索并返回结果。同一对话中可连续进行血缘解析和查询,后续提问可不重复输入表名,按历史上下文继续操作。实战场景在真实数据链路中验证— Astro 血缘能力覆盖 —全域SQL兼容SQL 兼容
ISO/IEC 9075 标准
主流数据库与数仓ETL解析ETL 引擎
TDT/DataX/
Kettle/Sqoop/SeaTunnel字段级解析精度
表级 + 字段级1SQLBook 脚本血缘解析选择 TDS 上的 SQLBook 文件,Agent 自动识别意图并返回解析步骤。多文件场景下逐个解析并输出预览,最后合并为完整的血缘报告。结果可在线查看和编辑,确认后推送至 TDS Catalog,在血缘管理模块以 DAG 图查看。SQL 文件SQLBook批量解析DAG 图2ETL 加载任务跨库血缘选择 TDT 加载任务/第三方 ETL脚本,Agent 解析其中的血缘关系,支持跨数据源的表级和字段级血缘追踪。解析完成后,确认并推送至 TDS,在 Catalog 血缘组件中查看跨源血缘关系图——不再因数据跨源而丢失链路。TDT 任务ETL 脚本跨源血缘字段级追踪3自然语言血缘查询无需记住复杂的操作路径——直接输入表名即可查询血缘。Agent 模糊检索系统中的元数据,若存在多个匹配结果,支持用户二次确认后精确查询。结果包含表级和字段级血缘,可一键跳转 TDS 查看 DAG 血缘图。自然语言查询模糊匹配多轮对话
数据血缘Agent:实战演示
股票
板块
用户
资讯
评论 (0)