随着国家到行业对于数据安全合规要求不断收紧,分类分级从“能做”到“必须做好”。大型机构普遍拥有百万级业务字段且分散在数十个业务系统、数仓和数据湖中。传统的数据分类分级高度依赖人工投入,推进过程中面临以下三大核心挑战:
① 跨系统业务概念命名繁杂,规则引擎难以理解,人工对齐耗时极长;
② 需同时对接国标、行标、企标等多套标准体系,字段级精细化分类规则高度依赖“既懂业务又懂技术”的复合型专家;
③ 分类分级后的脱敏及访问控制等仍需手工配置,难以自动形成合规闭环,持续存在监管合规风险。
为了彻底解决上述痛点,星环科技提供数据治理Agent Astro,其中数据分类分级Agent可以帮助企业实现智能化数据分类分级。其核心在于大模型驱动的四步串行决策机制,并融合血缘、知识库、推理三重引擎,按置信度从高到低逐级处理,确保优先使用最可靠的方式实现整体准确率最大化:
① 利用上下游血缘关系,直接从已分类字段继承分类信息,确定性和优先级最高;
② 采用语义与结构混合召回,从内置行业知识库及客户历史知识库中检索高相似元数据,优先命中高相似度结果;
③ 针对未知字段,输入表/字段的中英文名及注释,由大模型进行链式推理给出分类结果,并给出可解释的逐步推理依据;
④ 对于毫无中文名或注释的字段,由人工介入补充,结果会自动回流知识库,持续提升后续的自动化覆盖率。
该产品借助大模型技术构建智能化数据治理体系,已在多个头部期货机构得到规模级验证:
① 某头部期货机构A基于70+项期货行业分类标准和内置行业知识库,并接入了成交、持仓、合约、投资者等4个核心业务系统,实现了90%分类准确率,效果大幅超越传统规则引擎方案;
② 某头部期货机构B基于120+项内部自定义分类标准和知识库,并接入ODS/DWS/DWD/DIM全层共计4000+项数据资产,实现了80%分类准确率,成功实现了数仓全层覆盖的智能化分类分级。
Astro 数据分类分级 Agent:让数据分类分级从"人力密集型"变为"智能自动化"
Astro 分类分级 Agent 采用「数据 + 技术」双轨并行策略。数据侧,以分阶段、高置信优先的方式构建高质量推理数据集;技术侧,通过精细化提示词工程、正负样本对比学习、领域术语知识库三重加持,让大模型真正理解金融、医疗等专业场景的分类语义。支持上传 Excel 或直接选择数据资产,通过自然语言交互完成分类确认,并将结果一键推送至 TDS 数据目录,触发脱敏策略自动配置。
股票
板块
用户
资讯
评论 (0)