博睿数据-东南亚金融行业可观测性实战专题研讨会 · AI Agent 全链路可观测实践专场回放

随着大模型能力不断成熟，AI Agent 正在从概念验证走向实际业务应用。在东南亚，银行等金融机构正加速将智能客服、账户与交易查询等业务场景交由 Agent 处理，越来越多的业务交互开始由“对话”承载。监管层面也在同步明确相关要求。以新加坡为例，金融管理局于今年 10 月正式发布《人工智能风险管理指引》，明确要求金融机构全面梳理自身的 AI 应用，并在全生命周期内建立覆盖测试、监督和持续监控的管理机制。AI 应用越深入，“看得清、管得住”就越成为金融机构将其投入生产后必须面对的课题。 一次看似简单的客户交互，背后可能涉及多轮对话、模型请求和工具调用。延迟发生在哪个环节？错误藏在哪一步？Token 消耗集中在哪里？这些问题，正是 AI Agent 进入生产环境后需要回答的。围绕这些实际问题，11月11日，博睿数据「东南亚金融行业可观测性实战」系列研讨会正式开启第一期。博睿数据技术总监丁威以「AI Agent上生产之后，如何看清每一次调用」为主题，结合东南亚银行的实际业务场景，以模拟 AI 客服 Agent 为例，现场演示 Bonree ONE 如何还原 Agent 从应用、模型到工具的完整调用链路，并定位性能延迟、调用错误和 Token 消耗等问题。 AI 可观测：让Agent的每一次行为都有迹可循 丁威在开场介绍了 AI 可观测的核心： 在预生产、测试和生产等不同环境中，持续收集并关联整个技术栈的遥测数据，全面掌握 Agent、大模型及其下游服务的运行状态。对开发团队而言，AI 可观测有助于优化提示词与交互流程；对运维团队而言，可提升服务稳定性与性能保障能力；对 AI 平台团队而言，则能持续优化服务效率与质量，最终实现 AI 服务稳定、高效、成本可控的运行。 Agent 上线后的监控困境常被称为“黑盒焦虑”：应用部署在公有云或私有云环境中，却难以准确掌握内部运行情况。针对这一问题，Bonree ONE 提供四项核心能力：端到端调用追踪、多维服务观测、多轮对话还原和异常下钻定位。具体而言，端到端调用追踪覆盖大模型与工具调用；多维服务观测基于性能、Token、模型与对话数据呈现服务表现；多轮对话还原可关联多轮交互、还原完整任务过程；异常下钻定位可从延迟、错误、Token 异常等问题出发逐层定位根因。 在研讨会的实操演示环节，丁威结合具体应用场景，进一步展示了这四项核心能力。 先看全局：一张图掌握 AI 服务健康状况 排查问题，首先要全面了解 AI 服务的运行状态。Bonree ONE 通过服务拓扑呈现 AI 服务与大模型、MCP 工具、数据库及第三方服务之间的调用关系，帮助团队直观掌握服务依赖。演示环境包含三个 AI 服务，分别基于 LangGraph（Python）、LangChain（Python）和 Spring AI（Java）开发。 AI 服务列表集中展示各服务的请求量、错误数、平均响应时间和 Token 用量。进入具体服务后，可从性能、Token 和模型三个维度分析运行情况：通过性能视图发现响应延迟和错误异常；通过 Token 视图掌握消耗趋势并估算调用成本；通过模型视图对比不同模型的调用量、Token 用量和响应表现。 Bonree ONE平台能够分别呈现 AI 服务层和模型层的响应时间，帮助团队区分延迟来自 Agent 应用本身，还是大模型调用环节。结合 Agent 运行日志及容器、Kubernetes 相关事件，还可进一步了解服务运行异常。 从服务整体状态到模型表现，再到上下游依赖，团队能够更快发现异常，为后续问题定位明确方向。 服务拓扑与AI服务列表 顺藤摸瓜：从一条慢请求定位问题根因 发现异常后，需要进一步定位问题发生在哪个环节。Bonree ONE 通过 Trace 和 Span 还原一次 AI 交互的完整执行过程：Trace 对应一次完整调用，Span 记录其中各执行步骤，包括 Agent、LLM、工具调用、向量检索、工作流及 MCP 等环节。 在调用链详情中，团队可以查看各步骤的执行顺序、耗时和输入输出信息。大模型调用节点还可查看模型名称、输入与输出消息、Token 用量和调用耗时，并进一步了解 Temperature、Top-p 等推理参数，为分析模型表现和定位异常提供依据。 现场演示首先以 LangChain 服务为例，选取一条耗时较长的请求，沿调用链逐层查看 Agent 执行过程及各环节信息，进一步定位大模型调用节点，并查看相关请求信息。 随后，演示切换至基于 Java 开发的 Spring AI 服务，展示跨语言、跨服务的调用追踪能力。从用户请求进入 Java 应用，到调用大模型、第三方服务，再到另一个 Python 服务，不同技术栈之间的调用关系均可串联呈现，帮助团队识别问题发生的具体环节及耗时来源。 无论是单个模型调用异常，还是跨语言、跨服务的复杂调用问题，都可以沿完整链路逐层追踪，缩小排查范围。 调用链详情与调用关系图 还原现场：将多轮对话作为一个整体分析 对 AI Agent 而言，用户的一次任务往往包含多轮交互。仅查看单条调用链，很难完整还原用户需求及 Agent 的响应过程。 为此，Bonree ONE 支持通过对话 ID 关联同一上下文中的多条调用链，将多轮交互整合为完整的 Conversation。团队可以查看对话的持续时间、调用链数量和 Token 总量，逐轮查看用户提问、Agent 回复及对应的调用链瀑布图，并可通过 Trace ID 直接跳转至具体调用详情。 当用户反馈“刚才它答错了”时，技术团队可通过对话分析快速定位对应会话，还原完整交互过程，再进一步追踪具体调用环节，无需反复要求用户重新操作或复现问题。 从单次调用追踪延伸到完整对话还原，团队不仅看清每一步执行过程，也能理解一次 AI 任务的整体运行情况。 对话分析 在实际落地方面，研讨会还介绍了 AI 服务的接入流程，涵盖接入方式选择、智能探针部署、服务重启、数据验证及开始观测五个步骤。同时，他建议团队将性能与错误监控、Token 消耗与成本管理、用户反馈追踪及关键指标告警纳入日常运维，持续掌握 AI 服务运行状态。 领取演讲资料：https://host.huiju.cool/p/1f4444 本系列研讨会后续还有两期，将继续围绕东南亚金融行业关键业务场景展开： - 11月18日：《系统没报警，用户却在流失：如何监控关键业务旅程？》 - 11月25日：《从告警风暴到根因定位：一次生产故障的端到端复盘》 欢迎继续预约精彩研讨会