股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

从“能执行”到“可验证”,中科曙光推出AI4S评测新工具

随着AI for Science(AI4S)加速发展,AI正在深入参与模型开发、论文复现和科学发现等科研环节。但如何判断科研智能体究竟完成了多少工作、执行过程是否可靠、结果能否支撑科学结论,仍是亟待解决的问题。

近日,中科曙光推出面向AI4S的评测体系——OneScienceBench,将评测深入任务执行过程到产出细节全科研流程,为智能体能力分析和持续优化提供了更细致的依据。

▍验证科研全过程

针对复杂的科研需求,OneScienceBench围绕生物信息、地球科学、材料化学与流体等领域,设计了两类互补的评测任务。

  • 单模型实现任务:覆盖模型训练、推理、二次开发和论文复现等环节,通过程序逐项校验代码与产物,检验科学方法的实现是否正确。

  • 真实科研场景任务:面向多阶段的科研流程,从任务理解、推理决策、执行过程、结果验证四个维度进行判定,考察各环节的执行与衔接情况。

科研任务的实现路径往往不止一种,这给统一评测带来了困难。为此,OneScienceBench在任务设计阶段引入“最小充分约束”,只约定必要的输入输出、接口规范、科学参数与运行边界,既保留合理的操作空间,又让任务执行与产出可验证。

目前,OneScienceBench的评测规模已覆盖100余项单模型任务和110余项科学场景任务,并对多个智能体及基座模型组合进行了测试,均取得良好的评测效果。

▍助力科研持续优化

OneScienceBench不仅关注任务是否完成,还从科学方法、科研流程、结果验证和运行条件四个方面给出可追溯的能力证据。

  • 模型代码写得对不对?逐项核对从数据处理、权重加载、模型结构实现到训练及推理,并与标准数值比对确认。

  • 各步骤能否顺畅衔接?逐步检查方法选择和环节衔接,能定位到“模型算得对、训练入口却跑不通”这类具体问题。

  • 结论是否可靠?排查数据泄漏、数值超出物理常识、比较不公平等隐患,确保结论有证据。

  • 外部环境是否存在问题?结合Token用量和失败记录,区分是模型能力不足,还是上下文、输出长度等配置限制所致。

这些检查能够帮助研发团队定位问题、持续改进,也为科研用户选择和使用工具提供依据。

▍拓展AI4S新生态

从科学模型开发到科研智能体评测,中科曙光在AI4S的布局持续深化。

此前,中科曙光打造科学大模型一站式开发平台OneScience,以“一键式、全流程、自然语言构建”的创新模式,让科研人员可以轻松拥有专属科学模型。此次推出的OneScienceBench则打通了科研智能体验证闭环,推动AI4S发展迈入新阶段。

目前,OneScienceBench已在GitHub开源,采用MIT许可证。科研用户和开发者可下载用例、运行评测,或按仓库说明接入自己的智能体。

即刻下载体验

  • 开源仓库:

https://github.com/onescience-ai/OneScienceBench

  • 安装与使用文档:

https://github.com/onescience-ai/OneScienceBench#快速开始

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。