股票 
板块 
用户 
资讯 全双工语音对话指模型在输出语音的同时持续接收用户语音输入，用户不必等模型说完再开口，可以随时打断、追问与更正。这类系统此前的能力边界大多止于单次会话：交互一旦跨越多个会话，此前的信息便难以被调用，用户上周说明的需求、昨天修改的计划，往往需要重新交代一遍。要在长时程交互中稳定保留并准确调用历史信息，需要同时解决记忆的表示、写入、检索与工程开销四个层面的问题。
在清华大学 鲲鹏昇腾科教创新卓越中心支持下，清华大学电子工程系张超副教授团队完成了全双工语音基座模型SALMONN-omni在昇腾平台上的部署与复现，训练与推理性能与原开发平台相当，并在此基础上提出跨会话记忆方案PERSIST。在自建基准SpokenTrace上，PERSIST的严格回答准确率达到85.08%，较主流稠密向量检索58.50% 提升26.58pp；较主流文本检索61.67%提升23.41pp；在昇腾硬件上，其记忆检索的平均时延为7.03毫秒，较重新编码音频的方式降低98.8%。
PERSIST并非单点算法，而是一套完整的系统方案，由当前会话、记忆写入、持久记忆与记忆检索四部分构成。当前会话承载正在进行的对话；记忆写入负责把对话中产生的事件转成可长期保存的记录，并保留原始状态与后续修订；持久记忆存放这些记录；记忆检索则在需要时取回相关记录、回填到当前上下文，再由对话主干生成回答。
图1 PERSIST系统方案：当前会话、记忆写入、持久记忆与记忆检索四部分协同，检索结果回填当前上下文
要在这套结构里取回一条准确的历史信息，必须同时回答三个问题：是谁说的、说了什么、是什么时候的状态。这正是Who–What–When联合检索要解决的问题。记忆记录在写入时被打上三类表示：Who由说话人嵌入承担——团队融合语音编码器第5、7、8层特征得到4,096维说话人向量，与内容隐状态拼接后经注意力池化为1,024维并归一化，使语义相近、说话人不同的两条记录可以被区分开；What即语义内容本身，由对话主干的内容隐状态表示；When由事件时间与会话编号共同构成时间键，查询侧再编码“当前需要哪一种时间关系”，输出128维向量，用于区分历史状态、最新状态与状态变化。
三类表示在检索时拼成同一条1,152维向量，即Who与What的1,024维加上When的128维；查询向量与记忆向量按同一方式拼接，评分由Who-What联合语义内积与When时间内积相加，排序后取前k条回填上下文。三者在同一评分中联动：语义决定“内容像不像”，时间决定“是不是该用的那个版本”，说话人决定“是不是同一个人说的”。控制变量实验印证了这一分工——关闭时间评分后，历史状态的Recall@1从80.20%降至73.10%；在仅替换说话人嵌入的397组反事实样本中，96.47%的样本对正确说话人给出更高得分。充分证明了时间评分模块对检索性能有实质贡献，且说话人嵌入是模型判断的核心依据。
记忆能否被高效写入、检索能否足够轻量，决定了这套机制能否跑在实时对话中。写入侧，团队没有另建编码器，而是以语音识别专用LoRA复用SALMONN-omni的中间表示，直接在其上完成转写与记忆表示；流式对话中每30秒处理一次、每次最多覆盖120秒缓存，但只提交新完成的语句及其时间戳，已写入的内容不再重复处理。
说话人侧，融合第5、7、8层语音特征形成4,096维嵌入，与持久记忆中的说话人在线匹配并更新观测，使同一说话人跨会话时仍可被识别。检索侧的关键是复用缓存：系统缓存解码器第19层最近128个隐藏状态，当对话主干输出检索标记时，直接用这些隐状态构造查询向量，无需将查询音频重新送进编码器。
团队据此给出两种记忆写入配置。Native为端到端方案，转写与记忆共用主干，经语音识别预训练、监督微调与GRPO训练后，多说话人场景的词错误率降至17.4%；External仅把转写分支替换为第三方语音识别模型，说话人关联、检索器与对话组件完全共享。External剥离了自研转写的误差，更便于单独衡量记忆机制本身的效果，因此下文的主对比采用External配置的结果。
为了把“记住”这件事量出来，团队还构建了合成语音基准SpokenTrace。它是一套评测题面，而非模型的附加能力：训练、验证、评测集分别为9,119、1,013与1,200个episode，题目覆盖直接回忆、时间定位、最新状态、历史状态、变化对比与多跳推理六类任务，分别考察记得住、说得清时间点、分得清是否已更新；另设“仅当前会话”与“证据缺失”两类对照任务，前者确保跨会话题目无法依靠当前上下文蒙对，后者确保模型在证据不存在时不会凭空作答。评分采用严格准确率，只有完全正确才计入。
在这套基准上，PERSIST的严格回答准确率为85.08%（External），Native配置为71.75%，而基于关键词的主流文本检索与主流稠密向量检索分别为61.67%与58.50%。检索环节单独看，PERSIST检索器在前3条结果中召回标注证据的比例（Recall@3）为87.07%，前3条结果完整覆盖全部标注证据的比例（Exact Match@3）为82.10%；作为对照，主流稠密向量检索这两项分别为55.97%与49.01%，后一项高出33.09个百分点。两种配置相差13.33个百分点，说明转写/记忆写入环节仍是端到端效果的主要瓶颈。
图2 （左）SpokenTrace严格回答准确率；（右）昇腾硬件上的记忆检索平均时延（主流检索方法为文本就绪输入）
这些工作全程在昇腾上完成。项目的起点是SALMONN-omni在昇腾系列处理器上的迁移与复现，训练与推理性能与原开发平台相当，此后的记忆机制设计、训练与评测都直接建立在自主算力之上。在昇腾硬件上，团队进一步测量了检索环节的时延：测试条件为32个鲲鹏CPU线程、1,200条查询取中间1,000次请求的平均值、候选记录4,331条、计时截至返回前三条；PERSIST-Native的记忆检索平均耗时7.03毫秒，从音频重新编码为578.42毫秒，基于文本就绪输入的主流检索方法分别为15.26与27.94毫秒。需要说明的是，该时延只覆盖检索环节，不等同于完整语音交互的响应时延。
未来，依托清华大学 鲲鹏昇腾科教创新卓越中心，团队将围绕记忆写入质量与说话人归属继续优化，并把跨会话记忆能力拓展到更多长时程语音交互场景。
◆往期推荐◆
评论 (0)