文章搜索

流式回答断了,怎样从上次的位置接着看?

把生成任务、事件日志与浏览器连接分开,用序号恢复、批量持久化和明确的 Redis 故障策略,讲清流式输出的可靠性。

流式回答断了,怎样从上次的位置接着看?

题目与条件

AI 流式输出时,连接中断后如何补发?如果每个片段都写数据库,请求量上升后怎样优化?改成 Redis 保存后,又怎样处理 Redis 宕机?

下面补充的设计目标是:短暂断线不会重新生成一份不同答案;客户端能恢复到已确认的位置;任务结束后保留最终结果。若要求所有已展示片段在任意故障后都不丢失,必须付出相应的持久化成本。

先给出面试回答

我会把一次生成任务与某条 HTTP 连接解耦:任务有稳定的 run_id,每个输出事件有单调递增的 seq,事件保存在可回放日志中。连接只是订阅和展示这些事件。

客户端重连时带上最后已应用的事件序号,服务端校验任务权限后补发更大的序号,再接续实时事件;客户端用 (run_id, seq) 去重。要专门处理历史回放与实时订阅的交接窗口,避免这一刻新产生的事件漏发。

落库时按时间或字节阈值批量追加,保存最终快照和终态事件。Redis 可做热缓存,但不能在未说明丢失窗口的情况下替代可靠存储;如果只有缓存,应明确缓存丢失后不能保证恢复原始流。

三个对象,三种生命周期

对象标识生命周期断线是否终止它
生成任务run_id创建到成功、失败或取消由产品策略决定
输出事件run_id + seq持久化与保留策略决定不应依赖某条连接
浏览器连接connection_id建立到断开连接本身会结束

例如任务正在输出第 42 个事件,浏览器网络掉线;只要任务仍按策略继续,服务端就应将 43、44、45 继续写入日志。用户回来时从 42 之后回放,而不是再向模型发送一遍问题。

断线恢复的交互过程

先持久化事件,再通知连接
查看流程图源码
sequenceDiagram
    participant B as 浏览器
    participant S as 流式服务
    participant L as 事件日志
    participant W as 生成工作者
    W->>L: 追加 run_id / seq / delta
    L-->>W: 持久化确认
    W-->>S: 通知新事件可读
    S-->>B: SSE id=42 / delta
    Note over B,S: 网络断开,任务按策略继续
    B->>S: 重连 / cursor=42
    S->>L: 读取 seq 大于 42 的事件
    L-->>S: 43、44、45…
    S-->>B: 按序回放,再持续拉取
先持久化事件,再通知连接 · 可放大查看

这里把持久日志作为事实来源,“新事件通知”只是降低延迟。如果通知丢失,服务端仍可根据日志游标继续读取,而不是永远等待某一条 Pub/Sub 消息。

数据与协议怎么定义

事件至少包含 run_id、seq、type、payload 和创建时间。类型可区分 delta、completed、failed、cancelled;终态也需要记录,才能在断线后知道任务是否已经结束。

id: 42
event: delta
data: {"run_id":"run_123","seq":42,"text":"下一段内容"}

id: 43
event: completed
data: {"run_id":"run_123","seq":43,"finish_reason":"stop"}

每条 SSE 事件后必须有空行。标准 EventSource 会使用事件 ID 在自动重连时携带 Last-Event-ID;如果页面重新加载、使用 fetch 流或自定义客户端,则应自行保存游标并传入接口。不要把“有事件序号”误认为浏览器在所有情况下都自动完成持久恢复。

服务端还要验证游标是否属于当前任务、是否超出最大序号,以及日志是否已经过期。过期时返回可识别的恢复策略,例如最终快照或“该任务无法继续回放”,不能悄悄从零开始生成。

回放结束时,怎样接上实时事件

容易出错的做法是“先查历史,查完再订阅”:两步之间可能产生新事件,而通知已经发出。另一种问题是先订阅再回放,导致同一事件重复展示。

一种简单可靠的方案是始终以持久事件日志为读取源:每次读取 seq > cursor,按序推送,更新连接侧游标;没有新事件时等待通知或短暂轮询。通知不承载唯一副本。读取到日志终态后停止。

客户端只应用大于本地已确认序号的事件;发现不连续时请求补齐缺口。客户端状态更新和游标推进必须在同一逻辑步骤中完成,否则先记下 43、还未展示 43 就崩溃,恢复后可能把它跳过。

不想逐 token 写数据库,怎么优化

按“小时间窗或累计字节数”合并多个 token,形成一条输出事件。比如先以 50–100 毫秒或 1–4 KB 作为压测起点,达到任一阈值就提交;这些是示例参数,需要结合端到端延迟、写入放大、并发和成本调整。

多个事件也可以同批事务提交。任务完成时必须 flush 最后一批,再写入最终快照与完成状态。若选择先发给浏览器、之后异步落库,就存在用户已看到但故障后无法恢复的窗口,需要明确接受这一点。

若目标是“展示过的内容不丢失”,顺序应为:批量持久化成功 → 对连接可见;用较短合批窗口控制延迟,而不是无条件先发后存。

Redis 宕机时,分别讨论三种架构

Redis 的角色宕机后的行为代价与限制
仅缓存最近事件回源持久日志,限流保护数据库延迟升高,可继续恢复
承载可丢失的临时流返回已保存快照或明确无法完整恢复已展示的临时片段可能丢失
主要流数据存储依赖其持久化、复制与故障恢复策略必须评估实际 RPO,不承诺绝对不丢

AOF、复制与自动故障切换减少风险,但它们的配置、确认时机和故障组合决定丢失窗口。若业务目标是零丢失,不能只说“开启 AOF 就解决了”。

对正在生成的任务,还要处理工作者崩溃:有可靠事件日志并不等于底层模型请求可从中间 token 恢复。供应商不支持续接时,任务可能需要标记失败或明确启动新尝试;新尝试应有独立标识,不能伪装成原流无缝延续。

常见追问与验证

  • 前端断线等于用户取消吗? 不等于。断线是传输事件,取消是业务命令;应有单独的取消接口和任务状态转换。
  • 两个连接同时重连怎么办? 都可独立按游标读取同一任务;必要时限制连接数,不能创建两次生成任务。
  • 序号在哪里生成? 在每个任务的事件追加端统一分配;数据库用唯一键 (run_id, seq) 约束重复。多工作者写同一任务还要有租约或 fencing,防止旧工作者继续写入。
  • 如何测? 在第 42 条后断网,恢复后内容连续且没有重复;在回放交接点产生新事件;模拟通知丢失、Redis 故障、日志过期与工作者崩溃,核对声明的恢复边界。

延伸阅读

本文为整理者参考答案,事件日志、热缓存和模型续接的保证需要分别评估。