文章搜索

容量只有 10,多生产者与消费者怎么配合?

从有界队列到背压,用 Go 写出一个能持续运行、正确退出的生产者—消费者模型,再回答“无界队列”真的可行吗。

容量只有 10,多生产者与消费者怎么配合?

题目与条件

实现多生产者、多消费者协作:持续生产、消费数据,队列最多放 10 个元素;队列满时生产者等待,队列空时消费者等待。如果不限制队列容量,应该怎么设计?

以上为原题转述。下面选择 Go 作为演示语言,并补充“进程内任务、允许背压、关闭时处理完已入队数据”三个假设。它们是解题条件,不是原帖给出的业务事实。

先给出面试回答

我会使用容量为 10 的有缓冲 Channel。所有生产者向同一个 Channel 发送,所有消费者从中接收。缓冲区满时发送阻塞,空且未关闭时接收阻塞;不需要自行循环检查队列长度。

生产者通过 Context 停止继续提交,使用 WaitGroup 汇总所有生产者的退出;由唯一的协调者在所有生产者退出后关闭 Channel。消费者继续读取缓冲区,排空后退出,主线程等待所有消费者完成。这样分别处理容量约束、并发安全和退出时序。

“无界”只能是接口上的不固定容量,内存并不无限。长期生产快于消费时,需要背压、限流、拒绝、扩容或持久化队列;不能靠无限增长的切片解决吞吐差。

把协作关系画出来

共享有界队列与关闭时序
查看流程图源码
flowchart TD
    P1[生产者 A] --> Q[共享 Channel / 容量 10]
    P2[生产者 B] --> Q
    Q --> C1[消费者 A]
    Q --> C2[消费者 B]
    W[等待全部生产者退出] --> X[唯一协调者关闭 Channel]
    X -.排空后结束.-> C1
    X -.排空后结束.-> C2
共享有界队列与关闭时序 · 可放大查看

图中的队列容量是“等待消费的元素数”,不包含消费者已经取走、正在处理的任务。若要求“等待中 + 执行中最多 10 个”,应另加总量信号量,并在业务处理完成后释放配额。

一个完整的 Go 实现

下面使用有限批次使示例可以正常退出;把生产者中的计数循环替换为真实的数据源读取即可持续运行。业务处理用短暂等待模拟。

package main

import (
    "context"
    "fmt"
    "sync"
    "time"
)

type Item struct {
    Producer int
    Sequence int
}

func main() {
    ctx, cancel := context.WithTimeout(context.Background(), 4*time.Second)
    defer cancel()

    jobs := make(chan Item, 10)
    var producers, consumers sync.WaitGroup

    // 消费者先就绪,避免启动顺序造成不必要的等待。
    for workerID := 0; workerID < 2; workerID++ {
        consumers.Add(1)
        go func(id int) {
            defer consumers.Done()
            for item := range jobs {
                // 演示选择:停止接收新任务后,处理完已入队任务。
                time.Sleep(50 * time.Millisecond)
                fmt.Printf("worker=%d producer=%d seq=%d\n",
                    id, item.Producer, item.Sequence)
            }
        }(workerID)
    }

    for producerID := 0; producerID < 3; producerID++ {
        producers.Add(1)
        go func(id int) {
            defer producers.Done()
            for seq := 0; seq < 30; seq++ {
                select {
                case <-ctx.Done():
                    return
                case jobs <- Item{Producer: id, Sequence: seq}:
                }
            }
        }(producerID)
    }

    // 只有这里能关闭 jobs。不会与后续 send 发生竞争。
    go func() {
        producers.Wait()
        close(jobs)
    }()

    consumers.Wait()
}

这段代码的 Context 控制生产端停止提交,消费者排空后退出;它不是“超时瞬间强制停止所有业务”。当多个 select 分支同时就绪时,取消分支不具有绝对优先级。真实业务若要求更强的停止语义,需要定义任务开始、完成和取消的状态边界。

为什么这样写

不要用 len 判断能否发送

if len(jobs) < 10 { jobs <- x } 不是一次原子操作。多个生产者都可能看到队列未满,然后同时发送。Channel 自身已经负责容量检查与等待,额外的长度判断既多余,也容易让人误以为后面的操作必不阻塞。

长度可以用于监控,不能作为并发正确性的依据。

不要由任意生产者关闭共享队列

某个生产者完成时,其余生产者可能还在发送。提前关闭会导致发送方 panic。关闭必须由明确的拥有者执行,而且必须在全部发送方结束之后发生。消费者不应关闭生产者仍在使用的 Channel。

一条消息由谁消费

多个消费者竞争同一个 Channel 时,一次接收只会把该元素交给其中一个接收方。这是任务分发,不是广播。若每个订阅者都需要收到全部消息,应建立独立队列或采用发布订阅模型。

Channel 不保证多个生产者之间按墙上时钟形成全局业务顺序,也不保证消费者严格公平。若有同一订单必须顺序处理等要求,需要按业务键分区,并分别维护顺序。

“不限制容量”该怎样回答

情况处理方式需要付出的成本
只有短暂突发适当增大缓冲,保留最大值更高的内存占用与排队时间
下游持续变慢阻塞上游、限流或拒绝上游延迟上升,需要超时语义
任务不能轻易丢失持久化消息队列、确认与重试运维、重复投递与幂等处理
只关心最新状态合并同键更新、丢弃过期任务必须明确业务允许丢弃

假设每秒生产 1,000 条、消费 800 条,每条排队占用 1 KB,则每秒积压约 200 KB;持续一小时,单是排队数据就接近 720 MB,尚未计入对象、索引和运行时开销。队列只能吸收暂时的速率差,无法创造处理能力。

常见追问与验证

  • 消费者业务处理失败怎么办? 先区分可重试与不可重试错误;有限重试后转入失败队列。若处理带副作用,要以业务 ID 保证幂等。
  • Channel 就能防止任务丢失吗? 不能。它是进程内内存结构,进程崩溃后未持久化任务可能丢失。
  • 怎样定位瓶颈? 观察入队等待时间、队列占用、最老任务等待时间、处理耗时与失败率;不要只看队列长度。
  • 如何验证? 正常结束应处理 90 条且无重复;减慢消费者后,生产端应等待;提前取消后不再无限生产,已入队任务仍按约定排空。再使用 go run -race main.go 检查数据竞争。

延伸阅读

本文是整理者参考答案,不是公司官方标准答案。不同业务约束下,队列、退出与可靠性策略可以不同。