聊聊 P99 那点事儿

说实话，刚把 Go TCP 服务器跑起来P50 kan着hen舒服。

P99 却像坐了过山车，一下子冲到几百毫秒。

我当时心里嘀咕：“这也太离谱了吧？”

结果翻 pprof，CPU、内存dou稳得像老牛——根本没啥异常。

别急，别急，先喝口茶。

咱们先把思路梳理一下别被表面的数据蒙蔽了眼睛。

P99 其实是所有请求延迟的第 99 百分位。

意思是有 1% 的请求会比这个值慢。

在业务场景里这点慢往往决定用户是否会放弃。

比如支付环节，超过 1.5 秒的延迟会让掉单率蹭蹭涨。

hen多小伙伴kan到 CPU 不高，就以为系统没问题。

但网络栈大多数时间dou在内核里跑，pprof kan不到它的呼吸声。

所以 CPU “健康”，并不代表网络层也健康。

先说 Nagle，这玩意儿默认会把小包聚在一起发，以减少包头开销。

听起来不错，但在请求‑响应模型里它会和 Delayed ACK 撕扯起一场持久战。

Nagle：等上一个包的 ACK 再发下一个小包；

Delayed ACK：收到数据后等几毫秒再回 ACK，希望捎带点响应一起发走。

两者同时出现时就会产生经典互锁——客户端卡住等 ACK，服务端卡住等数据一起回 ACK。

这时候你会kan到一次往返 RTT 多出 40~75 ms。

我在 macOS 上跑了两组基准：

NoDelay=true → 小包延迟只有几微秒。

NoDelay=false → 同样的小请求多出了约 30 ms 的尾部延迟。

但是！Ru果你的业务是批量发送大量小包，而不是单个请求‑响应，那情况就反了——关闭 Nagle 会导致系统调用爆炸，每个小包dou要一次 Write 调用，CPU 开销飙升。

AWS、阿里云的默认接收/发送缓冲区大小一般在几百 KB 左右。

我把缓冲区调到极小，吞吐量直接掉到原来的三分之一左右。

相反，把它调到合适的大一点，对吞吐量提升明显，但对延迟影响不大——因为大多数情况下窗口Yi经足够，不会成为瓶颈。

a) 内容质量不过硬——百度爬虫geng青睐原创、结构化好的文字；

b) 页面缺少有效的 meta 信息和 H 标签——搜索引擎靠这些来判断主题；

b) 太多 JS 动态渲染却没有 SSR，导致爬虫拿不到真实内容。

所以Ru果你想让自己的技术博客被百度抓取，请确保：

标题、描述、关键词写全；

L​ink rel=canonical 正确指向；

Sitemap 定期提交。

- Ru果是“发送大量日志”之类的批量写入，用默认 Nagle 合并Ke以省系统调用； - Ru果是“每次请求立刻返回”，建议保持 TCP_NODELAY 开启。 - 别忘了检查代码里是否Yi经用了 bufio 包Zuo了应用层缓冲，否则双重聚合可Neng适得其反。

// 示例代码
rawConn, _ := tcpConn.SyscallConn
rawConn.Control {
    rcv, _ := syscall.GetsockoptInt, syscall.SOL_SOCKET, syscall.SO_RCVBUF)
    snd, _ := syscall.GetsockoptInt, syscall.SOL_SOCKET, syscall.SO_SNDBUF)
    fmt.Printf
})

- 若发现默认值远低于业务峰值需求，可适度调高。 - 调整后 压测，kan P99 是否下降。

# 查kan连接状态以及 RTT
ss -ti state established ''
# 抓取关键时段的数据包
tcpdump -i any -nn -s 128 'tcp port 8080 and host $CLIENT_IP' -w /tmp/trace.pcap

- kankan是否出现 “Retransmission” 或 “Zero Window” 警告； - Ru果有大量 “Zero Window”，说明接收端窗口太小，需要调大 SO_RCVBUF。

A 公司上线了一套基于 Go 的支付网关，P50 稳定在 30 ms 左右，却频繁出现 P99 在 400~500 ms 区间波动。

- 打开 pprof，kan CPU、heap、goroutine，dou没有异常。 - 接着我们抓包发现，大多数慢请求dou是在第一次握手后紧接着的 GET /pay 接口上卡住。 - 分析 TCP 报文后发现，对端 C++ 服务没有打开 TCP_NODELAY，而我们的 Go 客户端默认开了两边形成 Nagle‑Delayed‑ACK 锁死。

C 我们干嘛呢？直接跟对端沟通，把它们的 socket 设置改成 NoDelay=true，然后再压测：

- **不要轻易手动设置超小缓冲区**。省点内存？省不了多少，却可Neng让吞吐跌半！

- **合理使用 keepalive**：防止空闲连接被中间设备踢掉，引发突发重连浪费时延。

- **开启 SO_REUSEPORT**Ke以让多个进程共享同一端口，提高并发接受Neng力。

- **监控 netstat/ss 输出**，尤其关注 TIME_WAIT 数量，Ru果太多考虑设置 SO_LINGER=0 来加速回收。

- **尽量避免在每个请求里创建新的 goroutine**，而是使用 worker pool 或者 epoll‑style 循环读取，这样Neng显著降低调度开销。

- **GOMAXPROCS 设置要匹配机器核数**，否则运行时调度器可Neng抢占不到足够的 CPU 时间片，也会间接拉高尾部延迟。

* 当 pprof kan不出问题时就去抓底层网络报文；* 当网络报文显示 RTT 持续偏高，就检查 Nagle、Delayed ACK 与 socket 缓冲区这三件事；* 调整完毕后再跑一次压力测试，kan P99 是否真的降下来。

说实话，我之前也总爱把各种参数塞进去，以为“参数越多越好”。 后来才明白，有时候Zui好的配置就是“不改”。 系统默认Yi经帮我们考虑了大部分场景，只要业务模型跟默认假设吻合，就无需动刀。 哈哈，你kan，现在这篇文章Yi经把常见坑铺开来了。 Ru果你还有其他奇怪的现象，比如 GC 暂停突然跳到十几毫秒，那就另起炉灶聊聊 runtime 调优吧。 祝你玩转 Go TCP，P99 永远低于阈值！ 咱就是说一行代码改错，一天心情好。 懂得dou懂，你懂的。 不对不对，我应该说：“记得随时监控”，这样才Neng及时发现新问题呀。 好了我得去喝杯咖啡继续写代码啦！

本文所有实验均基于本地回环与真实线上环境进行对比。 实际生产环境中，还需结合具体网络拓扑与硬件特性进行微调。 祝各位读者玩得开心、性Neng飞起！