统全新产品请点击访问

麒麟软件产品专区https://product.kylinos.cn

开发者专区https://developer.kylinos.cn

文档中心https://document.kylinos.cn

系统环境

4.19.90-25.21.v2101.ky10.aarch64

现象描述

96,600全连接队列已完成连接队列已满无法接收更多已完成握手的连接。

SYNs

半连接队列SYN队列已满无法接收更多新的SYN请求因此新的SYN包被丢弃。

Listen

dropped两个统计项数值相等表明每次监听队列溢出时都会有一个新的SYN包被丢弃。

表明服务器在处理新连接方面存在瓶颈尤其是在应用程序调用accept()函数时的延迟。

accept()函数处理不及时是导致这种现象的主要原因具体原因包括

应用程序性能不足

应用程序在处理已建立连接时执行了阻塞操作导致无法及时调用accept()。

全连接队列长度由

backlog)

的backlog两者最小值决定如果listen函数传参backlog太小会导致这种现象。

使用单线程处理所有连接请求无法高效处理高并发连接。

应用程序的资源如线程、进程、文件描述符有限无法快速处理新连接。

高并发连接请求

查看内核参数net.core.somaxconn和net.ipv4.tcp_max_syn_backlog的值都很大并不会是这两个内核参数太小导致。

net.core.somaxconn

高并发连接导致CPU或内存资源耗尽影响连接处理速度。

I/O瓶颈

分析sa日志

sa27查看内存使用情况问题发生期间还存在空闲内存且可用内存较多。

sar

sa27查看内存回收情况问题发生期间没有进行内存回收可见内存资源是够的。

sar

sa27查看问题发生期间CPU使用情况CPU资源使用正常内核态占比很低。

sar

sa27查看问题发生期间各个CPU的使用率每个CPU使用率都很低。

sar

dropped两个统计项数值相等都为96,600说明全连接和半链接都发生了溢出是全连接溢出导致了这个问题。

表明服务器在处理新连接方面存在瓶颈尤其是在应用程序调用accept()函数时的延迟。

accept()函数处理不及时是导致这种现象的主要原因有应用程序性能不足、高并发连接请求、系统参数配置不足和服务器资源瓶颈。

根据sa日志和内核参数分析系统参数配置配置正常服务器资源正常。

在高并发压测下出现这种问题推测是应用程序端问题建议应用端排查如全连接队列长度由

backlog)

的backlog两者最小值决定如果listen函数传参backlog太小会导致这种现象。