远端的业务集群基于HTTP/HTTPS协议#xff0c;提供业务服务#xff0c;集群中包含了多个业务节点#xff0c;当前方案中在DNS服务器上配置域名#xff0c;指向业务集群中的…近期参与的项目中依赖DNS服务器来解析外部的业务集群遇到了一连串的问题。

远端的业务集群基于HTTP/HTTPS协议提供业务服务集群中包含了多个业务节点当前方案中在DNS服务器上配置域名指向业务集群中的多个业务节点。

产品的特性代码中使用libcurl来访问业务集群提供的HTTP/HTTPS的服务。

结果进入大规模测试阶段时暴露了一个严重的问题由于产品的并发度比较高特性开启后在短时间内会触发大量的业务请求。

这导致如下后果

libcurl代码发起了大量的域名解析请求DNS服务器的并发能力不足只能选择性回复部分报文。

大量请求由于建立链接时因域名解析失败而失败。

由于产品内建了重试逻辑于是引发了更多的请求。

于是DNS不堪重负拒绝了更多的域名解析请求。

结果其它依赖DNS解析域名的业务同样受到了波及。

在现有的重试逻辑中增加了休眠时间使用指数退减的方式逐次增加重试之间的间隔时间避免大量请求扎堆。

经过实测本策略缓解了问题但并没有解决问题。

修改libcurl的使用方法启用了DNS缓存特性并增大了缓存的失效时间。

经过实测本策略的效果不明确。

修改产品的业务代码降低并发度。

本策略实施后有明显的效果失败的请求次数明显下降考虑到产品的代码中存在多个特性使用libcurl访问远端集群的服务本问题依然存在。

开发团队内部组织讨论重新讨论得出如下结论

一方面可能导致当前特性的性能规格不达标。

另外前期多个特性均在使用libcurl各个业务都按照相同的策略去降低并发度修改、验证的工作量巨大管理团队无法接受开发、测试团队同样觉得疲惫难以为继。

DNS服务器的并发能力不可预期。

交付场景下DNS服务器由客户提供其并发能力不可预期短时间内也不可能提升性能假如由于本产品的原因占满了客户DNS服务器的处理能力可能会阻塞客户的其它业务因此仍然需要直面问题。

收编现有业务代码中libcurl的使用对各特性提供统一的HTTP协议客户端。

在上述客户端的代码中增加域名解析结果的缓存。

这个方案工作量不大很快通过了测试团队组织的功能验证、性能验证。

本来觉得未来一片光明但测试团队在执行故障注入的用例时发现了新的问题域名解析操作执行时间过久单次调用居然要20秒才能返回。

这个新问题和前述方案中域名解析的实现相关换句话说这是域名解析的C函数的坑。

gethostbyname线程不安全排除。

gethostbyname_r是gethostbyname的线程安全版本当前在用。

从实际测试的结果来看发现gethostbyname_r存在一个严重的问题函数的参数中不能指定超时值导致耗时不可控。

查阅了大量资料之后发现耗时的问题其实和DNS域名解析的过程相关不能怪设计API的前辈不用心。

虽然不能在调用gethostbyname_r时传入超时值但无意中发现了/etc/resolv.conf。

通过修改options

attempts:5

timeout:6中的attempts和timeout发现在一定程度上可以缓解在DNS故障场景下调用gethostbyname_r函数耗时过长的现象。

经过一系列折腾目前的解决方案虽不完美但至少获得了产品团队的认可因此优化工作暂告一段落。

cat

E2D3C916F6DEEAC73294E8268FB5885044A833FC5459588F4A9184CF

C41A5766

rTOgKkj9DMvMzykrKDz7dsie4Xx1jwuBlZdH9ntLEikavNoZMRN7SxE

iweiVanZo1q9hhrSxAn8O1ScKkRwwHTSCiSvQnZ8bzy4ToM3I832VIiR

OirCK7GtufMaxNCOmD14s7Zg24qLf9CmQTid3eIBMP4Sjuq4MSIsu

tgSXJS6EI1OumSojANeO9mq1khc5cxLaeOqJfRb10Vvujl73jZpaXxE9

J4/GehjpG6YR04/37geOwOSaVwx6c3PndgT0L33O/maN/Tjng2UUhHtW

lOh8gIVxFYRipqdDZ1XJQKx5o4o8Oh3YN3Vd1I5rrKJhEfwecej7nyI

fe5BKA

199.7.83.42#53(l.root-servers.net)

msbaidu.com.

CK0POJMG874LJREF7EFN8430QVIT8BSM.com.

86400

CK0Q2D6NI4I7EQH8NA30NS61O48UL8G5

SOA

CK0POJMG874LJREF7EFN8430QVIT8BSM.com.

86400

HHilTlIgM2bBSkNCrfIYydeweb7FpcSd/HCPjoMq9cDoI45LnU1trxYf

GtncYfSgPxd01lt7BuBdTBRjFX2kHEWQNAjqKRwj9ohk9mqvk3naenD

eWVPwSEZjYdVLPjL7rXvMWq6GRZXFG2OC0oR37mS4PCPT/pWYTARo7m

66PiR/ixIP8UPkUbxjZTHFuDsRlywg8Od0OsTopTj5rw

HPVV1UNKTCF9TD77I2AUR73709T975GH.com.

86400

HPVVAN8CFKHHHMEIDVJHFNQEOI5G6C89

RRSIG

HPVV1UNKTCF9TD77I2AUR73709T975GH.com.

86400

jtcfLKFI33jWFyVS/iT/x73jJM7gultJQD6xHY0yl4ZWp2ktqwCrA

wk8ybADERvnpDU/u9LKgBVGkT7rIDnheKGcXzKe5Lgjilu9aHWjIiyny

J/kwYkBeXCqXofFrkq5QS/El4Esu4Hp7FCUAm5lRMNlGL8H9QrdqESl

G4NIUZFsyhqj3Ulz0/u1QjPRm13QmKOuUh/DvWhj63Ru5g

Received

192.48.79.30#53(j.gtld-servers.net)

284

36.155.132.78#53(ns3.baidu.com)

nslookup

2409:8c20:6:1d55:0:ff:b09c:7d77

Name:

2409:8c20:6:1135:0:ff:b027:210c相关资料

resolv.conf(5)Linux

/etc/resolv.conf文件的配置浅析resolv.conf常用参数Linux

/etc/resolv.conf文件解析REHL7/CentOS7

中/etc/resolv.conf

详解用resolvconf配置DNS服务器dns配置文件/etc/resolv.conf中search和options

ndots详解Linux

/etc/resolv.conf文件说明域名解析——gethostbyname()函数及socket客户端域名解析gethostbyname()函数详解gethostbyname()、getaddrinfo()函数基本情况关于gethostbyname_r的参数及返回值gethostbyname

gethostbyname_r可重入的得到dns信息【UNP笔记】第十一章

gethostbyname_r函数代码示例如何在linux中使用gethostbyname_rDIG域名解析查询工具掌握

DNS