住宅代理IP在使用中常遇到部分节点失效、请求被识别的问题。这篇文章实现一个具备健康检查机制的代理池。 并集成curl_cffi进行TLS指纹，提高采集稳定性。

一、代理池健康检查

1. 单代理检测

import requests import time def check_proxy: """检测代理是否可用，返回延迟或None""" proxies = {"http": proxy,"https": proxy} 至于try，start = time.time r = requests.get if r.status_code == 200: return time.time - start except这方面，pass return None

2. 并发检测与轮询池

import random from concurrent.futures import ThreadPoolExecutor。as_completed class ProxyPool: def __init__: self.proxy_list = proxy_list self.available = self._update_available def _update_available: results = {} with ThreadPoolExecutor as ex: futures = {ex.submit: p for p in self.proxy_list} for f in as_completed: lat = f.result if lat is not None: results] = lat self.available = sorted,key=lambda x: x) def get: if not self.available: return None return random.choice

二、TLS指纹

使用curl_cffi替代requests，模拟真实浏览器指纹。

from curl_cffi import requests as curl_requests def fetch: kwargs = {"impersonate": "chrome120"} if proxy: kwargs = {"http": proxy,"https": proxy} resp = curl_requests.get return resp.text

从对比测试来看，

# 普通requests r = requests.get print.get) # 固定短哈希 # curl_cffi r2 = curl_requests.get print.get) # 与真实Chrome一致

三、完整采集器示例

import time import random def worker: for _ in range: proxy = proxy_pool.get if not proxy: time.sleep continue try这方面。text = fetch return text except Exception as e: print time.sleep) return None # 示例：使用住宅代理池 proxies = pool = ProxyPool data = worker

四、效果说明

• 健康检查机制可自动剔除失效IP，维持代理池可用性
• curl_cffi指纹使TLS握手特征与真实Chrome一致，降低被识别的概率
• 二者结合能有效延长采集任务的稳定运行时间

这篇文章介绍的技术方法适用于任何标准代理服务商，不涉及具体商业推荐。实际使用中建议定期更新代理列表，并根据目标网站调整请求频率。