小叨——爬虫升级的那点事儿

说实话，我这几天折腾了半天。

老项目里链接一大堆，跑一次全量爬，结果卡在半路。

我心里暗暗叫：“妈呀，这不就是缺个过滤和断点续爬嘛！”

于是乎，我把原来的小玩意儿狠狠改造了一番。

今天咱们就聊聊这次升级的细节，顺便抖抖我的经验包。

为啥要加过滤？

先说过滤——

你想啊，站点里常常有旧文档、测试页面、广告链接。

这些东西不但占资源，还会把你的数据集搞得乱七八糟。

哈哈，一不小心就会抓到一千条“404 Not Found”。

所以我们得在爬取前先挑挑拣拣，把不需要的扔掉。

断点续爬到底是个啥玩意儿？

想象一下你正坐在咖啡馆里敲代码，忽然停电。

程序直接挂掉，之前抓到的链接全丢了。

Ru果没有记录进度，下次只Neng从头再来。

这时候，断点续爬就像是给爬虫装上了“记事本”。

每跑完一批，就把状态写盘；异常退出时下次启动Neng继续上次的位置。

核心实现思路——简洁至上，别装逼 1️⃣ 链接过滤的实现方式

def should_skip -> bool:
    # Ru果 url 以任意过滤前缀开头，就直接跳过
    return any for pfx in filters)
# 使用示例
filters = {
    'example.com/old/',      # 老版本文档
    'example.com/test/',    # 测试页面
}
if should_skip:
    continue  # 啥也不干，直接下一个

注意，这段代码特意把判断抽成了函数，后面要改规则，只改这一个地方就行啦。

2️⃣ 断点续爬的关键点

import os
import atexit
import json
STATE_FILE = 'crawl_state.json'
# 两个集合分别装Yi访问和待访问的链接
visited = set
unvisited = set
def load_state:
    if os.path.exists:
        print
        data = json.load)
        return set, set
    return set, set
def save_state:
    if unvisited:
        print
        json.dump({
            'visited': list,
            'unvisited': list
        }, open, ensure_ascii=False)
# 程序退出时自动保存
atexit.register
# 启动时尝试恢复
v, uv = load_state
visited.update
unvisited.update
# 若是第一次跑，记得把根链接塞进去
if not unvisited:
    unvisited.add

这里用了 JSON 而不是 eval，安全感倍增。你要是怕性Neng，还Ke以换成 pickle，不过咱们追求的是“稳”。

实战演练——一步步跑起来 准备工作：依赖安装 & 环境配置

- pip 安装 beautifulsoup4、requests、lxml。

- 确保 Python 版本>= 3.8，这样集合推导式才不会报错。

主函数雏形

def crawl:
    while unvisited:
        url = unvisited.pop          # 随机抽一个
        try:
            resp = requests.get
            if resp.status_code != 200:
                continue               # 非200直接丢弃
            soup = BeautifulSoup
            for a in soup.select:
                href = a
                full_url = urljoin
                # 基础过滤：只保留同域名且未访问过的链接
                if not is_same_domain:
                    continue
                if full_url in visited:
                    continue
                # 高级过滤：用户自定义前缀跳过
                if should_skip:
                    continue
                unvisited.add
            visited.add
            print} 条 | 剩余 {len} 条 → {url}")
        except Exception as e:
            print
            # 出错不删，让它下次还Neng重试
if __name__ == '__main__':
    crawl
    print} 条有效链接")

细节补丁——别让小毛病拖慢你脚步

#1 链接规范化：用 urllib.parse.urljoin 把相对路径转绝对路径；同时去掉 fragment，防止同一个页面被算成两个不同链接。

#2 防止无限循环：对同一页面多次请求时加一个计数阈值，比如同一 URL 超过三次仍未成功，就直接丢弃。

#3 超时 & 重试：requests 的 timeout 参数必须设，否则卡死几分钟dou不知道发生了什么。配合 retry 包Ke以自动重试几次再放弃。

#4 日志输出：别省略打印进度，这玩意儿太重要了。尤其是断点续爬时你得知道刚才停在哪儿了。

#5 “默认不下载文件”：If you’re using Playwright and don’t want弹窗下载，那就把 accept_downloads=False 当参数传进去，这样页面里的下载按钮只会被当普通链接处理，不会占磁盘空间。

A/B 测试——升级前后对比图 升级前：

Total URLs crawled: 12k

Total time: ~45 min

No resume capability – every crash means restart.

升级后：

Total URLs crawled: 8k

Total time: ~28 min

Saves state every batch – Ctrl+C 再来也Neng继续，从第27%起跑！

Simplified logs – 一眼kan懂进度，没有那些莫名其妙的堆栈信息。

P.S. 小坑提醒 & 常见 Q&A Q1：状态文件太大怎么办？ A：定期Zuo压缩或分片保存，例如每完成1k条记录就写一次然后清理Yi完成部分。这样文件大小保持在几百KB以内，不会拖慢 I/O。 Q2：我想把任务分布到多台机器上，是不是还Neng继续用这个思路？ A：Ke以啊，把 visited/unvisited 放到 Redis 或者 MongoDB 那种持久化队列里。核心思路不变，只是换存储层罢了。记得加锁防止并发冲突。 Q3：Ru果网站使用 JavaScript 动态渲染怎么办？ A：那就得上 Playwright 或 Selenium，把渲染后的 DOM 拿下来再解析。记得在创建浏览器实例时关掉 accept_downloads，以免莫名其妙弹出下载框。 收尾感言——咱们一起干geng好的爬虫吧！

说实话，这套过滤+断点方案真的帮我省了不少时间和脑细胞。

以后再遇到类似需求，我第一反应就是：“哎呀，用这个！” 而不是重新造轮子。

Ru果你也有自己的技巧或者踩坑经验，赶紧留言交流呀。 别客气，我这老伙计可爱听大家唠嗑。 *本文为本人原创，首发于掘金。* *Ru果你有任何问题或想法，欢迎在评论区交流！* 阅读次数：281 文章浏览阅读281次。 本文介绍如何使用 Bloom 过滤器进行数据去重和断点续爬。 通过 pip 安装 pybloom_live 库, 利用 BloomFilter 类创建过滤器, 并结合 hashlib 实现高效的数据重复检查。 祝大家玩得开心~

---